利用哈希判断文件内容是否重复

M66 2025-05-27

在开发过程中，判断文件内容是否重复是一个常见的需求。例如，在处理文件上传、文件存储或防止重复内容时，我们需要能够高效地判断文件内容是否相同。PHP提供了许多工具来实现这一目标，其中hash_update_stream函数是一个非常实用的方法，尤其在处理大文件时，它能够高效地计算文件的哈希值，并帮助我们快速判断文件是否重复。

什么是hash_update_stream函数？

hash_update_stream是PHP内置的一个哈希函数，它允许我们对一个流（如文件流）进行哈希计算。与传统的直接计算整个文件哈希的方法不同，hash_update_stream能够逐步读取流并更新哈希值，这样可以避免一次性将大文件加载到内存中，从而节省内存和计算时间。

如何使用hash_update_stream判断文件是否重复？

要利用hash_update_stream函数判断文件是否重复，通常的做法是先对每个文件计算哈希值（比如MD5或SHA256），然后将计算出的哈希值与已存储的哈希值进行比对。如果哈希值相同，则认为文件内容重复。

步骤1：打开文件并计算哈希值

首先，我们需要打开文件并逐步读取其内容，利用hash_update_stream来计算文件的哈希值。

<?php
// 文件路径
$filePath = 'path/to/your/file.txt';

// 选择哈希算法
$hashAlgo = 'sha256'; // 你可以选择 md5、sha1 等其他算法

// 打开文件
$file = fopen($filePath, 'rb');

// 初始化哈希资源
$hashContext = hash_init($hashAlgo);

// 逐步读取文件并更新哈希值
while (!feof($file)) {
    $chunk = fread($file, 1024); // 读取文件块，避免一次性加载大文件
    hash_update_stream($hashContext, $chunk); // 更新哈希值
}

// 计算最终的哈希值
$hashValue = hash_final($hashContext);

// 关闭文件
fclose($file);

echo "文件的哈希值是: $hashValue";
?>

步骤2：将哈希值与已有文件哈希值比对

计算出文件的哈希值之后，我们可以将其与数据库或存储系统中已有的文件哈希值进行比对，判断文件是否重复。

<?php
// 假设我们已经有一个存储的哈希值列表
$storedHashes = [
    'd2d2d2d2d2d2d2d2d2d2d2d2d2d2d2d2', // 已存储的文件哈希值
    'a3a3a3a3a3a3a3a3a3a3a3a3a3a3a3a3'
];

// 检查计算出来的哈希值是否存在于存储的哈希值中
if (in_array($hashValue, $storedHashes)) {
    echo "文件内容重复！";
} else {
    echo "文件内容不重复，准备上传或存储！

hash_update_stream