基于 md5_file() 实现文件去重算法

M66 2025-05-31

在实际开发过程中，文件去重是一个常见需求，尤其是在存储大量文件时，避免重复文件不仅节省空间，还能提高系统效率。PHP 提供了一个非常方便的函数 md5_file()，可以帮助我们快速实现文件的哈希值计算，从而轻松判断文件是否重复。

什么是 md5_file()？

md5_file() 是 PHP 内置的函数，用于计算指定文件内容的 MD5 散列值。其基本语法如下：

string md5_file(string $filename, bool $raw_output = false)

$filename：要计算的文件路径。
$raw_output：是否以原始二进制格式输出，默认是 false，返回32位16进制字符串。

该函数返回文件内容的唯一摘要，用来判断两个文件内容是否相同非常合适。

实现简单高效的文件去重算法

思路非常简单：

遍历目标文件夹中的所有文件。
对每个文件使用 md5_file() 计算哈希值。
用一个数组记录已出现的哈希值。
如果某个文件的哈希值已经存在，则判定为重复文件，可以选择删除或跳过。

以下是示例代码：

<?php
$directory = '/path/to/your/files'; // 文件目录
$hashes = []; // 用于存储文件的哈希值

// 遍历目录下所有文件
$files = new RecursiveIteratorIterator(new RecursiveDirectoryIterator($directory));

foreach ($files as $file) {
    if ($file->isFile()) {
        $filePath = $file->getRealPath();
        $fileHash = md5_file($filePath); // 计算文件MD5

        if (isset($hashes[$fileHash])) {
            // 找到重复文件，进行处理，比如删除
            echo "重复文件: {$filePath} 已存在重复文件 {$hashes[$fileHash]}\n";
            // unlink($filePath); // 若需要删除，取消注释此行
        } else {
            // 记录新哈希
            $hashes[$fileHash] = $filePath;
        }
    }
}
?>

优化建议

分批处理：大目录文件较多时，可以分批扫描，避免一次性占用大量内存。
缓存哈希：对于常用目录，可以将哈希结果缓存到数据库或文件，下次直接读取，提升效率。
替换算法：MD5 虽然效率高，但安全性较弱；如果对安全要求高，可考虑使用 sha1_file() 或 hash_file()。

参考资料

PHP 官方文档：md5_file()