Implémentez l'algorithme de déduplication de fichier basé sur md5_file ()

M66 2025-05-31

Dans le développement réel, la déduplication des fichiers est une exigence commune, en particulier lors du stockage d'un grand nombre de fichiers. Éviter les fichiers en double économise non seulement de l'espace, mais améliore également l'efficacité du système. PHP fournit une fonction très pratique md5_file () , qui peut nous aider à implémenter rapidement le calcul de hachage du fichier, afin de déterminer facilement si le fichier est dupliqué.

Qu'est-ce que md5_file ()?

MD5_FILE () est une fonction intégrée en PHP pour calculer la valeur de hachage MD5 du contenu de fichier spécifié. La syntaxe de base est la suivante:

 string md5_file(string $filename, bool $raw_output = false)

$ nom de fichier : le chemin du fichier à calculer.
$ raw_output : s'il faut sortir au format binaire brut, la valeur par défaut est fausse , renvoie une chaîne hexadécimale 32 bits.

Cette fonction renvoie un résumé unique du contenu du fichier, qui est très approprié pour déterminer si le contenu des deux fichiers est le même.

Implémenter un algorithme de déduplication de fichier simple et efficace

L'idée est très simple:

Itérante via tous les fichiers du dossier cible.
Utilisez md5_file () pour calculer la valeur de hachage pour chaque fichier.
Utilisez un tableau pour enregistrer la valeur de hachage qui est apparue.
Si la valeur de hachage d'un fichier existe déjà, il est déterminé à être un fichier en double et vous pouvez choisir de supprimer ou de sauter.

Voici l'exemple de code:

 <?php
$directory = '/path/to/your/files'; // Répertoire de fichiers
$hashes = []; // Utilisé pour stocker la valeur de hachage du fichier

// Traverser tous les fichiers du répertoire
$files = new RecursiveIteratorIterator(new RecursiveDirectoryIterator($directory));

foreach ($files as $file) {
    if ($file->isFile()) {
        $filePath = $file->getRealPath();
        $fileHash = md5_file($filePath); // Calculer les fichiersMD5

        if (isset($hashes[$fileHash])) {
            // Trouver des fichiers en double，Effectuer le traitement，Par exemple, supprimer
            echo "Fichiers en double: {$filePath} 已存在Fichiers en double {$hashes[$fileHash]}\n";
            // unlink($filePath); // Si nécessaire pour supprimer，Décommente cette ligne
        } else {
            // Enregistrer le nouveau hachage
            $hashes[$fileHash] = $filePath;
        }
    }
}
?>

Suggestions d'optimisation

Traitement par lots : Lorsqu'il existe de nombreux grands fichiers de répertoire, vous pouvez numériser par lots pour éviter de consommer une grande quantité de mémoire en même temps.
Cache Hash : Pour les répertoires couramment utilisés, les résultats du hachage peuvent être mis en cache dans la base de données ou le fichier et les lire directement la prochaine fois pour améliorer l'efficacité.
Algorithme de remplacement : MD5 est très efficace, mais a une sécurité faible; Si les exigences de sécurité sont élevées, vous pouvez envisager d'utiliser sha1_file () ou hash_file () .

Références

PHP Document officiel: MD5_FILE ()

Connexe