Français
Français
Lorsque vous traitez avec de grands fichiers XML, la fonction XML_PARSE fournie par PHP (basée sur l'analyseur Expat) est un moyen efficace. Cependant, en raison d'une mauvaise gestion de la mémoire, lors du traitement des dizaines de centaines de centaines de mégaoctets de fichiers XML, vous rencontrez souvent un débordement de mémoire, une dégradation des performances et même des accidents de script. Cet article présentera comment améliorer l'efficacité et la stabilité du grand traitement de fichiers XML du point de vue de l'optimisation de la gestion de la mémoire de XML_PARSE .
XML est un format d'échange de données commun. Un grand nombre de systèmes tels que le commerce électronique, la logistique, l'agrégation de contenu, etc. s'appuient sur XML pour importer ou exporter des données par lots. Cependant, lorsque PHP analyse les grands fichiers XML, si le fichier entier est lu dans la mémoire à la fois, il épuisera rapidement les ressources de mémoire.
Par exemple:
$xml = file_get_contents('https://m66.net/data/huge.xml');
$parser = xml_parser_create();
xml_parse($parser, $xml, true);
xml_parser_free($parser);
Le code ci-dessus peut facilement provoquer un débordement de mémoire lors du traitement des fichiers volumineux, en particulier dans un environnement de serveur où Memory_limit est défini dans php.ini .
Par rapport à la lecture de l'ensemble du fichier XML à la fois, il est recommandé d'utiliser la méthode d'analyse incrémentielle de fopen () et fread () combinée avec XML_Parse () . Cela peut réduire considérablement l'utilisation de la mémoire:
$parser = xml_parser_create();
xml_set_element_handler($parser, "startElement", "endElement");
$fp = fopen("https://m66.net/data/huge.xml", "r");
while ($data = fread($fp, 4096)) {
if (!xml_parse($parser, $data, feof($fp))) {
die(sprintf("XML error: %s at line %d",
xml_error_string(xml_get_error_code($parser)),
xml_get_current_line_number($parser)));
}
}
fclose($fp);
xml_parser_free($parser);
La gestion de la mémoire est également nécessaire pour résoudre le stockage de données dans les fonctions de rappel. Évitez de stocker toute la structure de l'arborescence XML en mémoire, vous devez plutôt choisir de traiter ou d'écrire dans la base de données immédiatement après avoir extrait des informations utiles.
function startElement($parser, $name, $attrs) {
if ($name === 'ITEM') {
// Extraire uniquement les champs de mots clés
global $currentItem;
$currentItem = [];
}
}
function endElement($parser, $name) {
global $currentItem;
if ($name === 'ITEM') {
// Nettoyez immédiatement après le traitement
processItem($currentItem);
unset($currentItem);
}
}
function processItem($item) {
// Exemple：Écrivez immédiatement dans la base de données ou la sortie
file_put_contents('/tmp/items.txt', json_encode($item) . PHP_EOL, FILE_APPEND);
}
La limite de mémoire du script et le temps d'exécution peuvent être augmentés dynamiquement via le code pour éviter les interruptions dans le processus:
ini_set('memory_limit', '512M');
set_time_limit(0);
Mais veuillez noter que ce n'est pas la solution fondamentale au problème, elle ne s'applique qu'aux situations où le fichier est légèrement plus grand mais la structure est raisonnable.
Utilisation du mode d'analyse de sax : L'analyseur XML lui-même est axé sur les événements, en profiter peut éviter de construire un arbre DOM complet et de la mémoire de sauvegarde.
Traitement de rupture + lecture continue du point d'arrêt : Pour les grands fichiers XML spécifiques (tels que chaque élément est un élément de données indépendant), vous pouvez enregistrer l'état en pièces et la lecture continue du point d'arrêt.
Combiné avec le générateur pour traiter les données : le générateur PHP ( rendement ) peut être utilisé avec des fonctions de rappel XML pour implémenter le traitement de streaming de données basse mémoire.
Le cœur de la gestion de grands fichiers XML est d'éviter de "lire le fichier complet" et de "stocker les données complètes". Grâce à XML_PARSE combiné avec la lecture en streaming, le traitement instantané des données et le contrôle de la mémoire de mémoire, nous pouvons obtenir une solution d'analyse XML efficace, stable et contrôlable.
Cela ne convient pas seulement à l'analyse unique, mais aussi aux scénarios de tâche de fond qui nécessitent une importation régulière. J'espère que les idées d'optimisation de cet article peuvent vous aider à gérer facilement les grands fichiers XML.
