Deutsch
Deutsch
Beim Umgang mit großen XML -Dateien ist die von PHP (basierend auf dem Expat -Parser) bereitgestellte XML_PARSE -Funktion eine effiziente Art und Weise. Aufgrund der unsachgemäßen Speicherverwaltung begegnen Sie jedoch bei der Verarbeitung von Dutzenden von oder sogar Hunderten von Megabyte XML -Dateien häufig den Speicherüberlauf, die Leistungsverschlechterung und sogar das Skriptabfall. In diesem Artikel wird vorgestellt, wie die Effizienz und Stabilität der großen XML -Dateiverarbeitung aus der Sicht der Optimierung der Speicherverwaltung von XML_Parse verbessert werden kann.
XML ist ein gemeinsames Datenaustauschformat. Eine große Anzahl von Systemen wie E-Commerce, Logistik, Inhaltsaggregation usw. stützt sich auf XML, um Daten in Stapel zu importieren oder zu exportieren. Wenn PHP jedoch große XML -Dateien analysiert, wird die gesamte Datei gleichzeitig in den Speicher gelesen, die Speicherressourcen schnell erschöpfen.
Zum Beispiel:
$xml = file_get_contents('https://m66.net/data/huge.xml');
$parser = xml_parser_create();
xml_parse($parser, $xml, true);
xml_parser_free($parser);
Der obige Code kann bei der Verarbeitung großer Dateien problemlos Speicherüberlauf verursachen, insbesondere in einer Serverumgebung, in der MECIAME_LIMIT in php.ini festgelegt wird.
Im Vergleich zum Lesen der gesamten XML -Datei wird empfohlen, die inkrementelle Parsing -Methode von fopen () und fread () in Kombination mit XML_PARSE () zu verwenden. Dies kann den Speicherverbrauch erheblich verringern:
$parser = xml_parser_create();
xml_set_element_handler($parser, "startElement", "endElement");
$fp = fopen("https://m66.net/data/huge.xml", "r");
while ($data = fread($fp, 4096)) {
if (!xml_parse($parser, $data, feof($fp))) {
die(sprintf("XML error: %s at line %d",
xml_error_string(xml_get_error_code($parser)),
xml_get_current_line_number($parser)));
}
}
fclose($fp);
xml_parser_free($parser);
Die Speicherverwaltung ist auch erforderlich, um den Datenspeicher in Rückruffunktionen zu beheben. Vermeiden Sie es, die gesamte XML -Baumstruktur in den Speicher zu speichern. Stattdessen sollten Sie sich unmittelbar nach dem Extrahieren nützlicher Informationen verarbeiten oder in die Datenbank schreiben.
function startElement($parser, $name, $attrs) {
if ($name === 'ITEM') {
// Extrahieren Sie nur die Schlüsselwortfelder
global $currentItem;
$currentItem = [];
}
}
function endElement($parser, $name) {
global $currentItem;
if ($name === 'ITEM') {
// Sofort nach der Verarbeitung aufräumen
processItem($currentItem);
unset($currentItem);
}
}
function processItem($item) {
// Beispiel：Schreiben Sie sofort in die Datenbank oder in die Ausgabe
file_put_contents('/tmp/items.txt', json_encode($item) . PHP_EOL, FILE_APPEND);
}
Die Skriptspeichergrenze und die Ausführungszeit können durch Code dynamisch erhöht werden, um Unterbrechungen im Prozess zu vermeiden:
ini_set('memory_limit', '512M');
set_time_limit(0);
Bitte beachten Sie jedoch, dass dies nicht die grundlegende Lösung für das Problem ist, sondern nur für Situationen, in denen die Datei etwas größer ist, die Struktur jedoch angemessen ist.
Verwenden von SAX-Parsing-Modus : Der XML-Parser selbst ist ereignisgesteuert. Dadurch kann es vermeiden, einen vollständigen DOM-Baum zu erstellen und Speicher zu sparen.
Sharding Processing + Breakpoint Continuous Lesen : Für bestimmte große XML -Dateien (z. B. jedes Element ist ein unabhängiges Datenelement) können Sie Status in Teilen und Breakpoint -kontinuierlichem Lesen speichern.
In Kombination mit dem Generator zur Verarbeitung von Daten : PHP-Generator ( Ausbeute ) kann mit XML-Rückruffunktionen verwendet werden, um die Verarbeitung von Datenstromdaten mit niedrigem Memory zu implementieren.
Der Kern der Behandlung großer XML -Dateien besteht darin, "die vollständige Datei zu lesen" und "die vollständigen Daten zu speichern". Durch XML_PARSE in Kombination mit Streaming -Lesen, Instant -Datenverarbeitung und Speicherpeakregelung können wir eine effiziente, stabile und kontrollierbare XML -Parsinglösung erreichen.
Dies eignet sich nicht nur für einzelne Parsen, sondern auch für Hintergrundaufgabenszenarien, die regelmäßig importiert werden müssen. Ich hoffe, die Optimierungsideen in diesem Artikel können Ihnen helfen, große XML -Dateien problemlos zu verarbeiten.
