Deutsch
Deutsch
Die Verarbeitung von XML -Dateien in PHP ist eine gemeinsame Aufgabe, und XML_PARSE () ist eine gemeinsame Funktion für die Verarbeitung solcher Daten. Aber wenn sie mit super großen XML -Dateien (wie Dutzenden von Megabyte oder sogar Hunderten von Megabyte) konfrontiert sind, wird der Performance -Engpass entlarvt. In diesem Artikel wird das Prinzip von XML_PARSE () und mehreren Strategien zur Optimierung bei super großen XML-Dateien eingehend untersucht.
Die Funktion xml_parse () basiert auf einem ereignisbasierten XML-Parser (d. H. Expat). Obwohl es in kleinen oder mittelgroßen XML-Dateien gut abschneidet, können die folgenden Probleme bei der Arbeit mit großen XML-Dateien auftreten:
Riesiger Gedächtnisverbrauch
Langsame Parsengeschwindigkeit
Hohe CPU -Verwendung
Das Blockieren von I/A verursacht die Systemreaktion auf langsame
Die meisten Probleme können auf die folgenden Punkte zurückgeführt werden:
Durch das Lesen der gesamten XML -Datei gleichzeitig wird Speicherdruck erstellt.
Die Verarbeitungslogik ist zu zentralisiert oder synchronisiert, um das Streaming vollständig zu nutzen.
Die Rückruffunktion wird nicht ordnungsgemäß behandelt, was zu Leistungsverschwendung führt.
Es wurden keine Parser -Ressourcen gereinigt oder wiederverwendet.
Anstatt die gesamte XML -Datei gleichzeitig zu laden, ist es besser, Fopen und Fread zu verwenden, um den XML -Inhalt in Stücken zu lesen und nur einen kleinen Teil des Inhalts dem Parser gleichzeitig zu füttern.
$parser = xml_parser_create();
xml_set_element_handler($parser, "startElement", "endElement");
xml_set_character_data_handler($parser, "characterData");
$fp = fopen("https://m66.net/files/large-xml-file.xml", "r");
if (!$fp) {
die("Nicht öffnen können XML dokumentieren");
}
while ($data = fread($fp, 4096)) {
if (!xml_parse($parser, $data, feof($fp))) {
die(sprintf("XML Fehler: %s Dabei %d",
xml_error_string(xml_get_error_code($parser)),
xml_get_current_line_number($parser)));
}
}
xml_parser_free($parser);
fclose($fp);
Der Vorteil davon ist, dass der Speicher Fußabdruck immer steuerbar ist und selbst wenn die Datei groß ist, lädt sie nicht den gesamten Inhalt auf einmal.
Die Ausführungseffizienz der registrierten Rückruffunktion wirkt sich direkt auf die Gesamt -Parsing -Geschwindigkeit aus. Versuchen Sie, eine komplexe logische oder häufige langsame E/A -Operationen wie Datenbanken und Festplatten in Rückrufe auszuführen.
function startElement($parser, $name, $attrs) {
// Vereinfachte Logik，Vermeiden Sie zusätzliches Urteilsvermögen oder Verhinderung
if ($name === "ITEM") {
// Notieren Sie nur die erforderlichen Datenfelder
global $currentItem;
$currentItem = [];
}
}
function characterData($parser, $data) {
global $currentItem;
$data = trim($data);
if (!empty($data)) {
$currentItem[] = $data;
}
}
function endElement($parser, $name) {
global $currentItem;
if ($name === "ITEM") {
// Verzögerungsverarbeitung oder Cache -Speichernergebnisse
// saveToDatabase($currentItem); // Asynchrone oder Stapelverarbeitung ist besser
// Beispielverarbeitungscode：
file_put_contents("/tmp/parsed-items.log", json_encode($currentItem) . "\n", FILE_APPEND);
}
}
Die kontinuierliche Verwendung von XML_PARSE () kann zu unfredischen Speicherproblemen führen. Stellen Sie sicher, dass Sie xml_parser_free () verwenden, um den Parser zu befreien und die globalen Variablen bei Bedarf zu löschen.
Obwohl XML_Parse für die ereignisgesteuerte Parsen geeignet ist, bietet der XMLReader von PHP einen moderneren Weg, unterstützt auch das Lesen von Streaming und ist kontrollierbarer.
$reader = new XMLReader();
$reader->open("https://m66.net/files/large-xml-file.xml");
while ($reader->read()) {
if ($reader->nodeType == XMLReader::ELEMENT && $reader->name == "item") {
$node = $reader->readOuterXML();
// bewältigen item Knoten
}
}
$reader->close();
Um den Optimierungseffekt zu quantifizieren, wird empfohlen, die folgende Methode zum Testen zu verwenden:
Verwenden
Tracking -Systemanrufe und Engpässe mit Strace oder XDebug
Vergleich des Unterschieds in der Ressourcenbelegung zwischen einmaliger Belastung und Chunking-Verarbeitung
Bei der Verarbeitung super großer XML -Dateien lautet der Schlüssel zur Optimierung von XML_PARSE () " Steuerung von Ressourcen + Streamline -Verarbeitungslogik ". Es wird empfohlen, die Verwendung von Chunked Reading und Thin Callbacks zu priorisieren und dann nach Bedarf leistungsstärkere Parsen -Tools wie XMLreader zu verwenden.
Empfohlene Kombination:
Für allgemeine Aufgaben: xml_parse () + fread () + Rückrufvereinbarung
Für große Datenanalyse: XMLReader + Verzögerungsverarbeitung + Stapelsparen
Durch angemessene Optimierung kann ein effizienter und stabiler Analyseprozess auch bei Hunderten von MB XML -Dateien erreicht werden.
