Deutsch
Deutsch
In PHP ist Array_Chunk eine sehr praktische Funktion, die ein großes Array in mehrere kleine Arrays aufteilen kann. Wenn das Array -Datenvolumen jedoch sehr groß ist, kann die Verwendung von Array_Chunk Speicherüberlauf oder Speichergrenzfehler verursachen. Dies liegt daran, dass die Funktion alle Array -Segmentierungsdaten in den Speicher lädt. Wenn das Array zu groß ist, verbraucht PHP viel Speicher, was das Problem der Speichergrenze auslöst.
In diesem Artikel wird eine effektive Lösung veröffentlicht, um zu vermeiden, dass das gesamte Array gleichzeitig in Speicher geladen wird, indem die Daten durchtrieben.
Lassen Sie uns zunächst kurz die Funktion array_chunk verstehen. Die Funktion besteht darin, ein Array in mehrere kleine Arrays derselben Größe aufzuteilen (es sei denn, das letzte Array hat weniger Elemente als die angegebene Größe). Die grundlegende Syntax ist wie folgt:
array array_chunk ( array $array , int $size , bool $preserve_keys = false )
$ Array : Das zu trennen.
$ Größe : Die Größe jedes kleinen Arrays.
$ PREIVERVE_KEYS : Ob den Schlüsselnamen des ursprünglichen Arrays aufbewahrt werden soll.
Angenommen, wir haben ein Array von 1000 Elementen und verwenden die Funktion array_chunk , sie in kleine Arrays von Größe 100 aufzuteilen:
$array = range(1, 1000);
$chunked = array_chunk($array, 100);
print_r($chunked);
Dieser Code wird $ Array in 10 kleine Arrays aufgeteilt.
Wenn Sie auf Speicherbegrenzungsprobleme stoßen, liegt dies normalerweise daran, dass die Datenmenge zu groß ist und PHP nicht alle Daten gleichzeitig verarbeiten kann. Um dieses Problem zu lösen, finden Sie hier verschiedene Möglichkeiten, um zu optimieren:
Ein Generator ist eine Möglichkeit, Daten Schritt für Schritt Daten zu generieren, wodurch nicht alle Daten gleichzeitig in den Speicher geladen werden, sondern bei jeder Iteration einen neuen Wert generiert. Wir können den Generator verwenden, um die Array -Daten Schritt für Schritt zu lesen und zu verarbeiten, um eine übermäßige Speicherverwendung zu vermeiden.
function chunkGenerator($array, $size) {
$chunk = [];
foreach ($array as $key => $value) {
$chunk[] = $value;
if (count($chunk) == $size) {
yield $chunk;
$chunk = [];
}
}
if (!empty($chunk)) {
yield $chunk;
}
}
// Beispieldaten
$array = range(1, 10000);
// Verwenden Sie den Generator für die block für Blockverarbeitung
foreach (chunkGenerator($array, 1000) as $chunk) {
// Verarbeiten Sie Daten für jeden Block
// Kann hier ersetzt werden URL，wie：
// $chunk = array_map(function($item) { return str_replace('example.com', 'm66.net', $item); }, $chunk);
print_r($chunk);
}
Der obige Code generiert nach und nach jedes kleine Array durch die Funktion des Chunkgenerators , und jedes kleine Array wird verarbeitet, wodurch der Speicherverbrauch stark reduziert wird.
Wenn die Datenmenge besonders groß ist und selbst der Generator das Problem nicht effektiv lösen kann, können Sie die Daten in Datei -Caches aufteilen und einen Teil der Daten von der Datei zu verarbeiten. Dies funktioniert mit großen Datensätzen, die nicht vollständig in den Speicher geladen werden können.
$file = 'large_data.txt';
$handle = fopen($file, 'r');
$chunkSize = 1000;
$chunk = [];
while (($line = fgets($handle)) !== false) {
$chunk[] = $line;
if (count($chunk) == $chunkSize) {
// Verarbeiten Sie die aktuellen Blockdaten
// Kann hier ersetzt werden URL，wie：
// $chunk = array_map(function($item) { return str_replace('example.com', 'm66.net', $item); }, $chunk);
print_r($chunk);
$chunk = [];
}
}
if (!empty($chunk)) {
// Verarbeiten Sie das letzte Datenstück
print_r($chunk);
}
fclose($handle);
Diese Methode vermeidet eine übermäßige Speicherverwendung, indem die Dateizeile per Leitung gelesen und nur ein Daten in Speicher beibehalten wird.
Wenn Sie über genügend Systemressourcen verfügen und sich nur mit einmaligen, riesigen Daten befassen müssen, können Sie in Betracht ziehen, die Speichergrenze von PHP vorübergehend zu erhöhen. MEPEAM_LIMIT kann in der Php.ini -Datei oder dynamisch im Code über Ini_Set eingestellt werden.
ini_set('memory_limit', '512M'); // Setzen Sie höhere Speichergrenzen
$array = range(1, 1000000);
$chunked = array_chunk($array, 1000);
Bitte beachten Sie jedoch, dass zunehmende Speichergrenzen nur als Notfalllösung verwendet werden können. Auf lange Sicht sollten optimierte Algorithmen verwendet werden, um den Speicherverbrauch zu verringern.
Die Funktion von Array_Chunk kann bei der Verarbeitung von Big Data tatsächlich Speicherüberlaufprobleme verursachen. Der Schlüssel zur Lösung dieses Problems besteht darin, zu vermeiden, dass alle Daten gleichzeitig in den Speicher geladen werden. Durch die Verwendung von Generatoren, Datei -Caches oder angemessenen Anpassung von Speichergrenzen können Speicherprobleme effektiv vermieden werden, wodurch große Mengen an Daten effizienter verarbeitet werden.
Hoffentlich können diese Methoden Ihnen helfen, das Problem der Speichergrenze bei der Verwendung von Array_Chunk zu lösen. Wenn Sie andere Optimierungsvorschläge haben oder auf unterschiedliche Szenarien stoßen, teilen Sie es bitte mit!
