Deutsch
Deutsch
Mit der raschen Entwicklung des Internets ist es zu einem wichtigen Bedarf an Unternehmen und Entwicklern geworden, massive Daten zu erhalten und zu verarbeiten. Als leistungsstarkes PHP -Web -Crawler -Framework ist PhpSPider für die Benutzerfreundlichkeit und die hohe Skalierbarkeit beliebt. In diesem Artikel werden Sie in das tiefe Verständnis der Installations-, Konfigurations- und Kernfunktionen von PHPSPider aufgenommen und Ihnen beibringen, wie Sie Datenkriechen durch tatsächliche Beispiele effizient implementieren können.
Die Installation von PHPSPider ist sehr einfach und kann schnell über das Komponisten -Tool abgeschlossen werden. Geben Sie das Stammverzeichnis des Projekts in die Befehlszeile ein und führen Sie den folgenden Befehl aus:
Der Komponist benötigt PHPSPIDER/PHPSPIDER
Erstellen Sie nach Abschluss der Installation eine spider.php -Datei im Projektroot -Verzeichnis, um den Crawler -Code zu schreiben.
Bevor Sie den Code schreiben, müssen Sie einige grundlegende Informationen konfigurieren und Crawler -Parameter festlegen. Hier ist ein einfaches Konfigurationsbeispiel:
<?php
require './vendor/autoload.php';
use phpspider\core\phpspider;
$configs = array(
'name' => 'Phpspider Demo',
'Domains' => Array ('example.com'),
'scan_urls' => array ('https://www.example.com/'),
'content_url_regexes' => array ('https://www.example.com/article/w+'),
'list_url_regexes' => array ('https://www.example.com/article/w+'),
'Fields' => Array (
Array (
'name' => "title",
'Selector' => "// H1",
'Erforderlich' => true
),
Array (
'name' => "Inhalt",
'selector' => "// div [@id = 'content']",
'Erforderlich' => true
),
),
);
$ spider = neuer phpSpider ($ configs);
$ spider-> on_extract_field = function ($ fieldname, $ data, $ page) {
if ($ fieldname == 'content') {
$ data = strip_tags ($ data); // HTML -Tag} entfernen}
$ Data zurückgeben;
};
$ spider-> start ();
?>
Dieser Beispiel -Crawler kriecht den Titel und den Inhalt des Artikels unter https://www.example.com/.
Durch Einstellen der Parameter scan_urls und list_url_regexes können wir die URL der krabblen Listenseite angeben, und der Parameter content_url_regexes wird verwendet, um die URL der Inhaltsseite anzugeben.
Die zu extrahierenden Feldnamen und Extraktionsregeln sind im Parameter Felder definiert (unter Verwendung der XPath -Syntax). PHPSPIDER wird nach diesen Regeln automatisch Daten aus der Seite extrahiert.
Wir können die extrahierten Daten über die Callback -Funktion auf_extract_field vorbereiten, z. B. das Entfernen von HTML -Tags.
PHPSPIDER unterstützt das Herunterladen von Seiteninhalten lokal oder speichert es auf andere Weise.
$ spider-> on_download_page = function ($ page, $ phpspider) {
Datei_put_Contents ('/path/to/save', $ page ['body']); // Speichern Sie den Seiteninhalt in der lokalen Rückgabe true;
};
Um die Krabbeleffizienz zu verbessern, unterstützt PhpSpider das Krabbeln mit mehreren Threads. Sie können die Anzahl der Crawl -Threads festlegen, indem Sie den Parameter von Worker_num konfigurieren. Gemäß der Serverleistung ist die Anzahl der Threads vernünftigerweise ausgewählt, um Geschwindigkeit und Ressourcenverbrauch auszugleichen.
$ configs ['Worker_num'] = 10;
Wenn Sie einen Proxy -Server zum Crawling verwenden müssen, bietet PhpSpider Proxy -Parameter, um die Konfiguration des Proxy zu erleichtern.
$ configs ['Proxy'] = Array (Array (
'Host' => '127.0.0.1',
'Port' => 8888,
);
Als leistungsstarkes Crawler -Framework kann PhpSpider verschiedene komplexe Crawler -Aufgaben erledigen. Hier sind einige Strategien zur Verbesserung der PHPSPIDER -Leistung:
Mit Hilfe von Multi-Thread-Krabbeln und verteiltem Kriechen kann PhpSpider leicht mit Daten zu großen Daten zu erledigen.
Mit den leistungsstarken Datenverarbeitungsfunktionen von PHPSPIDER können Sie die erfassten Daten reinigen und vorproben, indem Sie Extraktionsfelder konfigurieren, Extraktionsregeln anpassen, Callback -Funktionen usw. anpassen.
PHPSPIDER unterstützt flexible Konfigurationsdateien und Codeanpassungen und Sie können die Krabbelregeln schnell entsprechend der Struktur und den Anforderungen verschiedener Websites anpassen.
PHPSPIDER unterstützt eine Vielzahl von Speichermethoden, einschließlich CSV, Excel, Datenbank usw., was es Ihnen erleichtert, Crawl -Ergebnisse entsprechend Ihren Anforderungen zu exportieren.
Mit Hilfe des Plug-Ins und des Erweiterungsmechanismus von PhpSpider können Sie seine Funktionen entsprechend den Projektanforderungen erweitern und angepasste Crawler-Tools erstellen.
Als leistungsstarkes Web -Crawler -Framework ist PhpSpider das erste Tool für Entwickler, das Daten mit hoher Skalierbarkeit und Flexibilität kriecht. Durch die ordnungsgemäße Konfiguration und Verwendung ordnungsgemäß können Sie groß angelegte Daten effizient kriechen, reinigen und verarbeiten, wodurch die Produktivität erhöht und die von Ihnen benötigten Informationen erhalten werden.
