Français
Français
Avec le développement rapide d'Internet, l'obtention et le traitement des données massives sont devenues un besoin important pour les entreprises et les développeurs. En tant que puissant framework PHP Web Crawler, PHPSPider est populaire pour sa facilité d'utilisation et sa grande évolutivité. Cet article vous emmènera dans la compréhension approfondie des fonctions d'installation, de configuration et de base de PHPSPider et vous apprend comment implémenter efficacement les données rampant à travers des exemples réels.
L'installation de PHPSPider est très simple et peut être rapidement terminée via l'outil de compositeur. Entrez le répertoire racine du projet dans la ligne de commande et exécutez la commande suivante:
Le compositeur nécessite PhpSpider / PhPSPider
Une fois l'installation terminée, créez un fichier spider.php dans le répertoire racine du projet pour écrire le code de robot.
Avant d'écrire le code, vous devez configurer certaines informations de base et définir les paramètres de robot. Voici un exemple de configuration simple:
<?php
require './vendor/autoload.php';
use phpspider\core\phpspider;
$configs = array(
'name' => «démo phpspider»,
'domaines' => array ('example.com'),
'scan_urls' => array ('https://www.example.com/'),
'content_url_regexes' => array ('https://www.example.com/article/w+'),
'list_url_regexes' => array ('https://www.example.com/article/w+'),
'Fields' => Array (
tableau(
'name' => "title",
'sélecteur' => "// h1",
'requis' => true
),
tableau(
'name' => "contenu",
'sélecteur' => "// div [@ id = 'contenu']",
'requis' => true
),
),
));
$ spider = new PhpSpider ($ configs);
$ spider-> on_extract_field = fonction ($ fieldname, $ data, $ page) {
if ($ fieldname == 'contenu') {
$ data = strip_tags ($ data); // supprimer la balise HTML}
retourner $ data;
};
$ spider-> start ();
?>
Cet exemple de chenille d'exemplerara le titre et le contenu de l'article sous https://www.example.com/.
En définissant les paramètres scan_urls et list_url_regexes, nous pouvons spécifier l'URL de la page de liste rampante et le paramètre contenu_url_regexes est utilisé pour spécifier l'URL de la page de contenu.
Les noms de champ et les règles d'extraction à extraire sont définis dans le paramètre des champs (en utilisant la syntaxe XPATH). PHPSPider extrait automatiquement les données de la page en fonction de ces règles.
Nous pouvons prétraiter les données extraites via la fonction de rappel sur_extract_field, telles que la suppression des balises HTML.
PHPSPider prend en charge le contenu de la page de téléchargement localement ou l'enregistrer d'une autre manière.
$ spider-> on_download_page = fonction ($ page, $ phpspider) {
file_put_contents ('/ path / to / enregistrer', $ page ['body']); // Enregistrez le contenu de la page sur le retour local Return True;
};
Afin d'améliorer l'efficacité de la rampe, PHPSPider prend en charge la rampe multithread. Vous pouvez définir le nombre de threads d'exploration en configurant le paramètre worker_num. Selon les performances du serveur, le nombre de threads est raisonnablement sélectionné pour équilibrer la vitesse et la consommation de ressources.
$ configs ['worker_num'] = 10;
Si vous avez besoin d'utiliser un serveur proxy pour ramper, PHPSPider fournit des paramètres proxy pour faciliter la configuration du proxy.
$ configs ['proxy'] = array (
'host' => '127.0.0.1',
'port' => 8888,
));
En tant que puissant framework de chenilles, PHPSPider peut gérer diverses tâches complexes de robottes. Voici quelques stratégies pour améliorer les performances de PHPSPider:
Avec l'aide de rampage multi-thread et de rampe réparti, PHPSPider peut facilement gérer les tâches rampantes de données à grande échelle.
Avec les puissantes capacités de traitement des données de PHPSPider, vous pouvez nettoyer et prétraiter les données capturées en configurant des champs d'extraction, en ajustant les règles d'extraction, en utilisant des fonctions de rappel, etc.
PHPSPider prend en charge les fichiers de configuration flexibles et les ajustements de code, et vous pouvez rapidement personnaliser les règles de rampe en fonction de la structure et des besoins de différents sites Web.
PHPSPider prend en charge une variété de méthodes de stockage, y compris le CSV, l'Excel, la base de données, etc., ce qui vous permet d'exporter plus facilement les résultats de la campagne en fonction de vos besoins.
Avec l'aide des plug-ins et du mécanisme d'extension de PhPSPider, vous pouvez étendre ses fonctions en fonction des besoins du projet et créer des outils de robot personnalisés.
En tant que puissant cadre de robotage Web, PHPSPider est devenu le premier outil pour les développeurs à faire des données avec sa forte évolutivité et sa flexibilité. En configurant et en utilisant GPSPider correctement, vous pouvez ramper, nettoyer et traiter efficacement les données à grande échelle, augmentant ainsi la productivité et obtenant les informations dont vous avez besoin.
