導入
インターネットの急速な発展に伴い、ビッグデータの需要が高まっています。 Webページ情報を自動的にクロールするための重要なツールとして、Webクローラーはデータ収集で広く使用されています。ただし、クローラーによってもたらされた交通圧力とデータセキュリティリスクに直面して、多くのWebサイトが、検証コード、IP制限、アカウントログイン検証など、さまざまなクローラーメカニズムを展開しており、クローラー開発の難しさを大幅に高めています。この記事では、PHP言語とオープンソースフレームワークPHPSPiderを組み合わせて、これらの反クローラーブロックデスに対処するための効果的な方法を導入します。
1。一般的な抗クローラーメカニズムの分析
1。検証コード
検証コードでは、歪んだ文字または画像を表示することにより、ユーザーが正しいコンテンツを入力してIDを確認する必要があります。それは、クローラーの自動識別に大きな挑戦を提示します。クラッキング検証コードは、オープンソースのTesseract OCRなどのOCRテクノロジーを使用して、写真をテキストに変換し、自動的に識別して記入することで実現できます。
2。IP制限
単一のIPの頻繁なアクセスがクローラーとして識別されるのを防ぐために、WebサイトはIP要求の頻度を制限します。プロキシサーバーを使用してIPアドレスを回転させることにより、複数のアクセスソースをシミュレートでき、IP遮断を効果的にバイパスできます。
3。アカウントログイン
一部のWebサイトは、ログインしたユーザーを制限して特定のデータにアクセスします。 Crawlerはログインプロセスをシミュレートし、ユーザー名とパスワードを自動的に埋めて、ログイン後にrawうデータを実現し、アクセス制限を回避します。
2。phpspiderを使用して、ブロッキングメカニズムをクラックします
PHPSPiderは、PHPに基づくオープンソースクローラーフレームワークです。豊富な機能を備えており、検証コード認識、シミュレートされたログイン、プロキシスイッチングをサポートし、クロール効率と成功率を大幅に改善します。
1。検証コード処理の例
PhantomjsとPhpspiderを統合することにより、Webページのスクリーンショットを撮影して確認コード写真を保存し、OCRツールを使用して、画像の検証コードテキストを識別し、自動充填を完了できます。サンプルコードは次のとおりです。
require 'vendor/autoload.php';
<p>use JonnyWPhantomJs\Client;</p>
<p>$client = Client::getInstance();<br>
$client->getEngine()->setPath('/usr/local/bin/phantomjs');</p>
<p>$request = $client->getMessageFactory()->createCaptureRequest('<a rel="noopener" target="_new" class="" href="http://www.example.com">http://www.example.com</a>');<br>
$request->setViewportSize(1024, 768)->setCaptureFormat('png');</p>
<p>$response = $client->getMessageFactory()->createResponse();<br>
$client->send($request, $response);</p>
<p>if ($response->getStatus() === 200) {<br>
$response->save('example.png');<br>
}
上記のコードはWebページのスクリーンショットを保存し、OCRを使用して画像を解析して検証コードの自動識別を実現します。
2。ログイン実装をシミュレートします
GuzzleHTTPライブラリを使用して、投稿リクエストを送信し、ログインフォームの送信をシミュレートし、自動ログインを実現し、ログインが成功した後に制限されたデータにアクセスします。サンプルコードは次のとおりです。
require 'vendor/autoload.php';
<p>use GuzzleHttp\Client;</p>
<p>$username = 'your_username';<br>
$password = 'your_password';</p>
<p>$client = new Client();</p>
<p>$response = $client->post('<a rel="noopener" target="_new" class="" href="http://www.example.com/login">http://www.example.com/login</a>', [<br>
'form_params' => [<br>
'username' => $username,<br>
'password' => $password,<br>
]<br>
]);</p>
<p>if ($response->getStatusCode() === 200) {<br>
$response = $client->get('<a rel="noopener" target="_new" class="" href="http://www.example.com/data">http://www.example.com/data</a>');<br>
$data = $response->getBody();<br>
echo $data;<br>
}
ログインした後、クローラーは通常のユーザーのようなログイン制限付きコンテンツにアクセスして、データクローリングを実現できます。
要約します
反クローラーメカニズムの深い理解とPHPSPiderの機能を組み合わせることで、検証コード、IP制限、ログイン認証を効果的に回避し、クローラーの安定性と効率を改善できます。開発プロセス中に、ターゲットWebサイトの使用仕様を常に順守し、データを合理的かつ合法的に収集し、他者の権利と利益を侵害することを避ける必要があります。クローラーツールを正しく使用すると、データ収集を強力に後押しします。
