ScraperAPIは、プロキシ、ブラウザ、CAPTCHAの処理を代行してくれるウェブスクレイピングツールです。操作は簡単で、ユーザーは任意のウェブサイトからHTMLコンテンツを簡単にスクレイピングできます。 ScraperAPIは有料サービスですが、ユーザーは無料で試用して、気に入るかどうかを確認することができます。
ScraperAPIは自動化ツールであるため、ウェブスクレイパーの使用が検出されると、ウェブサイト側はアカウントを凍結し、ユーザーのIPアドレスをブラックリストに登録してしまいます。 このような事態を避けるため、ScraperAPIはプロキシを使用して、スクレイピング対象のウェブサイトからユーザーのIPアドレスを隠します。
これは、ScraperAPIのプロキシがユーザーのすべてのウェブリクエストを代行処理するため可能です。これにより、アクセスするウェブサイトにはプロキシサーバーのIPアドレスのみが表示され、ユーザーのIPアドレスは表示されません。 プロキシを継続的にローテーションさせることで、ScraperAPIはリクエストを送信するたびに異なるIPアドレスを使用します。これにより、ウェブサイト側には、それらのリクエストが単一の場所からではなく、複数のユーザーから送信されているかのように見せかけることができます。
他のオプションと比較する場合：GeonodeのScraper APIも同様の機能（JSレンダリング、プロキシローテーション、1回の呼び出しでの再試行）を提供しており、月額1,500回の無料リクエストに加え、クレジット制ではなく定額制の無制限プランも用意されています。以下の設定手順は、プロキシ文字列を受け付けるあらゆるスクレイピングAPIに適用されます。
それでは、ScrapingDogのプロキシサーバーを設定してみましょう。
ScraperAPI でプロキシを使用する方法
プロキシのユーザー名は「scraperapi」、パスワードはご自身の API キーです。
別のプライベートプロキシを使用したい場合は、次のようにしてください：
Windowsの場合：
Windowsでプロキシを設定するには、Windowsの検索バーで「プロキシ設定」と検索し、検索結果を開くだけです。
すると、プロキシ設定の自動検出 または [プロキシ設定の手動設定] の 2 つの選択肢が表示されます。Windows にプロキシ設定を自動的に検出させたい場合は、最初のオプションを選択してください。特定の IP アドレスとポート番号を使用したい場合は、2 番目のオプションを選択してください。
最初のオプションを選択した場合は、次の手順に従ってください：
- **「設定を自動的に検出する」**をオンにします
- **「セットアップスクリプトを使用する」**をオンにします
- スクリプトのアドレスを入力します
- **「保存」**をクリックします
2番目のオプションを選択した場合は、次の手順に従ってください：
- プロキシサーバーを使用する をオンにします
- サーバーアドレスとポート番号の両方を入力します
- プロキシを経由せずにアクセスしたいアドレスがある場合は、ここにそのアドレスを入力します
- プロキシを使用せずにローカルサーバーにアクセスしたい場合は、「ローカルアドレスにはプロキシサーバーを使用しない」チェックボックスをオンにします
- **「保存」**をクリックします
画像の代替テキスト: Windows の自動プロキシ設定
Macの場合：
macOSでプロキシ設定を行うには、以下の手順に従ってください：
手順 1. Appleアイコンをクリックします。
手順 2. ドロップダウンメニューから、**「システム環境設定」**をクリックします。
手順 3. **「ネットワーク」**をクリックします。
手順 4. **「詳細」**をクリックします。
注：まずWi-Fiに接続していることを確認してください。
手順 5. **「プロキシ」**をクリックします
これにより、macOSのプロキシ設定画面に遷移します。macOSはWindowsに比べて設定がシンプルです。プロキシサーバーを手動で設定するという、1つのオプションのみが用意されています。
手順は以下の通りです：
- 設定したいプロキシのIPプロトコルを選択します。これは、プロキシサービスプロバイダが提供しているプロトコルによって異なります。
- セキュアWebプロキシを有効にします
- プロキシサーバーのアドレスとポート番号を入力します
- OKをクリックして設定を保存します
注：設定を保存する際に、Macのユーザーパスワードの入力を求められる場合があります。
画像の代替テキスト：MacOSのプロキシ設定
おめでとうございます！これでScraperAPIプロキシサーバーの設定が完了しました。
