Google検索はGoogleが提供する検索エンジンであり、1日あたり35億件以上の検索が行われる、世界で最も人気のある検索エンジンです。また、世界の検索エンジン市場で92%以上のシェアを占め、世界で最も訪問者数の多いウェブサイトでもあります。 ユーザーが検索クエリを入力した際、Google検索が検索結果を並べ替える仕組みは、ページの関連性と「PageRank」と呼ばれるアルゴリズムに基づいています。
世界で最も人気のある検索エンジンであるため、そこにはSEO担当者やマーケターが必要とする貴重なデータが大量に存在します。 しかし、情報量が膨大であるため、手作業で収集しようとすると多大な時間と労力がかかります。そのすべての情報を迅速かつ効率的に抽出するには、ウェブスクレイパーボットを活用する必要があります。
ウェブスクレイパーボットを使用する際は、優れたGoogle検索用プロキシと組み合わせて使用する必要があります。ほとんどのウェブサイト、特にGoogleでは、ボットに対する制限が非常に厳しいです。Google検索用プロキシを使用せずにスクレイパーボットを使用すると、アカウントやIPアドレスが利用停止処分を受ける可能性があります。これは、プロキシがすべてのウェブリクエストを代行して処理してくれるためです。 つまり、アクセスするどのウェブサイトもプロキシサーバーのIPアドレスのみを認識することになり、IPアドレスを継続的にローテーションさせることで、ボットはリクエストを送信するたびに異なるIPアドレスを使用できるようになります。
最適なGoogle検索用プロキシはレジデンシャルプロキシです。このプロキシの種類は、世界中の実際のデバイスから取得したレジデンシャルIPを使用するため、ボットによるすべてのWebリクエストが、単一のボットからではなく、本物のユーザーから送信されているように見えます。
それでは、Google検索用のプロキシサーバーを設定しましょう。
注:Google検索に使用するウェブブラウザが、お使いのコンピューターのプロキシ設定を自動的に反映するように設定されていることを確認してください。Google Chromeは自動的にこれを行うため、その使用をお勧めします。
Windowsの場合:
Windowsでプロキシを設定するには、Windowsの検索バーで「プロキシ設定」と検索し、検索結果を開くだけです。
画像の代替テキスト:Windowsのプロキシ設定
その後、プロキシ設定の自動検出 または [プロキシ設定の手動設定] の 2 つのオプションが表示されます。Windows にプロキシ設定を自動的に検出させたい場合は、最初のオプションを選択してください。特定の IP アドレスとポート番号を使用したい場合は、2 番目のオプションを選択してください。
最初のオプションを選択した場合は、以下の手順に従ってください:
- 「設定を自動的に検出する」 をオンにする
- 「セットアップ スクリプトを使用する」 をオンにする
- スクリプトのアドレス を入力する
- 「保存」 をクリックする
画像の代替テキスト: Windows の自動プロキシ設定
2番目のオプションを選択した場合は、次の手順に従ってください:
- プロキシサーバーを使用するをオンにします
- サーバーアドレスとポート番号の両方を入力します
- プロキシを経由せずにアクセスしたいアドレスがある場合は、ここにそのアドレスを入力します
- プロキシを使用せずにローカルサーバーにアクセスしたい場合は、「ローカルアドレスにはプロキシサーバーを使用しない」 チェックボックスをオンにします
- **「保存」**をクリックします
画像の代替テキスト: Windows 手動プロキシ設定
Macの場合:
macOSでプロキシ設定を行うには、以下の手順に従ってください:
手順 1. Appleアイコンをクリックします。
画像の代替テキスト:macOSのAppleアイコン
手順 2. ドロップダウンメニューから「システム環境設定」をクリックします。
画像の代替テキスト: macOS システム環境設定
手順 3. 「ネットワーク」をクリックします
画像の代替テキスト:MacOS ネットワーク
ステップ 4. 「詳細」をクリックします。 注:必ず先にWi-Fiに接続してください。
画像の代替テキスト:MacOS ネットワークの詳細設定
ステップ 5. 「プロキシ」をクリックします
画像の代替テキスト: MacOSのプロキシ設定
これにより、MacOSのプロキシ設定画面に遷移します。MacOSはWindowsに比べて設定が簡単です。 選択肢は1つだけで、プロキシサーバーを手動で設定するだけです。
手順は以下の通りです:
設定したいプロキシのIPプロトコルを選択します。これは、プロキシサービスプロバイダーが提供しているプロトコルによって異なります。
セキュアWebプロキシを有効にします
プロキシサーバーのアドレスとポート番号を入力します
OKをクリックして設定を保存します
注:設定を保存する際に、認証を求められる場合があります。
画像の代替テキスト:MacOSのプロキシ設定の構成
モバイルの場合:
モバイル版Google検索のプロキシサーバーを設定するには、スマートフォンのプロキシ設定を変更するだけです。Google検索アプリや、検索に使用するウェブブラウザは、利用時に自動的にスマートフォンのプロキシ設定を反映します。これはAndroidとiOSの両方に適用されます。 Android 向けの詳しいガイドと、iPhone 向けのガイドはこちらです。
おめでとうございます!これで Google 検索のプロキシサーバーの設定が完了しました。初めてアクセスする際には、ログイン情報の入力を求めるポップアップが表示される点にご注意ください。