Indeedは、数多くの求人情報が掲載されている求人サイトです。雇用主は求人情報を掲載でき、求職者はそれらの求人情報を見つけて応募することができます。また、元従業員は以前勤めていた会社について匿名のレビューを投稿することができ、これにより、求職希望者はその会社で働くことがどのようなものかを知る手がかりを得ることができます。
世界で最も人気のある求人サイトの一つであるIndeedには、様々な目的に活用できる貴重な求人データが数多くあります。しかし、そのデータをすべて手作業で抽出しようとすると、多大な時間と労力がかかってしまいます。迅速かつ効率的にデータをスクレイピングするには、スクレイパーボットを使用して、その作業を代行させる必要があります。 スクレイパーボットなら、人間が単独で行うよりもはるかに速く作業を完了させることができます。
ただし、スクレイパーボットを使用する際の問題点は、ほとんどのウェブサイトがサイト内でのボット使用に対して厳しい制限を設けており、ボットの使用が検出されたアカウントは即座に利用停止処分となることです。 アカウントやIPアドレスが利用停止処分にならないようにするには、スクレイパーボットとIndeedプロキシを組み合わせて使用する必要があります。
Indeedプロキシは、すべてのウェブリクエストを代行して処理するため、ウェブサイトにアクセスする際は、プロキシサーバーのIPアドレスのみが表示され、自身のIPアドレスは表示されません。 レジデンシャルプロキシ を使用し、IPアドレスを継続的にローテーションさせることで、ボットがWebサーバーにリクエストを送信するたびに異なるIPアドレスが割り当てられ、それらのリクエストが本物のユーザーからのものだとサーバーに完全に錯覚させることができます。
それでは、Indeed用のプロキシサーバーを設定しましょう。
注：Indeedにアクセスする際に使用するウェブブラウザが、お使いのコンピューターのプロキシ設定を自動的に反映するように設定されていることを確認してください。Google Chromeはこれを自動的に行うため、Google Chromeの使用をお勧めします。
Windowsの場合：
Windowsでプロキシを設定するには、Windowsの検索バーで「プロキシ設定」と検索し、検索結果を開くだけです。
すると、プロキシ設定の自動検出 または [プロキシ設定の手動設定] の 2 つの選択肢が表示されます。Windows にプロキシ設定を自動的に検出させたい場合は、最初のオプションを選択してください。特定の IP アドレスとポート番号を使用したい場合は、2 番目のオプションを選択してください。
最初のオプションを選択した場合は、次の手順に従ってください：
- **「設定を自動的に検出する」**をオンにします
- **「セットアップスクリプトを使用する」**をオンにします
- スクリプトのアドレスを入力します
- **「保存」**をクリックします
2番目のオプションを選択した場合は、次の手順に従ってください：
- プロキシサーバーを使用するをオンにします
- サーバーアドレスとポート番号の両方を入力します
- プロキシを経由せずにアクセスしたいアドレスがある場合は、ここにそのアドレスを入力します
- プロキシを使用せずにローカルサーバーにアクセスしたい場合は、「ローカルアドレスにはプロキシサーバーを使用しない」チェックボックスをオンにします
- **「保存」**をクリックします
Macの場合。
macOSでプロキシ設定を行うには、以下の手順に従ってください：
手順 1. Appleアイコンをクリックします。
手順 2. ドロップダウンメニューから、**「システム環境設定」**をクリックします。
手順 3. **「ネットワーク」**をクリックします。
手順 4. **「詳細」**をクリックします。
注：まず Wi-Fi に接続していることを確認してください。
手順 5. **「プロキシ」**をクリックします
これにより、macOSのプロキシ設定画面に遷移します。macOSはWindowsに比べて設定が簡単です。プロキシサーバーを手動で設定するという、1つのオプションのみが用意されています。
手順は以下の通りです：
- 設定したいプロキシのIPプロトコルを選択します。これは、プロキシサービスプロバイダが提供しているプロトコルによって異なります。
- セキュアWebプロキシを有効にします
- プロキシサーバーのアドレスとポート番号を入力します
- OKをクリックして設定を保存します
注：設定を保存する際に、Macのユーザーパスワードの入力を求められる場合があります。
画像の代替テキスト：MacOSのプロキシ設定の構成
モバイルの場合：
モバイル端末でIndeedのプロキシサーバーを設定するには、端末のプロキシ設定を変更するだけです。Indeedを利用する際、使用しているモバイルウェブブラウザは、自動的に端末のプロキシ設定を反映します。これはAndroidとiOSの両方に適用されます。
Android 用の詳細なガイドと、iPhone 用のガイドはこちらをご覧ください。
おめでとうございます！これで Indeed プロキシサーバーの設定が完了しました。なお、初めてアクセスする際には、ログイン情報の入力を求めるポップアップが表示されますのでご注意ください。
