Glassdoorは、求職者が仕事を探したり、元従業員が以前勤めていた会社についてレビューを投稿したりできるウェブサイトです。これらのレビューには、その会社で働いた際の体験談などが含まれており、これから就職する人がキャリアの選択を行う際の参考になります。さらに、元従業員は、在職中に担当していた役職ごとの給与についても記載することができます。
Glassdoorには、さまざまな目的に活用できる、数多くの企業に関する貴重な情報が掲載されています。しかし、それらのウェブページを一つひとつ手作業でスクレイピングするのは、多大な時間と労力を要します。 そのため、これらのレビューデータをすべて迅速かつ効率的に抽出するには、スクレイパーボットが必要です。ただし、ほとんどのウェブサイトではボットの使用に対して厳しい制限が設けられているため、ボットとGlassdoor用プロキシを組み合わせて使用する必要があります。
Glassdoor用プロキシは、すべてのウェブリクエストを代行して処理してくれます。これにより、IPアドレスを隠蔽でき、アクセス先のウェブサイトにはプロキシサーバーのIPアドレスのみが表示されるようになります。数百万ものIPアドレスを継続的にローテーションさせることで、ボットがウェブサーバーにリクエストを送信するたびに、異なるIPアドレスを使用できるようになります。
スクレイパーボットと組み合わせるのに最適なGlassdoorプロキシは、レジデンシャルプロキシです。このプロキシの種類は、実際のデバイスからのレジデンシャルIPを使用しているためです。 これにより、ウェブサイトはボットからのリクエストが単一のIPアドレスからではなく、複数の本物のユーザーから送信されたものと誤認します。これで、ウェブサイトからフラグを立てられたり利用停止処分を受けたりする心配なく、Glassdoorからデータをスクレイピングできるようになります。
それでは、Glassdoor用のプロキシサーバーを設定しましょう。
注：Glassdoorの利用に使用するウェブブラウザが、お使いのコンピューターのプロキシ設定を自動的に反映するように設定されていることを確認してください。Google Chromeは自動的にこれを行うため、その使用をお勧めします。
Windowsの場合：
Windowsでプロキシを設定するには、Windowsの検索バーで「プロキシ設定」と検索し、検索結果を開くだけです。
すると、プロキシ設定の自動検出 または [プロキシ設定の手動設定] の 2 つのオプションが表示されます。Windows にプロキシ設定を自動的に検出させたい場合は、最初のオプションを選択してください。特定の IP アドレスとポート番号を使用したい場合は、2 番目のオプションを選択してください。
最初のオプションを選択した場合は、次の手順に従ってください：
- **「設定を自動的に検出する」**をオンにします
- **「セットアップスクリプトを使用する」**をオンにします
- スクリプトのアドレスを入力します
- **「保存」**をクリックします
2番目のオプションを選択した場合は、次の手順に従ってください：
- プロキシサーバーを使用する をオンにします
- サーバーアドレスとポート番号の両方を入力します
- プロキシを経由せずにアクセスしたいアドレスがある場合は、ここにそのアドレスを入力します
- プロキシを使用せずにローカルサーバーにアクセスしたい場合は、「ローカルアドレスにはプロキシサーバーを使用しない」チェックボックスをオンにします
- **「保存」**をクリックします
Macの場合。
macOSでプロキシ設定を行うには、以下の手順に従ってください：
手順 1. Appleアイコンをクリックします。
手順 2. ドロップダウンメニューから、**「システム環境設定」**をクリックします。
手順 3. **「ネットワーク」**をクリックします。
手順 4. **「詳細」**をクリックします。
注：まず Wi-Fi に接続していることを確認してください。
手順 5. **「プロキシ」**をクリックします
これにより、macOSのプロキシ設定画面に遷移します。macOSはWindowsに比べて設定が簡単です。プロキシサーバーを手動で設定するという、1つのオプションのみが用意されています。
手順は以下の通りです：
- 設定したいプロキシのIPプロトコルを選択します。これは、プロキシサービスプロバイダが提供しているプロトコルによって異なります。
- セキュアWebプロキシを有効にします
- プロキシサーバーのアドレスとポート番号を入力します
- OKをクリックして設定を保存します
注：設定を保存する際に、Macのユーザーパスワードの入力を求められる場合があります。
画像の代替テキスト：MacOSのプロキシ設定の構成
モバイルの場合：
モバイル端末でGlassdoorのプロキシサーバーを設定するには、端末のプロキシ設定を変更するだけです。Glassdoorの利用時に使用しているモバイルウェブブラウザは、利用のたびに端末のプロキシ設定を自動的に反映します。これはAndroidとiOSの両方に適用されます。
Android 用の詳細なガイドと、iPhone 用のガイドはこちらをご覧ください。
おめでとうございます！これで Glassdoor のプロキシサーバーの設定が完了しました。初めてアクセスする際には、ログイン情報の入力を求めるポップアップが表示される点にご注意ください。
