Zillowは、不動産の販売に特化したオンラインマーケットプレイスであり、ユーザーはさまざまな販売物件や賃貸物件の情報を比較することができます。 Zillowは、ユーザー向けに住宅ローンなどのアフィリエイトサービスも提供しており、「Flex」と呼ばれる独自の仲介プログラムも運営しています。2006年にマイクロソフトの元幹部たちによって設立されて以来、Zillowは米国で最も人気のある不動産マーケットプレイスの一つへと成長しました。
不動産業界におけるZillowの人気の高まりに伴い、不動産仲介業者はボットを使用してZillowからデータをスクレイピングし、物件価格、物件の種類、所在地、広さ、犯罪率や安全性など、さまざまなデータポイントを収集しています。 これらのデータは、JSON、Excel、CSV、XML、HTMLテーブル、またはRSSフィードの形式で取得可能です。問題は、Zillowがスクレイパーの使用を制限しており、ウェブスクレイピングボットの使用を検知するとアカウントを凍結してしまう点です。
この問題を回避するには、スクレイパーとZillow用プロキシを併用し、ブロックされることなく効果的にデータを抽出する必要があります。Zillow用プロキシは、お使いのデバイスとインターネット間のゲートウェイとして機能します。これにより、プロキシサーバーのIPアドレスが表示され、Zillowを含むアクセスするすべてのウェブサイトから自身のIPアドレスが隠されます。 ローテーションプロキシを使用すれば、設定した時間ごとにボットのIPアドレスを変更できるため、Zillowがボットの使用を検知しにくくなります。
Zillowに最適なプロキシは、レジデンシャルプロキシです。レジデンシャルプロキシは、実際のデバイスから取得した住宅用IPアドレスを使用するため、ボットが「本物の」ユーザーであるかのように見せることができます。これにより、ウェブスクレイパーを偽装し、Zillowに実際のユーザーであると誤認させることができます。 これで、安全かつ匿名でZillowから膨大な量のデータをスクレイピングできるようになります。
それでは、Zillow用のプロキシサーバーを設定してみましょう。
Windowsの場合：
Windowsでプロキシを設定するには、Windowsの検索バーで「プロキシ設定」と検索し、検索結果を開くだけです。
すると、プロキシ設定の自動検出 または [プロキシ設定の手動設定] の 2 つのオプションが表示されます。Windows にプロキシ設定を自動的に検出させたい場合は、最初のオプションを選択してください。特定の IP アドレスとポート番号を使用したい場合は、2 番目のオプションを選択してください。
最初のオプションを選択した場合は、次の手順に従ってください：
- **「設定を自動的に検出する」**をオンにします
- **「セットアップスクリプトを使用する」**をオンにします
- スクリプトのアドレスを入力します
- **「保存」**をクリックします
2番目のオプションを選択した場合は、次の手順に従ってください：
- プロキシサーバーを使用するをオンにします
- サーバーアドレスとポート番号の両方を入力します
- プロキシを経由せずにアクセスしたいアドレスがある場合は、ここにそのアドレスを入力します
- プロキシを使用せずにローカルサーバーにアクセスしたい場合は、「ローカルアドレスにはプロキシサーバーを使用しない」チェックボックスをオンにします
- **「保存」**をクリックします
Macの場合。
macOSでプロキシ設定を行うには、以下の手順に従ってください：
手順 1. Appleアイコンをクリックします。
手順 2. ドロップダウンメニューから、**「システム環境設定」**をクリックします。
手順 3. **「ネットワーク」**をクリックします。
手順 4. **「詳細」**をクリックします。
注：まずWi-Fiに接続していることを確認してください。
手順 5. **「プロキシ」**をクリックします
これにより、macOSのプロキシ設定画面に遷移します。macOSはWindowsに比べて設定が簡単です。 選択肢は1つだけで、プロキシサーバーを手動で設定する方法のみです。
手順は以下の通りです：
- 設定したいプロキシのIPプロトコルを選択します。これは、プロキシサービスプロバイダが提供しているプロトコルによって異なります。
- セキュアWebプロキシを有効にします
- プロキシサーバーのアドレスとポート番号を入力します
- OKをクリックして設定を保存します
注：設定を保存する際に、Macのユーザーパスワードの入力を求められる場合があります。
モバイルの場合：
Zillowでモバイルプロキシを設定するには、お使いのスマートフォンのプロキシ設定を変更するだけです。Zillowを利用する際、お使いのモバイルウェブブラウザは、スマートフォンのプロキシ設定を自動的に反映します。 Android 向けの詳しいガイドと、iPhone 向けのガイドはこちらです。
おめでとうございます！これで Zillow のプロキシサーバーの設定が完了しました。初めてアクセスする際には、ログイン情報の入力を求めるポップアップが表示される点にご注意ください。
注：Zillowの利用に使用するウェブブラウザが、システムのプロキシ設定を自動的に反映していることを確認してください。Google Chromeは自動的にこの設定を行うため、その使用をお勧めします。
