エクスペディアは、旅行者や休暇の計画を立てたり予約したりするのを支援するオンライン旅行プラットフォームです。航空券からレンタカーまで、あらゆるものを予約できるツールを提供しています。 エクスペディアのウェブサイトは、あらゆる旅行料金をまとめて表示し、ユーザーの検索クエリに応じて旅行メタ検索エンジンを活用しています。世界で最も人気のあるオンライン旅行予約サービスですが、予約を行うたびに少額の料金が課金されます。
エクスペディアには、航空運賃やホテル料金に関する膨大なデータがあります。このデータは、旅行者、特に頻繁に旅行する人にとっては極めて貴重なものです。しかし、そのすべてのデータを手作業で検索するには多大な時間がかかるため、すべての旅行データをスクレイピングする必要があります。 ボットを使ってエクスペディアからデータをスクレイピングすれば、必要なデータを迅速かつ効率的にすべて入手できます。
問題は、ほとんどのウェブサイトがサイト内でのボットの使用を厳しく制限しており、ボットの使用が判明したアカウントやIPアドレスは即座に利用停止処分となることです。 ブロックされるのを防ぐには、エクスペディア用のプロキシを使用する必要があります。これにより、すべてのウェブリクエストがプロキシサーバーを介して処理されるため、アクセス先のウェブサイトにはプロキシサーバーのIPアドレスのみが表示されます。プロキシを継続的に切り替えることで、ボットがリクエストを送信するたびに異なるIPアドレスが割り当てられます。
ボットと組み合わせるのに最適なエクスペディアのプロキシは、住宅用プロキシです。このプロキシの種類は、実際のデバイスからの住宅用IPアドレスを使用するため、ボットからのリクエストが本物のユーザーからのもののように見え、どのウェブサイトも完全に欺くことができます。 これで、アカウント停止を恐れることなく、思う存分ウェブスクレイピングを行うことができます。
それでは、Expediaのプロキシサーバーを設定してみましょう。
Windowsの場合:
Windowsでプロキシを設定するには、Windowsの検索バーで「プロキシ設定」と検索し、検索結果を開くだけです。

すると、プロキシ設定の自動検出 または [プロキシ設定の手動設定] の 2 つのオプションが表示されます。Windows にプロキシ設定を自動的に検出させたい場合は、最初のオプションを選択してください。特定の IP アドレスとポート番号を使用したい場合は、2 番目のオプションを選択してください。
最初のオプションを選択した場合は、次の手順に従ってください:
- **「設定を自動的に検出する」**をオンにします
- **「セットアップスクリプトを使用する」**をオンにします
- スクリプトのアドレスを入力します
- **「保存」**をクリックします

2番目のオプションを選択した場合は、次の手順に従ってください:
- プロキシサーバーを使用する をオンにします
- サーバーアドレスとポート番号の両方を入力します
- プロキシを経由せずにアクセスしたいアドレスがある場合は、ここにそのアドレスを入力します
- プロキシを使用せずにローカルサーバーにアクセスしたい場合は、「ローカルアドレスにはプロキシサーバーを使用しない」チェックボックスをオンにします
- **「保存」**をクリックします

Macの場合。
macOSでプロキシ設定を行うには、以下の手順に従ってください:
手順 1. Appleアイコンをクリックします。

手順 2. ドロップダウンメニューから、**「システム環境設定」**をクリックします。

手順 3. **「ネットワーク」**をクリックします。

手順 4. **「詳細」**をクリックします。

注:まず Wi-Fi に接続していることを確認してください。
手順 5. **「プロキシ」**をクリックします

これにより、macOSのプロキシ設定画面に遷移します。macOSはWindowsに比べて設定が簡単です。プロキシサーバーを手動で設定するという、1つのオプションのみが用意されています。
手順は以下の通りです:
- 設定したいプロキシのIPプロトコルを選択します。これは、プロキシサービスプロバイダが提供しているプロトコルによって異なります。
- セキュアWebプロキシを有効にします
- プロキシサーバーのアドレスとポート番号を入力します
- OKをクリックして設定を保存します
注:設定を保存する際に、Macのユーザーパスワードの入力を求められる場合があります。
画像の代替テキスト:MacOSのプロキシ設定の構成
モバイル版:
モバイル端末でエクスペディアのプロキシサーバーを設定するには、端末のプロキシ設定を変更するだけです。エクスペディアのモバイルアプリは、利用するたびに端末のプロキシ設定を自動的に反映します。これはAndroidとiOSの両方に適用されます。
Android 用の詳細なガイドと、iPhone 用のガイドはこちらをご覧ください。
おめでとうございます!これでエクスペディアのプロキシサーバーの設定が完了しました。