インターネット・アーカイブによって設立された「ウェイバック・マシン」は、ワールド・ワイド・ウェブ上のウェブサイトを保存したデジタルアーカイブです。ウェイバック・マシンは、インターネットの歴史的図書館であり、あらゆるユーザーがウェブサイトのアーカイブ版にアクセスできるようにしています。ユーザーはURLを入力し、閲覧したい日付の範囲を選択するだけで簡単に利用できます。
2022年現在、ウェイバック・マシンは7,280億ページ以上のウェブページを保存しています。ウェイバック・マシンをインターネットの歴史の宝庫と呼んでも過言ではありません。 そこから抽出できるデータは多方面で活用できますが、そのデータを迅速かつ効率的に収集したい場合は、ウェブスクレイパーを使用する必要があります。ウェブスクレイピングツールを使えば、人間の手では不可能な速さでウェイバックマシンからデータを抽出できます。
ウェイバックマシンではデータのスクレイピングが可能ですが、一定量までという制限があります。 これらの制限を回避し、かつ安全にデータをスクレイピングしたい場合は、ウェブスクレイパーとプロキシサーバーを組み合わせて使用する必要があります。プロキシを利用すれば、数百万ものIPアドレスにアクセスできるため、ウェイバックマシンの制限に達しても、簡単にIPアドレスを変更することができます。 また、プロキシサーバーは個人情報を隠すため、個人データが盗まれる心配をすることなく、安全にスクレイピングを行うことができます。
それでは、Wayback Machineからデータをスクレイピングする際に、プロキシサーバーを設定してみましょう。
Windowsの場合：
手順 1
Windowsの検索バーに、**「プロキシ設定」**と入力します。
手順 2
検索結果の**「プロキシ設定」**をクリックします。
手順 3
「プロキシの自動設定」 または 「プロキシの手動設定」 のいずれかを選択する画面が表示されます。 ここでは例として、**「手動によるプロキシ設定」**を選択します。
手順 4
**「プロキシサーバーを使用する」**をオンにします。
次に、プロキシプロバイダーにアクセスして、プロキシサーバーの詳細情報を入手する必要があります。Geonode から取得する場合は、「Geonode を使用してプロキシサーバーの詳細情報を取得する」のセクションに進んでください。
手順 5
プロキシの**「ホスト名」または「IPアドレス」を入力します。これはセミコロンより前の部分で、この例では「premium-residential.geonode.com」**となります。
手順 6
プロキシの 「ポート番号」 を入力します。これはセミコロンより前の 2 番目の部分で、この例では 「9001」 です。
手順 7
プロキシを経由せずにアクセスしたい**「Webサイトのアドレス」**を入力してください。
プロキシを経由せずにローカルサーバーにアクセスしたい場合は、**「ローカルアドレスにはプロキシサーバーを使用しない」**チェックボックスをオンにしてください。
手順 8
**「保存」**をクリックします。
手順 9
最後に、Google Chromeで任意のウェブサイトにアクセスすると、アカウントの認証情報を求めるポップアップウィンドウが表示されます。 アカウントの**「ユーザー名」と「パスワード」を入力してください。その後、「サインイン」**をクリックします。
おめでとうございます！ これで、Windows オペレーティングシステム用のプロキシサーバーの設定が完了しました。
macOSのプロキシ設定
手順 1
**「Appleアイコン」**をクリックします。
手順 2
ドロップダウンメニューから「システム環境設定」をクリックします。
手順 3
「ネットワーク」をクリックします。
手順 4
「詳細」をクリックします。 注：まず Wi-Fi に接続していることを確認してください。
手順 5
「プロキシ」をクリックします。
これにより、macOSのプロキシ設定画面に遷移します。次に、プロキシプロバイダーにアクセスして、プロキシサーバーの詳細情報を取得する必要があります。Geonodeから取得する場合は、「Geonode を使用してプロキシサーバーの詳細情報を取得する」のセクションに進んでください。
手順 6
使用するプロトコルを正しく選択してください。この例では、「Web プロキシ (HTTP)」 を選択します。
手順 7
プロキシの 「ホスト名」 または 「IP アドレス」 を入力します。これはセミコロンより前の部分で、この例では 「premium-residential.geonode.com」 となります。
手順 8
プロキシの 「ポート番号」 を入力します。これはセミコロンより前の 2 番目の部分で、この例では 「9001」 です。
手順 9
**「プロキシサーバーにパスワードが必要」**をオンにします。
手順 10
プロキシアカウントの 「ユーザー名」 と 「パスワード」 を入力します。
おめでとうございます！ これで、Mac オペレーティングシステム用のプロキシ設定が完了しました。
Geonode
を使用してプロキシサーバーの詳細を取得する ### 手順 1
**[Geonode
](https://app.geonode.com/login)** にアクセスし、既存のアカウントでログインするか、新規登録を行ってください。
手順 2
ホームページで、**「Residential Services」**をクリックします。
手順 3
**「Endpoints」**が表示されるまで下にスクロールします。
手順 4
使用する 「プロキシプロトコル」 を選択します：「HTTP プロトコル」 または **「[SOCKS5
プロトコル](https://geonode.com/blog/beginners-guide-to-socks5-proxies)」**。
手順 5
使用する**「セッションタイプ」を選択します：「ローテーションプロキシ」またはスティッキープロキシ**。
ステップ 6
使用するプロキシを選択します。 例として、ハイライト表示されているプロキシ **「premium-residential.geonode
.com:9001」** を使用します。
DNSの代わりにIPアドレスを使用したい場合は、「Show DNS」ボタンをオフにするだけで、IPアドレスが表示されます。
ステップ 7
次に、プロキシアカウントの 「認証情報」 が必要です。Geonode
の場合、これはアカウントのホームページに記載されています。
