AWS（Amazon Web Services）は、個人やさまざまな組織にクラウドコンピューティングソリューションを提供するプラットフォームです。ユーザーはAWSを活用して、信頼性の高いクラウドホスティングソリューションを備えたプラットフォームを構築することができ、これはWebアプリケーションにも当てはまります。AWSはクラウドコンピューティングプラットフォームのトップであり、数百万人のユーザーと数千社のパートナーを擁する、この分野で最高のプラットフォームです。
AWS では、ウェブスクレイピング を含め、多くのタスクを実行できます。しかし、ウェブスクレイピングに AWS のみに依存していると、ウェブスクレイピングは大量のリクエストを送信し、ウェブサイトのサーバーに負荷をかける可能性があるため、ほとんどのウェブサイトが直ちにあなたの IP アドレスをブロックしてしまいます。
IPアドレスがブロックされるのを防ぐには、AWSプロキシの活用が必要です。AWSプロキシは、すべてのWebリクエストを代行して処理してくれます。 自身のIPアドレスは隠され、アクセスするどのウェブサイトもプロキシサーバーのIPアドレスのみを認識することになります。プロキシサーバーのIPアドレスを簡単にローテーションさせ、各IPアドレスから送信されるリクエスト数を制限することで、AWSを使用してスクレイピングを行っていることをウェブサイトに検知されるのを防ぎ、IPアドレスの利用停止を完全に回避できます。
用途に応じて、最適なAWSプロキシはレジデンシャルプロキシかデータセンタープロキシのいずれかとなります。 ウェブスクレイピング作業が検出されず、IPアドレスがブロックされることもなく、完全な匿名性を確保したい場合は、レジデンシャルプロキシが最適です。 速度を重視し、より高速にウェブサイトをスクレイピングしたい場合は、データセンタープロキシが最適です。
それでは、AWSプロキシサーバーを設定しましょう。
注：AWSにアクセスする際に使用するウェブブラウザが、お使いのコンピューターのプロキシ設定を自動的に反映するように設定されていることを確認してください。Google Chromeは自動的にこれを行うため、その使用をお勧めします。
Windowsの場合：
Windowsでプロキシを設定するには、Windowsの検索バーで「プロキシ設定」と検索し、検索結果を開くだけです。
すると、プロキシ設定の自動検出 または [プロキシ設定の手動設定] の 2 つの選択肢が表示されます。Windows にプロキシ設定を自動的に検出させたい場合は、最初のオプションを選択してください。特定の IP アドレスとポート番号を使用したい場合は、2 番目のオプションを選択してください。
最初のオプションを選択した場合は、次の手順に従ってください：
- **「設定を自動的に検出する」**をオンにします
- **「セットアップスクリプトを使用する」**をオンにします
- スクリプトのアドレスを入力します
- **「保存」**をクリックします
2番目のオプションを選択した場合は、次の手順を実行してください：
- プロキシサーバーを使用する をオンにします
- サーバーアドレスとポート番号の両方を入力します
- プロキシを経由せずにアクセスしたいアドレスがある場合は、ここにそのアドレスを入力します
- プロキシを使用せずにローカルサーバーにアクセスしたい場合は、「ローカルアドレスにはプロキシサーバーを使用しない」チェックボックスをオンにします
- **「保存」**をクリックします
Macの場合。
macOSでプロキシ設定を行うには、以下の手順に従ってください：
手順 1. Appleアイコンをクリックします。
手順 2. ドロップダウンメニューから、**「システム環境設定」**をクリックします。
手順 3. **「ネットワーク」**をクリックします。
手順 4. **「詳細」**をクリックします。
注：まずWi-Fiに接続していることを確認してください。
手順 5. **「プロキシ」**をクリックします
これにより、macOSのプロキシ設定画面に遷移します。macOSはWindowsに比べて設定が簡単です。 選択肢は1つだけで、プロキシサーバーを手動で設定する方法のみです。
手順は以下の通りです：
- 設定したいプロキシのIPプロトコルを選択します。これは、プロキシサービスプロバイダーが提供しているプロトコルによって異なります。
- セキュアWebプロキシを有効にします
- プロキシサーバーのアドレスとポート番号を入力します
- OKをクリックして設定を保存します
注：設定を保存する際に、Macのユーザーパスワードの入力を求められる場合があります。
モバイルの場合：
モバイルデバイスでAWSプロキシサーバーを設定するには、端末のプロキシ設定を変更するだけです。AWSは、利用のたびに端末のプロキシ設定を自動的に反映します。これはAndroidとiOSの両方に適用されます。Android用の詳細なガイドと、iPhone用のガイドをご覧ください。
おめでとうございます！これでAWSプロキシサーバーの設定が完了しました。なお、初めてアクセスする際には、ログイン認証情報を求めるポップアップが表示されますのでご注意ください。
