ローテーションプロキシは、利用し続けるにつれて異なるIPアドレスから応答する単一のエンドポイントを割り当てます。リクエストごと、あるいはユーザーが指定したセッションウィンドウごとに新しいアドレスが割り当てられます。このエンドポイントを一度設定すれば、その背後にあるプールが自動的に変更を行うため、この仕組みはバックコネクトプロキシとしても販売されています。
これにより、実質的に、スケーラビリティが「自身のコード内で管理できるIPアドレスの数」に左右されなくなるというメリットがあります。
ローテーションプロキシの仕組み
クライアントを1つのゲートウェイホストとポートに指定し、そこで認証を行います。ゲートウェイは自身のプールから出口アドレスを1つ選び、リクエストを転送し、応答を返します。次のリクエストを送信すると、まったく別の都市にある全く異なるアドレスから送信される可能性がありますが、設定は一切変更されていません。
この仕組みを有用なものにしているのが「プール」であり、プールのサイズは確認すべき重要な数値です。住宅用プロキシのページ によると、常時500万のIPアドレスがオンライン状態で、195カ国以上において、毎月3,000万～5,000万のユニークなアドレスがネットワーク内でローテーションされています。 ローテーションは、ユーザーが管理するリストではなく、このセットからアドレスを抽出します。
アドレスが変更される頻度は設定によるものであり、製品の固定された特性ではありません。 同ページでは、エンドポイントを構築する際のセッションモード（ローテーションまたはスティッキー）の選択について説明されており、FAQにはスティッキーセッションは最大24時間まで設定可能であると記載されています。ローテーションモードではリクエストが届くたびにアドレスが変更されますが、スティッキーモードでは指定した期間中、1つのアドレスを維持し、その後別のアドレスに移行します。
対象サイトにとって、この方法で届くトラフィックには、レート制限をかけるべき単一のアドレスが存在しません。リクエストは互いに関連のないサブスクライバーから送信されているように見えるため、ローテーションは特定のサイトを回避するための「小手先の手法」ではなく、大量のクロールを行う際のデフォルトの解決策となっているのです。
その代償となるのが「状態」です。リクエスト間で一貫性を保つ必要があるもの（ログイン、ショッピングカート、セッショントークンに紐付いたページネーションされた結果セットなど）は、その基盤となるアドレスが変更された瞬間に機能しなくなります。その不具合は明白です。ログアウトされたり、再び最初のページに戻されたり、カートの中身が空になったりします。 この問題に直面した場合、解決策はプロバイダーを変更することではなく、スティッキーセッションを採用することです。
ローテーション型、静的住宅用（ISP）、静的データセンター型プロキシの比較
| ローテーション型 | 静的住宅用（ISP） | 静的データセンター型 | |
|---|---|---|---|
| IP送信元 | 一般家庭用またはデータセンター用プール | ISPから割り当てられ、データセンターでホスト | ホスティングプロバイダーのIP範囲 |
| 静的またはローテーション | リクエストごと、またはセッションウィンドウごとに変更 | 毎回同じアドレス | 毎回同じアドレス |
| 共有または専用 | 顧客間で共有されるプール | お客様のアカウント専用 | ティアに応じて専用または共有 |
| 検出リスク | アドレスごとのリスクは低い — パターンが蓄積されない | 低い — 実際の加入者のように見える | 高い — データセンターのIP範囲は特定されやすい |
| 料金体系 | GB単位 | IP単位（帯域幅無制限） | GB単位またはIP単位 |
| 最適な用途 | クローリング、価格およびSERPのモニタリング、大規模な市場調査 | ログイン済みセッション、マルチアカウント作業 | 耐性のあるターゲットに対する高スループットのジョブ |
プロキシのローテーションを使用すべき場合とそうでない場合
以下の場合は、デフォルトでローテーションを設定するのが適切です。
- 読み取りが中心で、処理範囲が広い場合。 数千もの商品ページ、出品リスト、検索結果など、各リクエストが前のリクエストと独立している場合。
- 地域をまたいで価格、在庫、ランキングを監視している場合。各チェックを、互いに関係のない訪問者からのもののように見せたいとき。
- 1つのIPアドレスでは制限に抵触してしまう場合。IPごとのレート制限があるターゲットでは、帯域幅が限界に達するはるか前に、固定のIPアドレスがボトルネックとなってしまいます。
- そうでなければ、IPリストを手作業で管理することになる場合。 ゲートウェイにより、その作業が完全に不要になります。
ローテーションが適さないのは、次のような場合です：
- フローがステートフルな場合。 ログイン、カート、チェックアウト、および複数ステップのフォームでは、開始から終了まで同じアドレスが必要です。その場合は、スティッキーセッションを使用してください。
- アカウント制を採用している場合。 セッションの途中でIPが変更されるアカウントでは、まさに回避しようとしていた認証プロンプトが発生してしまいます。
- ターゲットが位置情報を厳密に特定している場合、リクエストごとにローテーションによって国をまたいでしまうと、訪問者が瞬間移動したかのように見えてしまいます。
- 許可リスト用に固定のアドレスが必要な場合。IPをホワイトリストに登録するパートナーAPIは、IPプールでは機能しません。
ローテーション型プロキシの入手方法
ローテーションは、住宅用プロキシのデフォルトの動作です。同ページによると、料金は1GBあたり0.27ドルからで、月額最低利用料金はありません。エンドポイントを作成する際に国とセッションモードを選択し、それをスクレイパーに貼り付けるだけで済みます。ローテーション自体については、側でコードを書く必要はありません。
ターゲットがアドレスが家庭用接続に属するかどうかを検査しない場合、ローテーション型データセンタープロキシは、同ページによると1GBあたり0.144ドルからという、より安価なインフラ上で同様の役割を果たします。 これらはギガバイトあたりの処理速度が速く、コストも安価ですが、防御の堅いサイトには検知されやすいため、アカウント単位の収集というよりは、検知に寛容なターゲットに対する一括収集に適しています。
よくある質問
ローテーションプロキシはどのくらいの頻度でIPアドレスを変更しますか？
これは製品そのものではなく、設定したセッションモードによって異なります。ローテーションモードでは、リクエストが届くたびに新しいアドレスが割り当てられます。スティッキーモードでは、設定した期間中、1つのアドレスが保持されます。住宅用プロキシに関するFAQによると、この期間は最大24時間です。
ローテーションプロキシとバックコネクトプロキシは同じものですか？
これらは、同じ仕組みを異なる角度から説明したものです。「バックコネクト」はアーキテクチャ（1つのゲートウェイとその背後に配置されたプール）を指す名称であり、「ローテーション」は実際に観察される動作を指す名称です。
ローテーションによってログインに支障が出ますか？
はい、ログイン中にリクエストごとにローテーションを行う場合はログインに支障をきたします。そのエンドポイントをスティッキーセッションに切り替えて、認証済みの通信フロー全体が1つのアドレスから送信されるようにしてください。
ローテーションのロジックを自分で記述する必要がありますか？
いいえ。ゲートウェイがローテーションを実行します。クライアントは、ジョブの存続期間中、1つのホスト、ポート、および認証情報の組み合わせを維持します。