レジデンシャルプロキシは、実際一般消費者のインターネット接続に属するアドレスを経由してリクエストを転送するため、通信先のサイトからは、データセンター内のサーバーではなく、ごく普通のブロードバンドユーザーとして認識されます。これがこの製品の本質であり、この記事で紹介するすべてのプロバイダーが、何らかの形でこのサービスを提供しています。
しかし、各社の価格設定は一律ではありません。 現在、エントリーレベルの住宅用トラフィックの公表料金は、1ギガバイトあたり約0.79ドルから7.00ドルの範囲に広がっています。どのウェブサイトでも同じように説明されているサービスにもかかわらず、その価格差は10倍近くにも及びます。私たちはGeonodeであり、その価格帯の最下位に位置しており、ここで比較対象となっているプロバイダーの一つです。その点を踏まえてお読みください。
この立場において誠実な対応とは、それを擁護することではなく、なぜ低い数値を前面に出すことが誤りなのかを説明することです。ページを表示できない1ギガバイトは、表示できる1ギガバイトよりも安くない――むしろ、はるかに高価なのです。なぜなら、お金を支払ったにもかかわらず、何も得られなかったからです。 実際の請求額を決定する指標は「成功したリクエストあたりのコスト」ですが、これはお客様のターゲットによって異なるため、どのプロバイダーもその数値を明かすことはできません。この記事の後半には、半日程度で自分でこれを測定する方法が記載されていますが、これはこの記事の他のどの内容よりも重要です。
また、比較表にはほとんど記載されず、ランキングを頻繁に変える2つの構造的な要素があります。それは、未使用のトラフィックが月末に失効するか、そして表示されている価格がキャンペーン価格か、という2点です。 あるプロバイダーは「有効期限のないトラフィック」を宣伝しており、別のプロバイダーは通常価格を併記した上で50%オフの料金を表示しています。これらの事実は、1ギガバイトあたりの数セントの価格差よりも、実際のコストに大きな影響を与えます。
以下の数値はすべて、執筆時点で各プロバイダーの実際の価格ページから引用したものです。これらは頻繁に(時には毎週)変更されるため、これらを確定した見積もりとしてではなく、ご自身で確認するための出発点として扱ってください。
レジデンシャルプロキシとは実際何なのか
このカテゴリーの定義を正確に理解しておく価値があります。なぜなら、その境界線によって、あなたがこの記事を読むべきかどうかが決まるからです。
レジデンシャルプロキシは、一般向けのインターネットサービスプロバイダー(ISP)に接続されたデバイスを経由してリクエストを転送します。つまり、リクエストの発信元として表示されるIPアドレスは、ホスティング会社ではなく、一般家庭のブロードバンド回線に割り当てられたものとなります。 宛先サイトから見ると、そのリクエストは自宅にいる個人から送信されたように見えます。
これが重要なのは、IPアドレスの発信元が公に確認可能だからです。すべてのIPブロックは地域インターネットレジストリを通じて組織に登録されており、そのアドレスがクラウドプロバイダーのものか、一般消費者向けISPのものかを特定するのに数秒しかかかりません。自動トラフィックを重視するサイトは、まさにこの点を厳密にチェックしています。
IPアドレスの出所
プロバイダーは、実際の一般家庭の接続へのアクセス権を取得することで、こうしたネットワークを構築しています。最も一般的な方法は、帯域幅の一部を共有するアプリケーションを通じて参加を承諾したユーザーに報酬を支払うか、ユーザーの同意を得てアプリに組み込まれたソフトウェア開発キット(SDK)を利用することです。
これは価格の仕組みを説明する上で重要な点です。 一般家庭の帯域幅には、ギガバイトあたりの実質的な継続的な取得コストがかかりますが、データセンターの帯域幅にはそれがありません。また、この業界における倫理的な問題もここに存在します。つまり、同意がどれほど明確に得られたか、そして参加者がどれほど容易に脱退できるかという点です。これは、当社を含め、どのプロバイダーに対しても問うべき正当な質問であり、これに明確に答えられないプロバイダーは、ある事実をあなたに示していることになります。
類似の製品
データセンタープロキシは、ホスティングプロバイダーから提供されます。価格は5~10倍安く、速度もかなり速く、アドレスが明らかにデータセンターのものだとわかります。チェックを行わないターゲット(その数は非常に多い)に対しては有効です。
ISPまたは静的住宅用アドレスは、一般消費者向けのISPに登録されていますが、データセンターでホストされています。これらは、住宅用のように見える発信元とサーバー級の安定性を兼ね備えており、ギガバイト単位ではなくアドレス単位で課金されます。恒久的なIDやログイン済みアカウントを伴う用途には、これが最適です。
モバイルプロキシは、携帯電話キャリアを経由してルーティングされます。最も高価な選択肢であり、ターゲットがキャリアのアドレスに対して寛容な場合のみその価値があります。一部のプラットフォームでは寛容ですが、大半はそうではありません。
ローテーション型住宅用(本記事の主題)は、一般ユーザーのように見えるアドレスを多数必要とし、かつそれらのいずれかが永続的である必要がない場合に最適な選択肢です。
重要な指標は「1GBあたりの価格」ではない
このセクションは結論を変える内容であるため、表の後ろではなく前に配置しています。
このカテゴリのすべての比較では、プロバイダーを「1ギガバイトあたりの価格(ドル)」でランク付けしています。この数値は入手も集計も容易ですが、実際の支出額を決定づける数値ではありません。
表面上の料金が誤解を招く理由
同じターゲットに対して、2つのプロバイダーを比較してみましょう。
プロバイダーAは1GBあたり1.00ドルを請求し、リクエストの50%が成功します。プロバイダーBは1GBあたり2.50ドルを請求し、95%が成功します。
Aの方が60%安く見えます。しかし、実際に支払う金額を計算してみましょう。失敗したリクエストでも帯域幅は消費されています。接続は確立され、チャレンジページやブロック応答が返され、それに対して課金されているのです。 1,000件の成功ページを取得するには、プロバイダーAでは約2,000回の試行、プロバイダーBでは約1,053回の試行が必要になります。
1ページの平均サイズが500 KBの場合、プロバイダーAのコストは成功1,000件あたり約$1.00、プロバイダーBは約$1.32となります。 この場合でもAの方が安価ですが、その差は60%から24%へと縮小しています。しかも、これは再試行ロジックやエンジニアリング時間、そしてすべての処理を2回実行することによる遅延を考慮する前の数値です。
成功率をさらに下げると、順位は完全に逆転します。 成功率が30%の場合、Aは3,333回の試行を必要とし、1,000回の成功あたりのコストは1.67ドルとなるのに対し、Bは1.32ドルです。安かったプロバイダーが、今や高価なプロバイダーとなっているのです。そして、どちらの価格ページを見ても、このことは全く分かりませんでした。
気まずい帰結
成功率はターゲットごとに異なり、誰にもあなたの成功率を提示することはできません。あるマーケットプレイスでは優れたパフォーマンスを発揮するプロバイダーでも、別のマーケットプレイスでは不振に終わる可能性があり、ターゲットが検出方法を更新すれば、来月には両方の状況が変わるかもしれません。
つまり、公表されているベンチマーク(表を含む)は、せいぜい大まかな目安に過ぎません。唯一信頼できる測定値は、ご自身のターゲットに対してご自身で実施したものです。だからこそ、後述するテストが、ここにある他のどの情報よりも重要になるのです。
これが意味しないこと
価格が重要ではないという意味ではありません。2つのプロバイダーがどちらもあなたのターゲットに対して機能する場合、安価な方が単純に優れており、そちらを選ぶべきです。重要なのは手順の順序です:まず機能することを確認し、それから価格を比較する。 この順序を逆にしてしまうと、結局3回も移行することになってしまいます。
プロバイダー比較
この市場において、料金表はすぐに古くなってしまいます。公表価格は絶えず変動しており、表示されている価格の多くはキャンペーン価格です。キャンペーン価格に基づいて比較を行うと、たまたまその情報を読んだ週に最も大幅な割引を行っているプロバイダーが上位にランクインすることになってしまいます。 一方、各プロバイダーの市場での位置づけや課金方式は時代遅れになることはありません。そのため、以下の表ではその点を記録しています。何かを購入する前に、各プロバイダーの料金ページで最新の料金を確認してください。
| プロバイダー | 市場での位置づけ | 課金方式 | 試用期間 |
|---|
| Geonode | データ量重視、低価格のエントリープラン | 1GBあたり、$0.79/GBから、100 GBで$0.50/GB、1 TBで$0.27/GB | 新規アカウントは1 TB無料 |
| Webshare | エントリーレベル、セルフサービス | GB単位のサブスクリプションプラン | 継続的な無料プラン |
| Decodo | ミッドマーケット、セルフサービス | GB単位のサブスクリプション+pay-as-you-go | 短期トライアル |
| Bright Data | エンタープライズ | GB単位のサブスクリプション+pay-as-you-go、大々的に宣伝されている料金 | デポジットマッチオファー |
| Oxylabs | エンタープライズ | GB単位のサブスクリプション | — |
| IPRoyal | ミッドマーケット、セルフサービス | GB単位、月額割り当てではなくトラフィックとして販売 | — |
表の読み方
この市場における基本料金は最大で約9倍もの幅があるため、これらが単に価格設定の異なる同一の製品であるという考えには、直ちに疑念を抱くべきでしょう。これらはそれぞれ異なる位置づけの製品であり、その違いはデータプールの構成、地理的カバレッジの深さ、厳しいターゲットに対する達成率、そしてトラブル発生時のサポート体制にあります。
エンタープライズ向け — Bright DataやOxylabs — は、異なる顧客層を想定した価格設定となっています。大規模なデータプール、都市や郵便番号レベルまで及ぶ詳細な地域ターゲティング、コンプライアンス関連文書、アカウント管理、そしてフォーチュン500企業の調達部門が承認を下せるようなインフラが提供されます。 この価格帯のトップに位置するプロバイダーは、個人開発者をターゲットにしておらず、そのふりをすることもありません。午前3時に電話に出て、データ処理契約書を作成してくれる相手が必要な場合は、こうしたプロバイダーを検討すべきです。
エンタープライズ向けプランの表示料金は注意深く読む必要があります。 いくつかは「通常」料金からの割引として表示されており、サブスクリプションプランは半額で提示されていることがよくあります。そのプロモーションが更新時にも継続されるかどうかは、予算を組む前に確認しておく価値のある点です。
セルフサービス型の中堅プロバイダー — Decodo、Webshare、IPRoyal — は、個人開発者や小規模チームの多くが最終的に利用する場所です。 契約の負担が軽く、調達プロセスも不要で、営業担当者に問い合わせなくても料金を確認できます。このグループ内の違いは、料金そのものよりも、それに付随する契約条件に大きく左右されます。これについては次のセクションで詳しく説明します。
当社のプランは、ここで紹介する中で最も低い公表エントリー料金となっています。その意味するところ、そして意味しないところについては、後述のセクションで説明します。
誰も集計しない2つの落とし穴
これらはいずれも、1ギガバイトあたりの実質コストを数セント以上も変動させる要因ですが、これまでに目にしたどの比較表にも記載されていません。
落とし穴その1:トラフィックの有効期限
ほとんどの個人向けプロキシサービスは、毎月利用期限が切れます。25 GBを購入し、8 GBを使用した場合、残りの17 GBは請求日に消えてしまいます。つまり、実際には受け取っていないギガバイト分に対しても、広告に記載されたGB単価を支払ったことになるのです。当社のサービスも毎月利用期限が切れます。これはこの市場における標準的な仕組みであり、特定の事業者だけの特異な慣行というわけではありません。
これは、不規則なワークロード、つまり実際の業務の大部分にとって極めて重要な問題です。 スクレイピングプロジェクトには、トラフィックが集中する時期と閑散期があります。四半期ごとの調査業務では、1週間で40 GBを使用し、その後2ヶ月間は全く使用しないといったケースも考えられます。有効期限が毎月切れるプランでは、このパターンは非常に厳しいものです。大容量のプランを購入して毎月その大部分を無駄にするか、小容量のプランを購入してトラフィックが集中する最中に使い切ってしまうかのどちらかになります。
この市場の一部のプランでは、月間割り当て量ではなくトラフィックそのものを販売しているため、未使用のギガバイトは使い切るまで繰り越されます。これは真の構造的な違いであり、通常は表面上の単価が高くなる傾向があります。 仮定するのではなく、実際に計算してみる価値があります。もし1年間で30GBしか使用しない場合、GB単価は高くても有効期限のないプランの方が、ピーク週を乗り切れるように設定された安価な月額プランを12回分契約するよりも、総額で安くなる可能性が十分にあります。 利用量が季節的であったり、突発的であったりする場合は、未使用のデータ通信量に有効期限がないプランを探してください。当社以外のプロバイダーのプランも検討してください。当社のプランには有効期限があります。
利用量そのものよりも、利用パターンを把握しましょう。 毎月の利用量が安定している場合は、サブスクリプションプランが適しています。利用量が突発的または予測不可能な場合は、pay-as-you-goや有効期限のないトラフィックが適しています。たとえ基本料金が高くてもです。
落とし穴その2:表示価格と更新時の価格が異なる
この市場の多くでは、割引料金がデフォルトで表示されています。ページには、より高い「通常」料金が取り消し線で消された状態で表示されたり、実際に請求されることのない基準価格と比較して、サブスクリプションプランが半額以下に値引きされたりしています。
割引自体は不正ではありません。公然と明示されており、割引料金も実際の料金です。問題は、プロモーション価格に基づいて作成された比較表が、現在最も大幅な割引を実施しているプロバイダーを上位にランク付けしてしまう点にあります。しかし、そのような割引は永続的なものではありません。
契約を決定する前に、次の2つの具体的な質問を投げかけてください:更新時の料金はいくらになるか、そしてこの料金は契約上のものか、それともプロモーション価格か。これらに明確に答えてくれるプロバイダーは、将来どのように顧客を扱うかについて、有益な情報を提供していると言えます。
3つ目のポイント(簡潔に)
課金対象となるトラフィックを確認してください。失敗したリクエスト、再試行、および接続確立のオーバーヘッドは通常、課金対象となります。一部のプロバイダーは、特定の製品において成功したリクエストのみを課金対象としています。これは、成功率が低いターゲットの場合、実質的なコストを大幅に左右する可能性があります。そして、ここで再び、実際に重要な指標の話に戻ってくるのです。
価格以外に評価すべき点
6つのポイントをご紹介します。おおよそ、トラブルの原因となる可能性の高い順に並べています。
ターゲットに対する成功率。 上記でも触れましたが、これは他のあらゆる要素よりも重要です。説明を読むだけでなく、実際にテストしてみてください。
必要な地域における網羅性。 どのプロバイダーも広範な国別カバレッジを謳っています。国単位のカバーは簡単です。大きく異なるのは国内の網羅性です――必要な特定の都市や地域に実質的に多くのアドレスが存在するか、それともリクエストすると常に同じ3つのアドレスしか表示されないか、という点です。業務が地域密着型の場合は、カバレッジマップを鵜呑みにするのではなく、正確な場所を実際にテストしてください。
セッション制御。 一連のリクエストで同じIPアドレスを維持できますか? また、どのくらいの期間維持できますか? リクエストごとにIPアドレスをローテーションさせる方式は、広範囲にわたるクロールには適していますが、ワークフローが複数のページにまたがる場合は、スティッキーセッションが不可欠です。なぜなら、チェックアウトの途中で国が変わってしまうと、ログイン状態が維持されなくなるからです。
同時接続数の制限。 毎月割り当てられる容量がいくら豊富でも、それを十分に速く使い切れないようでは意味がありません。一部のプロバイダーは、プランの階層ごとに同時接続数に上限を設けていますが、それが明確に示されていない場合もあります。作業に時間的制約がある場合、これは処理量よりも厳しい制約となります。
課金の粒度と可視性。 利用状況をほぼリアルタイムで確認し、支出上限を設定し、アラートを受け取ることができますか? 特にリトライループがブロック状態になったターゲットに遭遇した場合、プロキシの請求額は知らぬ間に膨れ上がる可能性があります。支出上限の設定は、最も安価な保険となります。
調達とコンプライアンス。 ネットワークがどのように構築されたか、どのような文書が存在するか、そして個人データを扱っている場合、プロバイダーが自社の義務を履行できるかどうか。個人開発者にとっては、これは多くの場合問題になりませんが、コンプライアンス体制の下で業務を行う者にとっては、これが最初の質問であり、最後の質問ではありません。
過度に重視すべきでない点
宣伝されているプールサイズ。 「1億以上のIPアドレス」というのは、分母のない数字に過ぎません。重要なのは、必要な場所で、作業時間帯に、ターゲットがまだブロックしていない、実際に使用可能なアドレスがどれだけ存在するかどうかです。 規模は大きくても使い物にならないプールは、規模は小さくてもクリーンなプールよりも劣ります。また、プールサイズは業界で最も水増しされやすい数値です。
公表されている成功率の主張。 これはプロバイダーが選んだターゲットに対して測定されたものです。あなたのターゲットでは結果が異なるでしょう。
速度のベンチマーク。 レジデンシャルプロキシは一般ユーザーの回線を経由するため、データセンター回線よりも速度が遅く、その性質上変動しやすいものです。レイテンシが絶対的な制約条件でない限り、ミリ秒単位の速度よりも成功率の方がはるかに重要です。
決定的なテスト
このテストを午後1回行うだけで、どんな比較記事よりも説得力があり、しかも複雑ではありません。
ステップ1:まずはデータセンターを試す
一般向けプランを購入する前に、データセンターのプロキシを経由して、実際のターゲットに対して数百件のリクエストを送信してみてください。成功率が95%以上であれば、ターゲットはアドレスの発信元を確認していないことになります。これにより、プロキシの予算を5倍から10倍も節約できるでしょう。 ウェブ上の膨大な情報――ドキュメント、公開API、フォーラム、中小規模のサイト、政府や学術機関のページのほとんど――は、発信元アドレスをチェックしていません。
この手順にかかるコストはほぼゼロですが、常に省略されがちです。この業界でレジデンシャルプランがデフォルトの購入対象となっているのは、主にそれがデフォルトの推奨事項であるからであり、通常それが必要だからというわけではありません。
ステップ2:無料プランでの候補絞り込み
上記のプロバイダーはいずれも、トライアル、無料プラン、または小規模なエントリープランを提供しています。中には単なる試供品のようなものもありますが、一部(当社が新規アカウント向けに提供している1 TBプランなど)は、デモではなく実際のジョブを実行するのに十分な容量があります。そうしたプランを優先してください。
2~3社を選び、並行してセットアップしましょう。
ステップ3:各プロバイダーで同じジョブを実行する
対象リスト、処理量、同時実行数、実行時間帯をすべて同じにします。特に時間帯は、多くの人が予想する以上に重要です。なぜなら、一般ユーザープールは、実際のユーザーがオンラインになる時間帯によって構成が変わるからです。
プロバイダーごとに以下の4つの数値を記録してください:
- 成功したレスポンス:単に200を返すだけでなく、実際に求めていたコンテンツが含まれているものと定義します。
- 消費帯域幅:失敗分を含みます。
- レイテンシの中央値と95パーセンタイル。
- 地理的正確性 — リクエストが実際に指定した場所から送信されているかどうかを抜き打ちで確認します。
ステップ4:計算
消費帯域幅 × GBあたりの価格 を、成功したレスポンス数で割ります。これが 成功したリクエスト1件あたりのコスト であり、プロバイダー間を意味のある形で比較できる唯一の指標です。
これを計算してみると、ランキングは価格表とはしばしば異なる結果になります。そこが重要なポイントです。
成功の検証に関する注意
成功の数は、HTTP 200ステータスコードを確認するのではなく、期待されるコンテンツがあるかどうかを確認してカウントしてください。 ここで典型的な失敗パターンは、一見すると妥当に見えるが内容が間違っているページです。例えば、チャレンジページ、ソフトブロック、地域別バリエーション、あるいは正当に空であるように見える空の結果セットなどです。ステータスコードだけを信頼する成功カウンターは、何も収集していないにもかかわらず優れた数値を報告してしまい、その誤りは驚くほど長い間放置されがちです。
当社が適している分野とそうでない分野
当社は本比較の対象プロバイダーであるため、このセクションは本記事の中で最も中立性を欠く内容となっています。それでも、読者の皆様にとって有益な情報となるよう努めました。
当社の公表料金は、初期料金が0.79ドル/GB、100 GB以上は0.50ドル/GB、1 TB以上は0.27ドル/GBとなっており、新規アカウントには1 TB分が無料で提供されます。 データセンターは1GBあたり0.14ドルで、IPアドレス単位ではなくトラフィック量に応じて課金されます。このカテゴリーでは珍しい方式です。ISPアドレスは1つあたり1.25ドル、無制限の住宅向けプランは月額1,800ドルです(現在の価格 — 必ずご確認ください。この市場は価格変動が激しいです)。
この導入価格は表中の他サービスと比べてかなり低い水準ですが、これに対する正しい反応は熱狂ではなく懐疑心です。そこで、もしあなたがその立場なら、以下の点を知りたいと思うでしょう。
GBあたりの低料金が教えてくれないこと。 それは、ターゲットに対する成功率を示していません。成功率こそが、実際にコストを決定づける数値なのです。また、必要な特定の都市における地理的な網羅性についても示していません。これらはいずれも、あなた自身なら半日で測定可能ですが、誰かの価格ページ(当社のものも含む)を読んだだけでは測定できません。
当社が得意とする分野 帯域幅が主なコストを占め、ターゲットが極めて困難ではない大容量の作業です。広範囲にわたるクロール、価格・在庫状況の監視、大規模な市場調査、GB単価が予算全体に大きく影響する作業などが該当します。 1 TBの無料枠を設けているのは、購入せずにこれらを確認できるようにするためであり、好印象を与えるデモを行うためではなく、適切にテストできるよう意図的に十分な容量に設定されています。
当社が適していないケース エンタープライズレベルのコンプライアンス文書、専任のアカウントマネージャー、調達部門に受け入れられやすい契約が必要な場合、価格帯の上位に位置するプロバイダーはそうしたニーズに対応するよう設計されており、紙面上の比較では当社が勝つことはできません。 ターゲットが最も手強い相手――検知機能に最も多額の投資を行っているプラットフォーム――である場合は、料金面の優位性がそのまま反映されると決めつけるのではなく、慎重にテストしてください。また、アカウント業務のために永続的なIDが必要な場合、ローテーション型の住宅用IPアドレスは完全に不適切な製品です。当社からであれ他社からであれ、静的なISPアドレスが必要となります。
当社自身に対して行う推奨事項。 以下の2つの利用パターンについては、他社のサービスの方が適しています。間違ったものを販売するよりは、率直にそうお伝えしたいと考えています。
利用量が本当にごくわずか(月1~2ギガバイト程度)の場合は、有料プランではなく、継続的に利用できる無料枠を探してください。この市場には無期限で無料枠を提供しているプロバイダーがいくつかあり、0.79ドルに勝るものはありません。
利用量が月単位ではなく、年間単位でばらつきがある場合は、未使用のトラフィックに有効期限がないプランを探してください。当社のプランは、ほとんどのサブスクリプションと同様に請求日に有効期限が切れます。季節的な仕事の場合、この単一の契約期間という条件が、表面上の料金の大きな差を上回る影響を与えることがあります。数字ではなく、契約期間で判断してください。
住宅用プランを購入すべきでない場合
私たちの利益に反する内容ですが、読者の皆様にはぜひ読んでいただきたいセクションです。
ターゲットがアドレスの発信元を確認しない場合。 この市場において、最も大きな代償を伴うミスです。 まずはデータセンターでテストしてください。1GBあたり0.14ドルに対し、0.79ドル以上かかる場合、節約額は1桁以上にもなり、ウェブ上の大部分は実際には気にしていないのです。
リクエストの数がごくわずかである場合。 レート制限や検知は、トラフィックの量やパターンに応じて反応します。 1日に分散して50件のリクエストであれば、人間によるものと見なされます。小さな作業のためにプロキシを購入するのは、そもそも存在しない問題を解決しようとしているようなものです。
ターゲットはあなたが制御しています。 自社のサービスの負荷テスト、自社のエンドポイントの監視、自社のサイトの確認などです。プロキシを経由した「現実」ではなく、直接ルーティングして「現実」そのものを測定してください。
永続的なIDが必要です。 アカウント管理、ログインを伴うあらゆるもの、毎日同じアドレスが表示されるべきあらゆる場面です。この場合、住宅用IPをローテーションさせるのは明らかに誤りです。セッションごとに新しい都市からアクセスするアカウントは、一度も移動したことのないアカウントよりも不審に見えます。静的なISPアドレスが最適です。
問題はあなたのIPアドレスではありません。 ヘッダーの欠落、クッキーの不在、自動化を露呈するフィンガープリント、人間ではあり得ないリクエストレート。これらすべてが、IPアドレスに基づくブロックと見分けがつかないブロックを引き起こしますが、より優れたプロキシを使っても、これらの問題は解決されません。 まずは原因を特定してください。不正なリクエストを回避するためにインフラを購入するのは、バグを抱え続ける高価な方法です。
ページはJavaScriptによってレンダリングされます。 プロキシだけでは、空のシェルをコンテンツに変えることはできません。ヘッドレスブラウザが必要であり、ページが空白のままプロバイダーを切り替える作業は、何時間も費やすことになるでしょう。
データは別の方法で入手可能です。 公式API、公開データセット、一括ダウンロード、RSSフィードなどです。スクレイピングは、サポートされている手段がなく、その確認に10分かかる場合の最終手段です。
利用規約を読んでいません。 自動収集は、多くの場合、サイトの利用規約に違反します。また、個人データには、収集方法にかかわらず、一定の義務が伴います。プロキシはサイトが認識できる情報を変えることはあっても、あなたが同意した内容や法律で定められた要件を変えることはありません。これがあなたの状況において重要な問題である場合は、ブログ記事ではなく、専門家の助言を求めてください。
よくある質問
おすすめの住宅用プロキシプロバイダーはどこですか?
これに対する唯一の正解はありません。なぜなら、決定的な要因は特定のターゲットに対する成功率であり、それを事前に保証できるプロバイダーは存在しないからです。Bright DataとOxylabsは、エンタープライズ向け機能やコンプライアンスの面で優れており、それに応じた価格設定となっています。 Decodo、Webshare、IPRoyalはセルフサービス型の中堅に位置しています。Geonodeは、0.79ドル/GBという最も低いエントリー価格を提示しています。無料プランで2~3社を自身のターゲットに対してテストし、成功したリクエストあたりのコストを比較してみてください。
レジデンシャルプロキシの料金はいくらですか?
現在、市場全体で公表されている初期料金は1GBあたり約0.79ドルから7.00ドルの範囲ですが、利用量が増えると大幅に下がり、テラバイト規模では初期料金の4分の1や3分の1になることもよくあります。表示されている料金のいくつかはプロモーション価格であるため、ページ上の数字だけで予算を立てるのではなく、更新時の価格がいくらになるかを確認してください。
安価なプロキシプロバイダーは品質が劣るのでしょうか?
必ずしもそうとは限りませんが、価格だけでは判断できません。重要なのは、成功したリクエストあたりのコストです。1GBあたり1ドルのプロバイダーで成功率が50%の場合、ほぼ常に成功する1GBあたり2.50ドルのプロバイダーよりも、実際にはコストが高くなる可能性があります。なぜなら、失敗したリクエストも有料の帯域幅を消費してしまうからです。 料金プランから推測するのではなく、実際のターゲットに対して測定してください。
レジデンシャルプロキシが必要ですか、それともデータセンタープロキシで十分ですか?
まず、データセンタープロキシ経由で実際のターゲットに対して数百回のリクエストを実行してみてください。成功率が95%程度以上であれば、データセンタープロキシでも問題なく機能し、コストを1桁分近く節約できます。 ブロック、CAPTCHA、または空のレスポンスが返ってくる場合は、ターゲットが送信元のアドレスをチェックしているため、住宅用プロキシが必要です。
未使用のプロキシトラフィックには有効期限がありますか?
通常はそうです。当社のプランを含め、ほとんどの月額サブスクリプションでは、請求日に未使用のギガバイト分が失効します。一部のプランでは、使い切るまで繰り越せるトラフィックが販売されていますが、一般的には表面上の料金が高くなります。 バースト型や季節変動のあるワークロードの場合、この条件だけで料金の大きな差を相殺できる可能性があるため、価格を比較する前に確認してください。
無料の住宅用プロキシはありますか?
いくつかのプロバイダーが本格的な無料プランやトライアルを提供しており、少なくとも1社は期間限定ではなく継続的に利用可能です。これなら、実際のテストやごく小規模な作業を実行するには十分です。Geonodeでは、新規アカウントに1 TBが提供されます。無料の公開プロキシリストは完全に避けてください。運営者はあなたのトラフィックをすべて把握しており、信頼できる理由がありません。
レジデンシャルプロキシは合法ですか?
プロキシの使用は、ほとんどの法域で合法です。プロキシを通じて行う行為は、他のあらゆる行為と同様に法律や契約によって規制されます。つまり、サイトの利用規約は依然として適用され、個人データの収集には依然として合法的な根拠が必要です。これは一般的な情報であり、法的助言ではありません。
プロキシはいくつ必要ですか?
ローテーション型のレジデンシャルプロキシの場合、アドレスの数ではなく帯域幅を購入することになります。したがって、重要なのは作業にどれだけのギガバイトを消費するかという点です。平均ページサイズにページ数を乗じて概算し、さらに障害や再試行に備えて十分な余裕を持たせてください。対象が困難な場合、その量は2倍になることもあります。
まとめ
住宅用プロキシ市場では、どこでも同じように説明されている製品に対して、利用料金が9倍近くも幅があることが公表されています。これは、表向きの数字が、あなたが本当に重視している要素を測っていないことを示す確かな証拠です。
あなたが重視すべきは、成功したリクエストあたりのコストです。失敗したリクエストも成功したものと同様に有料の帯域幅を消費するため、成功率が50%という目標に対して料金が安く見えても、実際には割安とは言えません。また、成功率が十分に低い場合、ランキングは完全に逆転してしまいます。 どのプロバイダーもこの数値を提示することはできません。なぜなら、それはあなたが何を取得するかに完全に依存するからです。この数値は半日あれば測定可能であり、その測定結果は、このテーマに関して公開されているあらゆる比較表よりも価値があります。
料金を確認する前に、2つの構造的な条件を確認しておく必要があります。**未使用のトラフィックに有効期限はあるか。バースト性のワークロードの場合、これは1ギガバイトあたり数ドル以上の差を生む可能性があります。トラフィックを完全に売り切るプランは、年間または季節的な利用において、より安価な有効期限付きサブスクリプションプランを完全に上回る可能性があります。また、表示価格はプロモーション価格ではないか。一時的な割引に基づいて作成された比較表は、その週に最も大幅なセールを行っているプロバイダーを上位にランク付けしてしまうからです。
その前に、10分ほど時間をかけて、そもそも個人向けプランが必要かどうかを確認してください。0.14ドル/GBのデータセンタープランはウェブの大部分で機能しますし、まずこれを試すことが、このプロセス全体の中で最も高いリターンが得られる行動です。
当サイトでは比較表に最低の初期料金を掲載していますが、それでもまずデータセンタープランをテストすること、利用量がごく少ない場合は有料プランではなく無料枠を利用すること、利用量が不規則な場合は有効期限のないトラフィックを他社から購入することをお勧めしています。 これは謙遜ではありません。間違った製品を購入した顧客は、その売上高以上のコストを全員に負担させることになるからです。
テストを実行してください。帯域幅を成功件数で割ってください。そして、実際に機能した中で最も安価なものを購入してください。