Octoparseは、使いやすく、経験があまりなくてもあらゆるウェブサイトからデータを抽出できるウェブスクレイピングツールです。 Octoparseを使ったスクレイピングは非常に簡単で、対象となるウェブサイトのURLを入力し、抽出したいデータを選択して実行するだけです。Octoparseは無料で利用できますが、より多くの機能を備えたプレミアム版も用意されています。
ウェブスクレイパーを使用して大量のデータをスクレイピングする場合、ウェブサイトのサーバーに多数のリクエストを送信することになります。そのため、ほとんどのウェブサイトでは、自動化ツールを使用していることが判明したアカウントをブロックし、そのIPアドレスをブラックリストに登録します。 このような利用停止措置を避けるためには、OctoparseとOctoparseプロキシを組み合わせて使用する必要があります。
プロキシは、お使いのデバイスとインターネット間のゲートウェイとして機能するため、アクセスするウェブサイトにはプロキシサーバーのIPアドレスのみが表示されます。 プロキシを継続的に切り替えることで、Octoparseは一定の間隔ごとに異なるIPアドレスを使用することになります。これにより、ウェブサイト側には、リクエストが単一のコンピュータからではなく、複数の異なるユーザーから送信されているかのように見せかけることができます。
それでは、Octoparseプロキシサーバーを設定してみましょう。
