学ぶ。構築する。拡張する。

インフラを自社で運用するチームによる
チュートリアル、ガイド、詳しい解説。

注目の記事

プロキシサーバーとは何ですか？

プロキシサーバーは、リクエストを別のIPアドレスを経由して転送します。ここでは、主なプロキシの種類ごとの違い、どのタイプが用途に適しているか、そして「安全」とは具体的に何を意味するのかについて解説します。

how-to-use-proxies-with-the-wayback-machine

ウェイバックマシンでプロキシを使用する方法

インターネット・アーカイブによって設立された「ウェイバック・マシン」は、ワールド・ワイド・ウェブ上のウェブサイトを保存したデジタルアーカイブです。ウェイバック・マシンは、インターネットの歴史的図書館であり、どのユーザーでもウェブサイトのアーカイブ版を閲覧することができます。ユーザーはURLを入力し、閲覧したい日付の範囲を選択するだけで簡単に利用できます。

ウェブサイトからExcelへデータを抽出する方法：3ステップガイド

ウェブスクレイピングは、市場調査やデータ分析など、さまざまな目的に活用できるデータを収集するための重要な手法です。嬉しいことに、どんなウェブサイトからでもデータをスクレイピングしてExcelに取り込むのに、技術に詳しい必要はありません。当社の3ステップのアプローチにより、プロセス全体が簡素化され、初心者でも手軽に利用でき、専門家にとっても効率的です。

Shadowrocketでプロキシを使用する方法

Shadowrocketは、iPhoneやiPadのインターネット接続をプロキシサーバー経由でルーティングできるプロキシクライアントです。ShadowrocketはiOSのシステム設定を構成し、プロキシを適用します。これにより、ユーザーはデータ通信量の確認やインターネット速度の向上など、さまざまな機能を利用できます。

インスタント・データ・スクレイパー

「Instant Data Scraper」は、テーブルや一覧ページを約4回のクリックでCSVファイルに変換できる無料のChrome拡張機能です。コーディングも、アカウント登録も、費用も一切不要です。単発の作業であれば、これほど優れたツールは他にありません。しかし、すべてのブラウザ拡張機能には共通の限界があります。それは、ブラウザ上で、ユーザーのIPアドレスから、クリックできる速度でしか動作しないということです。このガイドでは、正しい使い方、動作しなくなる5つのケース、そしてそれらの状況に直面した際の対処法について解説します。

lihkg.comのデータをスクレイピングする方法：思考実験

人気ソーシャルメディアプラットフォーム「lihkg.com」のスクレイピングにおける複雑さや課題について、実際にスクレイピングを行わずに探ってみましょう。Geonodeのプロキシやscraper APIを活用することで、このプロセスをいかに円滑に進められるかをご紹介します。

DoubleClick.netのスクレイピング方法：確認すべきポイント

DoubleClick.netのスクレイピングを考えていますか？　ちょっと待ってください！　まず、DoubleClick.netをスクレイピングする前に確認すべき重要なポイントについて理解しておく必要があります。

Scrapy 初心者ガイド

Scrapyは、インターネット上の誰でも無料で利用できるオープンソースのウェブクローリングフレームワークです。Scrapyは主にウェブクローリングやウェブスクレイピングに使用されます。これは、あらゆるウェブページからデータを抽出するための高速かつ簡単な方法であり、現在はZyteがメンテナンスを行っています。

Windows でプロキシを使用する方法

Windows（またはMicrosoft Windows）は、マイクロソフト社がパーソナルコンピュータ向けに開発したオペレーティングシステムです。世界で最も普及しているオペレーティングシステムであり、14億台以上のデバイスがWindowsで動作しています。最初のリリースの以来、Windowsには数多くのバージョンがリリースされており、最新バージョンはWindows 11です。

プライバシーを最大限に保護しよう：住宅用プロキシの簡単な設定のコツ

Mac（Macintoshとも呼ばれる）は、Apple社が設計・製造するコンピュータのシリーズです。これは、グラフィカルユーザーインターフェース（GUI）とマウスを組み合わせた、初めて広く販売された大衆向けパーソナルコンピュータです。Macは、ユーザーに自然で使いやすいインターフェースを提供するように設計されており、その主要なオペレーティングシステムはmacOSですが、現在はMac OS Xと呼ばれています。

Undetectable.io — なぜこの検知回避ブラウザがあなたにとって最良の選択なのか？

「Undetectable」は、IPアドレス、ブラウザフィンガープリント、言語設定、フォント、その他多くのパラメータなど、デバイスに関する重要な情報を変更することで、ユーザーのオンライン上の身元を保護するように設計された、最先端の検知回避ブラウザです。

C# HttpClient のプロキシ設定：認証情報、タイムアウト、および検証

このガイドでは、.NET 8 上の C# で HttpClient プロキシを設定する方法について説明します。具体的には、`WebProxy` と `NetworkCredential` の組み合わせ、 `HttpClientHandler`と`SocketsHttpHandler`の選択、`IHttpClientFactory`を用いたクライアントの正しい再利用、タイムアウトとキャンセル、環境変数による設定、バイパスリスト、そして本番環境で実際に遭遇する2つの例外について解説します。最後は、スティッキーなレジデンシャルセッションを開き、終了時のIPアドレスを確認し、失敗した場合は新しいセッションで再試行する完全なコンソールプログラムで締めくくります。以下の内容はすべて、トップレベルステートメントを使用した.NET 8を対象としていますが、APIは.NET Core 3.0以降安定しており、同じコードは.NET 6および7でもコンパイル可能です。

PHP での Guzzle プロキシの設定：認証、HTTPS、およびトラブルシューティング

このガイドでは、実際に動作する Guzzle プロキシ設定のあらゆる要素について解説します。具体的には、文字列形式および配列形式の ``proxy`` リクエストオプション、認証済みプロキシ URL、CONNECT トンネルを経由する HTTPS ターゲット、タイムアウトと証明書の検証、そしてプロキシがリクエストを拒否した際に Guzzle がスローする例外などです。このガイドを読み終える頃には、住宅用プロキシを経由してルーティングを行い、セッション全体を通じて1つの出口IPを維持し、そのIPを検証し、リクエストが失敗した場合は新しいセッションで再試行する、再利用可能なPHPクライアントが完成しているはずです。すべての例は、Guzzle 7およびPHP 8.1以降を対象としています。`composer require guzzlehttp/guzzle:^7`を使用してインストールしてください。

スクレイピングしたデータの検証とスキーマのドリフトの検出

スクレイピングされたデータが顕著なエラーを引き起こすことはめったにありません。問題は徐々に進行します。例えば、再設計によって価格が別の要素に移動すると、パーサーは「`None`」というエラーを返すものの、価格が空の1万行のデータが、例外を1つも発生させることなくデータウェアハウスに読み込まれてしまいます。このガイドでは、スキーマのドリフトがレポートの不具合につながる前にそれを捕捉するための仕組みを構築します。具体的には、pydantic v2のレコードスキーマ、バッチごとの品質チェック、ローリングベースラインを用いたドリフト検出器、隔離ステップ、カナリアURLでの毎日のセレクタ契約テスト、そして問題を修正した後にデータを遡及的に反映できるようにするためのパーサーのバージョン管理です。

Python によるウェブサイトの変更検出：ドキュメントやポリシーの更新を監視する

ウェブサイトの変更検出とは、ベンダーが利用規約の条項を書き換えたり、ドキュメント内のエンドポイントを非推奨にしたり、あるいは誰かが発表する前にこっそりとプライバシーポリシーを編集したりしたことを、事前に把握する方法です。このガイドを読み終える頃には、Geonode や Scraper API を通じてページのリストを Markdown 形式でスナップショット化し、不要な情報を除去し、すべてのバージョンを SQLite に保存し、読みやすい差分レポートを生成し、コンテンツが実際に変更された場合にのみ Slack に投稿する Python スクリプトが完成しているはずです。このスクリプトはcronやGitHub Actionsから実行でき、不安定なフェッチにも耐えます。これは意図的に価格監視ツールではありません。価格は既知の場所に存在する数値ですが、ドキュメントは文章であり、変更の場所や形態は事前に不明だからです。以下の設計上の選択は、この点に基づいています。