Crawl。 無料ベータに参加
サイト全体をクロールし、すべてのページからクリーンなデータを取得
URLを送信
サイト全体、または一部をクロール
月額定額またはリクエスト単位
無料月1,500リクエスト
ページごとのクリーンなデータ
- HTML
- Markdown
無制限プランか、リクエスト従量課金か
1つのプランでScraper、Map、Crawl、Searchをカバー。クレジットも、乗数も、想定外の請求もありません。
世界クラスの品質を低価格で提供できる理由
多くのスクレイピングAPIはレンタルした供給網の上で稼働し、クレジット制の料金体系を採用しています。そのため請求額が予測できません。私たちは逆の道を選び、その効果は積み重なっています。
コードクイックスタート
GeonodeのCrawl APIをアプリに追加し、1つのジョブでサイト全体を取得
import requests
r = requests.post(
"https://scraper.geonode.io/v1/extract",
headers={"X-Api-Key": "YOUR_API_KEY", "Content-Type": "application/json"},
json={"url": "https://example.com", "formats": ["markdown"], "processing_mode": "sync"},
)
print(r.json())数秒でスクレイピングを開始
アカウントを作成
登録するだけで、開始時に1,500リクエスト分が無料。クレジットカード不要
リクエストを送信
シンプルなAPIコールで、任意のURLをスクレイピングエンドポイントに送信
クリーンなデータを取得
解析済みのHTMLまたはMarkdownを受信
スケール時はUnlimitedへ
同時実行数ベースの月額定額プランに移行するか、リクエスト単位のままご利用いただけます。クレジット不要、予期しない課金もありません。
FAQ
Geonode APIキーとクロールしたいURLを使い、/v1/crawlへPOSTリクエストを送信します。必須フィールドはURLのみです。深さ、ページ上限、出力形式、JavaScriptレンダリングなどの設定は任意です。
各クロールは一意のjob_idを返します。これを使ってクロールのステータスを取得し、ジョブ完了まで総ページ数、完了数、失敗数を監視できます。
はい。Markdownを含む対応出力形式で抽出コンテンツを返すようクロールを設定できます。選択した形式はクロールが処理するページに適用されます。
はい。クロールリクエストは国ターゲティングを含むプロキシ設定に対応しており、サポートされている場合は選択したロケーションから見たコンテンツを取得できます。
はい。動的サイトではJavaScriptレンダリングとwait_configを組み合わせ、ネットワーク活動の終了や特定要素の表示など、抽出準備完了のタイミングを制御できます。
はい。GET /v1/crawl/jobsで過去のクロールジョブを一覧表示できます。レスポンスにはジョブステータス、クロール統計、設定詳細、ページネーション情報が含まれます。
