Crawl. Ücretsiz beta'ya katılın
Tüm siteyi crawl edin ve her sayfadan temiz veri alın
Bir URL gönderin
Tüm siteyi veya bir bölümü crawl eder
Sabit aylık veya istek başına
ÜcretsizAyda 1.500 istek
Sayfa başına temiz veri
- HTML
- Markdown
Sınırsıza geçin ya da istek başına ödeyin
Tek bir kademe Scraper, Map, Crawl ve Search'ü kapsar. Kredi yok, çarpan yok, sürpriz fatura yok.
Burada nasıl dünya sınıfı kalite üzerinde düşük fiyatlar sunuyoruz
Çoğu scraping API'si kiralık tedarik üzerinde kredi bazlı fiyatlandırmayla çalışır. Bu yüzden faturanız öngörülemez. Biz tam tersi yolu seçtik ve matematik katlanarak birikiyor.
Kod hızlı başlangıcı
Geonode Crawl API'sini uygulamanıza ekleyin ve tüm siteyi tek bir işte çekin
import requests
r = requests.post(
"https://scraper.geonode.io/v1/extract",
headers={"X-Api-Key": "YOUR_API_KEY", "Content-Type": "application/json"},
json={"url": "https://example.com", "formats": ["markdown"], "processing_mode": "sync"},
)
print(r.json())Saniyeler içinde scraping'e başlayın
Hesabınızı oluşturun
Kaydolun ve başlamak için 1.500 ücretsiz istek alın. Kredi kartı gerekmez
Bir istek gönderin
Basit bir API çağrısıyla herhangi bir URL'yi scraping uç noktasına gönderin
Temiz veri alın
Ayrıştırılmış HTML veya Markdown alın
Ölçeklendikçe unlim'e geçin
Paralelliğe göre sabit aylık plana geçin ya da istek başına kalın. Kredi yok, sayaç sürprizi yok.
FAQ
Geonode API anahtarınız ve taramak istediğiniz URL ile /v1/crawl adresine bir POST isteği gönderin. Tek zorunlu alan URL'dir; derinlik, sayfa limiti, çıktı formatı ve JavaScript render gibi tarama ayarları isteğe bağlıdır.
Her tarama benzersiz bir job_id döndürür. Bununla tarama durumunu alın ve iş bitene kadar toplam, tamamlanan ve başarısız sayfa sayılarını izleyin.
Evet. Taramayı, Markdown dahil desteklenen çıktı formatlarında çıkarılmış sayfa içeriği döndürecek şekilde yapılandırabilirsiniz. Seçilen format, taramanın işlediği sayfalara uygulanır.
Evet. Tarama istekleri ülke hedeflemesi dahil proxy yapılandırmasını destekler; böylece desteklendiğinde seçilen konumdan göründüğü gibi içeriği alabilirsiniz.
Evet. Dinamik sitelerde JavaScript render ile wait_config'i birlikte kullanarak bir sayfanın ne zaman çıkarıma hazır olduğunu kontrol edebilirsiniz; örneğin ağ etkinliğinin bitmesini veya belirli bir öğenin görünmesini beklemek.
Evet. GET /v1/crawl/jobs ile önceki tarama işlerini listeleyebilirsiniz. Yanıt iş durumu, tarama istatistikleri, yapılandırma ayrıntıları ve sayfalama bilgilerini içerir.
Kredi hesabı yapmayı bırakın. Crawling'e başlayın.
Ayda 1.500 istek ücretsiz. Kredi kartı gerekmez.
