Birisi size 900 giriş içeren bir dizinin bağlantısını gönderir ve yarına kadar bu verilerin bir elektronik tabloya aktarılmasını ister.
Bir veri kazıyıcı yazabilirsiniz. Üç saat boyunca kopyala-yapıştır da yapabilirsiniz. Ya da ücretsiz bir Chrome uzantısı yükleyip dört kez tıklayarak doksan saniye içinde bir CSV dosyası elde edebilirsiniz.
WebRobots tarafından geliştirilen Instant Data Scraper, üçüncü seçenektir. Bu araç, bulunduğunuz sayfayı tarar, sayfanın hangi kısmının veri olduğunu tahmin eder ve sonucu CSV veya Excel formatında dışa aktarır. Hesap açmaya, kod yazmaya veya ücret ödemeye gerek yoktur.
Aynı zamanda çoğu kişinin bir ay içinde artık kullanmaktan vazgeçtiği bir araçtır ve bunun nedenleri tahmin edilebilecek kadar tutarlıdır.
Bu kılavuz, uzantının ne işe yaradığını, nasıl doğru şekilde kullanılacağını, çalışmayı durdurduğu beş özel durumu ve her bir durumda ne yapmanız gerektiğini ele almaktadır.
Bu yazıyı, bir ev proxy sağlayıcısı olan Geonode olarak yayınlıyoruz. Proxy’ler, aşağıdaki beş arıza noktasından tam olarak biriyle ilgilidir ve makalede hangisi olduğu belirtilmiştir — diğer dördü için ise cevap tamamen farklı bir araçtır.
Instant Data Scraper Aslında Ne Yapar?
Bu uzantı, tek bir belirli sorunu çözer: Bir web sayfasındaki tekrarlanan yapıları bir elektronik tablodaki satırlara dönüştürmek.
İnternetteki verilerin çoğu belirli kalıplar halinde bulunur — ürün tabloları, arama sonuçları, dizin listeleri, yorum dizileri, fiyat tabloları. Her bir öğe, komşularıyla aynı HTML yapısına sahiptir. Instant Data Scraper, bu tekrarlanan yapıları arar ve bunların istediğiniz veriler olduğunu çıkarır.
Seçici yazmanıza gerek yoktur. Geliştirici araçlarını açmanıza gerek yoktur. Eklenti bir tahminde bulunur, size bir önizleme tablosu gösterir; siz de bunu kabul edersiniz ya da sayfadaki farklı bir bloğu işaret edersiniz.
Eklentiyle Birlikte Neler Gelir
Otomatik algılama. Eklenti sayfayı tarar ve neyin çıkarılması gerektiğini önerir; bu da geliştirici olmayan çoğu kişinin önündeki engeli ortadan kaldırır.
Sayfalandırma işleme. "Sonraki sayfa" düğmesine yönlendirin; eklenti diziyi kendi başına tarar ve ilerledikçe satırları ekler.
Sonsuz kaydırma. Sayfalandırma yerine kaydırdıkça daha fazla içerik yükleyen sayfalar için, uzantı kaydırmaya devam ederek verileri toplayabilir.
Sütun kontrolü. Sütunları yeniden adlandırın, istemediğiniz sütunları gizleyin ve dışa aktarmadan önce filtreleyin.
CSV ve Excel'e aktarma. Doğrudan XLS, XLSX veya CSV formatına aktarır.
Ücretsiz ve kademesiz. Hesap gerektirmez, deneme süresi yoktur, satır sınırı yoktur. Bu, açıkça belirtilmeye değer kadar sıra dışı bir özelliktir.
Nedir Değil
Bu bir zamanlayıcı değildir — kendi başına her gece çalışamaz. Bu bir API değildir — aşağı akıştaki hiçbir şey onu çağıramaz. Bu bir tarayıcı değildir — site genelinde değil, baktığınız sayfada çalışır. Ayrıca, kendi bağlantınızı kullandığı için engelleme sorununu çözmez.
Dört Adımda Nasıl Kullanılır
1. Verilerin Bulunduğu Sayfayı Açın
Sitenin ana sayfasına değil, ilgili listeye gidin. Veriler bir arama işleminin arkasında ise, önce aramayı yapın. Veriler, yasal olarak sahip olduğunuz bir oturum açma bilgisinin arkasında ise, önce oturum açın — uzantı, tarayıcınızın gördüğü her şeyi görür.
Başlamadan önce sayfa boyutunu sitenin izin verdiği en yüksek değere ayarlayın. “20” yerine “100” sayfa başına gösterim sunan bir site, sayfalandırma işinizi beşte dörde indirir.
2. Uzantıyı Çalıştırın ve Tahmini Kontrol Edin
Uzantı simgesine tıklayın. Uzantı sayfayı tarar ve bir önizleme tablosu gösterir.
Geleneksel düzenlerde tahmin çoğu zaman doğrudur. Yanlış olduğunda, genellikle ana içerik yerine bir gezinme menüsü veya kenar çubuğu yakalanmıştır — uzantı, algılanan diğer tabloları da sunar; bu nedenle, önizleme gerçekten istediğinizle eşleşene kadar bunlar arasında geçiş yapın.
Devam etmeden önce önizlemeyi dikkatlice kontrol edin. Satır sayısının makul göründüğünden, sütunların hizalı olduğundan ve hiçbir öğenin bir birim kaymamış olduğundan emin olun. Hizalama hatasını şimdi yakalamak, tüm işi yeniden yürütmekten kurtarır.
3. Sayfalandırma veya Kaydırma Ayarları
Sayfalandırılmış siteler için "Sonrakini Bul" kontrolünü kullanın ve sitenin kendi sonraki sayfa düğmesine tıklayın. Eklenti bu öğeyi kaydeder ve yeniden kullanır.
Sonsuz kaydırma için ise kaydırma moduna geçin.
Sayfalar arasındaki gecikmeyi bilinçli olarak ayarlayın. Varsayılan ayar hızlıdır. Bu süreyi iki veya üç saniyeye çıkarmak, yapabileceğiniz en değerli değişikliktir — bu, işin ortasında hız sınırlamasına takılma olasılığını önemli ölçüde azaltır ve 40 sayfalık bir işte size sadece iki dakikaya mal olur.
4. Çalıştırma ve Dışa Aktarma
Tarama işlemini başlatın ve sekmeyi olduğu gibi bırakın. Eklentinin sayfanın açık ve etkin olması gerekir; sekme arasında geçiş yapmak veya bilgisayarı uyku moduna almak işlemi kesintiye uğratabilir.
İşlem bittiğinde, sütunları yeniden adlandırın ve silin, ardından CSV veya XLSX formatında dışa aktarın.
Kullanmadan önce çıktıyı doğrulayın. Satır sayısını sitenin belirttiği sayı ile karşılaştırın, canlı sayfayla birkaç satırı rastgele kontrol edin ve özellikle son sayfaya bakın — kesintiler genellikle en sonda görülür.
Neyi İyi Yapıyor
“İdeal nokta”yı net bir şekilde belirlemek, özellik listesinden daha faydalıdır.
Tek seferlik veri çıkarma işlemleri. Bugün, bir kez ihtiyacınız olan tek bir liste. Kurulum süresi bir dakikadan azdır; bu, hiçbir komut dosyası tabanlı yaklaşımın ulaşamayacağı bir hızdır.
Geleneksel düzenler. Sunucu tarafından işlenen tablolar, ürün ızgaraları, dizin listeleri, arama sonuçları — net ve tekrarlanan bir yapıya sahip her şey.
Küçük ve orta hacimli veriler. Birkaç düzine sayfaya yayılmış birkaç bin satıra kadar rahatlıkla işlenebilir.
Teknik bilgisi olmayan kullanıcılar. Asıl değer burada yatıyor. Daha önce hiç terminal açmamış biri bile dakikalar içinde bir web sitesinden yapılandırılmış veriler elde edebilir; bu da, aksi takdirde geliştiricinin omuzlarına binen bir yükü ortadan kaldırır.
Keşif amaçlı çalışmalar. Bir veri toplayıcıya mühendislik zamanı ayırmadan önce, bu uzantı doksan saniye içinde “bu veriler gerçekten düşündüğüm gibi mi?” sorusuna cevap verir.
İşiniz bu tanıma uyuyorsa, okumayı burada bırakın — bu uzantı doğru cevaptır ve aşağıda yazılanların hepsi sizin yaşamadığınız sorunlarla ilgilidir.
Sorunların Kaynağı
Çoğu kişinin karşılaştığı sırayla beş sorun noktası.
1. Hacim
Eklenti, tarayıcınızda tarayıcının hızında, her seferinde tek bir sayfa üzerinde çalışır. Birkaç düzine sayfa sorun yaratmaz. Birkaç bin sayfa ise, bir sekmeyi saatlerce açık bırakmak anlamına gelir ve durması durumunda sorunsuz bir şekilde devam ettirmek mümkün olmaz.
Paralellik, kuyruk ve kontrol noktası yoktur. 400 sayfalık bir taramanın 300. sayfada durması genellikle baştan başlamak anlamına gelir.
2. İstek Sınırlaması ve Engellemeler
Bu, proxy'lerin gerçek çözüm olduğu konu olduğu için en fazla yer ayrılmıştır.
Her istek, kendi IP adresinizden gönderilir. İstek hızlarını izleyen siteler, tek bir adresin sabit, zaman aralıkları eşit ve yapısal olarak aynı istekler gönderdiğini görür — bu da insan taramasına benzemez.
Bunun ardından genellikle bir CAPTCHA, ardından hız sınırlaması ve sonra da geçici bir engelleme gelir. İşletmeniz için önemli bir sitede ofis IP’nizin işaretlenmesi gerçek bir maliyettir.
Hızı düşürmek yardımcı olur ve denenmesi gereken ilk şeydir. Ancak belirli bir hacmin ötesinde bu yeterli olmaktan çıkar, çünkü sorun hız değildir — sorun, her isteğin tek bir adresten gelmesidir. İstekleri birçok adrese dağıtmak sorunu gerçekten çözer ve bu da bir proxy gerektirir; tarayıcı uzantısı ise istek bazında proxy kullanamaz.
3. Zamanlama
Eklenti kendi başına çalışamaz. Her sabah saat altıda fiyatlara ihtiyacınız varsa, birinin tarayıcıyı açıp tıklaması gerekir. Tekrarlayan herhangi bir iş için komut dosyası tabanlı bir veri toplayıcı veya barındırılan bir hizmet gereklidir.
4. Karmaşık Yapılar
Otomatik algılama, tekrarlayan bir kalıp olduğunu varsayar. Liste halinde değil de sayfa üzerine dağılmış veriler, sekmeler ve akordeonlar gibi etkileşimlerin ardındaki içerik, her satır için ayrı ayrı ziyaret edilmesi gereken ayrıntı sayfaları ve içeriği alışılmadık şekillerde bir araya getiren, büyük ölçüde JavaScript tabanlı arayüzlerle başa çıkmakta zorlanır.
Ayrıca, bir listeden ayrıntı sayfasına giden bir bağlantıyı takip edip geri dönemez — bu çok yaygın bir gereksinimdir ve işin durmasına neden olur.
5. Entegrasyon
Çıktı, bir kişinin indirdiği bir dosyadır. Bir iş akışı, gösterge paneli veya modelin bu verilere ihtiyacı varsa, her seferinde birinin bu dosyayı aktarması gerekir. API veya webhook yoktur.
Bilinmesi Gereken Alternatifler
Kullandığınız aracı, karşılaştığınız soruna göre seçin.
Diğer Tarayıcı Eklentileri
Benzer işlevlere sahip birçok eklenti mevcuttur; bunlardan bazıları yapay zeka destekli alan algılama veya bulut tabanlı çalıştırma özellikleri sunar. Algılama sizin için özel bir sorunsa denemeye değer — ancak hepsi aynı temel kısıtlamalara sahiptir: tarayıcınız, IP adresiniz, tıklamalarınız.
Eklentileri değiştirmek, algılama sorunlarını çözer. Ancak hacim, zamanlama, engelleme veya entegrasyon sorunlarını çözmez.
Görsel Veri Toplama Uygulamaları
"İşaretle ve tıkla" tarzı oluşturuculara sahip masaüstü ve bulut araçları bir üst seviyededir. Bu araçlar, çok adımlı akışları, ayrıntı sayfası ziyaretlerini ve zamanlanmış bulut çalıştırmalarını yönetir. Çoğu ticari bir üründür.
Yapınız otomatik algılama için çok karmaşık olduğunda, ancak yine de kod yazmak istemediğinizde bu doğru adımdır.
Kendi Kodunuzu Yazmak
requests ve BeautifulSoup ile Python, sunucu tarafında işlenen sayfaları kapsar. Playwright veya Selenium, JavaScript ağırlıklı siteleri işler. Scrapy, yerleşik yeniden deneme ve eşzamanlılık özellikleriyle büyük ölçekli taramayı yönetir.
Bu, en esnek ancak en fazla iş gerektiren yöntemdir. İş tekrarlayan nitelikte olduğunda bu yöntem kârlı hale gelir; çünkü kodu bir kez yazarsınız ve sonsuza kadar çalışır.
Veri Toplama API'leri
Bir URL kabul edip ayrıştırılmış verileri döndüren, rotasyonu ve sunucu tarafında işlemeyi üstlenen hizmetlerdir. Altyapı bakımı yapmama karşılığında istek başına maliyet ödersiniz.
Altyapıyı kendiniz yönetmeden veri elde etmek istediğinizde idealdir.
Kendi Kodunuzu Kullandığınız Proxy'ler
Veri toplama aracının kontrolü sizde kalır ve istekleri dönüşümlü adresler üzerinden yönlendirirsiniz. API'ye göre daha fazla çalışma gerektirir, yüksek hacimde daha ucuzdur ve mantığı siz kontrol edersiniz.
Veri toplama işi kalıcı hale geldiğinde çoğu ekip bu yöntemi tercih eder.
Uzantının Ötesine Ölçeklendirme
Tek seferlik bir iş, tekrarlanan bir iş haline geldiğinde, sorunun niteliği değişir.
Doğru Anı Fark Etmek
Aşağıdakilerden herhangi biri geçerliyse harekete geçin: iş birden fazla kez çalışıyor, birkaç yüz sayfayı aşıyor, hız sınırlamasına takıldınız, çıktı otomatik bir sisteme besleniyor veya yapı, ayrıntı sayfalarına giden bağlantıları takip etmeyi gerektiriyor.
Eklentinin Yerine Ne Koyulur?
Eklentinin yaptıklarının temel bir komut dosyası versiyonu:
import time
import requests
from bs4 import BeautifulSoup
proxies = {
"http": "http://USERNAME:PASSWORD@proxy.geonode.io:9000",
"https": "http://USERNAME:PASSWORD@proxy.geonode.io:9000",
}
rows = []
for page in range(1, 41):
r = requests.get(
f"https://example.com/listings?page={page}",
proxies=proxies,
timeout=30,
)
if r.status_code != 200:
print(f"page {page}: HTTP {r.status_code}")
continue
soup = BeautifulSoup(r.text, "html.parser")
for item in soup.select(".listing-item"):
rows.append({
"title": item.select_one(".title").get_text(strip=True),
"price": item.select_one(".price").get_text(strip=True),
})
time.sleep(2)
print(f"collected {len(rows)} rows")
Yaklaşık otuz satırlık bu kod, eklentinin sunamadığı avantajları sağlar: gözetimsiz çalışır, bilinen bir sayfadan devam eder ve tek bir adrese yoğun yük bindirmek yerine istekleri birçok adrese dağıtır.
Bu Ölçekte Proxy'lerin Maliyeti
Metin kazıma işlemi hafiftir. Resimsiz bir HTML sayfası genellikle 50–200 KB boyutundadır, dolayısıyla on bin sayfa yaklaşık 1–2 GB civarındadır.
[Geonode
'ın](https://geonode.com/pricing) GB başına 0,79 $'lık başlangıç fiyatına göre, tüm iş için yaklaşık 1 ila 2 $ tutar — ayrıca yeni hesaplara 1 TB ücretsiz alan verilir; bu da para harcamadan önce bu büyüklükteki pek çok işi karşılamaya yeter. Ücretler, 100 GB’da GB başına 0,50 dolara, 1 TB’da ise 0,27 dolara düşer.
Dürüst bir değerlendirme: on bin sayfa söz konusu olduğunda maliyet her iki durumda da önemsizdir ve geçiş yapmanın nedeni fiyat değil, güvenilirliktir. Fiyat, milyonlarca sayfaya ulaşıldığında önem kazanmaya başlar — ve işte bu noktada, sağlayıcılar arasında 0,79 $ ile 7,00 $ arasında değişen GB başına ücretler, gerçek bir maliyete dönüşür.
Eklentiyi Kullanıma Devam Edin
Gerçek bir iş akışınız olsa bile, eklenti tam da en iyi yaptığı şey için kullanışlı olmaya devam eder: tek bir satır kod yazmadan önce, yeni bir kaynağın üzerinde çalışmaya değer olup olmadığını kontrol etmek.
Sınırın Doğru Tarafında Kalmak
Bu eklenti, veri toplama işlemini kolaylaştırır; bu da, bunu yapıp yapmamanız gerektiği konusunu göz ardı etmenizi kolaylaştırır.
Hizmet şartlarını okuyun. Birçok site, otomatik veri toplama işlemini açıkça kısıtlamaktadır. Bir aracın ücretsiz ve kullanımı kolay olması, siteyi kullanırken kabul ettiğiniz şartları değiştirmez.
Halka açık verileri tercih edin. Herkese açık listeler, fiyatlar ve teknik özellikler, oturum açma gerektiren veya kişisel olan her şeyden çok daha güvenli bir zeminde yer alır. Yasal bir dayanak olmadan bireyler hakkında kişisel bilgi toplamayın.
Sitenin kapasitesine saygı gösterin. Toplamaya izin verilen durumlarda bile, aşırı sıklıkta yapılan istekler, sitenin gerçek kullanıcıları için hizmet kalitesini düşürür. İstekler arasındaki gecikmeler bir nezaket kuralıdır ve aynı zamanda engellenmemenizi de sağlar.
robots.txt adresini kontrol edin. Bu bir yasal belge değildir, ancak site operatörünün neyi tercih ettiğini gösterir ve bunu göz ardı etmek, daha sonra iyi niyetli bir argüman sunmanızı zorlaştırır.
Telif hakkı hâlâ geçerlidir. Gerçekler genellikle korunmaz; yaratıcı içerik ise korunur. Fiyat bilgilerini çıkarmak, makaleleri yeniden yayınlamaktan farklıdır.
Yargı yetkisi ülkeden ülkeye değişir. Kurallar ülkeye göre farklılık gösterir ve faaliyet gösterdiğiniz yer, altyapınızın bulunduğu yer ve veri sahiplerinin bulunduğu yere bağlı olabilir. Ticari açıdan önemli çalışmalar için, durumunuza özel danışmanlık alın.
Kullanıcılar Ayrıca Şunları Soruyor
Instant Data Scraper ücretsiz mi?
Evet. Chrome uzantısı, tüm özellikleriyle birlikte ücretsizdir; ücretli planlar veya kullanım sınırlamaları yoktur ki bu, bu kategoride nadir görülen bir durumdur. Hesap açma zorunluluğu ve deneme süresi de yoktur.
Her web sitesinde çalışıyor mu?
Hayır. Tekrarlayan yapıları net olan sayfalarda (tablolar, ürün tabloları, arama sonuçları, dizin listeleri) iyi çalışır. Liste halinde değil de sayfa üzerine dağınık halde bulunan veriler, sekmelerin veya akordeonların arkasındaki içerikler ve ayrıntı sayfalarına giden bağlantıları takip edip geri dönmeyi gerektiren sitelerde zorluk yaşar.
Veri toplama işlemi neden yarıda durdu?
Genellikle istek sınırlaması nedeniyledir. Her istek, kendi IP adresinizden sabit, makine benzeri bir ritimle gelir ve birçok site bu modeli kısıtlar veya engeller. Sayfalar arasındaki gecikmeyi iki veya üç saniyeye çıkarmak çoğu durumda sorunu çözer. Belirli bir hacmin ötesinde, çözüm istekleri birden fazla adrese dağıtmaktır; ancak bu, bir tarayıcı uzantısı ile yapılamaz.
Otomatik olarak çalışması için zamanlayabilir miyim?
Hayır. Eklentinin çalışması için bir tarayıcı sekmesinin açık olması ve bir kişinin onu başlatması gerekir. Tekrarlayan işler için komut dosyası tabanlı bir kazıyıcı veya barındırılan bir kazıma hizmeti gerekir.
Bunu kullanmak IP adresimin engellenmesine neden olur mu?
İstek oranlarını aktif olarak izleyen sitelerde bu olabilir. Risk, hacim ve hızla birlikte artar. Site işiniz için önemliyse, gecikme sürelerinde ihtiyatlı davranın — ofis adresinizin işaretlenmesi gerçek bir maliyettir.
Ne zaman başka bir yönteme geçmeliyim?
İş tekrarlıyorsa, birkaç yüz sayfayı aşıyorsa, halihazırda istek sınırlamasını tetiklemişse, otomatik bir sisteme veri sağlıyorsa veya ayrıntı sayfalarına giden bağlantıları takip etmesi gerekiyorsa. Bunlardan herhangi biri makul bir tetikleyicidir.
Tarayıcı uzantısı için proxy'lere ihtiyacım var mı?
Hayır — zaten bir uzantıyla istek başına proxy kullanamazsınız. Proxy'ler, komut dosyası tabanlı bir veri toplayıcıya geçtiğinizde önem kazanır; bu aynı zamanda engellemenin genellikle en büyük sorun haline geldiği noktadır.
Sonuç
Instant Data Scraper tek bir işte çok başarılıdır: kod yazmaya gerek kalmadan, ücretsiz olarak ve bir dakikadan kısa sürede yapılandırılmış bir sayfayı bir elektronik tabloya dönüştürmek. Geleneksel bir listeden tek seferlik veri çıkarma söz konusu olduğunda, sonuç alma süresi açısından bu araçtan daha iyisi yoktur.
Beş sınırlaması vardır ve bunlar öngörülebilirdir. Hacim, çünkü tarayıcı hızında çalışır ve her seferinde tek bir sayfayı işler. Hız sınırlaması: her istek kendi adresinizden gönderilir. Zamanlama: bir kişinin müdahalesi ve açık bir sekme gerektirir. Yapı: otomatik algılama, tekrarlanan kalıpları varsayar ve ayrıntı sayfalarına giden bağlantıları takip edemez. Entegrasyon: çıktı bir dosyadır, bir uç nokta değildir.
Hangi sınıra ulaştığınız, neye geçeceğinizi belirler. Algılama sorunları, farklı bir eklentiye veya görsel bir kazıyıcıya işaret eder. Zamanlama ve yapı sorunları ise kendi kazıyıcınızı yazmanız gerektiğini gösterir. Entegrasyon sorunu ise bir kazıma API’sini gerektirir. Engelleme sorunu ise proxy’lerin çözüm olduğu durumdur; çünkü asıl sorun hız değil, her isteğin tek bir adresten gelmesidir.
Ve geçiş yaptığınızda, rakamlar çoğu kişinin beklediğinden daha küçüktür: on bin metin sayfası kabaca 1–2 GB'dir; bu, giriş ücretleriyle birkaç dolara denk gelir ve ücretsiz kotanın oldukça içinde kalır. Bu ölçekte geçiş yapmanın nedeni maliyet değil, güvenilirliktir.
Yararlı bir alışkanlık, her ikisini de elinizde tutmaktır. Keşif amaçlı uzantı — bu kaynak üzerine bir sistem kurmaya değer mi? İki kez çalıştırılması gereken her şey için iş akışı.
