Maricor Bunal
Güncellenme: 7 Ekim 2026
Yayınlanma: 12 Eylül 2023
Web veri toplama karmaşık olabilir, ancak mutlaka öyle olmak zorunda değildir. Bu kılavuz, web tarayıcılarını otomatikleştirmek için kullanılan güçlü bir araç olan Selenium’u size tanıtmaktadır. Amacımız, temel kurulumdan ileri düzey tekniklere kadar Selenium’u kullanmanızı kolaylaştırmak ve verileri daha etkili bir şekilde toplamaya başlamanız için gerekli becerileri kazandırmaktır.
Veriler değerli bir varlıktır ve bunları web’den verimli bir şekilde toplama becerisi giderek daha fazla önem kazanmaktadır.
Web veri kazıma karmaşık olabilir, ancak öyle olması gerekmez.
Bu kılavuz, web tarayıcılarını otomatikleştirmek için kullanılan güçlü bir araç olan Selenium'u size tanıtmaktadır.
Amacımız, temel kurulumdan ileri düzey tekniklere kadar Selenium'u kullanmanıza yardımcı olmak ve verileri daha etkili bir şekilde toplamaya başlamanız için gerekli becerileri kazandırmaktır.
Web kazıma, web sitelerinden veri çıkarma işlemidir.
Bu, manuel bir sürece gerek kalmadan web’den bilgi toplamak için etkili bir yöntemdir.
Web kazımının önemi, aksi takdirde önemli ölçüde zaman ve çaba gerektirecek olan veri toplama yöntemlerini otomatikleştirme yeteneğinde yatmaktadır.
Web sayfalarında gezinen gerçek bir kullanıcının aksine, web kazıma bu süreci otomatikleştirerek verilerin daha akıcı ve verimli bir şekilde toplanmasını sağlar.
İçeriği genellikle dinamik olarak yükleyen modern web siteleri bağlamında, tarayıcı tabanlı kazıma mükemmel bir araç haline gelir.
Örneğin Selenium, gerçek bir kullanıcının eylemlerini taklit edebilir; bu sayede kazıma işlemi sırasında web sitelerinin IP adresinizi engelleme olasılığı azalır.
Bu, Selenium’un temel işlevlerini destekleyen bir programlama dilinde ve kod düzenleyicide çalışırken özellikle yararlıdır.
Web veri kazıma, her biri farklı ihtiyaçlara hizmet eden geniş bir uygulama yelpazesine sahiptir. İşte bazı yaygın kullanım örnekleri:
Pazar Araştırması. Pazar eğilimlerini anlamak, işletmeler için hayati önem taşır.
Web veri kazıma, e-ticaret eğilimleri, fiyatlandırma stratejileri ve tüketici davranışlarıyla ilgili verilerin toplanmasını otomatikleştirebilir.
Veri Gazeteciliği. Gazeteciler, haberleri için genellikle büyük veri kümeleri toplamak zorunda kalır.
Web kazıma, bu verileri hızlı bir şekilde toplamak için verimli bir yöntem sunar.
Sosyal Medya İzleme. Markalar, kendileriyle ilgili paylaşımları izlemek ve kamuoyunu anlamak için web kazımayı kullanır.
Kazıma süreci, çeşitli sosyal medya platformlarını takip etmek üzere otomatikleştirilebilir.
İş İlanları. İşe alım ajansları, çeşitli web sitelerinden iş ilanlarını toplamak ve bunları tek bir veritabanında birleştirmek için web kazımayı kullanır.
Akademik Araştırma. Araştırmacılar, çalışmalar yürütmek veya istatistiksel veriler toplamak için web sitelerinden veri toplayabilir.
Bu kullanım örneklerinin her birinde Selenium mükemmel bir araç olarak işlev görür. İsteğe bağlı kod çalıştırma ve gerçek kullanıcı etkileşimlerini taklit etme yeteneği, onu modern web sitelerinden veri toplamak için ideal kılar.
Selenium, başlangıçta web uygulaması testlerini otomatikleştirmek amacıyla geliştirilmiş açık kaynaklı bir çerçeve.
Zamanla, web kazıma dahil olmak üzere çeşitli web otomasyonu türleri için çok yönlü bir araç haline gelmiştir.
Selenium, düğmelere tıklama, formları doldurma ve sayfalar arasında gezinme gibi bir insanın web tarayıcısında gerçekleştireceği eylemleri otomatik bir şekilde komut dosyası haline getirme imkanı sunar.
Selenium'u diğerlerinden ayıran özelliği, Chrome, Firefox, Safari ve Internet Explorer dahil olmak üzere birden fazla tarayıcıyı destekleme yeteneğidir; bu da onu son derece uyarlanabilir kılar.
Platform ayrıca Windows, macOS ve Linux gibi çeşitli işletim sistemleriyle de uyumludur.
Bu tarayıcılar ve platformlar arası işlevsellik, onu birçok geliştirici ve test uzmanı için tercih edilen bir seçenek haline getirir.
Dahası, Selenium, test yapılandırması ve raporlama için TestNG ve JUnit gibi araçlarla entegre edilebilir; bu özellikler başlangıçta test amaçlı tasarlanmış olsa da web kazıma senaryoları için de avantajlı olabilir.
Kütüphane Koleksiyonu. Selenium sadece bir web veri toplama aracı değildir; esas olarak otomasyon testleri için kullanılan kapsamlı bir kütüphane koleksiyonudur.
Bu sağlam çerçeve, Selenium'u web veri toplama için çok yönlü bir seçenek haline getirir.
Dinamik Öğeler. Selenium ile web kazıma yapmanın en önemli avantajlarından biri, bir web sayfasındaki dinamik öğelerle etkileşime girebilme yeteneğidir.
Bu, Selenium ile web kazıma yaparken, özellikle içeriği dinamik olarak yükleyen modern web siteleri için hayati önem taşır.
Gerçek Kullanıcı Davranışı. Selenium gibi tarayıcı tabanlı yaklaşımların güzelliği, gerçek kullanıcı etkileşimlerini taklit edebilmeleridir.
Bu, özellikle güçlü veri kazıma önleme tedbirlerine sahip web sitelerinde gezinmek için oldukça kullanışlıdır.
Kod Parçacığı. Bir kod parçacığı, Selenium’un düğmelere tıklama ve formları doldurma gibi karmaşık eylemleri gerçekleştirmesini sağlar.
Bu da onu çeşitli görevleri otomatikleştirmek için güçlü bir araç haline getirir.
Geliştirici Araçlarıyla Entegrasyon. Selenium, geliştirici araçlarıyla sorunsuz bir şekilde entegre olur; böylece işlemler sırasında hataları gidermek ve öğeleri incelemek daha kolay hale gelir.
Tarayıcı Otomasyon Araçları. Selenium, çeşitli tarayıcı otomasyon araçlarıyla uyumlu çalışır; bu da kullanışlılığını artırır ve onu web veri kazıma alanında hem yeni başlayanlar hem de uzmanlar için mükemmel bir seçim haline getirir.
Selenium Komutları Dizisi. Mevcut Selenium komutları dizisi, çok çeşitli eylemlerin gerçekleştirilmesine olanak tanır ve farklı web veri kazıma ihtiyaçlarına uyarlanabilir olmasını sağlar.
Web veri toplama işlemine başlamadan önce, ortamınızı doğru bir şekilde hazırlamanız çok önemlidir.
İlk adım, tarayıcı işlemlerini otomatikleştirmenizi sağlayan Selenium'u yüklemektir.
Terminalinizi açın ve Selenium paketini yüklemek için aşağıdaki komutu çalıştırın:
Bu komut, Selenium paketini yükleyecek ve Python'da Selenium komut dosyalarını çalıştırmanıza olanak sağlayacaktır.
Resmi web sitesinden Selenium Java bağlayıcılarını indirin. JAR dosyalarını Java projenize ekleyin. Diğer Popüler Diller İçin:
Selenium, Ruby, C# ve JavaScript gibi birçok popüler dili destekler. İlgili kütüphaneleri Selenium resmi web sitesinde bulabilirsiniz.
Selenium'u yükledikten sonra bir sonraki adım, bir tarayıcı sürücüsünü kurmaktır.
Bu sürücü, Selenium'un bir web tarayıcısıyla etkileşime girmesini sağlar.
ChromeDriver, bu amaçla en yaygın olarak kullanılan tarayıcı sürücülerinden biridir.
ChromeDriver'ı İndirin. ChromeDriver indirme sayfasını ziyaret edin ve Chrome tarayıcınızla uyumlu sürümü indirin.
Yol'a Ekleyin. İndirdiğiniz dosyayı açın ve konumunu sisteminizin PATH değişkenine ekleyin.
Bu, Selenium komut dosyanızı çalıştırırken Selenium'un sürücüyü bulmasını sağlar.
Kurulumu Test Edin. Her şeyin doğru şekilde kurulduğundan emin olmak için, basit bir Selenium komut dosyası çalıştırarak başsız bir tarayıcı açıp bir web sitesine gidebilirsiniz.
Bu komut dosyası hatasız çalışırsa, ChromeDriver kurulumunuz başarılı demektir.
Bu adımları izleyerek, Selenium komut dosyalarını çalıştırmak için işlevsel bir ortama sahip olacaksınız. Artık popüler kütüphaneler ve diller kullanarak, basit gezinme işlemlerinden karmaşık görevlere kadar çeşitli tarayıcı eylemlerini otomatikleştirebilirsiniz.
Ortam Kurulumu. Henüz yapmadıysanız, önceki bölümde anlatıldığı gibi Selenium’u yüklediğinizden ve ChromeDriver’ı kurduğunuzdan emin olun.
Yeni Bir Python Dosyası Oluşturun. Kod düzenleyicinizi açın ve yeni bir Python dosyası oluşturun. Dosyaya first_selenium_project.py gibi bir ad verin.
Selenium'u İçe Aktarın. Python dosyanızın en üstüne Selenium WebDriver paketini içe aktarın.
WebDriver'ı Başlatın. Chrome WebDriver'ın yeni bir örneğini oluşturun.
Web Sitesine Gidin. get yöntemini kullanarak veri toplamak istediğiniz web sitesine gidin.
İşlemleri Gerçekleştirin. Düğmelere tıklamak veya formları doldurmak gibi işlemleri gerçekleştirin. Örneğin, "submit" kimliğine sahip bir düğmeye tıklamak için.
Verileri Çıkarın. Veri toplamak istediğiniz öğeleri bulun ve verileri çıkarın. Örneğin, "data" kimliğine sahip bir öğeden metni almak için.
Tarayıcıyı Kapatın. Verilerinizi topladıktan sonra tarayıcıyı kapatmayı unutmayın.
Kaydedin ve Çalıştırın. Python dosyanızı kaydedin ve ilk Selenium web veri kazıma projenizi yürütmek için çalıştırın.
İşte yukarıdaki tüm adımları tek bir Selenium betiğinde birleştiren eksiksiz bir örnek.
Bu, web kazıma işine başlamanız için en basit Selenium örneklerinden biridir. Konuya daha aşina oldukça, daha karmaşık eylemleri ve veri çıkarma tekniklerini kullanmaya başlayabilirsiniz.
Temel kavramlara daha fazla aşina oldukça, AJAX ile yüklenen içerikler ve CAPTCHA’lar gibi ek zorluklar sunan web siteleriyle karşılaşabilirsiniz.
AJAX (Asenkron JavaScript ve XML), modern web sitelerinde içeriği dinamik olarak yüklemek için yaygın olarak kullanılır.
Geleneksel veri kazıma yöntemleri, AJAX ile yüklenen içeriklerde iyi sonuç vermeyebilir.
Selenium ile bunu nasıl halledebileceğiniz aşağıda açıklanmıştır:
Açık Beklemeler: AJAX öğesi yüklenene kadar komut dosyasını duraklatmak için Selenium'un WebDriverWait işlevini kullanın.
JavaScript Yürütme: AJAX çağrılarını manuel olarak tetiklemek için JavaScript kodunu çalıştırın.
CAPTCHA'lar, web sitelerine otomatik erişimi engellemek için tasarlanmıştır ve bu da web veri kazıma için bir zorluk oluşturur.
Bir web sitesinin hizmet şartlarına uymak her ne kadar önemli olsa da, eğitim amaçlı olarak CAPTCHA'ları atlatmak için bazı teknikler şunlardır:
Üçüncü Taraf Hizmetler: 2Captcha gibi CAPTCHA'ları sizin için çözebilen hizmetler mevcuttur. Bu hizmetlerin API'sini Selenium komut dosyanıza entegre edebilirsiniz.
Kullanıcı Simülasyonu: Kazıma işleminin daha az fark edilebilir hale gelmesi için gecikmeler veya fare hareketleri ekleyerek insan benzeri davranışları taklit edin.
Web veri toplama dünyasına adım atarken, faaliyetlerinizin hem verimli olmasını hem de veri topladığınız web sitelerine saygılı olmasını sağlamak için en iyi uygulamaları takip etmeniz çok önemlidir.
Bu bölümde, web veri toplama amacıyla Selenium kullanırken nelerin yapılması ve nelerin yapılmaması gerektiği özetlenecektir.
Hız Sınırlaması. Sunucunun aşırı yüklenmesini önlemek için her zaman hız sınırlaması uygulayın. İstekler arasında birkaç saniyelik bir gecikme bırakmak genellikle iyi bir uygulamadır.
Kullanıcı Aracısı Dizesi. Kazıyıcınızı tanımlamak için geçerli bir kullanıcı aracısı dizesi kullanın. Bu, daha saygılı ve şeffaf bir yaklaşımdır.
Hata İşleme. Zaman aşımı veya eksik öğeler gibi sorunlarla başa çıkmak için sağlam bir hata işleme sistemi uygulayın.
Çok Fazla Veri Kazımak. Kazıdığınız veri miktarına dikkat edin. Aşırı veri kazıma, sunucuya yük bindirebilir.
Robots.txt Dosyasını Göz Ardı Etmek. Web kazıma için yönergeleri belirleyen bir web sitesinin robots.txt dosyasını her zaman kontrol edin ve bu kurallara uyun.
CAPTCHA'ları Atlamak. CAPTCHA'ları atlamanın yolları olsa da, izinsiz olarak bunu yapmak genellikle etik dışı kabul edilir.
Bu en iyi uygulamalara ve ipuçlarına uyarak, web veri toplama faaliyetlerinizde Selenium'u hem etkili hem de etik bir şekilde kullandığınızdan emin olabilirsiniz.
Çözüm: Öğeyi bulmak için doğru yöntemi kullandığınızdan emin olun (örn. find_element_by_id, find_element_by_class_name). Ayrıca, öğenin yüklendiğinden emin olmak için açık bekleme süreleri kullanmayı da düşünün.
Çözüm: JavaScript uyarıları veya açılır pencerelerle etkileşim kurmak için Selenium'un Alert arayüzünü kullanın.
Çözüm: Web sayfasına verileri yüklemesi için yeterli zaman tanımak amacıyla hız sınırlaması veya açık bekleme süreleri uygulayın.
Çözüm: WebDriver'ınızı başlatırken --headless seçeneğini kullanarak Selenium'u tarayıcı penceresi açmadan çalıştırın.
Çözüm: Web sayfasının mevcut durumunu yakalamak için Selenium'un save_screenshot yöntemini kullanın.
Web kazıma, yasal açıdan belirsiz bir alanda yer alır ve yasallığı, web sitesinin hizmet şartları, kazınan veriler ve kazıma sıklığı gibi çeşitli faktörlere bağlı olarak değişebilir.
Herhangi bir web kazıma faaliyetine başlamadan önce mutlaka web sitesinin hizmet şartlarını inceleyin ve hukuki danışmanlık almayı düşünün.
Web kazıma sırasında engellenmek yaygın bir endişe konusudur. Riski en aza indirmek için bazı ipuçları:
Hız Sınırlaması. Sunucuyu aşırı yüklemekten kaçınmak için istekler arasında bir gecikme uygulayın. Kullanıcı Aracısı Dönüşümü. Kazıyıcınızın daha az tespit edilebilir olmasını sağlamak için farklı kullanıcı aracısı dizeleri kullanın. IP Dönüşümü. İstekleri dağıtmak için birden fazla IP adresi kullanın. Robots.txt Dosyasına Uyun. Her zaman web sitesinin robots.txt yönergelerini kontrol edin ve bunlara uyun.
Evet, Selenium özellikle dinamik web sitelerini kazımak için son derece uygundur.
Yalnızca statik HTML içeriğini alabilen diğer birçok kazıma aracının aksine, Selenium JavaScript ile etkileşime girebilir ve bu sayede içeriği dinamik olarak yükleyen web sitelerini kazımayı mümkün kılar.
Kazımaya başlamadan önce dinamik içeriğin tamamen yüklendiğinden emin olmak için açık bekleme süreleri kullanabilir veya JavaScript'i manuel olarak çalıştırabilirsiniz.
Web kazıma, veriye dayalı sayısız imkânın kapılarını açar ve Selenium, bu alanda yolunuzu bulmanızı sağlayan güçlü bir araçtır.
Tarayıcı görevlerini otomatikleştirmekten karmaşık ve dinamik web sitelerini kazımaya kadar, Selenium her veri meraklısının arzuladığı çok yönlülüğü ve kontrolü sunar.
Web kazıma maceranıza başlarken, yasal kurallara ve etik uygulamalara uyarak her zaman sorumlu bir şekilde veri kazımayı unutmayın.
Konuyu daha derinlemesine anlamak istiyorsanız veya zorluklarla karşılaşıyorsanız, size yardımcı olabilecek bazı kaynaklar şunlardır:
Resmi Selenium Belgeleri - Konuyu derinlemesine anlamak için başlamak için en iyi yer.
Web Veri Toplama Toplulukları - Stack Overflow ve Reddit gibi web sitelerinde, soru sorabileceğiniz ve bilgi paylaşabileceğiniz aktif topluluklar bulunmaktadır.
Çevrimiçi Kurslar - Udemy ve Coursera gibi web siteleri, başlangıç seviyesinden ileri seviyeye kadar Selenium ile web kazıma üzerine kurslar sunar.
GitHub Depoları - Birçok geliştirici, web kazıma projelerini GitHub'da paylaşıyor; bu projeler, ilham ve öğrenme açısından harika bir kaynak olabilir.
