Belajar. Bina. Skalakan.

Tutorial, panduan dan tinjauan mendalam daripada pasukan
yang memiliki infrastruktur itu.

Artikel Pilihan

Pengaturan Proxy HttpClient C#: Kredensial, Batas Waktu, dan Verifikasi

Panduan ini menjelaskan cara mengonfigurasi proxy HttpClient dalam C# pada .NET 8: `WebProxy` dengan `NetworkCredential`, pilihan antara `HttpClientHandler` dan `SocketsHttpHandler`, penggunaan ulang klien yang benar dengan `IHttpClientFactory`, batas waktu dan pembatalan, konfigurasi variabel lingkungan, daftar bypass, serta dua pengecualian yang sebenarnya akan Anda temui dalam produksi. Artikel ini diakhiri dengan program konsol lengkap yang membuka sesi residensial yang tetap aktif, memverifikasi alamat IP keluar, dan mencoba kembali dengan sesi baru jika terjadi kegagalan. Semua penjelasan di bawah ini ditujukan untuk .NET 8 dengan pernyataan tingkat atas, namun API-nya telah stabil sejak .NET Core 3.0 dan kode yang sama dapat dikompilasi pada .NET 6 dan 7.

Pengaturan Guzzle Proxy di PHP: Otentikasi, HTTPS, dan Pemecahan Masalah

Panduan ini membahas setiap bagian dari konfigurasi proxy Guzzle yang berfungsi: opsi permintaan `proxy` dalam bentuk string dan array, URL proxy yang diautentikasi, target HTTPS melalui terowongan CONNECT, batas waktu dan verifikasi sertifikat, serta pengecualian yang dilemparkan oleh Guzzle ketika proxy menolak permintaan. Pada akhirnya, Anda akan memiliki klien PHP yang dapat digunakan kembali yang merutekan melalui proxy residensial, mempertahankan satu alamat IP keluar selama satu sesi, memverifikasi alamat IP tersebut, dan mencoba kembali dengan sesi baru saat permintaan gagal. Semua contoh ditujukan untuk Guzzle 7 dan PHP 8.1 atau yang lebih baru. Instal dengan `composer require guzzlehttp/guzzle:^7`.

Memvalidasi Data yang Diambil dan Mendeteksi Perubahan Skema

Data yang diambil melalui scraping jarang menimbulkan kegagalan yang mencolok. Masalahnya berkembang secara perlahan: perubahan desain memindahkan kolom harga ke elemen yang berbeda, parser mengembalikan `None`, dan sepuluh ribu baris data dengan kolom harga kosong dimuat ke dalam gudang data tanpa satu pun pengecualian. Panduan ini membangun lapisan-lapisan yang mendeteksi pergeseran skema sebelum hal itu menyebabkan laporan yang buruk: skema rekaman pydantic v2, pemeriksaan kualitas per batch, detektor pergeseran dengan baseline bergulir, langkah karantina, uji kontrak selektor harian pada URL canary, serta versi parser sehingga Anda dapat mengisi data secara retroaktif setelah memperbaiki masalah.

Deteksi Perubahan Situs Web dengan Python: Memantau Pembaruan Dokumentasi dan Kebijakan

Deteksi perubahan situs web adalah cara untuk mengetahui bahwa penyedia layanan telah mengubah klausul syarat dan ketentuan, menghentikan dukungan suatu endpoint dalam dokumentasinya, atau diam-diam mengedit kebijakan privasi sebelum ada yang mengumumkannya. Pada akhir panduan ini, Anda akan memiliki skrip Python yang mengambil snapshot daftar halaman sebagai Markdown melalui Geonode Scraper API, menyaring bagian yang tidak relevan, menyimpan setiap versi di SQLite, menghasilkan perbandingan (diff) yang mudah dibaca, dan mengirimkan notifikasi ke Slack hanya ketika konten benar-benar berubah. Skrip ini dijalankan melalui cron atau GitHub Actions dan tetap berfungsi meskipun proses pengambilan data mengalami gangguan. Skrip ini sengaja tidak dirancang sebagai pemantau harga. Harga adalah angka yang berada di slot yang diketahui; sedangkan dokumen adalah teks di mana lokasi dan bentuk perubahannya tidak diketahui sebelumnya. Pilihan desain di bawah ini didasarkan pada hal tersebut.

Scraper API Webhooks vs Polling: Membangun Jalur Pengiriman Hasil yang Andal

Tugas pengikisan asinkron selesai sesuai jadwalnya sendiri, dan pertanyaannya adalah bagaimana kode Anda mengetahuinya. Panduan ini membandingkan webhook pengikisan web dengan polling status, kemudian membangun komponen-komponen yang Anda butuhkan untuk salah satu dari keduanya: loop polling dengan backoff dan batas maksimum, penerima FastAPI yang memverifikasi tanda tangan dan mengantrekan pekerjaan, tabel idempotensi, pemutaran ulang dari log pengiriman, serta poller cadangan yang menangkap apa pun yang terlewatkan oleh webhook. Pada akhirnya, Anda akan memiliki alur hasil yang tidak kehilangan tugas atau memprosesnya dua kali.

Pengaturan Proxy aiohttp: Sesi, Otentikasi, dan Batasan Koneksi

aiohttp adalah klien yang Anda pilih ketika sebuah scraper membutuhkan ratusan permintaan yang sedang diproses dan Anda ingin memiliki kendali penuh atas event loop. Mengarahkan permintaan melalui proxy hanya memerlukan beberapa argumen kata kunci, tetapi pengaturan default terkait otentikasi, batas koneksi, dan batas waktu berbeda dari `requests` dan httpx, dan di situlah sebagian besar konfigurasi proxy aiohttp sering mengalami masalah. Pada akhir panduan ini, Anda akan memiliki `ClientSession` yang melakukan otentikasi terhadap gateway residensial yang berganti-ganti, menjalankan permintaan paralel yang dibatasi, mengalami timeout yang dapat diprediksi, dan melaporkan kesalahan proxy berdasarkan jenisnya. Contoh-contoh ini ditujukan untuk aiohttp 3.14 pada Python 3.11 atau yang lebih baru. Jika ada perubahan perilaku pada rilis terbaru, versi tersebut akan disebutkan secara khusus.

Proksi HTTPX di Python: Pengaturan, Otentikasi, dan Permintaan Asinkron

httpx adalah klien HTTP yang paling sering dipilih oleh proyek-proyek Python baru ketika mereka sudah tidak lagi dapat dipenuhi oleh `requests`, terutama karena httpx menyediakan satu API untuk kode sinkron dan asinkron. Panduan ini menunjukkan cara mengintegrasikan proxy httpx ke dalam `Client` dan `AsyncClient`, melakukan otentikasi terhadap titik akhir perumahan yang berganti-ganti, mengunci sesi yang melekat, menambahkan SOCKS5, menyesuaikan batas waktu dan upaya ulang, serta mendiagnosis tiga kesalahan yang sebenarnya akan Anda temui. Pada akhirnya, Anda akan memiliki klien yang dapat digunakan kembali yang merutekan melalui proxy dan dapat membuktikan alamat IP keluarnya. Contoh-contoh ini ditujukan untuk httpx versi 0.27 atau yang lebih baru. Jika Anda menggunakan versi yang lebih lama, perhatikan bahwa kata kunci `proxies=` telah diganti namanya menjadi `proxy=` dan `mounts=` pada httpx 0.26; semua penjelasan di bawah ini menggunakan nama-nama yang berlaku saat ini.

Pencarian Web Bertahap: Memperbarui Halaman yang Berubah Tanpa Harus Melakukan Pencarian Ulang Seluruh Situs

Pencarian web bertahap adalah praktik mengambil ulang hanya halaman-halaman yang berubah, bukan seluruh situs. Pada akhir panduan ini, Anda akan memiliki modul Python yang menemukan URL dari peta situs atau titik akhir Geonode`/v1/map`, menormalkannya, menyimpan status per-URL di SQLite, menggunakan ETag dan hash konten untuk menentukan apa yang berubah, menyesuaikan interval kunjungan ulang, mendeteksi penghapusan, dan mengambil kumpulan yang berubah melalui `/v1/extract` atau `/v1/batch`. Geonode mengambil halaman-halaman tersebut; skrip Anda yang mengelola status dan proses perbandingannya.

Harga Spotify Premium per Negara (Oktober 2026): 20 Negara, 4 Paket, dalam USD

**20 negara · Perorangan, Pelajar, Pasangan, Keluarga · dikumpulkan pada 8 Oktober 2026 · dikonversi ke USD berdasarkan nilai tukar minggu tersebut**

Harga Netflix per Negara (Oktober 2026): Perbandingan 20 Negara dalam USD

**20 negara · masing-masing 3–5 rencana · dikumpulkan pada 7 Oktober 2026 · dikonversi berdasarkan nilai tukar pada hari itu**

Cara Menggunakan Proksi Bersama Puppeteer

Puppeteer adalah pustaka Node.js yang menyediakan API Chrome tanpa antarmuka pengguna (headless) tingkat tinggi bagi penggunanya. Berikut ini cara membuat server proxy untuknya!

Cara Menggunakan Proksi Bersama Scrapy

Scrapy adalah kerangka kerja Python untuk merayapi dan mengekstrak data dalam skala besar. Berikut ini cara menghubungkan proxy ke Scrapy, mengatur rotasi atau sesi tetap, serta mengatasi kesalahan yang muncul.

Apa Itu Server Proksi?

Server proxy mengalihkan permintaan Anda melalui alamat IP lain. Berikut ini adalah perbedaan antara jenis-jenis proxy utama, mana yang sesuai dengan kebutuhan Anda, dan apa arti sebenarnya dari "aman".

how-to-use-proxies-with-adspower-browser-

Cara Menggunakan Proksi dengan Browser AdsPower

AdsPower Browser adalah peramban web yang memungkinkan pengguna menyembunyikan jejak digital mereka. Melalui peramban ini, Anda dapat membuat dan mengelola beberapa akun, mengatur jejak digital yang berbeda-beda, serta melakukan berbagai tugas lainnya. AdsPower Browser juga memungkinkan Anda membuka beberapa jendela peramban yang independen. Layanan ini bersifat premium, namun Anda dapat menggunakannya secara gratis selama beberapa hari.

Apa Itu DataDome? Bagaimana Cara Kerja Deteksi Bot dan Mengapa Scraper Diblokir

Sebuah scraper berfungsi dengan sempurna saat diuji. Arahkan ke situs asli, dan Anda akan mendapatkan pesan 403 Forbidden, CAPTCHA, atau halaman yang sama sekali berbeda dari yang ditampilkan Chrome. Jika Anda mengganti alamat IP, scraper tersebut berfungsi untuk beberapa permintaan, lalu diblokir lagi. DataDome tidak bertanya, "Apakah alamat IP ini mencurigakan?" Melainkan menanyakan apakah alamat IP, koneksi TLS, browser, perangkat, pola permintaan, dan sesi tersebut secara keseluruhan masuk akal. Itulah sebabnya mengganti proxy terkadang membantu, namun seringkali tidak. Panduan ini mencakup setiap lapisan deteksi, seperti apa sebenarnya bentuk pemblokiran tersebut, serta di mana proxy, otomatisasi browser, dan API pengikis masing-masing dapat diterapkan.