ScraperAPI est un outil de web scraping qui gère les proxys, les navigateurs et les CAPTCHA à la place de l'utilisateur. Simple d'utilisation, il permet aux utilisateurs d'extraire facilement n'importe quel contenu HTML depuis le site web de leur choix. ScraperAPI est un service premium, mais les utilisateurs peuvent l'essayer gratuitement pour voir s'il leur convient.
Comme ScraperAPI est un outil d'automatisation, les sites web bloqueront tout compte et mettront sur liste noire les adresses IP des utilisateurs détectés comme utilisant ce outil de scraping. Pour éviter cela, ScraperAPI utilise des proxys afin de masquer votre adresse IP vis-à-vis de tout site web que vous souhaitez extraire.
Cela est possible car un proxy ScraperAPI gère toutes vos requêtes web à votre place ; ainsi, tout site web que vous visitez ne verra que l’adresse IP du serveur proxy, et non la vôtre. Grâce à une rotation continue des proxys, ScraperAPI utilise une adresse IP différente à chaque fois qu’il envoie une requête, ce qui fait croire aux sites web que ces requêtes proviennent de plusieurs utilisateurs et non d’un seul et même endroit.
Si vous comparez les différentes options : Scraper API d’Geonode effectue la même tâche — rendu JS, rotation des proxys et tentatives de reconnexion en un seul appel — avec 1 500 requêtes gratuites par mois et des forfaits forfaitaires illimités au lieu de crédits. Les étapes de configuration ci-dessous s’appliquent à toute API de scraping acceptant une chaîne de proxy.
Configurons un serveur proxy ScrapingDog.
Pour Windows :
Pour configurer les proxys sous Windows, il suffit de rechercher « Paramètres de proxy » dans la barre de recherche de Windows et d’ouvrir le résultat de la recherche.
Deux options s’offrent alors à vous : Configuration automatique du proxy ou Configuration manuelle du proxy. Si vous souhaitez que Windows détecte automatiquement vos paramètres de proxy, choisissez la première option. Choisissez la deuxième option si vous souhaitez utiliser une adresse IP et un numéro de port spécifiques.
Si vous avez choisi la première option, procédez comme suit :
- Activez Détecter automatiquement les paramètres
- Activez Utiliser un script de configuration
- Saisissez l'adresse du script
- Cliquez sur Enregistrer
Si vous avez choisi la deuxième option, procédez comme suit :
- Activez Utiliser un serveur proxy
- Saisissez à la fois l'adresse du serveur et le numéro de port
- Si vous souhaitez accéder à certaines adresses sans passer par un proxy, saisissez-les ici
- Cochez la case « Ne pas utiliser le serveur proxy pour les adresses locales » si vous souhaitez accéder à un serveur local sans passer par un proxy
- Cliquez sur Enregistrer
Texte alternatif de l'image : Configuration automatique du proxy sous Windows
Pour Mac :
Pour commencer à configurer vos paramètres de proxy sous macOS, procédez simplement comme suit :
Étape 1. Cliquez sur l'icône Apple.
Étape 2. Dans le menu déroulant, cliquez sur « Préférences Système ».
Étape 3. Cliquez sur « Réseau »
Étape 4. Cliquez sur « Avancé »
Remarque : assurez-vous d’abord d’être connecté à votre réseau Wi-Fi.
Étape 5. Cliquez sur « Proxys »
Vous devriez alors être redirigé vers les paramètres de proxy de macOS. La procédure est plus simple sous macOS que sous Windows. Vous ne disposez que d’une seule option : configurer manuellement votre serveur proxy.
Voici les étapes à suivre :
- Sélectionnez le protocole IP du proxy que vous souhaitez configurer. Cela dépend des protocoles proposés par votre fournisseur de services proxy.
- Activez le proxy Web sécurisé
- Saisissez l’adresse du serveur proxy et le numéro de port
- Cliquez sur OK pour enregistrer les paramètres
Remarque : il se peut que le système vous demande votre mot de passe d'utilisateur Mac pour enregistrer vos paramètres.
Texte alternatif de l'image : Configuration des paramètres de proxy sous macOS
Félicitations ! Vous avez maintenant terminé la configuration d'un serveur proxy ScraperAPI.
