ScraperAPI ist ein Web-Scraping-Tool, das sich um Proxys, Browser und CAPTCHAs kümmert, sodass der Nutzer sich darum nicht kümmern muss. Es ist einfach zu bedienen und Nutzer können problemlos beliebige HTML-Inhalte von jeder Website ihrer Wahl auslesen. ScraperAPI ist ein Premium-Dienst, aber Nutzer können ihn kostenlos testen, um zu sehen, ob er ihnen gefällt.
Da ScraperAPI ein Automatisierungstool ist, sperren Websites alle Konten und setzen die IP-Adressen von Nutzern auf die Blacklist, die mit dem Web-Scraper erkannt werden. Um dies zu verhindern, nutzt ScraperAPI Proxys, um Ihre IP-Adresse vor jeder Website zu verbergen, von der Sie Daten extrahieren möchten.
Dies ist möglich, weil ein ScraperAPI-Proxy alle Ihre Webanfragen für Sie abwickelt, sodass jede von Ihnen besuchte Website nur die IP-Adresse des Proxy-Servers sieht und nicht Ihre eigene. Durch die kontinuierliche Rotation der Proxys verfügt ScraperAPI bei jeder gesendeten Anfrage über eine andere IP-Adresse, wodurch Websites zu der Annahme verleitet werden, dass diese Anfragen von mehreren Nutzern und nicht nur von einem einzigen Standort stammen.
Falls Sie verschiedene Optionen vergleichen: Scraper API von Geonode erfüllt denselben Zweck – JS-Rendering, Proxy-Rotation und Wiederholungsversuche in einem Aufruf – mit 1.500 kostenlosen Anfragen pro Monat und pauschalen, unbegrenzten Tarifen anstelle von Credits. Die folgenden Einrichtungsschritte gelten für jede Scraping-API, die eine Proxy-Zeichenkette akzeptiert.
Richten wir einen ScrapingDog-Proxy-Server ein.
So verwenden Sie Proxys mit ScraperAPI
Der Benutzername für den Proxy lautet „scraperapi“ und das Passwort ist Ihr API-Schlüssel.
Wenn Sie verschiedene private Proxys verwenden möchten, gehen Sie wie folgt vor:
Für Windows:
Um Proxys unter Windows einzurichten, suchen Sie einfach in der Windows-Suchleiste nach „Proxy-Einstellungen“ und öffnen Sie das Suchergebnis.
Sie haben dann zwei Optionen zur Auswahl: Automatische Proxy-Einrichtung oder manuelle Proxy-Einrichtung. Wenn Sie möchten, dass Windows Ihre Proxy-Einstellungen automatisch erkennt, wählen Sie die erste Option. Wählen Sie die zweite Option, wenn Sie eine bestimmte IP-Adresse und Portnummer verwenden möchten.
Wenn Sie die erste Option gewählt haben, gehen Sie wie folgt vor:
- Aktivieren Sie Einstellungen automatisch erkennen
- Aktivieren Sie Setup-Skript verwenden
- Geben Sie die Skriptadresse ein
- Klicken Sie auf Speichern
Wenn Sie die zweite Option gewählt haben, gehen Sie wie folgt vor:
- Aktivieren Sie „Proxyserver verwenden“
- Geben Sie sowohl die Serveradresse als auch die Portnummer ein
- Wenn Sie Adressen haben, die Sie ohne Proxy aufrufen möchten, geben Sie diese hier ein
- Aktivieren Sie das Kontrollkästchen „Proxyserver für lokale Adressen nicht verwenden“, wenn Sie ohne Proxy auf einen lokalen Server zugreifen möchten
- Klicken Sie auf Speichern
Bild-Alt-Text: Automatische Proxy-Einrichtung unter Windows
Für Mac:
So nehmen Sie die Konfiguration Ihrer Proxy-Einstellungen unter macOS vor:
Schritt 1. Klicken Sie auf das Apple-Symbol.
Schritt 2. Klicken Sie im Dropdown-Menü auf „Systemeinstellungen“.
Schritt 3. Klicken Sie auf „Netzwerk“
Schritt 4. Klicken Sie auf „Erweitert“
Hinweis: Stellen Sie sicher, dass Sie zuerst eine Verbindung zu Ihrem WLAN herstellen.
Schritt 5. Klicken Sie auf „Proxys“
Dadurch sollten Sie zu den Proxy-Einstellungen von macOS weitergeleitet werden. Im Vergleich zu Windows ist die Vorgehensweise unter macOS einfacher. Sie haben nur eine Option: die manuelle Konfiguration Ihres Proxy-Servers.
Befolgen Sie dazu die folgenden Schritte:
- Wählen Sie das IP-Protokoll des Proxys aus, das Sie konfigurieren möchten. Dies hängt davon ab, welche Protokolle Ihr Proxy-Dienstanbieter unterstützt.
- Aktivieren Sie „Secure Web Proxy“
- Geben Sie die Proxy-Server-Adresse und die Portnummer ein
- Klicken Sie auf „OK“, um die Einstellungen zu speichern
Hinweis: Möglicherweise werden Sie aufgefordert, Ihr Mac-Benutzerkennwort einzugeben, um Ihre Einstellungen zu speichern.
Bild-Alt-Text: Konfiguration der MacOS-Proxy-Einstellungen
Herzlichen Glückwunsch! Sie haben nun die Konfiguration eines ScraperAPI-Proxy-Servers abgeschlossen.
