ScrapingBee ist ein Web-Scraping-Tool, mit dem Nutzer Daten und Inhalte von beliebigen Websites extrahieren können. Es ist einfach zu bedienen und funktioniert mit allen Programmiersprachen. ScrapingBee ist einer der beliebtesten Web-Scraper und verfügt über zahlreiche Funktionen, die Nutzern helfen, die gewünschten Daten zu erhalten.
Zu den wichtigsten Funktionen von ScrapingBee gehört die Umgehung von Erkennung und Sperren durch die Websites, von denen Sie Daten extrahieren – dies geschieht mithilfe eines umfangreichen Proxy-Pools. Der Grund dafür ist, dass Websites strenge Einschränkungen hinsichtlich der Nutzung von Web-Scraping-Tools und anderen Automatisierungstools auf ihren Seiten haben und jedes Konto, das bei der Nutzung eines solchen Tools erwischt wird, sofort sperren würden.
Ein ScrapingBee-Proxy verhindert dies, da er alle Ihre Webanfragen für Sie abwickelt. Durch die kontinuierliche Rotation der Proxys verfügt ScrapingBee in bestimmten Intervallen über unterschiedliche IP-Adressen, wodurch Websites zu der Annahme verleitet werden, dass die Anfragen von ScrapingBee von mehreren Nutzern und nicht nur von einer einzigen IP-Adresse stammen.
Richten wir nun einen ScrapingBee-Proxy-Server ein.
So verwenden Sie Proxys mit ScrapingBee
Wenn Sie die eigenen Proxys von ScrapingBee verwenden möchten, ändern Sie einfach den Parameter „premium_proxy“ von false auf true.
Wenn Sie andere private Proxys verwenden möchten, gehen Sie wie folgt vor:
Für Windows:
Um Proxys unter Windows einzurichten, suchen Sie einfach in der Windows-Suchleiste nach „Proxy-Einstellungen“ und öffnen Sie das Suchergebnis.
Sie haben dann zwei Optionen zur Auswahl: Automatische Proxy-Einrichtung oder manuelle Proxy-Einrichtung. Wenn Sie möchten, dass Windows Ihre Proxy-Einstellungen automatisch erkennt, wählen Sie die erste Option. Wählen Sie die zweite Option, wenn Sie eine bestimmte IP-Adresse und Portnummer verwenden möchten.
Wenn Sie die erste Option gewählt haben, gehen Sie wie folgt vor:
- Aktivieren Sie Einstellungen automatisch erkennen
- Aktivieren Sie Setup-Skript verwenden
- Geben Sie die Skriptadresse ein
- Klicken Sie auf Speichern
Wenn Sie die zweite Option gewählt haben, gehen Sie wie folgt vor:
- Aktivieren Sie „Proxyserver verwenden“
- Geben Sie sowohl die Serveradresse als auch die Portnummer ein
- Wenn Sie Adressen haben, die Sie ohne Proxy aufrufen möchten, geben Sie diese hier ein
- Aktivieren Sie das Kontrollkästchen „Proxyserver für lokale Adressen nicht verwenden“, wenn Sie ohne Proxy auf einen lokalen Server zugreifen möchten
- Klicken Sie auf Speichern
Bild-Alt-Text: Automatische Proxy-Einrichtung unter Windows
Für Mac:
Um die Proxy-Einstellungen unter macOS zu konfigurieren, gehen Sie einfach wie folgt vor:
Schritt 1. Klicken Sie auf das Apple-Symbol.
Schritt 2. Klicken Sie im Dropdown-Menü auf „Systemeinstellungen“.
Schritt 3. Klicken Sie auf „Netzwerk“
Schritt 4. Klicken Sie auf „Erweitert“
Hinweis: Stellen Sie sicher, dass Sie zuerst eine Verbindung zu Ihrem WLAN herstellen.
Schritt 5. Klicken Sie auf „Proxys“
Dadurch sollten Sie zu den Proxy-Einstellungen von macOS weitergeleitet werden. Im Vergleich zu Windows ist die Vorgehensweise unter macOS einfacher. Sie haben nur eine Option: die manuelle Konfiguration Ihres Proxy-Servers.
Befolgen Sie dazu die folgenden Schritte:
- Wählen Sie das IP-Protokoll des Proxys aus, das Sie konfigurieren möchten. Dies hängt davon ab, welche Protokolle Ihr Proxy-Dienstanbieter anbietet.
- Aktivieren Sie „Secure Web Proxy“
- Geben Sie die Proxy-Server-Adresse und die Portnummer ein
- Klicken Sie auf „OK“, um die Einstellungen zu speichern
Hinweis: Möglicherweise werden Sie aufgefordert, Ihr Mac-Benutzerkennwort einzugeben, um Ihre Einstellungen zu speichern.
Bild-Alt-Text: Konfiguration der MacOS-Proxy-Einstellungen
Herzlichen Glückwunsch! Sie haben nun die Konfiguration eines ScrapingBee-Proxyservers abgeschlossen.
