Ein rotierender Proxy stellt Ihnen einen einzigen Endpunkt zur Verfügung, der bei fortlaufender Nutzung von einer jeweils anderen IP-Adresse antwortet – eine neue Adresse pro Anfrage oder pro von Ihnen gewähltem Sitzungsfenster. Sie konfigurieren diesen Endpunkt einmalig, und der dahinterliegende Pool übernimmt den Wechsel. Aus diesem Grund wird derselbe Mechanismus auch als Backconnect-Proxy angeboten.
In der Praxis bedeutet dies, dass die Skalierbarkeit nicht mehr davon abhängt, wie viele Adressen Sie in Ihrem eigenen Code verwalten können.
So funktionieren rotierende Proxys
Sie richten Ihren Client auf einen Gateway-Host und einen Port aus und authentifizieren sich dort. Der Gateway wählt eine Ausgangsadresse aus seinem Pool aus, leitet Ihre Anfrage weiter und gibt die Antwort zurück. Wenn Sie die nächste Anfrage senden, wird diese möglicherweise von einer völlig anderen Adresse in einer anderen Stadt versendet – Ihre Konfiguration hat sich dabei überhaupt nicht geändert.
Der Pool macht diese Funktion so nützlich, und die Poolgröße ist ein wichtiger Wert, den man im Auge behalten sollte. Auf der Seite zu Residential-Proxys heißt es, dass zu jedem Zeitpunkt 5 Millionen IP-Adressen online sind und monatlich 30 bis 50 Millionen eindeutige Adressen im Netzwerk rotieren, verteilt auf über 195 Länder. Die Rotation greift auf diesen Bestand zurück und nicht auf eine von Ihnen gepflegte Liste.
Wie oft sich die Adresse ändert, ist eine Einstellung und keine feste Eigenschaft des Produkts. Auf derselben Seite wird beschrieben, wie man beim Erstellen des Endpunkts einen Sitzungsmodus – „rotating“ oder „sticky“ – auswählt, und in den FAQ heißt es, dass „sticky“-Sitzungen für bis zu 24 Stunden konfiguriert werden können. Im „rotating“-Modus wechselt die Adresse bei jedem eingehenden Request; im „sticky“-Modus wird eine Adresse für den von Ihnen festgelegten Zeitraum beibehalten und erst danach gewechselt.
Für die Zielwebsite hat der auf diese Weise eintreffende Datenverkehr keine einzelne Adresse, für die eine Ratenbegrenzung festgelegt werden könnte. Die Anfragen scheinen von unabhängigen Abonnenten zu stammen, weshalb die Rotation die Standardlösung für das Crawlen in großem Umfang ist und kein Trick, um eine bestimmte Website zu umgehen.
Der Preis dafür ist der Status. Alles, was zwischen den Anfragen konsistent bleiben muss – eine Anmeldung, ein Warenkorb, eine paginierte Ergebnisliste, die an ein Session-Token gebunden ist – bricht in dem Moment zusammen, in dem sich die zugrunde liegende Adresse ändert. Dieser Fehler ist nicht subtil: Man wird abgemeldet, landet wieder auf Seite eins oder der Warenkorb leert sich. Wenn dieses Problem auftritt, ist die Lösung eine „Sticky Session“ und nicht der Wechsel zu einem anderen Anbieter.
Wann man rotierende Proxys verwenden sollte – und wann nicht
Eine Rotation ist standardmäßig die richtige Wahl, wenn:
- Die Aufgabe leseintensiv und umfangreich ist. Tausende von Produktseiten, Angeboten oder Suchergebnissen, bei denen jede Anfrage unabhängig von der vorherigen ist.
- Sie Preise, Lagerbestände oder Rankings regionenübergreifend überwachen und möchten, dass jede Abfrage wie von einem unabhängigen Besucher aussieht.
- Eine Adresse würde ihr Kontingent ausschöpfen. Jedes Ziel mit Ratenbeschränkungen pro IP-Adresse macht eine statische Adresse zu einem Engpass, lange bevor die Bandbreite an ihre Grenzen stößt.
- Sie müssten andernfalls eine IP-Liste manuell verwalten. Das Gateway erspart Ihnen diesen Aufwand vollständig.
Die Rotation ist das falsche Werkzeug, wenn:
- Der Ablauf zustandsabhängig ist. Anmeldungen, Warenkörbe, Kaufabwicklungen und mehrstufige Formulare benötigen von Anfang bis Ende dieselbe Adresse – verwenden Sie stattdessen „sticky sessions“.
- Sie verwalten Konten. Ein Konto, dessen IP-Adresse sich während der Sitzung ändert, löst genau die Verifizierungsabfrage aus, die Sie eigentlich vermeiden wollten.
- Das Ziel legt den Standort sehr genau fest und Ihre Rotation wechselt zwischen den Anfragen das Land, wodurch der Eindruck entsteht, der Besucher würde sich teleportieren.
- Sie benötigen eine feste Adresse für eine Whitelist. Eine Partner-API, die Ihre IP auf die Whitelist setzt, kann nicht mit einem Pool arbeiten.
So erhalten Sie rotierende Proxys
Die Rotation ist das Standardverhalten von Residential-Proxys, die laut dieser Seite ab 0,27 $ pro GB ohne monatliche Mindestabnahme erhältlich sind. Sie wählen beim Erstellen des Endpunkts ein Land und einen Sitzungsmodus aus und fügen diesen dann in Ihren Scraper ein – für die Rotation selbst ist kein Code Ihrerseits erforderlich.
Wenn das Ziel nicht prüft, ob eine Adresse zu einem Privatanschluss gehört, erfüllen rotierende Rechenzentrumsproxys denselben Zweck auf einer kostengünstigeren Infrastruktur, ab 0,144 $ pro GB laut dieser Seite. Sie sind schneller und pro Gigabyte kostengünstiger; allerdings lassen sie sich von einer gut geschützten Website leichter erkennen, sodass sie sich eher für die Massenerfassung bei toleranten Zielen eignen als für gezielte, auf einzelne Konten ausgerichtete Aktionen.
FAQ
Wie oft ändert ein rotierender Proxy seine IP-Adresse?
Das hängt eher vom von Ihnen konfigurierten Sitzungsmodus als vom Produkt selbst ab. Im Rotationsmodus wird bei jedem eingehenden Request eine neue Adresse zugewiesen; im Sticky-Modus wird eine Adresse für einen von Ihnen festgelegten Zeitraum beibehalten – gemäß der FAQ zu Residential-Proxys bis zu 24 Stunden.
Sind rotierende Proxys dasselbe wie Backconnect-Proxys?
Beide Begriffe beschreiben dieselbe Konfiguration aus zwei verschiedenen Blickwinkeln. „Backconnect“ bezeichnet die Architektur – ein Gateway mit einem dahinterliegenden Pool –, während „rotierend“ das beobachtbare Verhalten beschreibt.
Führt die Rotation dazu, dass meine Anmeldung unterbrochen wird?
Ja, wenn Sie die Rotation pro Anfrage durchführen, während Sie angemeldet sind. Stellen Sie diesen Endpunkt auf eine „Sticky“-Sitzung um, damit der gesamte authentifizierte Datenfluss über eine einzige Adresse läuft.
Muss ich die Rotationslogik selbst programmieren?
Nein. Das Gateway führt die Rotation durch; Ihr Client behält für die Dauer des Auftrags ein Paar aus Host, Port und Anmeldedaten bei.
