Unser Geschäftsfeld liegt in der zweiten Hälfte davon: Wir sind Geonode und verkaufen Proxys. Tatsächlich ist die Subnetzvielfalt ein echtes Qualitätsmerkmal, während die Poolgröße meist nur eine Marketingzahl ist – und das spricht gegen die gesamte Branche, einschließlich unserer eigenen, denn „150 Millionen IPs“ lässt sich viel einfacher auf einer Landingpage präsentieren als „Unsere Adressen umfassen N verschiedene /24-Subnetze in den Ländern, die Sie benötigen“. Wenn Sie eine Sache aus diesem Artikel mitnehmen, dann sollte es die Frage sein, die Sie einem Anbieter stellen sollten: nicht, wie viele Adressen er hat, sondern wie diese verteilt sind. Das ist eine Frage, die schwerer zu beantworten ist – und eine, die nützlicher ist.
Das Grundprinzip
Jede IP-Adresse erfüllt zwei Aufgaben gleichzeitig. Ein Teil gibt an, in welchem Netzwerk sich der Rechner befindet; der andere Teil gibt an, um welchen Rechner in diesem Netzwerk es sich handelt.
192.168.10.42
└──────┘ └─┘
network host
Wo genau die Trennung erfolgt, ist nicht fest vorgegeben. Sie wird durch die Subnetzmaske oder – gleichbedeutend – durch die Präfixlänge in CIDR-Notation definiert. Der Netzwerkteil ist die Subnetz-ID – manchmal auch als Netzwerkadresse oder Netzwerkpräfix bezeichnet – und ist für jeden Rechner in diesem Subnetz identisch.
Für Router ist dies von Bedeutung, da sie dadurch Entscheidungen pauschal treffen können. Ein Router benötigt keine Regel pro Adresse, sondern eine Regel pro Netzwerk. Diese Aggregation ist der ausschlaggebende Grund dafür, dass die Routing-Tabellen im Internet eine überschaubare Größe haben.
CIDR-Notation – so wird dies tatsächlich geschrieben
In der modernen Praxis wird die Trennung explizit angegeben. RFC 4632 definiert das Format:
Ein Präfix wird als 4-Oktett-Größe dargestellt, genau wie eine herkömmliche IPv4-Adresse oder Netzwerknummer, gefolgt vom Zeichen „/“ (Schrägstrich) und einem Dezimalwert zwischen 0 und 32, der die Anzahl der signifikanten Bits angibt.
192.168.99.0/24 bedeutet also, dass die ersten 24 Bits das Netzwerk bilden und die verbleibenden 8 Bits die Hosts identifizieren. Der RFC gibt die Zuordnung aus dem älteren Klassensystem an: Das alte „Klasse-B“-Netzwerk 172.16.0.0 mit der Maske 255.255.0.0 entspricht 172.16.0.0/16, und das alte „Klasse-C“-Netzwerk 192.168.99.0 entspricht 192.168.99.0/24.
Der Vorteil gegenüber den alten festen Klassen, wie es im RFC heißt: „Die Verwendung klassenloser Präfixe mit expliziten Präfixlängen ermöglicht eine wesentlich flexiblere Zuordnung von Adressraumblöcken entsprechend dem tatsächlichen Bedarf. Wo früher nur drei Netzwerkgrößen zur Verfügung standen, können Präfixe definiert werden, um beliebige Blöcke in der Größe einer Zweierpotenz mit zwischen einer und 2^32 Endsystemadressen zu beschreiben.“
| Präfix | Maske | Adressen | Nutzbare Hosts |
|---|---|---|---|
| /24 | 255.255.255.0 | 256 | 254 |
| /25 | 255.255.255.128 | 128 | 126 |
| /26 | 255.255.255.192 | 64 | 62 |
| /27 | 255.255.255.224 | 32 | 30 |
| /28 | 255.255.255.240 | 16 | 14 |
| /30 | 255.255.255.252 | 4 | 2 |
| /32 | 255.255.255.255 | 1 | 1 |
In jedem gewöhnlichen Subnetz sind zwei Adressen für Hosts nicht nutzbar: Die erste ist die Subnetz-ID selbst und die letzte ist die Broadcast-Adresse. Daher sind es in einem /24-Subnetz 254 statt 256.
Je kleiner die Präfixnummer, desto größer der Block. Ein /8 ist riesig – im RFC heißt es, dass die IANA den regionalen Internet-Registrierungsstellen (RIRs) „zusammenhängende, bit-ausgerichtete Blöcke von 2^24 Adressen (auch bekannt als /8-Präfixe)“ zuweist, die die RIRs dann weiter unterteilen.
So berechnen Sie eine Subnetz-ID
Die technische Antwort: eine bitweise UND-Verknüpfung der Adresse und der Maske.
Für 192.168.10.42/24
:
address 11000000.10101000.00001010.00101010
mask 11111111.11111111.11111111.00000000
AND 11000000.10101000.00001010.00000000
= 192.168.10.0
Die Subnetz-ID lautet 192.168.10.0
, die Broadcast-Adresse ist 192.168.10.255
, und die nutzbaren Hosts reichen von .1
bis .254
.
Bei einem Präfix, das nicht auf eine Oktettgrenze fällt, ist die Berechnung weniger offensichtlich. Für 192.168.10.42/26
lautet die Maske 255.255.255.192
, sodass das letzte Oktett in 2 Netzwerkbits und 6 Hostbits aufgeteilt wird. Daraus ergeben sich vier Subnetze mit jeweils 64 Adressen, deren Grenzen bei 0, 64, 128 und 192 liegen. Da 42 in den ersten Block fällt, lautet die Subnetz-ID „192.168.10.0
“ und die Broadcast-Adresse „192.168.10.63
“.
In der Praxis sollte man dies einem Tool überlassen:
ipcalc 192.168.10.42/26
Oder in Python:
import ipaddress
net = ipaddress.ip_network('192.168.10.42/26', strict=False)
print(net.network_address) # 192.168.10.0
print(net.broadcast_address) # 192.168.10.63
print(net.num_addresses) # 64
Der Befehl „strict=False
“ ist wichtig: Er teilt der Bibliothek mit, dass man ihr eine Host-Adresse übergibt und das dazugehörige Netzwerk ermitteln möchte, anstatt zu behaupten, dass die Adresse selbst ein Netzwerk ist.
Private Adressbereiche und warum man sie überall sieht
Drei Adressbereiche tauchen im öffentlichen Internet niemals auf. RFC 1918 reserviert sie:
10.0.0.0 - 10.255.255.255 (10/8 prefix)
172.16.0.0 - 172.31.255.255 (172.16/12 prefix)
192.168.0.0 - 192.168.255.255 (192.168/16 prefix)
Der RFC beschreibt diese als den „24-Bit-Block“, den „20-Bit-Block“ und den „16-Bit-Block“ und weist darauf hin, dass ein Unternehmen, das sie nutzt, „dies ohne jegliche Abstimmung mit der IANA oder einer Internet-Registrierungsstelle tun kann“.
Wichtige praktische Konsequenzen:
Sie sind im Internet nicht routbar. Jeder Heimrouter weltweit vergibt Adressen im Bereich 192.168.x.x, und keine davon kollidiert, da keine von ihnen das Gebäude verlässt.
Ein Proxy, der eine dieser Adressen als Ihre „externe IP“ zurückgibt, ist falsch konfiguriert. Wenn ein Lookup-Dienst eine 10.x- oder 192.168.x-Adresse meldet, gibt etwas auf dem Weg eine interne statt einer öffentlichen Adresse zurück.
Sie sind für die Konfiguration von „NO_PROXY“ von Bedeutung. Das Ausschließen privater Adressbereiche vom Proxy-Betrieb ist gängige Praxis, und Fehler dabei sind eine häufige Ursache dafür, dass interne Dienste auf mysteriöse Weise über einen externen Proxy geleitet werden.
Warum Subnetze für Proxys wichtig sind
Hier wird ein Netzwerkkonzept zur Kaufentscheidung.
Die Sperrung erfolgt auf Subnetzebene. Wenn eine Website eine Adresse als problematisch einstuft, ist es oft sinnlos, nur diese einzelne Adresse zu sperren, da der Betreiber noch 253 weitere Adressen im selben Block besitzt. Die praktische Lösung besteht daher darin, den Adressbereich zu sperren – üblicherweise den /24-Bereich, manchmal auch einen größeren. Dies ist eine gängige Abwehrmaßnahme und aus Sicht der Website völlig rational.
Die Konsequenz für Sie: Wenn Ihr Proxy-Pool aus vielen Adressen innerhalb weniger Subnetze besteht, verhält er sich wie ein sehr kleiner Pool. Fünfzig Adressen in 203.0.113.0/24 sind aus Sicht der Sperrung eher eine Adresse als fünfzig. Sie können sie alle mit einer einzigen falsch eingeschätzten Anfragerate verbrennen.
Deshalb ist die Poolgröße ein schlechter Maßstab. „10 Millionen IPs“ sagt nichts über die Verteilung aus. Ein Pool von zehntausend Adressen, verteilt auf viertausend verschiedene /24-Subnetze, ist widerstandsfähiger als ein Pool von einer Million, der sich auf wenige hundert konzentriert. Aufeinanderfolgende Adressen sind für einen Anbieter günstig zu erwerben und genau in der Weise miteinander verknüpft, auf die es ankommt.
Rechenzentrums- und Privatadressen unterscheiden sich hier strukturell. Rechenzentrumsadressen werden Hosting-Anbietern in zusammenhängenden Blöcken zugewiesen, weshalb sie sowohl kostengünstig als auch leicht zu identifizieren und pauschal zu sperren sind – eine Website kann die gesamte Zuteilung eines Hosting-Anbieters mit einer Handvoll Regeln sperren. Privatadressen stammen von Verbraucher-ISPs, sind über viele Blöcke verteilt, werden dynamisch zugewiesen und sind mit gewöhnlichen Nutzern vermischt. Diese Verteilung macht einen wesentlichen Teil dessen aus, wofür Sie einen Aufpreis zahlen.
Die Vielfalt der Subnetze beeinflusst ebenfalls, wie Sie die Adressen rotieren sollten. Eine Rotation innerhalb eines /24-Subnetzes ist keine echte Rotation. Wenn Ihr Anbieter Ihnen Einblick in die Blöcke gewährt, verteilen Sie Ihre Anfragen über diese Blöcke hinweg, anstatt sie nacheinander abzuarbeiten.
Überprüfung der Subnetzvielfalt in einem Pool
Es lohnt sich, dies während einer Testphase zu tun, bevor man sich festlegt.
Erfassen Sie eine Stichprobe von Ausgangsadressen und zählen Sie die unterschiedlichen /24-Subnetze:
for i in $(seq 1 200); do
curl -s -x "$PROXY" https://api.ipify.org
echo
done | sort -u > ips.txt
wc -l < ips.txt # distinct addresses
cut -d. -f1-3 ips.txt | sort -u | wc -l # distinct /24 blocks
Das Verhältnis ist die Zahl, auf die es ankommt. Zweihundert eindeutige Adressen verteilt auf einhundertachtzig /24-Subnetze sind ein gut verteilter Pool. Zweihundert Adressen verteilt auf sechs /24-Subnetze sind ein viel kleinerer Pool, als es den Anschein hat.
Erweitern Sie die Analyse auf /16-Subnetze, um einen groben Überblick zu erhalten:
cut -d. -f1-2 ips.txt | sort -u | wc -l
Überprüfen Sie nach Möglichkeit auch die Nummern der autonomen Systeme, da ein Pool, der sich auf viele /24-Subnetze verteilt, die alle zu einem Betreiber gehören, weniger vielfältig ist, als die Anzahl der Subnetze vermuten lässt. Die Abfrage „whois
“ für eine Stichprobe von Adressen liefert Ihnen diese Informationen.
Führen Sie dies pro Land durch, nicht aggregiert. Ein Pool mit weltweit hervorragender Vielfalt kann sich genau an dem Standort konzentrieren, den Sie tatsächlich benötigen – und eine aggregierte Zahl verschleiert dies vollständig. Dies ist dasselbe Problem des „stillen Versagens“, das wir in Warum das Testen von Proxys wichtig ist beschrieben haben.
Über dem Subnetz: ASNs, WHOIS und Geofeeds
Subnetze bilden eine Ebene einer Hierarchie, und die darüber liegenden Ebenen sind für die Bewertung einer Adresse ebenso entscheidend.
Regionale Registrierungsstellen vergeben Adressen nach unten. RFC 4632 beschreibt die Kette: Die IANA vergibt /8-Blöcke an regionale Internet-Registries (RIRs), und die RIRs „vergibt oder weisen ihrerseits kleinere Adressblöcke“ weiter zu. Somit befindet sich jede öffentliche Adresse innerhalb einer verschachtelten Reihe von Zuweisungen, und jede Ebene ist öffentlich einsehbar.
WHOIS gibt Auskunft darüber, wer einen Block besitzt. Bei der Abfrage einer Adresse werden die Zuteilung, zu der sie gehört, die Organisation, das Land und in der Regel ein Ansprechpartner zurückgegeben. So lässt sich feststellen, ob eine Adresse zu einem Hosting-Anbieter oder einem Verbraucher-ISP gehört – das ist keine Schlussfolgerung, sondern eine Abfrage:
whois 203.0.113.10 | grep -iE 'netname|orgname|country|cidr'
Autonome Systemnummern (ASN) gruppieren Blöcke nach Betreibern. Ein AS ist eine Menge von Präfixen unter einer gemeinsamen Routing-Richtlinie, und ein einzelner Betreiber kann Hunderte separater Blöcke unter einer ASN ankündigen. Auf dieser Ebene erfolgt in der Regel die pauschale Sperrung des Rechenzentrumsverkehrs: Eine Website zählt nicht die /24-Blöcke eines Hosting-Anbieters auf, sondern sperrt die ASN.
Die praktische Konsequenz für die Pool-Bewertung ist, dass /24-Diversität notwendig, aber nicht ausreichend ist. Vierhundert unterschiedliche /24-Blöcke, die alle unter einer Hosting-ASN liegen, können mit einer einzigen Regel blockiert werden. Die Überprüfung der ASN-Verteilung einer Stichprobe ist ein zweiter, groberer Test, der neben der Subnetzanzahl durchgeführt werden sollte:
for ip in $(head -50 ips.txt); do
whois "$ip" | grep -iom1 'AS[0-9]\+'
done | sort | uniq -c | sort -rn
Geofeeds dienen der Korrektur von Standortdaten. Netzbetreiber können eine maschinenlesbare Datei veröffentlichen, die ihre Präfixe Standorten zuordnet – standardisiert in RFC 8805 –, und Geolokalisierungsanbieter nehmen diese Daten auf. Dies erklärt ein Phänomen, das andernfalls wie Inkompetenz des Anbieters aussieht: Zwei Geolokalisierungsdatenbanken stimmen bei derselben Adresse nicht überein, weil die eine ein aktuelles Geofeed-Update übernommen hat und die andere nicht. Da die Geolokalisierung pro Präfix und nicht pro Adresse erfolgt, wechselt ein ganzes Subnetz auf einmal den Standort, wenn eine Korrektur eintrifft.
Die Reputation wird in beide Richtungen vererbt. Eine Adresse erbt von ihrem /24-Block, ihrer übergeordneten Zuteilung und ihrer ASN. Sie trägt aber auch selbst dazu bei. Deshalb kann ein vorbildlicher Nutzer in einem gemeinsam genutzten Privatkunden-Pool von dem Verhalten eines anderen Nutzers betroffen sein, das bereits Stunden zuvor stattfand, und deshalb liegt es so oft nicht am Nutzer selbst, wenn „der Proxy nicht mehr funktioniert“.
Für jeden, der einen Pool bewertet, ist die daraus resultierende Checkliste kurz: Zählen Sie die unterschiedlichen /24-Blöcke in einer Stichprobe, zählen Sie die unterschiedlichen ASNs, prüfen Sie, ob die WHOIS-Einträge eher nach Privatkunden-ISPs als nach Hosting-Unternehmen aussehen, wenn Sie für einen Privatkunden-Pool bezahlen, und wiederholen Sie all dies für jedes Land einzeln statt in der Gesamtsumme.
IPv6 verändert die Rechenweise
Kurz gefasst, weil es zunehmend an Bedeutung gewinnt.
IPv6 verwendet dieselbe CIDR-Notation mit Präfixlängen von bis zu 128. Die üblichen Zuweisungen sind wesentlich größer: Ein einzelner Endnutzer erhält in der Regel ein /48 oder /56, und ein einzelnes Netzwerksegment ist üblicherweise ein /64 – das mehr Adressen enthält als das gesamte IPv4-Internet.
Zwei Konsequenzen für alles, was mit Reputation zu tun hat:
Ein /64 ist die aussagekräftige Einheit, nicht eine einzelne Adresse. Da ein Teilnehmer das gesamte /64 kontrolliert, bringt das Blockieren einer einzelnen IPv6-Adresse nichts. Standorte, die sinnvoll mit IPv6 umgehen, verfolgen die Reputation auf der Ebene von /64 oder grober.
Eine große Anzahl von Adressen allein sagt noch nichts aus. Ein Anbieter, der mit einer enormen Anzahl von IPv6-Adressen wirbt, wirbt möglicherweise nur mit einem einzigen /64-Block. Die relevante Frage ist, wie viele unterschiedliche /64-Blöcke – oder besser noch /48-Blöcke – der Pool umfasst.
Häufig gestellte Fragen
Was ist eine Subnetz-ID?
Der Teil einer IP-Adresse, der das Netzwerk und nicht den einzelnen Host identifiziert. Er ergibt sich aus der Anwendung der Subnetzmaske auf die Adresse, und alle Rechner in diesem Subnetz teilen sich diese ID. In der CIDR-Notation wird sie mit einer Präfixlänge angegeben, wie beispielsweise 192.168.10.0/24.
Wie berechne ich die Subnetz-ID aus einer IP-Adresse?
Führen Sie eine bitweise UND-Verknüpfung zwischen der Adresse und der Subnetzmaske durch. Für 192.168.10.42/24 lautet die Maske 255.255.255.0, was 192.168.10.0 ergibt. Für nicht-oktett-ausgerichtete Präfixe verwenden Sie ein Tool – ipcalc oder Pythons ipaddress.ip_network(addr, strict=False).
Was bedeutet /24 in einer IP-Adresse?
Dass die ersten 24 Bits das Netzwerkpräfix bilden, sodass 8 Bits für Hosts verbleiben. Ein /24 enthält 256 Adressen, von denen 254 nutzbar sind, da die erste die Subnetz-ID und die letzte die Broadcast-Adresse ist. Dies entspricht der Maske 255.255.255.0.
Warum blockieren Websites ganze Subnetze?
Weil das Blockieren einer einzelnen Adresse selten hilft, wenn der Betreiber die anderen 253 Adressen im selben Block kontrolliert. Das Blockieren des gesamten Bereichs ist die wirksame Maßnahme und gängige Praxis. Genau aus diesem Grund verhalten sich konzentrierte Proxy-Pools so, als wären sie viel kleiner, als ihre Adressanzahl vermuten lässt.
Wie viele Subnetze sollte ein Proxy-Pool abdecken?
Es gibt keine einheitliche Zahl, aber das Verhältnis ist entscheidend: Untersuchen Sie einige hundert Exit-Adressen und zählen Sie die unterschiedlichen /24-Subnetze. Ein hohes Verhältnis von Blöcken zu Adressen deutet auf echte Vielfalt hin. Messen Sie dies lieber pro Land als aggregiert, denn ein Pool kann global vielfältig sein und genau dort konzentriert sein, wo Sie ihn benötigen.
Ist die Subnetzvielfalt wichtiger als die Poolgröße?
Im Hinblick auf die Widerstandsfähigkeit gegen Sperrungen: ja. Adressen im selben /24-Block sind miteinander korreliert – ein Block kann sie alle außer Gefecht setzen. Aufeinanderfolgende Adressen sind für einen Anbieter zudem am kostengünstigsten zu erwerben, sodass ein großer Pool mit geringer Vielfalt zwar leicht zu bewerben, aber weniger nützlich ist, als es den Anschein hat.
Was sind private IP-Bereiche?
10.0.0.0/8, 172.16.0.0/12 und 192.168.0.0/16 – diese sind gemäß RFC 1918 für den internen Gebrauch reserviert und werden niemals im öffentlichen Internet geroutet. Jede Organisation darf sie ohne Abstimmung nutzen. Wenn ein Proxy eine dieser Adressen als Ihre externe Adresse meldet, ist etwas in der Konfiguration falsch.
Funktioniert die Subnetzbildung bei IPv6 anders?
Die Notation ist identisch, der Umfang jedoch nicht. Endnutzer erhalten in der Regel ein /48- oder /56-Segment, und ein einzelnes Segment ist ein /64-Segment, das größer ist als das gesamte IPv4-Internet. Da ein einzelner Teilnehmer ein gesamtes /64-Segment kontrolliert, erfolgen Reputationsbewertung und Sperrung auf der Ebene von /64 oder grober – daher sind reine IPv6-Adresszahlen nahezu bedeutungslos.
Zusammenfassung
Die Subnetz-ID ist der Netzwerkteil einer IP-Adresse, der durch die Maske oder die Länge des CIDR-Präfixes bestimmt wird. Das ist ein einfacher Gedanke, und die dahinterstehende Rechenoperation ist ein bitweises UND, das man mit einem einzeiligen Skript umsetzen kann.
Was es lohnenswert macht, dies auch außerhalb eines Netzwerkkurses zu verstehen, ist die Tatsache, dass das Internet Subnetze als Einheiten behandelt. Router aggregieren nach ihnen, Registries vergeben Adressen nach ihnen, und – was wirtschaftlich von Bedeutung ist – Websites blockieren nach ihnen. Eine Adresse wird selten ausschließlich nach ihren eigenen Merkmalen beurteilt; sie übernimmt die Reputation ihrer Nachbarn.
Wenn Sie also Adressen für den Kauf bewerten, ist es nicht die Anzahl, sondern die Verteilung, die einen guten Pool von einem aufgestockten unterscheidet. Prüfen Sie einige hundert Ausgänge, zählen Sie die unterschiedlichen /24-Subnetze, führen Sie dies pro Land durch und vergleichen Sie dieses Verhältnis zwischen den Anbietern. Das dauert zehn Minuten, ist eine Zahl, die Anbieter nicht auf ihren Landingpages angeben, und sagt weitaus besser voraus, wie sich der Pool verhalten wird, als es die Schlagzeilenzahl tut.