Offenlegung: Wir sind Geonode und verkaufen Proxys, die als eine der Komponenten für die gegen Ende beschriebene Crawling-Methode dienen. Ehrlich gesagt sollte das Crawlen das Letzte sein, was Sie versuchen, nicht das Erste. Fünf der acht unten aufgeführten Quellen sind kostenlos, erfordern keine Infrastruktur und liefern häufig eine vollständigere Liste als ein Crawl – denn sie enthalten Seiten, auf die von nirgendwo mehr verlinkt wird. Wenn Sie damit beginnen, einen Crawler zu schreiben, haben Sie mehr Arbeit und erzielen eine geringere Abdeckung. Kaufen Sie Bandbreite erst dann, wenn Sie festgestellt haben, dass die kostenlosen Quellen Lücken aufweisen, die Sie füllen müssen – was später der Fall ist, als die meisten Menschen annehmen.
Warum es für „Alle Seiten“ keine vollständige Antwort gibt
Vier Gründe, die alle struktureller Natur sind.
Es gibt „verwaiste“ Seiten. Eine Seite ohne eingehende Links ist beim Crawling nicht erreichbar und für Suchmaschinen unsichtbar, existiert aber dennoch und ist möglicherweise aktiv. Alte Landingpages, Kampagnen-URLs und veraltete Bereiche fallen alle in diese Kategorie.
Inhalte hinter Formularen und Authentifizierungsvorgängen lassen sich nicht erfassen. Suchergebnisse, gefilterte Ansichten und alles, was eine Anmeldung erfordert, können bei der Erfassung nicht berücksichtigt werden.
Dynamische URLs können unendlich sein. Ein Kalender mit Links zum nächsten Monat generiert unbegrenzt viele URLs. Die facettierte Navigation auf einer E-Commerce-Website führt zu einer kombinatorischen Explosion. „Alle Seiten“ ist auf manchen Websites keine endliche Menge.
Websites täuschen durch Auslassung. Eine Sitemap enthält das, was der Betreiber bewusst aufgelistet hat – häufig sind das die Seiten, die indiziert werden sollen, und nicht unbedingt die Seiten, die tatsächlich existieren.
Das realistische Ziel ist also nicht Vollständigkeit, sondern eine für Ihren Zweck ausreichende Abdeckung, was bedeutet, dass die Wahl der Quellen davon abhängt, warum Sie die Abfrage durchführen.
Beginnen Sie mit der Sitemap
Der mit Abstand produktivste erste Schritt – und genau der, den viele überspringen.
Das Sitemap-Protokoll definiert ein XML-Format, das die URLs einer Website auflistet. Eine Sitemap „muss mit einem öffnenden <urlset>-Tag beginnen und mit einem schließenden </urlset>-Tag enden“, wobei jeder Eintrag ein <loc>-Element erfordert. Optionale <lastmod>-, <changefreq>- und <priority>-Elemente können hinzugefügt werden, wobei das Protokoll jedoch darauf hinweist, dass deren Behandlung „je nach Suchmaschine variieren kann“.
Die Beschränkungen wirken sich darauf aus, was Sie finden: Eine einzelne Sitemap-Datei ist auf „50.000 URLs begrenzt und darf nicht größer als 50 MB (52.428.800 Byte) sein“. Größere Websites verwenden einen Sitemap-Index – eine „<sitemapindex>“-Datei, die andere Sitemaps auflistet –, für den dieselben Beschränkungen gelten, sodass eine Website Dutzende von Sitemap-Dateien haben kann.
Wo Sie nachsehen sollten:
https://example.com/sitemap.xml
https://example.com/sitemap_index.xml
https://example.com/sitemap.xml.gz
Gzip-Komprimierung ist zulässig, „aber die dekomprimierte Datei muss weiterhin die Größenbeschränkungen einhalten“.
Und schauen Sie zuerst unter robots.txt nach, da das Protokoll vorsieht, Sitemaps dort mit einer Sitemap:-Anweisung anzukündigen:
curl -s https://example.com/robots.txt | grep -i sitemap
Das sind die wertvollsten 30 Sekunden, die es gibt. Viele Websites listen mehrere Sitemaps auf, deren Namen Sie niemals erraten hätten – separate Sitemaps für Produkte, Kategorien, Blogbeiträge und Bilder.
Verfolgen Sie den Index rekursiv. Ein Sitemap-Index verweist auf Sitemaps, die wiederum auf weitere Sitemaps verweisen können. Rufen Sie jede einzelne ab, extrahieren Sie die Werte von „<loc>“ und beachten Sie, dass Einträge in einem Index Sitemap-Dateien sind, während Einträge in einem „urlset“ Seiten sind.
Das Feld „<lastmod>“ ist der andere Grund, hier anzufangen: Es gibt an, was sich geändert hat, wodurch aus einem erneuten Crawling ein Abruf der wenigen Seiten wird, die verschoben wurden.
Die Datei „robots.txt“ lesen – was sie verrät
Über die Sitemap-Anweisung hinaus ist „robots.txt“ eine Auflistung von Pfaden, die der Betreiber für erwähnenswert hielt.
Disallow: /admin/
Disallow: /internal/reports/
Disallow: /checkout/
Disallow: /search?
Jede Zeile in „Disallow“ benennt einen Pfad, der tatsächlich existiert. Dies ist kein Zugang – es ist eine Angabe dessen, was Sie nicht crawlen sollten, und die Beachtung dieser Vorgabe ist nicht nur korrekt, sondern auch der Unterschied zwischen einem anerkannten Crawler und einem Störfaktor. Aber sie verrät Ihnen die Struktur der Website und nennt häufig Bereiche, von denen Sie bisher nichts wussten.
Betrachten Sie sie eher als Karte denn als Zielliste. Ein Pfad, der gesperrt ist, sollte von Ihrer Crawling-Liste ferngehalten werden; das Wissen um seine Existenz trägt dennoch zu Ihrem Verständnis der Website bei.
Suchmaschinenoperatoren
Schnell, kostenlos und unvollständig.
site:example.com
site:example.com inurl:/products/
site:example.com -inurl:/blog/
site:example.com filetype:pdf
Was Sie damit erhalten: Seiten, die die Suchmaschine indexiert hat – also eine Teilmenge der tatsächlich existierenden Seiten. Die Ergebnisse sind zudem begrenzt und eher geschätzt als vollständig.
Wofür es wirklich gut geeignet ist: Subdomains und Bereiche zu entdecken, von denen Sie nichts wussten, und Dokumentdateien zu finden, die nicht über die Navigation verlinkt sind. Eine Suche nach „filetype:pdf“ auf einer Unternehmenswebsite bringt regelmäßig Material zutage, von dem niemand erwartet hätte, dass es öffentlich zugänglich ist.
Die Einschränkung besteht darin, dass das direkte Auslesen von Suchergebnissen gegen die Nutzungsbedingungen der meisten Suchmaschinen verstößt und die manuelle Vorgehensweise zeitaufwendig ist. Wenn Sie dies programmgesteuert benötigen, nutzen Sie eine offizielle Such-API, sofern vorhanden, anstatt die Weboberfläche zu automatisieren.
Webarchive
Die Quelle, die die meisten Menschen vergessen – und die einzige, die Seiten findet, die nicht mehr existieren.
Die CDX-Server-API des Internet Archive fragt den Erfassungsindex des Archivs direkt ab. In der Dokumentation heißt es: „Die einfachste Abfrage und der einzige erforderliche Parameter für den CDX-Server ist der Parameter url“.
curl -s "http://web.archive.org/cdx/search/cdx?url=example.com/*&output=json&fl=original&collapse=urlkey&limit=10000"
Wichtige Parameter:
**matchType
** steuert den Umfang – exact
entspricht einer URL, prefix
liefert alle Inhalte unter einem Pfad, host
deckt einen einzelnen Hostnamen ab und domain
deckt eine Domain und alle ihre Subdomains ab. Ein Platzhalter in der URL legt dies implizit fest, sodass example.com/*
eine Präfixübereinstimmung darstellt.
**collapse=urlkey
** entfernt benachbarte Duplikate, was unerlässlich ist, da das Archiv viele Aufzeichnungen derselben URL enthält.
**output=json
** ist praktischer als das standardmäßige CDX-Textformat, und gzip=false
deaktiviert die standardmäßige gzip-Kodierung, falls Ihr Client diese nicht verarbeiten kann.
Einschränkungen: Die API „legt standardmäßig ein Maximum von 150.000 Ergebnissen pro Abfrage fest“, das mit limit=N
angepasst werden kann; für umfangreichere Abfragen empfiehlt die Dokumentation die Paginierungs-API unter Verwendung von page
und pageSize
.
Warum dies besonders wertvoll ist: Es deckt historische URLs auf. Seiten, die entfernt wurden, Bereiche, die umstrukturiert wurden, Kampagnen-Landingpages, deren Verlinkung aufgehoben wurde. Um zu verstehen, wie eine Website früher aussah, oder um verwaistes Content zu finden, das noch online ist, gibt es nichts Vergleichbares – und es belastet das Ziel überhaupt nicht.
Common Crawl
Ein großes öffentliches Crawl-Korpus mit einem abfragbaren Index – eine Ressource, die wirklich viel zu wenig genutzt wird.
Common Crawl veröffentlicht in regelmäßigen Abständen Crawls eines beträchtlichen Teils des Internets zusammen mit einem URL-Index. Durch eine Abfrage erhalten Sie die URLs, die der Crawler für eine Domain erfasst hat – und zwar in großem Umfang, ohne die Website selbst zu berühren.
Die Vor- und Nachteile liegen auf der Hand. Die Abdeckung ist breit, aber nicht vollständig – es handelt sich um einen Crawl, der denselben blinden Flecken unterliegt wie jeder andere Crawl auch. Die Aktualität hängt davon ab, welchen Crawl Sie abfragen. Und die Abfrage des Index in großem Umfang ist eher eine Datenverarbeitungsaufgabe als eine einzelne Anfrage.
Hier kommt es zum Einsatz: bei groß angelegten Recherchen, beim Vergleich vieler Domains und in allen Situationen, in denen Sie sich einen Überblick über eine Website verschaffen möchten, ohne Traffic darauf zu generieren.
Crawling: Der letzte Ausweg – richtig umgesetzt
Wenn die kostenlosen Quellen Lücken hinterlassen, sollte man crawlen. Dabei sollte man so vorgehen, dass keine Probleme entstehen.
Der grundlegende Ablauf: Eine Seite abrufen, Links extrahieren, auf die Zieldomain filtern, die neuen Links in die Warteschlange stellen, wiederholen, bis die Warteschlange leer ist. Im Prinzip einfach, aber voller Details.
Wichtige Details:
Beachten Sie „robots.txt“. Dies ist mittlerweile ein Standard – RFC 9309 definiert den Abgleich nach Spezifität statt nach Reihenfolge, verlangt eine mindestens tägliche Aktualisierung der Datei und behandelt einen Serverfehler als vollständiges Verbot. Verwenden Sie eine gepflegte Bibliothek, anstatt den Parser selbst zu schreiben.
Normalisieren Sie URLs konsequent. Abschließende Schrägstriche, die Reihenfolge von Abfrageparametern, Groß- und Kleinschreibung bei Hostnamen, Sitzungskennungen und Tracking-Parameter führen alle zu Duplikaten. Ein Crawler ohne Normalisierung besucht dieselbe Seite hunderte Male.
Begrenzen Sie das Crawling. Tiefenbegrenzungen, Seitenanzahlsbegrenzungen und Musterausnahmen für Kalender und facettierte Navigation. Ohne diese Einschränkungen sind manche Websites unendlich groß.
Begrenzen Sie Ihre eigene Anfragerate. Eine Anfrage pro Sekunde oder alle zwei Sekunden ist höflich und für die meisten Aufgaben ausreichend. „Crawl-delay“ in „robots.txt“ ist eine Empfehlung, die es wert ist, beachtet zu werden.
Identifizieren Sie sich. Ein User-Agent mit einem Namen und einer Kontakt-URL wird weitaus seltener blockiert als anonyme Automatisierung.
Cachen Sie und nutzen Sie bedingte Anfragen. If-Modified-Since und If-None-Match verwandeln ein erneutes Crawlen in eine Reihe kostengünstiger 304-Antworten.
Wo Proxys zum Einsatz kommen: bei echtem Skalierungsbedarf, wenn eine einzelne Adresse einer Ratenbegrenzung unterliegt oder wenn sich die Inhalte je nach Region unterscheiden. Nicht vorher. Die Bandbreite eines Rechenzentrums ist hierfür die sinnvolle Standardwahl – bei uns beginnt sie bei 0,14 $/GB (Stand: September 2026) – und auf Privatkunden-Bandbreite sollte nur dann umgeschaltet werden, wenn das Rechenzentrum nachweislich versagt.
Weitere wissenswerte Quellen
Vier kleinere Quellen, die spezifische Lücken schließen.
Protokolle zur Zertifikatstransparenz. Jedes ausgestellte TLS-Zertifikat wird öffentlich protokolliert, und Zertifikate enthalten die Hostnamen. Die Abfrage eines CT-Log-Aggregators für eine Domain deckt Subdomains auf – einschließlich solcher, die intern klingen und nie dafür gedacht waren, auf andere Weise gefunden zu werden. Dies ist die mit Abstand beste Methode zur Erkennung von Subdomains und erfordert keinen Kontakt mit dem Ziel.
RSS- und Atom-Feeds. Sie werden nach wie vor häufig veröffentlicht und listen Inhalte in strukturierter Form mit Datumsangaben auf. Überprüfen Sie /feed, /rss, /atom.xml sowie die Tags „<link rel="alternate">“ im Kopfbereich der Seite.
Die eigene Suche und Navigation der Website. Ein A–Z-Index, eine Tag-Liste, eine Kategorieseite oder eine HTML-Sitemap-Seite – viele Websites veröffentlichen solche Elemente für menschliche Besucher, und sie sind häufig vollständiger als die XML-Sitemap.
Die API hinter dem Frontend. Handelt es sich bei der Website um eine Single-Page-Anwendung, ruft sie eine API auf, um ihre Inhalte abzurufen, und diese API stellt oft Endpunkte zur Verfügung, die alle Inhalte in strukturierter Form zurückgeben. Schauen Sie in den Netzwerk-Tab Ihres Browsers. Dies ist bei modernen Websites durchweg der schnellste Weg und durchweg derjenige, den die Leute als Letztes finden.
Quellen zusammenführen
Die praktische Methode für eine fundierte Aufzählung und der Grund, warum die Reihenfolge wichtig ist.
Unabhängig sammeln und zusammenführen. Sitemap-URLs, Archiv-URLs, Feed-URLs und Crawling-Ergebnisse zu einem Satz zusammenführen. Vor dem Zusammenführen normalisieren, da sonst dieselbe Seite mehrfach gezählt wird.
Überprüfen Sie die Aktualität. Eine Archiv-URL kann heute einen 404-Fehler zurückgeben. Eine HEAD
-Anfrage pro URL ist kostengünstig:
while read -r url; do
code=$(curl -sIL -o /dev/null --max-time 10 -w '%{response_code}' "$url")
echo "$code $url"
done < urls.txt
Vergleichen Sie die Quellen miteinander. URLs, die im Archiv, aber nicht in der Sitemap enthalten sind, sind entfernte oder verwaiste Seiten. URLs, die in der Sitemap enthalten sind, aber einen 404-Fehler zurückgeben, sind veraltete Einträge. URLs, die beim Crawlen gefunden wurden, aber nicht in der Sitemap enthalten sind, sind Seiten, die der Betreiber nicht indexiert haben wollte. Jede Abweichung liefert Informationen.
Verfolgen Sie die Entwicklung im Zeitverlauf. Durch regelmäßiges Wiederholen des Vorgangs und den Abgleich der Unterschiede erfahren Sie, was hinzugefügt und entfernt wurde – was häufig die eigentliche Frage hinter „Alle Seiten finden“ ist.
Eine praktische Anleitung
Die Quellen auf einer einzigen Domain zusammenführen – in der Reihenfolge, die den geringsten Aufwand erfordert.
Erstens – die deklarierten Sitemaps finden:
DOMAIN="example.com"
curl -s "https://$DOMAIN/robots.txt" | grep -i '^sitemap:' | awk '{print $2}' > sitemaps.txt
# fall back to the conventional locations if nothing is declared
[ -s sitemaps.txt ] || printf 'https://%s/sitemap.xml\nhttps://%s/sitemap_index.xml\n' "$DOMAIN" "$DOMAIN" > sitemaps.txt
Zweitens – Indizes erweitern und URLs sammeln. Ein Sitemap-Index enthält „<loc>
“-Werte, die auf andere Sitemaps verweisen, und ein „urlset“ enthält „<loc>
“-Werte, die auf Seiten verweisen. Daher funktioniert dieselbe Extraktion auf beiden Ebenen, und Sie wiederholen sie einfach:
extract() { curl -s --compressed "$1" | grep -o '<loc>[^<]*</loc>' | sed 's/<[^>]*>//g'; }
: > all_urls.txt
while read -r sm; do
extract "$sm" | while read -r u; do
case "$u" in
*.xml|*.xml.gz) extract "$u" >> all_urls.txt ;;
*) echo "$u" >> all_urls.txt ;;
esac
done
done < sitemaps.txt
sort -u all_urls.txt -o all_urls.txt
wc -l all_urls.txt
Drittens – die Archivansicht hinzufügen:
curl -s "http://web.archive.org/cdx/search/cdx?url=${DOMAIN}/*&output=text&fl=original&collapse=urlkey&limit=50000" \
| sort -u > archive_urls.txt
wc -l archive_urls.txt
Viertens – vergleichen statt nur zu kombinieren. Hier findet sich die interessante Ausgabe:
comm -13 all_urls.txt archive_urls.txt > only_in_archive.txt # orphaned or removed
comm -23 all_urls.txt archive_urls.txt > only_in_sitemap.txt # new or never archived
only_in_archive.txt
ist die Liste, die man sich zuerst ansehen sollte. Das sind URLs, die die Website einst bereitgestellt hat, aber nicht mehr bewirbt – einige führen zu einem 404-Fehler, und diejenigen, bei denen dies nicht der Fall ist, sind aktive Seiten, auf die niemand verlinkt.
Fünf – Überprüfen Sie die Aktivität, bevor Sie irgendetwas für bare Münze nehmen. Beide Listen enthalten veraltete Einträge, und eine „HEAD
“-Anfrage pro URL kostet nur wenige hundert Byte statt einer ganzen Seite:
while read -r u; do
printf '%s %s\n' "$(curl -sIL -o /dev/null --max-time 10 -w '%{response_code}' "$u")" "$u"
done < only_in_archive.txt | tee liveness.txt
grep '^200 ' liveness.txt | wc -l
Beachten Sie die bewusste Reihenfolge: vier konsultierte Quellen, Tausende gesammelter URLs und kein einziger Crawler-Lauf. Bei den meisten Websites ergibt dies ein vollständigeres Bild als es ein Crawler liefern würde – und das in einem Bruchteil der Zeit, während die Zielseite kaum bemerkt, dass Sie dort waren.
Häufig gestellte Fragen
Wie finde ich alle Seiten einer Website?
Beginnen Sie mit robots.txt, um Sitemap-Angaben zu finden, rufen Sie dann die Sitemaps ab und folgen Sie allen Indexdateien. Ergänzen Sie dies mit der CDX-API des Internet Archive für historische URLs, RSS-Feeds und einer Suche über site:. Crawlen Sie nur das, was dabei übersehen wird – dies ist die langsamste und aufwendigste Option.
Wo befindet sich die Sitemap einer Website?
Normalerweise unter /sitemap.xml oder /sitemap_index.xml, und der zuverlässigste Weg, sie zu finden, ist die Anweisung „Sitemap:“ in robots.txt. Große Websites verwenden einen Sitemap-Index, der auf mehrere Dateien verweist, da jede einzelne auf 50.000 URLs und 50 MB begrenzt ist.
Kann ich Seiten finden, die nirgendwo verlinkt sind?
Manchmal. Crawler können sie per Definition nicht finden, Webarchive jedoch oft schon – die CDX-API des Internet Archive liefert historische URLs, darunter auch solche, die nicht mehr verlinkt sind. Auch Zertifikatstransparenz-Protokolle decken Subdomains auf, die von nirgendwo aus verlinkt sind.
Wie finde ich alle Subdomains einer Website?
Protokolle zur Zertifikatstransparenz sind die beste Quelle, da jedes ausgestellte TLS-Zertifikat zusammen mit seinen Hostnamen öffentlich protokolliert wird. Suchmaschinenbetreiber und DNS-Enumerationstools ergänzen diese Informationen. Für keine dieser Methoden ist es erforderlich, die Zielseite zu kontaktieren.
Ist es legal, eine Website zu crawlen, um ihre Seiten aufzulisten?
Das hängt von der Rechtsordnung, den Nutzungsbedingungen der Website und davon ab, was Sie mit dem Ergebnis tun. Wenn Sie „robots.txt“ beachten, Ihren Crawler identifizieren und Ihre Crawling-Rate moderat halten, bewegen Sie sich im Rahmen der üblichen Praxis. Die Nutzungsbedingungen können den automatisierten Zugriff jedoch unabhängig davon verbieten, und dies ist eine vertragliche Angelegenheit, die es zu prüfen gilt.
Wie viele URLs kann eine Sitemap enthalten?
50.000 pro Datei, mit einer Obergrenze von 50 MB im unkomprimierten Zustand. Darüber hinaus verwenden Websites einen Sitemap-Index, der mehrere Sitemap-Dateien auflistet – und der Index selbst unterliegt denselben Beschränkungen von 50.000 und 50 MB.
Was ist die Wayback CDX-API?
Eine Schnittstelle zum Erfassungsindex des Internet Archive, die die für eine Domain archivierten URLs zurückgibt. matchType steuert den Umfang von einer einzelnen URL bis hin zu einer Domain und allen Subdomains, collapse=urlkey entfernt doppelte Erfassungen, und die Standard-Ergebnisbegrenzung liegt bei 150.000 mit einer Paginierungs-API für umfangreichere Abfragen.
Benötige ich Proxys, um die Seiten einer Website aufzulisten?
Nicht für die Ansätze über Sitemap, Archiv, Feed oder Suche – keiner davon verursacht nennenswerte Auslastung. Sie benötigen sie für umfangreiche Crawls, bei denen eine einzelne Adresse einer Ratenbegrenzung unterliegt oder bei denen sich die Inhalte je nach Region unterscheiden. Stellen Sie sicher, dass die kostenlosen Quellen Lücken aufweisen, bevor Sie etwas kaufen.
Fazit
Es gibt keine vollständige Liste der Seiten einer Website, sondern nur eine Vereinigung von Teilansichten – und es ist sinnvoll, zunächst die „kostengünstigen“ Ansichten zu sammeln, bevor man die „aufwändigen“ erstellt.
In 30 Sekunden findet man auf robots.txt die Sitemap-Angaben. Wenn man dem Sitemap-Index ein paar Minuten lang folgt, erhält man das, was der Betreiber als seine Website betrachtet. Die CDX-API des Internet Archive ergänzt die Seiten, die früher existierten, sowie diejenigen, auf die niemand mehr verlinkt. Feeds, Certificate-Transparency-Protokolle und der eigene HTML-Index der Website füllen jeweils eine andere Lücke. All das ist kostenlos und belastet die Zielseite in keiner Weise.
Crawlen Sie nach dem, was übrig bleibt – unter Einhaltung von „robots.txt“, mit normalisierten URLs, begrenztem Crawling-Umfang und einer moderaten Crawling-Rate – und prüfen Sie zunächst, ob es sich bei der Website um eine Single-Page-Anwendung handelt, die eine API aufruft, denn dieser Weg ist in der Regel schneller als das Crawlen und wird fast immer übersehen.
Vergleichen Sie anschließend die Quellen, anstatt sie lediglich zusammenzuführen. Die Seiten, die im Archiv, aber nicht in der Sitemap enthalten sind, sowie die Sitemap-Einträge, die nun einen 404-Fehler zurückgeben, sind oft das Interessanteste, was diese ganze Übung hervorbringt.