Technisches SEO: Prioritäten aus Crawl-Budget und Logfile-Analyse ableiten

1. Das Crawl-Budget sauber definieren

Das Crawl-Budget ist keine einzelne Zahl. Auf der einen Seite steht die Anfragerate, die Ihr Server verkraftet, auf der anderen das Interesse, das eine Suchmaschine Ihrer Website beimisst. Ein langsamer Server senkt die Rate, dünne oder wiederholte Inhalte senken das Interesse.

Diese Unterscheidung hat praktische Folgen. Eine serverseitige Begrenzung lässt sich nicht durch neue Texte lösen, eine interessensbedingte nicht durch stärkere Hardware. Zu klären, welche Seite begrenzt, ordnet alle weiteren Aufgaben.

Crawling ist außerdem keine Garantie für Indexierung. Eine gecrawlte Seite hat eine Bewertung erhalten, keinen Platz im Index. Crawl-Daten allein als Erfolgskennzahl zu lesen, führt in die Irre.

Für Websites unterhalb dieser Größenordnung verändert sich der Nutzen der Methode, statt zu verschwinden. Dieselben Logs dienen dann nicht der Budgetsteuerung, sondern der Frage, welche strukturellen Signale die Site überhaupt sendet: vergessene Templates, kaputte Weiterleitungsketten und verwaiste Bereiche zeigen sich unabhängig von der Größe.

2. Aufgaben nach Belegen sortieren

Nicht jeder Punkt einer technischen Liste wiegt gleich schwer. Dieselben Aufgaben lassen sich danach ordnen, welches Symptom sie beheben und welcher Beleg sie stützt. Die folgende Tabelle bindet Arbeiten, die Teams oft zufällig auswählen, an etwas Beobachtbares.

Ziel ist keine allgemeingültige Reihenfolge, sondern Klarheit darüber, welcher Beleg vor der Umsetzung nötig ist. Ein Punkt ohne Beleg ist keine Aufgabe, sondern eine offene Frage.

3. Serverlogs methodisch auswerten

Serverlogs sind die einzige Quelle, die zeigt, was eine Suchmaschine getan hat, statt was man vermutet. Vier Wochen an Einträgen mit URL, Statuscode, User-Agent, Zeitstempel und Antwortzeit genügen für den Anfang. Gruppieren Sie diese Einträge nach Verzeichnis, Template und Statuscode.

Suchen Sie zuerst nach drei Dingen: Welche Verzeichnisse binden den Großteil der Anfragen, welche wichtigen Templates erhalten fast keine, und wo häufen sich Fehlercodes? Diese drei Ansichten bestimmen meist die halbe Agenda.

Bevor Sie etwas blockieren, das Sie in den Logs sehen, sollten Sie wissen, was das Werkzeug leistet. Google erklärt, dass eine per robots.txt blockierte Seite über Links auf anderen Seiten dennoch im Index landen kann und dass für die Entfernung eine Anweisung wie noindex statt einer Blockade nötig ist. Das falsche Werkzeug verbirgt das Problem, statt es zu lösen.Google Search Central — Create and Submit a robots.txt File

• Logzeilen nach Template und Verzeichnis gruppieren.
• Nicht verifizierte User-Agents aussortieren.
• Statuscodes je Verzeichnis aufschlüsseln.
• Anfrageanteil umsatzrelevanter Seiten messen.
• URL-Varianten je Inhalt zählen.

4. Fiktives Szenario: Crawling verliert sich in Filtern

Eine fiktive Katalog-Website führt rund vierzigtausend Produktseiten und unbegrenzt viele Filterkombinationen. Das Team beklagt, dass neue Produkte wochenlang unsichtbar bleiben. Der erste Reflex lautet: Sitemap neu erzeugen und mehr Texte schreiben.

Die Logs zeigen ein anderes Bild: Der Großteil der Anfragen läuft auf URLs, die durch Farb-, Größen- und Sortierparameter entstehen, während das Template für neue Produkte monatlich nur wenige Anfragen erhält. Das Problem ist nicht die Textproduktion, sondern ein Crawl-Pfad, der sich in wertlosen Kombinationen erschöpft.

Das Team grenzt die Parameterregeln ein, korrigiert Canonicals und verlinkt neue Produkte direkt aus den Kategorieseiten. Vier Wochen später wiederholt es dieselbe Messung und vergleicht den Anfrageanteil des Produkt-Templates. Dies ist ein fiktives Beispiel, kein Kundenergebnis und keine zugesicherte Wirkung.

5. Das passende Werkzeug zum Problem wählen

Bei Crawl-Problemen gibt es vier Werkzeugfamilien mit jeweils eigener Aufgabe: Zugriff regeln, Indexstatus bestimmen, Duplikate bündeln und Auffindbarkeit beschleunigen. Sie gegeneinander auszutauschen, ist der häufigste Fehler.

Eine Zugriffsregel stoppt die Anfrage an der Tür, eine Index-Anweisung entscheidet über die Sichtbarkeit. Ein Bündelungssignal sammelt Ranking-Wert, Sitemap und interne Links erleichtern nur das Auffinden. Widersprüchliche Signale auf einer Seite machen das Ergebnis unvorhersehbar.

Notieren Sie vor jeder Änderung eine Begründung in einem Satz: welche URL-Menge, welches Symptom, welches Werkzeug, welche erwartete Wirkung. Dieser Eintrag verhindert, dass drei Monate später eine Regel verteidigt wird, an die sich niemand erinnert.

6. Ein Ablauf über vier Wochen

Legen Sie die Arbeit als kurzen Zyklus an, nicht als einmaliges Audit. Woche eins misst, Woche zwei klassifiziert, Woche drei greift ein, Woche vier prüft nach. So bleibt jede Änderung einzeln lesbar.

Ändern Sie nicht viele Regeln gleichzeitig. Crawl-Verhalten reagiert träge; zwei Änderungen in derselben Woche lassen sich später nicht mehr auseinanderhalten.

Sammeln Sie am Ende des Zyklus alle Entscheidungen in einem Protokoll: welche URL-Menge, mit welcher Begründung, an welchem Datum und gegen welche Messung. Ohne dieses Protokoll führt das Team im dritten Zyklus dieselbe Diskussion erneut.

• Logzugriff und Aufbewahrungsdauer geklärt.
• Zuordnung von Template und Verzeichnis erstellt.
• Prioritätentabelle mit Belegen gefüllt.
• Begründung je Maßnahme dokumentiert.
• Änderungen auf einzelne Wochen verteilt.
• Messung mit gleicher Methode wiederholt.
• Rücknahmebedingung festgelegt.

7. Grenzen und Fehlermodi

Crawl-Optimierung ersetzt keine inhaltliche Qualität. Eine schwache Seite häufiger zu crawlen, bringt kein Ranking, sondern nur dieselbe Bewertung in kürzeren Abständen. Bei kleinen Websites ist der Ertrag dieser Arbeit meist gering.

Zu starke Eingrenzung ist ebenfalls riskant. Eine Regel, die Filter-URLs pauschal sperrt, trifft mitunter Kategorieseiten mit echter Suchnachfrage. Prüfen Sie jede Regel vorab an einer Stichprobe von URLs.

Logdaten können unvollständig oder verunreinigt sein: Eine Caching-Schicht verbirgt Anfragen, gefälschte User-Agents blähen Zahlen auf. Ohne Verifizierung entsteht aus den Daten eine überzeugende Geschichte, die falsche Arbeit rechtfertigt.

Schließlich ändert sich das Verhalten von Suchmaschinen. Eine heute wirksame Regel kann veralten, sobald Infrastruktur oder Richtlinien wechseln. Bewahren Sie Entscheidungen mit Datum und Begründung auf und prüfen Sie sie in festen Abständen erneut.