Indexierbarkeit + 9 Tipps für bessere Crawlability

· SEO-Tutorials

Bevor eine Seite ranken kann, muss sie im Index sein. Bevor sie im Index sein kann, muss sie abgerufen worden sein. Das klingt trivial, ist aber der Punkt, an dem die meisten Missverständnisse anfangen – denn Crawling und Indexierung sind zwei getrennte Vorgänge, und beide können unabhängig voneinander schiefgehen.

Gecrawlt heißt: Der Googlebot hat die URL abgerufen. Indexiert heißt: Google hat sich entschieden, sie in den Suchindex aufzunehmen. Zwischen beidem liegt eine Entscheidung, die Google trifft und nicht ihr. Eine Seite kann gecrawlt und trotzdem nicht indexiert sein – der häufigste Befund im Indexierungsbericht der Search Console lautet genau so.

Wie eine neue Website in den Index kommt

Der Normalfall ist banal: Google folgt Links. Sobald irgendwo im Web ein Verweis auf eure Seite steht, taucht der Googlebot auf. Das kann Tage dauern und passiert bei einem völlig unverlinkten Projekt gar nicht.

Beschleunigen lässt sich das auf zwei Wegen. Erstens über eine XML-Sitemap, die ihr in der Search Console einreicht oder in der robots.txt hinterlegt. Zweitens über die URL-Prüfung in der Search Console, mit der sich für eine einzelne Adresse eine Indexierung beantragen lässt.

Das öffentliche Anmeldeformular, über das sich früher jede URL ohne Konto einreichen ließ, hat Google abgeschaltet. Wer in älteren Anleitungen auf google.com/webmasters/tools/submit-url stößt: Die Adresse führt ins Leere. Ebenso die Massenfunktion „Abruf wie durch Google“, die alle verlinkten Unterseiten auf einmal einreichte. Was heute existiert und wie ihr es einrichtet, beschreibt ein eigenes Tutorial.

Und noch etwas: Der Antrag beschleunigt, er erzwingt nichts. Eine Seite, die Google für nicht indexierungswürdig hält, bleibt draußen – egal wie oft ihr sie einreicht.

9 Tipps für bessere Crawlability

  1. Den Indexierungsbericht regelmäßig lesen. Er teilt alle bekannten URLs in indexiert und nicht indexiert und nennt für die zweite Gruppe einen Grund. Das ist die einzige Quelle, die zeigt, wie Google eure Website tatsächlich sieht.

  2. Echte Links in der Navigation. Der Googlebot folgt <a href="…">. Alles andere – ein onclick auf einem <div>, ein Menü, das erst nach einem Klick per JavaScript Adressen erzeugt – ist für ihn keine Verlinkung:

    <!-- crawlbar -->
<a href="/kategorie/laufschuhe">Laufschuhe</a>

<!-- nicht crawlbar -->
<span onclick="location.href='/kategorie/laufschuhe'">Laufschuhe</span>

    Das gilt auch für Filter, Paginierung und „Mehr laden“-Schaltflächen. Wenn Seite 2 einer Kategorie nur über einen Button erreichbar ist, existiert sie für Google nicht.

  3. Interne Verlinkung ohne Sackgassen. Jede Seite, die ranken soll, braucht mindestens einen internen Link von einer Seite, die selbst gefunden wird. Verwaiste Seiten, die nur in der Sitemap stehen, werden schlechter behandelt – Google liest die Verlinkung als Aussage darüber, was euch wichtig ist. Und je weniger Klicks von der Startseite entfernt eine Seite liegt, desto häufiger wird sie abgerufen.

  4. Statuscodes sauber halten. Im Normalfall antwortet jede URL mit 200. Dauerhafte Umzüge bekommen 301 (oder 308), nicht 302 – ein temporärer Code signalisiert Google, die alte Adresse im Index zu behalten. Entfernte Inhalte antworten mit 404 oder, wenn die Entfernung endgültig ist, mit 410. Vermeidet verkettete Weiterleitungen, auch wenn jede einzelne davon ein 301 ist.

  5. Die robots.txt sparsam einsetzen. Sperrt gezielt, was Probleme macht: interne Suchergebnisse, endlose Kalenderansichten, Facettennavigation mit kombinierbaren Parametern. Alles Weitere lasst offen. Die Syntax und die häufigsten Fehler behandelt das Tutorial zur robots.txt.

  6. Die richtige Anweisung für den richtigen Zweck. Disallow verhindert das Abrufen, nicht das Indexieren – eine gesperrte URL kann trotzdem im Index landen, wenn andere Seiten darauf verlinken. Wer eine Seite zuverlässig draußen halten will, braucht ein noindex im Meta-Robots-Tag, und die Seite muss dafür abrufbar bleiben. Für Dateien ohne HTML-Kopf – PDFs, Bilder, Downloads – geht dasselbe über den HTTP-Header:

    X-Robots-Tag: noindex

  7. Dubletten reduzieren. Jede überflüssige Variante derselben Seite wird abgerufen und verbraucht Crawling-Kapazität. Woher Varianten kommen und wie ihr sie mit rel="canonical" und Weiterleitungen zusammenführt, steht im Beitrag zu Duplicate Content.

  8. Die mobile Fassung ist die indexierte Fassung. Die Mobile-First-Indexierung ist seit 2023 abgeschlossen; Google crawlt mit dem Smartphone-Googlebot. Inhalte, die in der mobilen Ansicht fehlen – ausgeblendete Textblöcke, weggelassene strukturierte Daten, andere interne Verlinkung – sind damit für die Bewertung nicht vorhanden.

  9. Serverantwortzeit im Blick behalten. Reagiert ein Server langsam oder liefert er Fehler, drosselt Google die Abrufrate. Wie sich Antwortzeiten messen und verbessern lassen, behandelt der Beitrag zur Optimierung der Seitenladezeiten. Für geplante Wartungsarbeiten ist ein 503 mit Retry-After die richtige Antwort – nicht ein 404 und nicht eine leere Seite mit Status 200.

Was aus dieser Liste verschwunden ist

Drei Punkte, die in älteren Fassungen dieses Tutorials standen, sind erledigt:

Noindex: in der robots.txt. Google hat diese undokumentierte Direktive über Jahre inoffiziell ausgewertet und die Unterstützung zum 1. September 2019 eingestellt. Findet ihr sie in einer Bestandsdatei, ist sie seither wirkungslos – und meist steht die betroffene Seite zusätzlich auf Disallow, sodass auch kein Meta-Tag greifen kann. Ein lohnender Blick beim Aufräumen alter Projekte.

Flash. Seit Ende 2020 unterstützt kein Browser mehr Flash-Inhalte. Websites, die darauf aufbauen, haben kein SEO-Problem, sondern gar keine Besucher mehr.

Frame-Sets. Aus HTML entfernt. Der Nachfolger <iframe> existiert weiter und hat eine eigene Eigenschaft: Der eingebettete Inhalt gehört dem eingebetteten Dokument, nicht der umgebenden Seite. Wer wichtigen Text in einem iframe ausliefert, liefert ihn unter einer anderen URL.

JavaScript und der Googlebot

Der Googlebot rendert JavaScript. Er verwendet dafür seit 2019 eine aktuelle Chromium-Version, die laufend mitgepflegt wird – die Zeiten, in denen er auf einem Browserstand von vor Jahren festhing, sind vorbei.

Der Haken liegt woanders. Das Rendering passiert nicht beim Abruf, sondern in einem zweiten Durchgang: Google holt das HTML, stellt die Seite in eine Warteschlange und rendert sie, wenn Kapazität frei ist. Meist geht das schnell, es kann aber dauern. Alles, was erst nach dem Rendering existiert, wird entsprechend später erfasst.

Daraus ergeben sich drei praktische Regeln. Was für die Bewertung zählt – Haupttext, Überschriften, Title, Canonical, interne Links – gehört ins ausgelieferte HTML. Inhalte, die eine Nutzerinteraktion voraussetzen, werden nicht erfasst; der Googlebot klickt nicht und scrollt nicht. Und Ressourcen, die zum Rendering gebraucht werden, dürfen nicht per robots.txt gesperrt sein, sonst rendert Google eine kaputte Seite.

Prüfen lässt sich das mit dem Live-Test der URL-Prüfung: Er zeigt das gerenderte HTML und einen Screenshot. Was dort fehlt, fehlt auch im Index.

Crawl-Budget: für wen das ein Thema ist

„Crawl-Budget“ ist einer der Begriffe, die deutlich häufiger genannt als gebraucht werden. Google beschreibt das Thema als relevant für sehr große Websites und für mittelgroße mit täglich wechselnden Inhalten. Für eine Firmenwebsite mit zweihundert Seiten spielt es keine Rolle – dort ist nicht das Budget das Problem, sondern dass Google die Seiten nicht für indexierungswürdig hält.

Wo es tatsächlich zählt – im großen Shop mit Filternavigation, im Portal mit Millionen von Detailseiten –, ist die Stellschraube fast nie „mehr Crawling anfordern“, sondern weniger Müll anbieten: Parametervarianten zusammenführen, Endlosräume schließen, Weiterleitungsketten auflösen. Die Crawling-Statistiken in der Search Console zeigen, wofür Google seine Abrufe tatsächlich verwendet. Erfahrungsgemäß ist die Verteilung dort die eigentliche Überraschung.

Wenn Seiten aus dem Index verschwinden

Erst nachsehen, dann handeln. Der Bericht zu manuellen Maßnahmen in der Search Console beantwortet die Frage, ob ein Mensch bei Google gegen die Website entschieden hat – im Regelfall ist er leer, und damit ist die verbreitetste Vermutung schon erledigt.

Danach die technische Seite: Antwortet der Server? Steht irgendwo ein noindex, das nicht dorthin gehört – etwa aus einer Entwicklungsumgebung mitgewandert? Zeigt ein Canonical auf eine fremde Seite? Ein vollständiger Crawl mit einem Werkzeug wie Screaming Frog beantwortet diese Fragen in einer halben Stunde und fördert regelmäßig eine Regel zutage, von der niemand mehr wusste.

Bleibt es dabei, dass Google die Seiten kennt und nicht aufnimmt, ist es kein technisches Problem mehr. Dann geht es um Inhalte und um die Frage, was diese Seiten bieten, das andere nicht bieten. Wo die technische Grundlage aufhört und die inhaltliche anfängt, ordnet der Wiki-Eintrag zu Technical SEO ein.