Meta-Robots-Tag

· SEO-Tutorials

Das Meta-Robots-Tag steht im <head> eines HTML-Dokuments und sagt Suchmaschinen, was sie mit dieser einen Seite tun dürfen: ob sie in den Index aufgenommen wird, ob den Links auf ihr gefolgt werden soll, wie ein Textausschnitt im Suchergebnis aussehen darf. Es ist damit das feinere Gegenstück zur robots.txt, die auf Verzeichnisebene regelt, was überhaupt abgerufen werden darf.

Der Unterschied ist wichtiger, als er klingt, und wir kommen weiter unten darauf zurück – er ist die Ursache des häufigsten Fehlers im Umgang mit beiden Dateien.

Syntax und Standardverhalten

<head>
  <meta name="robots" content="noindex, follow">
</head>

Groß- und Kleinschreibung spielt keine Rolle, mehrere Werte werden kommagetrennt aufgeführt.

Bemerkenswert ist, was ihr nicht schreiben müsst. index und follow sind das Standardverhalten. Google weist in seiner Dokumentation ausdrücklich darauf hin, dass diese Werte nicht angegeben werden müssen – ein <meta name="robots" content="index, follow"> ist reine Dekoration und richtet weder Schaden noch Nutzen an. Dasselbe gilt für all, das lediglich eine Kurzform desselben Standards ist.

Wenn ihr also nichts wollt, schreibt nichts. Das Tag gehört nur auf Seiten, für die eine Abweichung vom Standard gewollt ist.

Die Werte, die Google auswertet

Die beiden bekannten Werte sind nur ein Ausschnitt:

  • noindex – die Seite wird nicht in den Index aufgenommen.
  • nofollow – den Links auf dieser Seite wird nicht gefolgt. Nicht zu verwechseln mit dem Link-Attribut rel="nofollow" an einem einzelnen Link, das Google seit 2020 als Hinweis und nicht mehr als bindende Anweisung behandelt.
  • none – Kurzform für noindex, nofollow.
  • noarchive – kein zwischengespeicherter Seitenstand in den Ergebnissen.
  • nosnippet – kein Textausschnitt im Suchergebnis.
  • max-snippet:[zahl] – begrenzt den Textausschnitt auf eine Zeichenzahl.
  • max-image-preview:[none|standard|large] – regelt die Größe der Bildvorschau.
  • max-video-preview:[zahl] – begrenzt die Länge einer Videovorschau in Sekunden.
  • noimageindex – Bilder dieser Seite erscheinen nicht in der Bildersuche.
  • notranslate – keine Übersetzung des Ergebnisses anbieten.
  • unavailable_after:[datum] – die Seite wird nach einem Stichtag nicht mehr in den Ergebnissen angezeigt, praktisch bei befristeten Angeboten oder Veranstaltungen.
  • indexifembedded – erlaubt die Indexierung von Inhalten, die trotz noindex per iframe in eine andere Seite eingebettet sind.

Kombinieren lässt sich das frei:

<meta name="robots" content="max-snippet:160, max-image-preview:large">

Sollen die Regeln nur für Google gelten, ersetzt ihr robots durch den Namen des Crawlers. Vorhandene allgemeine Regeln werden dadurch für diesen Crawler überschrieben:

<meta name="robots" content="nosnippet">
<meta name="googlebot" content="max-snippet:200">

Der häufigste Fehler: noindex hinter einer robots.txt-Sperre

Wer eine Seite aus dem Index bekommen will, sperrt sie gern in der robots.txt und setzt zusätzlich ein noindex – doppelt hält besser. Das Gegenteil ist der Fall.

Die robots.txt verbietet das Abrufen der Seite. Das Meta-Robots-Tag steht in der Seite. Wenn der Crawler die Seite nicht abrufen darf, sieht er das noindex nie. Google kennt die URL trotzdem, wenn irgendwo ein Link darauf zeigt, und kann sie ohne Inhaltsangabe in den Index aufnehmen. Das Ergebnis ist ein Eintrag ohne Beschreibungstext – und die Sperre, die das verhindern sollte, ist genau der Grund dafür.

Die Reihenfolge ist deshalb: erst noindex setzen, warten, bis die Seite aus dem Index verschwunden ist, und erst danach – falls überhaupt nötig – das Crawling per robots.txt unterbinden. In der Search Console lässt sich der Stand über die URL-Prüfung nachvollziehen; wie ihr die Search Console für ein Projekt überhaupt erst einrichtet, beschreibt ein eigenes Tutorial.

X-Robots-Tag: dieselben Regeln für Dateien ohne HTML

Ein PDF hat keinen <head>. Für alles, was kein HTML ist – Bilder, Dokumente, Downloads –, gibt es dieselben Anweisungen als HTTP-Header:

X-Robots-Tag: noindex

In der Serverkonfiguration sieht das beispielsweise so aus:

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Der Weg über den Header funktioniert auch für HTML-Seiten und ist immer dann die bessere Wahl, wenn ihr Regeln für ganze Dateitypen oder Verzeichnisse zentral setzen wollt, statt sie in Templates zu verteilen.

Die vier klassischen Kombinationen

index, follow ist der Standard und braucht keine Angabe. Alles, was ranken soll, läuft hierunter.

index, nofollow ist ein Sonderfall für Seiten mit vielen ausgehenden Links, deren Zielen ihr nicht folgen lassen wollt. In der Praxis ist die Variante selten sinnvoll, weil sie auch die internen Links auf der Seite entwertet: Was auf dieser Seite an Linkkraft ankommt, wird nicht weitergegeben.

noindex, follow war jahrelang das Standardrezept für paginierte Seiten und für Filter- und Sortier-URLs in Shops. Hier hat sich die Einschätzung geändert, gleich in zwei Punkten. Erstens hat Google erklärt, dass Seiten, die dauerhaft auf noindex stehen, mit der Zeit seltener gecrawlt werden – die Links auf ihnen verlieren dadurch an Wirkung, die Kombination nähert sich langfristig einem noindex, nofollow an. Zweitens sind paginierte Seiten oft der einzige Weg, über den tiefer liegende Produkte überhaupt gefunden werden; wer sie systematisch auf noindex setzt, kappt diesen Weg. Für Sortier- und Filtervarianten ist ein rel="canonical" auf die Hauptvariante meist das passendere Werkzeug, wie im Tutorial zu Duplicate Content beschrieben.

Zwei Dinge, auf die man sich früher verlassen hat, gibt es dabei nicht mehr: rel="next" und rel="prev" wertet Google seit 2019 nicht mehr aus, und das Werkzeug zur Behandlung von URL-Parametern in der Search Console wurde 2022 abgeschaltet.

noindex, nofollow kommt bei regulären Websites praktisch nicht vor. Sinnvoll ist es bei Bereichen, die technisch zur Domain gehören, inhaltlich aber nicht zum Auftritt zählen sollen – ein Testsystem, eine Vorschauumgebung, ein Kundenportal. Für sensible Inhalte ist ohnehin keines dieser Tags die Lösung, sondern eine echte Zugriffssperre.

Abschließende Empfehlung

Das Meta-Robots-Tag ist eines der wenigen Elemente, mit denen sich Rankings binnen Tagen zerstören lassen: Ein versehentlich global ausgeliefertes noindex – etwa weil eine Entwicklungsumgebung live gegangen ist, ohne dass jemand die Einstellung zurückgesetzt hat – nimmt eine Website vollständig aus dem Index.

Deshalb zwei Regeln. Wenn ihr euch nicht sicher seid, lasst das Tag weg; der Standard ist in den allermeisten Fällen richtig. Und prüft nach jedem Livegang stichprobenartig den ausgelieferten Quelltext, nicht nur die Einstellung im Redaktionssystem. Weitere Stellschrauben rund um Crawling und Indexierung sammelt das Tutorial zu Indexierbarkeit und Crawlability.