Im Folgenden SEO-Tutorial soll das Augenmerk auf das Meta-Robots-Tag gelegt werden. Ebenso wird die Verwendung des Tag bei der Suchmaschinenoptimierung näher erläutert. Das Meta-Robots-Tag wird im Header Ihres HTML-Dokuments platziert und ist prinzipiell dazu gedacht, das Verhalten von Crawlern zu steuern, die eure Website besuchen. Dabei gibt es zwei wichtige grundlegende Funktionen, die man steuern kann. Zum einen, ob die URL indexiert werden darf und zum anderen, ob enthaltenen Links gefolgt werden soll.
Indexieren und Links folgen
Mit folgenden Ausdrücken erlauben Sie dem Crawler Ihre Website zu indexieren und Links zu folgen. Die erste Variante ist sowohl bei rankingrelevanten Unterseiten, als auch bei sonstigen Inhaltsseiten, die im Index erwünscht sind empfohlen.
<meta name=“robots“ content=“index, follow“>
<meta name=“robots“ content=“all“>
Groß und Kleinschreibung spielt in der Regel keine Rolle. Wenn Sie den Meta-Robots-Tag komplett weg lassen, wird außerdem standardmäßig dieses Verhalten angenommen.
Indexieren, aber Links nicht folgen
In einigen Fällen macht es Sinn, Unterseiten zwar zu indexieren, darauf befindlichen Links allerdings nicht folgen zu lassen. Oftmals ist dies der Fall, wenn man sogenannte Hub-Seiten hat, die viele ausgehende externe Links beinhalten. Man sollte allerdings beachten, dass diese Seite dann eine Linkjuice-Sackgasse darstellt und auch interne Links keine Wirkung mehr zeigen. Ihr Linkjuice, der auf dieser Seite zusammenläuft ist sozusagen verschenkt, verbrannt oder wie man es nennen mag.
<meta name=“robots“ content=“index, nofollow“>
Nicht indexieren, aber Links folgen
Diese Variante kommt in der Praxis häufig vor. Gerade bei Online-Shops hat es sich in der Praxis als äußerst effektiv erwiesen z.B. paginierte Unterseiten, Seiten mit Parametern in der URL zur Sortierung, Eingrenzung oder Änderung der Darstellung mit diesem Parameter zu versehen.
<meta name=“robots“ content=“noindex, follow“>
Die Seiten landen nicht im Index (Duplicate Content wird entschärft), Linkjuice auf der jeweiligen Unterseite verteilt sich jedoch über die Links weiter.
Nicht indexieren, keinen Links folgen
Die folgende Variante kommt in der SEO-Praxis bei seriösen Seiten eigentlich nicht vor, außer diese befinden sich wirklich explizit außerhalb der eigentlichen Website und sollen nicht als Teil davon angesehen werden. Der Vollständigkeit halber jedoch im Folgenden trotzdem das Meta-Robots-Tag, das weder Indexierung noch ein Folgen der Links zulässt.
<meta name=“robots“ content=“noindex, nofollow“>
Abschließende Empfehlung
Abschließend ist anmerken, dass ihr nicht zu sehr mit dem Meta-Robots-Tag experimentieren solltet, wenn ihr nicht genügend Erfahrung im SEO habt. Durch falschen Einsatz könnt Ihr eure Rankings ernsthaft gefährden. Empfohlen wird im Zweifelsfall auf das Meta-Robots-Tag komplett zu verzichten.