Skip to main content

Indexierbarkeit + 9 Tipps für bessere Crawlability

Damit eine Website oder eine bestimmte Unterseite überhaupt das Potenzial hat Rankings aufzuweisen, muss diese zunächst einmal von den Suchmaschinen indexiert werden. Die Indexierbarkeit einer Internetseite, sprich ob sie in den Index aufgenommen wurde bzw. überhaupt aufgenommen werden kann, hat somit höchste Priorität bei der Suchmaschinenoptimierung.

Wie bekomme ich eine Webite in den Google Index?

Nun, da gibt es mehrere Möglichkeiten. Die eine heißt warten. Sobald die Google Crawler irgendeinem Signal im Internet auf eure Seite folgen wird diese gecrawlt. Dadurch lernt Google Ihre Website kennen und wird diese, in Abhängigkeit verschiedener Faktoren, indexieren. Sobald Sie also ein paar Wellen im Internet schlagen, wird Google ohnehin auf Ihre Website aufmerksam.
Die zweite Möglichkeit wäre die URL einfach bei Google anzumelden. Das funktioniert relativ einfach. Google Konto anmelden und URL über diesen Link übermitteln: https://www.google.com/webmasters/tools/submit-url.

Wenn man sich ohnehin schon ein Google-Konto eingerichtet hat empfehle ich direkt auch die Webmaster Tools betriebsbereit zu machen. Über die Webmaster Tools lässt sich die Indexierung ebenfalls auf verschiedene Methoden initiieren. Man kann zum Beispiel seine Domain verifizieren und Google eine XML-Sitemap der Homepage hinterlegen. Um den Vorgang etwas zu beschleunigen, kann man außerdem einen Abruf durch einen Googlebot anstoßen und die gecrawlten Elemente anschließend direkt an den Index senden.

9 Tipps zur Steigerung der Crawlability eurer Website

Im Folgenden sind einige Tipps aufgeführt, um den Crawlern die richtige Indexierung so effektiv und angenehm wie möglich zu machen.

  1. Nutzt die Webmaster Tools: Hier erhaltet Ihr wertvolle Informationen zum Crawling eurer Seite und bekommt sowohl Fehlerfeedback als auch aktuelle Crawling-Statistiken.
  2. Navigationsarchitektur: Durch eine durchdachte Navigation, die frei von technischen und logischen Schwachstellen ist, vereinfacht Ihr Google das Crawling und zudem auch die Interpretation und das Verständnis Ihrer Website.
  3. Page Speed: Eine gute Seitenladezeit ist für das Crawling ein sehr positiver Faktor.
  4. HTML-Fehler reduzieren: HTML-Fehler erschweren das Crawling und die Interpretation der Dokumentenstruktur.
  5. JavaScript: Ja, Google hat dieses Jahr bekannt gegeben, dass JavaScript nun ausgeführt und gecrawlt werden kann. Die Vollständigkeit und Detailtiefe diese JavaScript-Crawlings sind allerdings noch unbekannt. Man sollte daher nicht davon ausgehen, dass komplexe Strukturen erfasst werden können. Um wirklich sicher zu gehen sollte man daher kein JavaScript verwenden um grundlegende Elemente einer Website zu realisieren wie z.B. die Navigation (was in der Praxis leider viel zu oft vorkommt).
  6. Flash-basierte Websites: Websites die zu großen Teilen aus Flash bestehen haben generell Probleme bei SEO. Flash wird weder gecrawlt, noch indexiert.
  7. Keine falschen Weiterleitungen: Auch eine falsche Weiterleitung kann eine Nicht-Indexierung hervorrufen. Typischerweise sind dies 302-Weiterleitungen, die dem Crawler im Kopf des Datenpakets sagen, dass diese Seite B nur eine temporäre Alternativseite von Seite A ist.
  8. Meta-Tags und Robots.txt überprüfen: Sowohl im Meta-Robots-Tag als auch in der Robots.txt kann man die Indexierung bzw. das Crawling verbieten. Stellt bitte sicher, dass hier keine ungünstigen Regeln definiert wurden.
  9. Frame-Sets: Frame-Sets legen ein sehr besonderes Indexierungsverhalten an den Tag. So kann es bei einem 2 Stalten-Layout mit linker Navigation schon einmal vorkommen, dass der Crawler die Navigation und den Content-Bereich als zwei eigenständige Unterseiten listet. Generell sind Frame-Sets nicht zu empfehlen.

Auch wenn man keine Probleme bei der Indexierbarkeit seiner Inhalte hat, ist es dennoch gut, sich über die angesprochenen Punkte bewusst zu werden. Denkt dran, dass dem Googlebot nur eingeschränkte Ressourcen zur Verfügung stehen, die er in eure Seite investieren kann. Eine Optimierung der Crawlability kann somit auch für einen deutlichen Anstieg der Crawlingfrequenz sorgen.

Hilfe – meine Seite wurde komplett aus dem Index entfernt!

Im Fall, dass eure Website bereits komplett indexiert war und zu einem bestimmten Punkt entweder komplett oder teilweise aus dem Index entfernt wurde, können verschiedene Szenarien eingetreten sind. In jedem Fall würde ich ab diesem Zeitpunkt einen SEO-Experten zu Rate ziehen.

Prüfen ob Penalty

Zunächst einmal solltet Ihr die Ruhe bewahren und in den Webmaster Tools nachprüfen ob Ihr von Google abgestraft worden seit. Dazu reicht meist ein Blick in den Posteingang und auf die „Manuelle Maßnahmen“-Seite unter „Suchanfragen“.

Eventuelle technische Probleme untersuchen

Ebenfalls in den Webmaster Tools könnt Ihr euch unter „Crawling“ die Crawling-Fehler anzeigen lassen. Wenn hier ungewöhnliche Verhaltensmuster zu erkennen sind, empfiehlt es sich diese Informationen direkt in der Serverumgebung und auf der Website selbst zu prüfen.

Website analysieren

Oftmals liegt das Problem auch auf der Website selbst. Es empfiehlt sich zu analysieren, ob man Elemente verwendet die eine Indexierung verhindern könnten, oder ob man fehlende Weiterleitungen verwendet. In allen Fällen lohnt sich ein regelmäßiges Crawling mit einem Tool wie Xenu oder ScreamingFrog, um sich einen Überblick über das generelle Crawlingverhalten zu gewinnen. Sollten nur Teile des Webauftritts nicht im Index sein, bietet es sich zudem an, sich diese Seiten im speziellen anzuschauen.

Wenn alle Stricke reißen und man auf eigene Faust keine brauchbare Lösung findet lohnt sich in diesem Fall der Griff zum Telefon. Da das Thema Crawlability sehr grundlegend ist und eine De-Indexierung in einigen Fällen massiven Verlust bedeuten kann lohnt es sich hier einen professionellen SEO um Rat zu bitten.