Im t3n SEO-Check mit Christian B. Schmidt geben wir euch jede Woche Einblicke in die Suchmaschinenoptimierung anhand von Praxisbeispielen. Reicht eure Seite ein und lasst sie kostenlos checken. In der aktuellen Folge erklärt euch Christian, welche Fehler Rankings bei Google verhindern, und was ihr dagegen tun könnt.

Bei 100 SEO-Checks ist immer eine Handvoll dabei, bei denen der Googlebot durch die Einstellungen der Webmaster am Crawling oder der Indexierung gehindert wird. Diese Fälle sind besonders bitter, weil den Website-Inhabern dieser Umstand oft gar nicht bewusst ist. In diesen Fällen ist es also besonders einfach, Abhilfe zu schaffen. Im folgenden umgekehrten Ratgeber zeige ich vier Aspekte, auf die man achten sollte, um Google-Rankings für die eigene Website nicht zu verhindern. Gleichzeitig kann die Liste genutzt werden, um das Vorgehen des Googlebots besser zu verstehen und zu steuern, gerade für den Fall, dass man einen Inhalt nicht in den Suchergebnissen wiederfinden will.

Die robots.txt ist eine der ältesten Methoden zur Steuerung der Suchmaschinen-Crawler. Das „Robots Exclusion Standard Protokoll“ (REP) wurde 1994 veröffentlicht und legt fest, dass Suchmaschinen vor dem Crawlen einer Websites zunächst im Root-Verzeichnis nach einer Datei mit dem Namen „robots.txt“ suchen. Diese kann Regeln enthalten, die das Crawling bestimmter Dateien oder Verzeichnisse für alle oder einzelne Roboter verbieten. Zwar halten sich die großen Suchmaschinen wie Google an die Anweisungen zum Crawling, allerdings muss das nicht unbedingt die Indexierung einer Seite verhindern. Wird eine Seite beispielsweise extern verlinkt, speichert Google sie dennoch in seinem Index, allerdings ohne den eigentlichen Inhalt, wenn das Crawling per robots.txt verhindert wird.

Anders als bei der robots.txt, kann über den Meta-Tag „robots“ auch die Indexierung verhindert werden. Dieser Tag wird im Bereich des HTML-Dokuments unter den Meta-Angaben hinzugefügt. Die Angabe „noindex“ beim Meta-Robots-Tag führt dazu, dass der Googlebot die Seite nach dem Crawlen nicht im Google-Index speichert. Das kommt häufig bei internen Suchergebnissen oder Kategorie-Filterseiten zum Einsatz, da diese für die Suchergebnisse weniger relevant sind. In den meisten Fällen sollte man jedoch keine Unterseiten, geschweige denn die Startseite, auf „noindex“ setzen, denn so verhindert man ganz sicher, dass sie in den Suchergebnissen erscheinen.

Der Canonical-Tag wurde geschaffen, um Suchmaschinen die Erkennung von doppelten Inhalten zu erleichtern. Er wird wie Meta-Tags ebenfalls im Head-Bereich einer HTML-Seite integriert. Er stellt quasi einen Link für den Googlebot auf die Originalversion eines Inhalts her, der identisch unter verschiedenen URL abrufbar ist. Der falsche oder widersprüchliche Einsatz kann jedoch weitreichende Folgen haben. Seiten, die per Canonical nicht auf sich selbst referenzieren, werden weiterhin von Google gecrawlt, aber in der Regel nicht indexiert. Da die Canonical-Angabe lediglich eine Empfehlung für die Suchmaschine darstellt, kann sie sich auch anders verhalten, als vom Webmaster vorgeschlagen. Das ist vor allem bei falschen Einsatz der Fall.

Weiterleitungen über den HTTP-Header sind ein gängiger Weg, um User von veralteten URL auf ein neues Ziel mit vergleichbarem Inhalt weiterzuleiten. Gerade bei Standardfällen wie der Umstellung von HTTP auf HTTPS oder der Festlegung auf eine Default-Subdomain wie www empfiehlt sich eine permanente Weiterleitung per HTTP-Code 301. Anders als der Canonical-Tag gibt eine „harte“ Weiterleitung Suchmaschinen ein ganz klares Signal, eine URL durch eine andere zu ersetzen. Umso vorsichtiger sollte man mit dieser Anweisung umgehen. Gerade wenn eine Weiterleitung anderen Angaben widerspricht, kann es schnell zu Problemen führen.

Wie ich anhand der Beispiele beim t3n SEO-Check diese Woche zeige, gibt es viele Fallstricke, die dazu führen können, dass Seiten gar nicht von Suchmaschinen gelistet werden. Ein Blick in den Quelltext oder die Prüfung durch ein einschlägiges SEO-Tool kann sich also lohnen, wenn die erwünschten Google-Rankings ausbleiben. Wer sich für alle Details des dieswöchigen t3n SEO-Checks interessiert, kann sich die aktuelle Folge nachfolgend ansehen:

Ich soll eure Seite durchleuchten und eure Problemzonen aufdecken? Dann reicht jetzt eure Seite für einen kostenlosen SEO-Check ein.

Jetzt Seite einreichen!