Robots Meta Tag

Mit dem Robots Meta Tag wird der Crawler der Suchmaschinen gesteuert. Soll eine Seite im Index erscheinen, kann auf den Tag verzichtet werden oder es wird mit “index” gefüllt. Interessant wird es erst, wenn eine Seite nicht gecrawlt werden soll. Sie wird dann mittels “noindex” gesperrt. Als Ergänzung kommt meist noch ein “nofollow” oder ein “follow” hinzu. Dies betrifft die auf der Seite vorhandenen Links. Mit dem “nofollow” sollen auch diese nicht verfolgt werden - das “follow” erlaubt dem Crawler ihnen zu folgen.

Beispiele für den Einsatz des Robots-Meta-Tags

Die nachstehende Tabelle enthält einige Beispiele für den korrekten Einsatz des Robots Meta Tags:

Seitenart Voraussetzung Robots-Meta-Tag Einstellung Beispiel-URL
Startseite Soll in aller Regel in den Index. index,follow http://www.seo-seite.info/
Kategorieseite Seite enthält Unique Content und soll gefunden werden. index,follow http://www.seo-seite.info/kategorie-a/
Kategorieseite Wenn diese Kategorie anderen sehr ähnlich ist, sollte sie nicht in den Index - aber den Links darf der Crawler folgen. noindex,follow http://www.seo-seite.info/kategorie-d/
Paginierte (Kategorie)Seite Diese sollen meist nicht aufgenommen werden. Doch den Links soll der Crawler folgen. noindex,follow http://www.seo-seite.info/kategorie-a/2/
Suchergebnisseite Diese darf nicht in den Index. noindex,follow http://www.seo-seite.info/suche.html?s=canonical-tag
Warenkorb Da diese Seiten für die Suche nicht nützlich sind, sollten sie aus dem Index heraus gehalten werden. noindex,nofollow http://www.seo-seite.info/warenkorb.html
Impressum Wenn das Impressum nicht über Google gefunden werden soll. Gilt auch für Kontakt, Datenschutz, etc. noindex,follow http://www.seo-seite.info/impressum.html

Risiken und Nebenwirkungen

Das Robots Meta Tag ist nicht sinnvoll in Verbindung mit einem Disallow-Eintrag in der robots.txt. Denn ist dieser vorhanden, wird der Crawler die Seite zwar finden und auch in den Index aufnehmen - aber er wird sie nicht crawlen. So kann er das Robots Meta Tag gar nicht sehen und deshalb muss er es ignorieren.

Außerdem sollte ein Robots Robots Meta Tag mit dem Inhalt “noindex” nicht in Kombination mit einem Canonical Tag auf eine andere Seite verwendet werden. Denn in diesem Fall wird die Wirkung des Canonical Tags zunichte gemacht.

Quellcode

Im Quellcode wird das Robots-Meta-Tag wie folgt verwendet:

<meta name="robots" content="index,follow" />
<meta name="robots" content="noindex,follow" />
<meta name="robots" content="index,nofollow" />
<meta name="robots" content="noindex,nofollow" />

Weiterführende Links zum Canonical-Tag