Lektion 06 · Crawling & Indexierung

Robots-Meta-Tag und X-Robots-Tag

Mit dem Robots-Meta-Tag sagst du Suchmaschinen pro Seite, ob sie in den Index darf und wie das Suchergebnis aussehen darf. Für Dateien wie PDFs gibt es dasselbe als HTTP-Header: den X-Robots-Tag.

Live auf dieser Seite

Diese Seite soll gefunden werden und darf in den Suchergebnissen eine große Bildvorschau zeigen:

<meta name="robots" content="index, follow, max-image-preview:large">

index, follow ist ohnehin der Standard – du könntest das Tag also auch weglassen. Hier steht es, damit du es im Quelltext siehst. Ein Gegenbeispiel mit noindex findest du auf unserer Fehlerseite.

Taste G: Das Robots-Meta-Tag leuchtet im Quelltext auf, die Prüfung zeigt die gültige Einstellung.

So geht's richtig

noindex für Seiten ohne Suchwert: interne Suchergebnisse, Danke-Seiten, Logins, dünne Filterseiten.
Snippet steuern mit nosnippet, max-snippet:[Zahl], max-image-preview:[none|standard|large] oder dem Attribut data-nosnippet für einzelne Textstellen.
Die Seite muss crawlbar sein: Ist sie per robots.txt gesperrt, sieht Google das noindex nie.
Für PDFs, Bilder und andere Dateien den X-Robots-Tag im HTTP-Header nutzen:

HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex

Welche Seite bekommt was?

Seitenart	Einstellung	Warum
Startseite, Kategorien, Artikel	`index, follow` (oder kein Tag)	sollen gefunden werden
Interne Suchergebnisse	`noindex`	endlos viele, dünne Seiten
Filter- und Sortiervarianten	`noindex` oder Canonical auf die Hauptseite	Duplicate Content vermeiden
Danke-Seite, Warenkorb, Login	`noindex`	kein Suchwert

Typische Fehler

noindex auf einer Seite, die gleichzeitig per robots.txt gesperrt ist.
Vergessenes noindex der Testumgebung nach dem Relaunch – die ganze Seite verschwindet aus Google.
noindex zusammen mit einem Canonical auf eine andere URL.

Mythos-Check

„Paginierte Folgeseiten setzt man auf noindex, follow.“ (stand so 2014 auf dieser Seite): Veraltet. Folgeseiten bleiben indexierbar und kanonisieren auf sich selbst – sonst findet Google die Produkte darauf schlechter. Mehr in Lektion 10: Paginierung.
„Mit noindex, follow gibt eine Seite dauerhaft Linkkraft weiter.“: Google crawlt Seiten, die lange auf noindex stehen, seltener und folgt ihren Links langfristig womöglich nicht mehr.

Quellen & Stand

Zuletzt geprüft: Oktober 2026