SUCHMASCHINEN·VIDEO

Lektion 07 · Crawling & Indexierung

robots.txt: Crawling steuern

Die robots.txt liegt im Hauptverzeichnis einer Domain und sagt Crawlern, welche Bereiche sie nicht abrufen sollen. Sie steuert das Crawling – nicht, ob eine URL im Index landet.

Live auf dieser Seite

Das ist die echte robots.txt dieser Website – sie erlaubt alles und verweist auf die Sitemap:

# robots.txt von suchmaschinen-video.de
# Live-Beispiel aus Lektion 07: https://www.suchmaschinen-video.de/robots-txt.html
User-agent: *
Allow: /

Sitemap: https://www.suchmaschinen-video.de/sitemap.xml

Taste G: Der Röntgenblick zeigt diesmal nicht die HTML-Seite, sondern die robots.txt – mit Prüfung auf Sitemap-Verweis und Komplettsperre.

So geht's richtig

  • Die Datei heißt genau robots.txt und liegt im Root: https://www.beispiel.de/robots.txt.
  • Gruppen beginnen mit User-agent, darunter folgen Disallow- und Allow-Regeln. Die spezifischste (längste) Regel gewinnt.
  • Platzhalter: * für beliebige Zeichen, $ für das URL-Ende. Pfade unterscheiden Groß- und Kleinschreibung.
  • CSS und JavaScript nicht sperren – Google muss die Seite rendern können.
  • Zum Entfernen aus dem Index noindex nutzen, nicht die robots.txt.
# Interne Suche und Warenkorb nicht crawlen
User-agent: *
Disallow: /suche
Disallow: /warenkorb/
Disallow: /*?sessionid=
Allow: /suche/hilfe.html

Sitemap: https://www.beispiel.de/sitemap.xml

Typische Fehler

  • Disallow: / aus der Testumgebung mit live genommen – die ganze Website wird nicht mehr gecrawlt.
  • CSS- oder JavaScript-Verzeichnisse gesperrt.
  • Seiten per robots.txt gesperrt, die eigentlich per noindex aus dem Index sollen.

Mythos-Check

„Per robots.txt gesperrte Seiten erscheinen nie in Google.“
Doch, das kann passieren: Ist eine gesperrte URL von anderswo verlinkt, kann Google sie ohne Inhalt indexieren – meist mit dem Hinweis, dass keine Beschreibung verfügbar ist.
„Man kann noindex in die robots.txt schreiben.“
Nein. Google unterstützt noindex in der robots.txt seit 2019 nicht mehr. Auch crawl-delay ignoriert Google.

Quellen & Stand

Zuletzt geprüft: Oktober 2026