Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis einer Website. Sie sagt Crawlern, welche Bereiche sie abrufen dürfen und welche nicht. Bei WordPress gibt es eine Besonderheit: Auch ohne Datei auf dem Server antwortet die Adresse /robots.txt, weil WordPress den Inhalt selbst erzeugt. Dieser Ratgeber erklärt, was diese virtuelle Datei enthält, wann du sie anpassen solltest und welche Fehler in unseren Projekten immer wieder vorkommen.
Was die robots.txt kann und was nicht
Google beschreibt den Zweck der robots.txt so: Sie verwaltet den Crawling-Traffic, vor allem damit eine Website nicht überlastet wird. Sie ist kein Mittel, um Seiten aus der Google-Suche herauszuhalten [1]. Eine gesperrte Adresse kann weiterhin in den Suchergebnissen erscheinen, etwa wenn andere Seiten auf sie verlinken. Sie wird dann ohne Beschreibung angezeigt [1]. Wer eine Seite aus dem Index nehmen will, setzt ein noindex-Meta-Element oder einen entsprechenden HTTP-Header oder schützt die Seite mit einem Passwort [1].
Daraus folgt ein häufiger Denkfehler: Wer eine Seite per robots.txt sperrt und zugleich auf noindex setzt, erreicht das Gegenteil. Google darf die Seite nicht abrufen und sieht deshalb das noindex nie.
Die virtuelle robots.txt von WordPress
Gibt es im Hauptverzeichnis keine Datei robots.txt, erzeugt WordPress den Inhalt über die Funktion do_robots. Sie gibt für alle Crawler eine Sperre für den Adminbereich unter /wp-admin/ aus und erlaubt zugleich die Datei admin-ajax.php darin, die manche Themes und Plugins für Funktionen im Frontend brauchen [2]. Seit Version 5.5 trägt WordPress außerdem die Adresse der eigenen XML-Sitemap ein [3]. Ein SEO-Plugin, das die Sitemap übernimmt, ersetzt meist auch diesen Eintrag.
Früher sperrte WordPress mit "Disallow: /" die ganze Website, wenn unter Einstellungen und Lesen der Haken "Suchmaschinen davon abhalten, diese Website zu indexieren" gesetzt war. Seit Version 5.3 setzt WordPress stattdessen ein robots-Meta-Element mit noindex in jede Seite [4]. Das ist sauberer, weil Google die Seiten abrufen und die Anweisung lesen kann. Die Einstellung ist eine Bitte an Suchmaschinen und schützt die Website nicht vor Besuchern [4].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Die robots.txt bearbeiten
Es gibt zwei Wege. Du kannst eine echte Datei robots.txt per FTP oder Dateimanager ins Hauptverzeichnis legen. Dann liefert der Server diese Datei aus, und WordPress erzeugt keine eigene mehr. Oder du nutzt dein SEO-Plugin. Bei Yoast SEO findest du unter Werkzeuge einen Dateieditor, der eine robots.txt anlegen und bearbeiten kann. Das funktioniert nur, wenn die Dateibearbeitung in WordPress erlaubt und die Datei beschreibbar ist [5]. Bei SEOPress gehört der Editor für robots.txt zur Bezahlfassung Pro [6]. Entwickler können die virtuelle Ausgabe auch über den Filter robots_txt ändern [2].
Wichtig ist, dass nur ein Weg genutzt wird. Liegt eine echte Datei auf dem Server, laufen Änderungen über das Plugin oder den Filter ins Leere, und umgekehrt.
Regeln, die Google versteht
Google unterstützt in der robots.txt vier Felder: user-agent, allow, disallow und sitemap. Andere Angaben wie crawl-delay ignoriert Google [7]. Die Namen der Felder sind unabhängig von Groß- und Kleinschreibung, die Pfade nicht. /Bilder/ und /bilder/ sind also zwei verschiedene Regeln [7]. Die Datei muss als reiner Text in UTF-8 vorliegen. Google liest höchstens 500 KiB und ignoriert alles darüber [7].
Google speichert die Datei in der Regel bis zu einen Tag lang zwischen [7]. Eine Änderung wirkt also nicht sofort. Liefert der Server für die robots.txt einen Fehler der Klasse 4xx, etwa 404, behandelt Google das so, als gäbe es keine Einschränkungen. Bei Serverfehlern der Klasse 5xx stellt Google das Crawlen zunächst ein und nutzt danach bis zu 30 Tage die zuletzt abgerufene Fassung [7].
Die Regeln gelten nur für genau das Protokoll, den Host und den Port, unter dem die Datei liegt. Crawler suchen die robots.txt ausschließlich im Hauptverzeichnis, nie in Unterordnern [7]. Läuft WordPress in einem Unterverzeichnis, etwa unter /blog/, ist die virtuelle Datei von WordPress dort wirkungslos. Dann muss eine echte Datei im Hauptverzeichnis der Domain liegen. Für jede Subdomain gilt eine eigene robots.txt, ebenso getrennt für die Fassungen mit und ohne www, solange beide erreichbar sind.
Eine sinnvolle robots.txt für WordPress
Für die meisten Websites reicht der Inhalt, den WordPress selbst ausgibt: die Sperre für /wp-admin/, die Ausnahme für admin-ajax.php und der Verweis auf die Sitemap. Mehr braucht es selten. Folgende Ergänzungen sind in manchen Fällen sinnvoll:
- Die Adresse der Sitemap des SEO-Plugins, wenn sie nicht automatisch eingetragen wird.
- Sperren für Adressen der internen Suche, wenn Google sehr viele davon crawlt.
- Sperren für gefilterte Adressen in Shops, die nicht in die Suche sollen. Google empfiehlt die robots.txt ausdrücklich für solche Filterkombinationen [8].
Nicht sperren solltest du die Verzeichnisse /wp-content/ und /wp-includes/ als Ganzes. Dort liegen Stylesheets, Skripte und Bilder, die Google braucht, um eine Seite so darzustellen wie ein Besucher. Solche pauschalen Sperren finden wir in älteren Installationen noch häufig.
KI-Crawler in der robots.txt
Viele Betreiber wollen heute steuern, ob ihre Inhalte für das Training von KI-Modellen genutzt werden. Google bietet dafür das Token Google-Extended. Es regelt, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Modelle verwendet werden dürfen. Laut Google hat eine Sperre keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal [9].
OpenAI unterscheidet mehrere Crawler: GPTBot sammelt Inhalte, die für das Training von Modellen genutzt werden können, OAI-SearchBot bestimmt, ob eine Website in den Suchfunktionen von ChatGPT erscheint. Beide lassen sich getrennt steuern [10]. Wer GPTBot sperrt und OAI-SearchBot erlaubt, kann in der Suche von ChatGPT auftauchen, ohne Inhalte fürs Training freizugeben. Für Abrufe, die ein Nutzer in ChatGPT auslöst, gelten die Regeln der robots.txt laut OpenAI unter Umständen nicht [10]. Ob eine Sperre für dein Unternehmen sinnvoll ist, hängt davon ab, wie wichtig dir Sichtbarkeit in KI-Antworten ist.
Die robots.txt prüfen
Ruf die Adresse deine-domain.de/robots.txt im Browser auf und lies den Inhalt. In der Google Search Console zeigt der Bericht zur robots.txt, welche Fassung Google zuletzt abgerufen hat und ob es Fehler gab. Mit der URL-Prüfung siehst du für eine einzelne Adresse, ob sie durch die robots.txt blockiert ist. Prüfe die Datei nach jedem Plugin-Wechsel, jedem Umzug und jeder Änderung am Server. Weitere technische Grundlagen stehen unter Technische SEO für WordPress und WordPress XML-Sitemap richtig einrichten. Den Begriff erklärt das Glossar unter robots.txt.
Du bist nicht sicher, ob deine robots.txt etwas sperrt, was Google sehen sollte? Stell die Frage in der gratis Sprechstunde. Wir sehen uns die Datei gemeinsam an.
- Organisation Einführung in robots.txt. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation do_robots(). WordPress Developer Resources. Stand laufend. abgerufen am 31.10.2026
- Organisation New XML Sitemaps Functionality in WordPress 5.5. Make WordPress Core. Stand 22.07.2020. abgerufen am 31.10.2026
- Organisation Settings Reading screen. WordPress.org Documentation. Stand 08.06.2024. abgerufen am 31.10.2026
- Organisation How to edit robots.txt through Yoast SEO. Yoast. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation SEOPress (Plugin-Verzeichnis). WordPress.org Plugins. Stand 29.10.2026. abgerufen am 31.10.2026
- Organisation So interpretiert Google die robots.txt-Spezifikation. Google Search Central. Stand 27.10.2026. abgerufen am 31.10.2026
- Organisation Crawling von URLs mit facettierter Navigation verwalten. Google Search Central. Stand 06.03.2026. abgerufen am 31.10.2026
- Organisation Übersicht über die gängigen Crawler von Google. Google Search Central. Stand 20.10.2026. abgerufen am 31.10.2026
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Wo finde ich die robots.txt in WordPress?
Unter deine-domain.de/robots.txt. Liegt keine Datei im Hauptverzeichnis, erzeugt WordPress den Inhalt selbst. Bearbeiten kannst du ihn über eine eigene Datei, über dein SEO-Plugin oder per Filter.
Kann ich mit der robots.txt Seiten aus Google entfernen?
Nein. Die robots.txt steuert nur das Crawling. Gesperrte Adressen können ohne Beschreibung in den Suchergebnissen erscheinen. Zum Entfernen nutzt du noindex oder einen Passwortschutz.
Soll ich /wp-content/ sperren?
Nein. Dort liegen Stylesheets, Skripte und Bilder, die Google zum Darstellen der Seiten braucht. Eine pauschale Sperre kann dazu führen, dass Google deine Seiten falsch bewertet.
Gehört die Sitemap in die robots.txt?
Es ist sinnvoll, sie dort einzutragen. WordPress macht das seit Version 5.5 für die eigene Sitemap selbst, SEO-Plugins tragen meist ihre eigene ein. Zusätzlich reichst du die Sitemap in der Search Console ein.
Schadet es meinem Ranking, wenn ich KI-Crawler sperre?
Laut Google hat eine Sperre von Google-Extended keinen Einfluss auf die Google-Suche. Sperrst du dagegen OAI-SearchBot, erscheint deine Website nicht mehr in den Suchantworten von ChatGPT.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.
