Eine Seite aus Google heraushalten: robots.txt oder noindex?
Möchten Sie eine Seite nicht in Google haben, zum Beispiel eine Dankesseite, eine Testseite oder eine alte Aktion? Dann denken viele an die Datei robots.txt. Doch robots.txt hält eine Seite nicht aus Google heraus. Dafür gibt es noindex. In diesem Artikel erfahren Sie den Unterschied, wie Sie beides verwenden und was Sie mit einer Seite tun, die Sie gelöscht haben. Wir verwenden example.com als Beispiel.
Der Unterschied in Kürze
| robots.txt | noindex | |
|---|---|---|
| Was es aussagt | "Diese Seite nicht abrufen." | "Diese Seite nicht in die Suchergebnisse aufnehmen." |
| Hält es eine Seite aus Google heraus? | Nein. Verlinken andere auf die Seite, kann die Adresse trotzdem erscheinen, ohne Beschreibung. | Ja, sobald Google die Seite erneut besucht hat. |
| Wo steht es? | Eine Datei unter https://example.com/robots.txt | In der Seite selbst oder als Header, den der Server mitsendet |
| Wofür verwenden Sie es? | Zum Steuern des Crawling-Verkehrs, zum Beispiel um Suchergebnisseiten Ihrer eigenen Website zu überspringen | Für Seiten, die erreichbar bleiben, aber nicht in Google gehören |
Keines von beiden ist ein Schutz. Jeder kann Ihre robots.txt lesen, und eine Seite mit noindex bleibt ganz normal erreichbar. Muss etwas wirklich geschützt sein, stellen Sie es hinter ein Passwort. Siehe Einen Ordner in DirectAdmin mit einem Passwort schützen.
noindex verwenden
Fügen Sie diese Zeile in den <head> der Seite ein:
<meta name="robots" content="noindex">
Für Dateien ohne HTML, etwa ein PDF, kann der Server dieselbe Anweisung als Header mitsenden: X-Robots-Tag: noindex. Die Wirkung ist dieselbe.
Meist müssen Sie das nicht selbst eintippen:
- AI Builder: Öffnen Sie den Bereich SEO, wählen Sie die Seite und schalten Sie unter Mehr für diese Seite den Schalter Diese Seite in Google auffindbar aus. Die Seite bleibt erreichbar, erhält aber ein noindex. Veröffentlichen Sie anschließend erneut.
- WordPress: Ein SEO-Plugin bietet pro Seite eine Einstellung, um die Seite nicht indexieren zu lassen. Das Häkchen Suchmaschinen davon abhalten, diese Website zu indexieren unter Einstellungen, Lesen gilt für die gesamte Website.
- Andere Website-Baukästen: Suchen Sie nach einer Einstellung wie "vor Suchmaschinen verbergen".
robots.txt erstellen oder anpassen
In einem Hosting-Paket liegt robots.txt im Webordner Ihrer Domain, bei DirectAdmin im Ordner public_html. Sie erstellen oder bearbeiten die Datei über den Dateimanager oder FTP, siehe Dateimanager öffnen: die Ordner in Ihrem Paket. Ein Beispiel:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *gilt für alle Suchroboter.Disallow:mit einem Pfad verbietet alles, was mit diesem Pfad beginnt.Disallow: /verbietet die gesamte Website.- Legen Sie auch eine Gruppe
User-agent: Googlebotan, folgt Google nur dieser Gruppe und ignoriert die Gruppe*. Wiederholen Sie dort also alle Regeln, die auch für Google gelten. - Blockieren Sie keine Ordner mit Stylesheets, Skripten oder Bildern, die Ihre Seite benötigt.
- Keine robots.txt ist kein Problem: Dann ist alles erlaubt. Liefert die Adresse einen Serverfehler, stellt Google das Abrufen vorübergehend ein.
WordPress erstellt selbst eine robots.txt, solange keine Datei im Webordner liegt. Der AI Builder legt beim Veröffentlichen selbst eine robots.txt mit einer Sitemap:-Zeile an.
Ausführliche Erklärung mit Screenshots: Sitemap und robots.txt beim AI Builder und Sitemap und robots.txt bei WordPress und Ihrer eigenen Website in der Anleitung Online gefunden werden.
Google speichert Ihre robots.txt meist bis zu 24 Stunden. In der Search Console finden Sie unter Einstellungen den robots.txt-Bericht: welche Version Google zuletzt abgerufen hat, mit Fehlern und Warnungen, sowie eine Schaltfläche, um sie erneut abrufen zu lassen.
Eine gelöschte Seite: 404 oder 410, kein Soft 404
Haben Sie eine Seite gelöscht, sollte die Adresse den Statuscode 404 (nicht gefunden) oder 410 (entfernt) liefern. Beim nächsten Besuch entfernt Google die Adresse dann aus den Suchergebnissen. Hat die Seite einen Nachfolger, leiten Sie die alte Adresse mit einer 301 auf diese neue Seite weiter, siehe Site Redirection: eine Domain oder Seite weiterleiten.
Ein Soft 404 ist eine Seite, die angibt, nicht vorhanden zu sein, oder fast leer ist, aber trotzdem den Code 200 (gefunden) liefert. Google erkennt das oft und nimmt eine solche Seite nicht auf. In der Search Console sehen Sie es als Grund Soft 404. Auch das Weiterleiten aller gelöschten Seiten auf Ihre Startseite kann als Soft 404 gelten. Lassen Sie eine Seite, die wirklich weg ist, also einen echten 404 oder 410 liefern.
Muss eine Seite schnell aus den Ergebnissen verschwinden, zum Beispiel weil versehentlich personenbezogene Daten darauf standen? Verwenden Sie dann Entfernungen in der Search Console. Das wirkt vorübergehend, etwa sechs Monate. Sorgen Sie deshalb auch dafür, dass die Seite einen 404, 410, ein Passwort oder noindex hat.
Weiterlesen
- Google: Indexierung mit noindex blockieren (Englisch)
- Google: Einführung in robots.txt (Englisch)
- Google: robots.txt-Bericht
- Dateien über .htaccess blockieren
Verwenden Sie WordPress? In der Lektion Auffindbarkeit: die Grundlagen des kostenlosen WordPress-Kurses erfahren Sie mehr über robots.txt und das Häkchen Suchmaschinen davon abhalten.
Mehr lernen? Besuchen Sie den kostenlosen Kurs Online gefunden werden, Lektion 3.3 robots.txt: was Sie blockieren und was nicht.