WordPress bietet eine Einstellung, mit der du Suchmaschinen davon abhalten kannst, deine Website zu indexieren. Klingt praktisch - hat aber Grenzen. Hier erfährst du, was der Haken technisch bewirkt, wann du ihn setzen solltest und welche Methoden wirklich vor ungewollter Indexierung schützen.
Was der Haken "Suchmaschinen davon abhalten" bewirkt
Die Einstellung findest du im WordPress-Backend unter Einstellungen > Lesen > Sichtbarkeit für Suchmaschinen. Dort steht: "Suchmaschinen davon abhalten, diese Webseite zu indexieren."
Wenn du diesen Haken setzt, passiert technisch genau eine Sache: WordPress fügt in den HTML-Kopfbereich jeder Seite ein Meta-Tag ein:
<meta name="robots" content="noindex, follow" />Diese Anweisung sagt dem Crawler einer Suchmaschine zwei Dinge: Erstens, nimm diese Seite nicht in deinen Index auf. Zweitens, folge trotzdem den Links auf dieser Seite. Die Suchmaschine darf deine Website also weiterhin besuchen und crawlen - sie soll die Inhalte nur nicht in den Suchergebnissen anzeigen.
Wichtig dabei: Es handelt sich um eine Bitte, keine technische Sperre. Die WordPress-Entwickler weisen selbst darauf hin: "Es ist Sache der Suchmaschinen, dieser Bitte nachzukommen." Google und Bing halten sich in der Praxis daran. Andere Crawler müssen das nicht tun.
Wann du die Indexierung verhindern solltest
Es gibt zwei typische Situationen, in denen dieser Haken sinnvoll ist:
- Entwicklungsphase: Deine Website ist noch im Aufbau und du möchtest verhindern, dass halbfertige Inhalte bei Google landen.
- Private Blogs: Du schreibst nur für einen kleinen Kreis und willst nicht über Suchmaschinen gefunden werden.
Für beide Fälle bietet die Einstellung einen grundlegenden Schutz. Verlasse dich aber nicht allein darauf - besonders nicht während der Entwicklung, wenn Zugangsdaten, Testinhalte oder vertrauliche Informationen auf der Seite stehen.
Vorsicht bei SEO-Plugins
SEO-Plugins wie Yoast SEO oder Rank Math haben eigene Einstellungen für die Indexierung. Diese können den WordPress-Haken überschreiben. Wenn du in Yoast für einen Beitrag "Index" einstellst, wird das noindex-Tag für diesen Beitrag entfernt - unabhängig davon, ob der globale Haken in den WordPress-Einstellungen gesetzt ist.
Prüfe deshalb immer den Quellcode deiner Seite (Rechtsklick, "Seitenquelltext anzeigen") und suche nach dem robots-Meta-Tag. Nur so siehst du, was tatsächlich an die Suchmaschine gesendet wird.
Warum robots.txt keine Alternative ist
Ein verbreiteter Irrtum: Viele versuchen, die Indexierung über die robots.txt zu verhindern:
User-agent: *
Disallow: /Das funktioniert nicht wie erhofft. Die robots.txt verbietet dem Crawler lediglich, deine Seiten zu besuchen. Wenn der Crawler eine Seite nicht besuchen darf, kann er auch das noindex-Tag nicht lesen. Im schlimmsten Fall ist die Seite trotzdem im Index - allerdings ohne Beschreibung, nur mit der URL.
Ausserdem ist die robots.txt nur eine Empfehlung. Kein Crawler ist technisch gezwungen, sich daran zu halten. Für die Steuerung der Indexierung ist sie das falsche Werkzeug.
So schützt du Inhalte wirklich
Wenn du sicherstellen willst, dass niemand - weder Suchmaschinen noch unbefugte Besucher - auf deine Inhalte zugreifen kann, brauchst du einen echten Zugriffsschutz:
Passwortschutz in WordPress
WordPress bietet beim Veröffentlichen eines Beitrags die Option "Passwortgeschützt". Damit muss jeder Besucher ein Passwort eingeben, bevor er den Inhalt sieht.
Serverseitiger Passwortschutz per .htaccess
Die sicherste Methode für Websites in der Entwicklungsphase: Ein Verzeichnisschutz per .htaccess und .htpasswd. Damit wird bereits auf Server-Ebene ein Passwort verlangt, noch bevor WordPress überhaupt geladen wird. Kein Crawler und kein Besucher kommt ohne Zugangsdaten an die Inhalte.
Diese Methode eignet sich besonders, wenn du mit Kunden oder Redakteuren gemeinsam an einer Seite arbeitest, die noch nicht öffentlich sein soll.
Nach dem Entfernen des Hakens: Seite wird nicht gefunden
Du hast den Haken entfernt, aber deine Seite taucht trotzdem nicht bei Google auf? Das ist normal. Google muss deine Seite erst erneut crawlen und feststellen, dass das noindex-Tag verschwunden ist. Das kann Tage oder Wochen dauern.
So beschleunigst du den Vorgang:
- Melde deine Website bei der Google Search Console an.
- Hinterlege dort eine Sitemap (normalerweise unter
/sitemap.xml). - Nutze die Funktion "URL-Prüfung" und klicke auf "Indexierung beantragen" für deine wichtigsten Seiten.
Damit signalisierst du Google aktiv, dass sich etwas geändert hat. Die erneute Indexierung erfolgt dann deutlich schneller.
Zusammenfassung
| Methode | Schützt vor Indexierung | Schützt vor Zugriff |
|---|---|---|
| Haken in WordPress-Einstellungen | Bedingt (Bitte an Suchmaschinen) | Nein |
| robots.txt Disallow | Nein (verhindert nur Crawling) | Nein |
| Passwortschutz WordPress | Ja | Ja (Beitragsebene) |
| htpasswd-Schutz | Ja | Ja (Server-Ebene) |
Verwandte Artikel
- Google findet meine Homepage nicht
- htpasswd Generator und Verzeichnisschutz
- .htaccess - Anleitung mit Beispielen
- WordPress absichern - Login und .htaccess
Kommentararchiv 4
Leser berichten, dass nach Entfernen des Hakens die Seite nicht sofort bei Google auftaucht. Empfehlung aus den Kommentaren: Website in der Google Search Console anmelden, Sitemap hinterlegen und die Startseite manuell zur Indexierung einreichen. Ein Leser verweist auf steigende Bing-Marktanteile.