Beitrag wurde zuletzt am aktualisiert

WordPress: Suchmaschinen davon abhalten, diese Webseite zu indexieren

Wordpress: Sichtbarkeit für Suchmaschinen - Suchmaschinen davon abhalten, diese Website zu indexieren.Wordpress: Sichtbarkeit für Suchmaschinen - Suchmaschinen davon abhalten, diese Website zu indexieren.

Für die meisten Webseiten-Betreiber ist es nicht ganz unwichtig, dass die eigenen Inhalte über Google, Bing & Co. auch gefunden werden. In diesem Fall sollte man sich definitiv mit dem Thema Suchmaschinenoptimierung für WordPress bzw. SEO im Allgemeinen näher befassen.

Aber es gibt auch (vor allem) private Blogs, da möchte man dies vermeiden. Andere Gründe für eine Nichtauffindbarkeit über Suchmaschinen ergeben sich oftmals aber auch während der Entstehungs-/Projektierungsphase einer WordPress-Seite. Beides hat definitiv seine Daseinsberechtigung und hierfür eignet sich Haken bei „Suchmaschinen davon abhalten, diese Webseite zu indexieren“ zumindest bedingt.

Für diese beiden Anwendungsfälle bietet sich der Haken im WP-Backend unter Einstellungen > Lesen > Sichtbarkeit für Suchmaschinen an, um Inhalte aus dem Suchindex fernzuhalten. In der Regel halten sich die wichtigsten Suchmaschinen an diese Aufforderung. Nichts desto trotz, und deshalb auch der Hinweis von den WordPress-Entwicklern, „Es ist Sache der Suchmaschinen, dieser Bitte nachzukommen.“. Was ihr auch noch wissen solltet ist, dass die Webseite trotzdem von den Suchmaschinen-Crawlern besucht werden kann und darf.

Technisch passiert beim Setzen dieses Häkchens folgendes: Im Kopfbereich der Webseiten wird im nicht sichtbaren Bereich eine HTML-Anweisung für die Robots hinterlegt.

<head>
...
<meta name="robots" content="noindex, follow" />
...
</head>

Diese Anweisung besagt einfach nur, dass das gefundene Dokument (also die einzelne Seite/Beitrag) nicht indexiert werden soll, aber gefunden Links innerhalb dieses Dokuments weiter gefolgt werden darf.

Einige SEO-Plugins für WordPress (z.B. Yoast, wpSEO) überschreiben diesen Punkt allerdings, wenn hier eine Indexierung aktiviert wurde. Ihr solltet euch also nicht in vermeintlicher Sicherheit vor einer Aufnahme in den Suchindex ausreichend gewappnet fühlen, nur weil ihr den Haken bei Sichtbarkeit für Suchmaschinen gesetzt habt.

Per robots.txt den Zugriff unterbinden

Eine ganz schlechte Idee ist es – und auf diese kommen leider viele – in der robots.txt den Suchmaschinen-Bots den Zugang zu verbieten.

User-agent: *
Disallow: /

Zum einen ist diese Anweisung lediglich eine Empfehlung und im schlimmsten Fall hat man, wie oben beschrieben, die noindex-Anweisung für die Robots gesetzt, die sie nun aber schon gar nicht mehr lesen dürfen. Mit robots.txt verhindert man demnach keine Indexierung und sie dient auch nicht der Indexierungsteuerung.

Wie kann ich meine Webseite wirklich vor neugierigen Dritten und vor Suchmaschinen-Bots schützen

Das geht letztendlich nur durch einen Passwortschutz von Seiten des Websystems. Bei WordPress ist das im einfachsten Fall schon integriert und beim Veröffentlichen eines Beitrags anwählbar.

Wordpress: Passwortschutz für Beiträge beim Veröffentlichen

WordPress: Passwortschutz für Beiträge beim Veröffentlichen

Eine weitere Möglichkeit ist das Einrichten eines serverseitigen Passwortschutzes in der .htaccess-Datei. Das wäre an dieser Stele auch meine Empfehlung, wenn man Webseiten noch nicht online stellen möchte, aber beispielsweise mit einem Kunden oder Redakteur gemeinsam die Seite bereits nutzen/pflegen möchte.

Kommentar hinterlassen zu "WordPress: Suchmaschinen davon abhalten, diese Webseite zu indexieren"

Hinterlasse einen Kommentar

E-Mail Adresse wird nicht veröffentlicht.