Beitrag wurde zuletzt am aktualisiert

WordPress: Suchmaschinen davon abhalten, diese Webseite zu indexieren

Wordpress: Sichtbarkeit für Suchmaschinen - Suchmaschinen davon abhalten, diese Website zu indexieren.Wordpress: Sichtbarkeit für Suchmaschinen - Suchmaschinen davon abhalten, diese Website zu indexieren.

Für die meisten Webseiten-Betreiber ist es nicht ganz unwichtig, dass die eigenen Inhalte über Google, Bing & Co. auch gefunden werden. In diesem Fall sollte man sich definitiv mit dem Thema Suchmaschinenoptimierung für WordPress bzw. SEO im Allgemeinen näher befassen.

Aber es gibt auch (vor allem) private Blogs, da möchte man dies vermeiden. Andere Gründe für eine Nichtauffindbarkeit über Suchmaschinen ergeben sich oftmals aber auch während der Entstehungs-/Projektierungsphase einer WordPress-Seite. Beides hat definitiv seine Daseinsberechtigung und hierfür eignet sich Haken bei „Suchmaschinen davon abhalten, diese Webseite zu indexieren“ zumindest bedingt.

Für diese beiden Anwendungsfälle bietet sich der Haken im WP-Backend unter Einstellungen > Lesen > Sichtbarkeit für Suchmaschinen an, um Inhalte aus dem Suchindex fernzuhalten. In der Regel halten sich die wichtigsten Suchmaschinen an diese Aufforderung. Nichts desto trotz, und deshalb auch der Hinweis von den WordPress-Entwicklern, „Es ist Sache der Suchmaschinen, dieser Bitte nachzukommen.“. Was ihr auch noch wissen solltet ist, dass die Webseite trotzdem von den Suchmaschinen-Crawlern besucht werden kann und darf.

Technisch passiert beim Setzen dieses Häkchens folgendes: Im Kopfbereich der Webseiten wird im nicht sichtbaren Bereich eine HTML-Anweisung für die Robots hinterlegt.

<head>
...
<meta name="robots" content="noindex, follow" />
...
</head>

Diese Anweisung besagt einfach nur, dass das gefundene Dokument (also die einzelne Seite/Beitrag) nicht indexiert werden soll, aber gefunden Links innerhalb dieses Dokuments weiter gefolgt werden darf.

Einige SEO-Plugins für WordPress (z.B. Yoast, wpSEO) überschreiben diesen Punkt allerdings, wenn hier eine Indexierung aktiviert wurde. Ihr solltet euch also nicht in vermeintlicher Sicherheit vor einer Aufnahme in den Suchindex ausreichend gewappnet fühlen, nur weil ihr den Haken bei Sichtbarkeit für Suchmaschinen gesetzt habt.

Per robots.txt den Zugriff unterbinden

Eine ganz schlechte Idee ist es – und auf diese kommen leider viele – in der robots.txt den Suchmaschinen-Bots den Zugang zu verbieten.

User-agent: *
Disallow: /

Zum einen ist diese Anweisung lediglich eine Empfehlung und im schlimmsten Fall hat man, wie oben beschrieben, die noindex-Anweisung für die Robots gesetzt, die sie nun aber schon gar nicht mehr lesen dürfen. Mit robots.txt verhindert man demnach keine Indexierung und sie dient auch nicht der Indexierungsteuerung.

Wie kann ich meine Webseite wirklich vor neugierigen Dritten und vor Suchmaschinen-Bots schützen

Das geht letztendlich nur durch einen Passwortschutz von Seiten des Websystems. Bei WordPress ist das im einfachsten Fall schon integriert und beim Veröffentlichen eines Beitrags anwählbar.

Wordpress: Passwortschutz für Beiträge beim Veröffentlichen

WordPress: Passwortschutz für Beiträge beim Veröffentlichen


Eine weitere Möglichkeit ist das Einrichten eines serverseitigen Passwortschutzes in der .htaccess-Datei. Das wäre an dieser Stele auch meine Empfehlung, wenn man Webseiten noch nicht online stellen möchte, aber beispielsweise mit einem Kunden oder Redakteur gemeinsam die Seite bereits nutzen/pflegen möchte.

4 Kommentare zu "WordPress: Suchmaschinen davon abhalten, diese Webseite zu indexieren"

  1. Tolle Webseite. Sehr gut aufbereitet und informativ. Gratulation

  2. Gut erklärt. Ich habe nur das Problem, das google nun nachdem ich den Haken entfernt habe, meine Website immer noch nicht finde. Ich meine ich habe mal irgendwo gehört, das das normal wäre und das man sich damit an google wenden muss, damit die die Seite nun doch finden.
    Kannst Du dazu mehr sagen?

  3. es ist immer die Rede von Google. Interessant ist eine Verschiebung im Suchmaschinenmarkt. Ein Bekannter von mir, der zugleich Branchenkenner für Business Directories ist, teilte mir mit, dass Bing in den letzten Jahren Google ordentlich Marktanteile abringen konnte.

    In Great Britain soll Bing einen Suchmaschinenmarktanteil von bereits 15% haben, Tendenz steigend. Das wird auch an Deutschland nicht spurlos vorbeigehen.

    Ich denke, dass das Jahr 2020 noch einige Überraschungen bereit hält. Wer ausschliesslich auf Google setzt, kann am Schluss zu den ganz grossen Verlierern gehören, sowohl Publisher alsauch Shop Betreiber.

    Und Nein, das ist keine versteckte Werbung für Bing oder eine andere Suma. Ich persönlich halte Bing auch für suboptimal. Was ich damit zum Ausdruck geben will, ist ein Paradigmenwechsel im Online Distributionsmarkt bezüglich Information. Google und Bing haben im Grunde genommen an Relevanz verloren, viele User holen sich die Infos nur noch via Social Media Channels. Na gut, für die Google Tochter youtube wird es zukünftig auch mehr Alternativen geben.

    Es ist und bleibt spannend…

Hinterlasse einen Kommentar

E-Mail Adresse wird nicht veröffentlicht.