keasone.de | Websesign, Kommunikationsdesign Braunschweig, Alexander Hahn.

Entwickelt man nicht lokal auf dem eigenen Rechner, so möchte man eher nicht mit der Testinstallation - in irgend einem temporären Verzeichnis auf dem eigenen Server - bei google etc. indexiert werden.

Bedient man sich in diesem Fall - aus Gründen der Faulheit Zeitersparnis - einfach der von Wordpress bereitgestellten Funktion des Aussperrens der Suchmaschienen, so kann man ein Problem bekommen.

Sobald man die Seite dann nämlich freigeben, oder etwa auf einem anderen Server betreiben möchte, so ändert man einfach die Einstellung im Backend.
So glaubte ich bis vor ein paar Tagen auch.

Leider nein!

Wordpress ändert zwar die Einstellung im Backend, in der robots.txt ändert es allerdings nicht was es sollte, denn es bleibt zumindest ein Disallow: erhalten. Dies finden Suchmaschienen natürlich weniger schön und verhindern die Indexierung der betroffenen Seite.

Dass dies leider nicht mit den von Wordpress mitgegebenen Funktionen funktioniert, ist unlogisch und unschön. Man kommt jedoch schnell heraus aus der fiesen Situation! Eine simple Textdatei namens robots.txt, welche man einfach in den Root-Ordner des Servers lädt, reicht aus.

Es gibt viele Wege solch eine robots.txt Datei anzulegen, ich entscheide mich für eine sehr knappe Variante, der ich bei Bedarf andere Ordner hinzufüge:

# Hi Googlebot!
# This is your robots.txt for http://yourdomain.de

User-agent: *
Disallow: /index.php
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /downloads

Meine betroffenen Seiten erfreuen sich nun der Aufmerksamkeit diverser Suchanfragen und ich kann wiedr ruhig schlafen (-;

Bookmark to del.icio.us