Howto: robots.txt für WordPress optimieren

Immer mal wieder wird uns die Frage gestellt, ob es eine robots.txt braucht, was die bringt, wie wichtig dass die robots.txt ist, etc. Klar ist: Die Datei spielt eine wichtige Rolle in der SEO-Performance. Damit kannst Du mit den Suchrobots interagieren und beeinflussen, welche Teile der Seite indexiert werden und welche ausgeschlossen werden.

Brauche ich wirklich eine robots.txt?

Das Fehlen der Datei hält Suchmaschinen wie Google oder Bing nicht von der Indexierung Deiner Website ab. Die Erstellung der Datei ist aber sehr zu empfehlen, Google mag perfekt vorbereitete Seiten und so kann den Suchmaschinen auch mitgeteilt werden, was wie indexiert wird. Auch kann so definiert werden, wo die Suchmaschinen eine Sitemap finden. Eine Hinterlegung im Google Webmaster Tool entfällt so.

Klare Antwort: Ja. Wenn Du noch keine robots.txt hast, empfehlen wir Dir, umgehend eine solche Datei zu erstellen.

Wo ist die robots.txt?

Die Datei befindet sich in den meisten Fällen im Hauptverzeichnis von Deiner WordPress-Installation. Eine Verbindung per FTP oder SSH ist optimal, um die Datei zu erstellen und zu bearbeiten. Die Datei besteht aus reinem Text und kann somit mit einem gewöhnlichen Editor bearbeitet werden.

Wenn die Datei noch nicht besteht, kann diese einfach erstellt und danach hochgeladen werden. Danach sollte der Inhalt über www.deinedomain.tld/robots.txt abrufbar sein.

Wie wird die robots.txt verwendet?

Das Format der Datei ist sehr einfach gehalten. Es werden einfach Anweisungen vor einem Doppelpunkt und danach den entsprechenden Wert geschrieben. Pro Zeile wird eine Anweisung geschrieben. Hier ein kleines Beispiel:

User-agent: *

Prinzipiell wird immer erst geschrieben, welchen User Agent (also welchen Suchroboter) es betrifft und danach entsprechende Anweisungen, welche URLs erlaubt oder verboten sind, indexiert zu werden. Mit einem Stern wird alles eingeschlossen. Hier ein kleines Beispiel:

User-agent: *
Allow: /wp-content/uploads
Allow: /media
Disallow: /readme.html

In diesem Beispiel dürfen alle Bots den uploads- sowie den media-Ordner indexieren, jedoch nicht die readme.html-Datei.

robots.txt für SEO optimieren

Google weist in Ihren Richtlinien darauf hin, die robots.txt nicht dafür zu verwenden, minderwertige Inhalte vor den Suchmaschinen zu verstecken. Falls Du vor hast, Archivseiten, Schlagwortseiten, etc. mit der robots.txt vor Google zu verstecken, vergiss es gleich wieder. Dafür gibt es geeignete SEO-Plugins, die diese Aufgaben auf dem geeigneten Weg erfüllen (Meta Tag noindex).

Denke daran: Die Aufgabe der robots.txt ist, Crawler anzuweisen, was mit dem gefundenen Inhalt zu tun ist. Es hält die Suchmaschinenrobots nicht davon ab, Seiten und Inhalte überhaupt zu crawlen.

Die Seiten wie WordPress Login und Registration müssen nicht explizit aufgeführt werden, da diese sowieso bereits mit dem noindex-Tag versehen sind. Dies kannst Du einfach im Quelltext herausfinden, bei welchen Seiten dies der Fall ist. Einfach in Deinem Browser den Quelltext anzeigen lassen und nach “noindex” suchen. Sieht dann wie folgt aus:

noindex im Quelltext
noindex im Quelltext

Es ist zu empfehlen, das readme.html nicht indexieren zu lassen. Über diese Datei können potentielle Angreifer herausfinden, welche WordPress-Version im Einsatz ist und so über Google allenfalls Versionen mit Schwachstellen herausfinden.

Auch das Plugin-Verzeichnis empfiehlt sich zu verbieten, da so auch hier entsprechende Schwachstellen weniger einfach ausgenutzt werden können.

XML Sitemap zur robots.txt hinzufügen

Mit vielen SEO-Plugins wird der Link zur generierten XML-Sitemap automatisch hinzugefügt.
Wenn dies fehlschlägt oder kein SEO-Plugin im Einsatz ist, kann der Link manuell eingetragen werden:

Sitemap: http://www.deinedomain.tld/post-sitemap.xml
Sitemap: http://www.deinedomain.tld/page-sitemap.xml

Wie sieht die ideale robots.txt aus?

Viele Seiten nutzen ganz einfache robots.txt, welche dann wie folgt aussehen können:

User-agent: *
Disallow:
Sitemap: http://www.deinedomain.tld/post-sitemap.xml
Sitemap: http://www.deinedomain.tld/page-sitemap.xml

Um aber jetzt optimiert unterwegs zu sein, kann für ein WordPress folgende robots.txt zum Einsatz kommen:

User-Agent: *
Allow: /media/
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: http://www.deinedomain.tld/post-sitemap.xml
Sitemap: http://www.deinedomain.tld/page-sitemap.xml
Sitemap: http://www.deinedomain.tld/customers-sitemap.xml
Sitemap: http://www.deinedomain.tld/team-sitemap.xml

Viel Erfolg bei der Optimierung Deiner WordPress-Installation!

 

Möchten Sie Ihre Seite durch uns optimieren lassen?

 

Idee: wpbeginner.com, Bild: Shutterstock