Grundlagen-Computer.de > Blog-Tipps > Optimale robots.txt für Blogs

Optimale robots.txt für Blogs

23.09.2008 | KonstantinM | Blog-Tipps, SEO | 8 Kommentare

optimale robots.txt für blogs.jpg

Bei Blogs kann man schnell einmal in der Google Sandbox landen, wenn man nicht aufpasst. Doppelter Content bzw. Duplicate Content (DC) sollte auf jeden Fall vermieden werden. Ich habe jetzt eine optimale robots.txt für Blogs gefunden und werde diese in diesem Blog testen.

Was macht die robots.txt?

Die robots.txt wird im Root-Verzeichnis des Blogs bzw. der Webseite angelegt und definiert auf welche Bereiche eine Suchmaschine oder andere Agents zugreifen dürfen und auf welche nicht. Dies geschiet anhand von verschiedenen Regeln (Disallow).

So sieht eine gute robots.txt für einen Blog aus

Die folgende robots.txt habe ich von einem Geldkrieg-Beitrag (Getunte robots.txt) und ein wenig angepasst.

User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /index.php
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /feed/
Disallow: /feed
Disallow: /trackback/
Disallow: /link.php

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: *
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /index.php
Disallow: /feed/
Disallow: /trackback/

Beachte bei der robots.txt bitte, dass die Leerzeilen bestehen bleiben müssen, um eine valide robots.txt zu liefern. Überprüft werden kann die robots.txt mit dem Robots.txt Syntax Checker, der auch mir bei der Anpassung geholfen hat.

Ich möchte hier noch einmal darauf hinweisen, dass ich für Schäden oder Probleme in Verbindung mit der Robots.txt nicht hafte. Es bleibt jedem selbst überlassen die Robots.txt den eigenen Wünschen entsprechend anzupassen und diese zu verändern.

Ansonsten freue ich mich, wenn ich dem einen oder anderen Blogger helfen kann, in den Google SERPs weiter oben gelistet zu werden. Ich werde meine Rankings in der nächsten Zeit überprüfen und schauen, ob die neue robots.txt irgendwelche Verbesserungen bringt.

Weitere Anregungen zu robots.txt findet man unter “robots.txt für wordpress” und “robots.txt für die Blogsoftware von Serendipity“.

Über Kommentare zum Artikel, Erfolgserlebnisse oder Probleme mit der robots.txt würde ich mich freuen.

Ähnliche Blog-Artikel:

Dieser Beitrag hat bislang 8 Reaktionen. Schreibe einen Kommentar oder sende einen Trackback ab. Sollte dieser sinnvoll sein, schalte ich ihn gerne frei. Ansonsten empfehle ich den kostenlosen Feed zu abonnieren. Schlagwörter: Blog-Tipps, Bloggen, SEO, Suchmaschine

Bisherige Reaktionen

Germany Music | am 25. September 2008 um 01:18 Uhr

Habe ich gleich mal bei mir verwendet vielen Danke!

Joe | am 26. September 2008 um 08:55 Uhr

Die Sitemap auszuschliessen, macht aber keinen Sinn. Google Webmastertools wird das auch als Fehler melden. Lieber das “Disallow: /sitemap.xml” rausnehmen.

Konstantin | am 26. September 2008 um 09:38 Uhr

Hi Joe,

da stimme ich dir zu. Hab eben nachgeschaut und da wird tatsächlich ein Fehler angezeigt. Hab das jetzt korrigiert. Danke

Germany Music | am 27. September 2008 um 12:49 Uhr

Sehr gut das ich mit die Commentare Abonniert habe :)
Habs jetzt auch bei mir ausgebaut, danke :)

Pingback: Plagiate | USmith Blog | am 10. Februar 2009 um 07:28 Uhr

Chris | am 16. April 2009 um 15:33 Uhr

Cooler Tipp den werde ich mir mal merken. Mein Blogs musste ich leider durch das viele Spidern sperren und nutze mal die Getunte robots.txt von Euch

zoellich | am 27. September 2009 um 23:00 Uhr

Danke – werd ich gleich mal testen – Olli

Keyword Tool | am 17. Dezember 2011 um 13:54 Uhr

Dieser Beitrag ist außergewöhnlich. Vielen Dank dafür, dass die Zeit, um diese unglaubliche Beitrag über das Bloggen zu teilen. Halten Sie sich die gute Arbeit!

Kommentar schreiben