Beiträge getagged mit robots.txt

X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess.

Verfasst von sigloch unter SEO (Optimierung) am 21. Januar 2008

Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter:

http://www.joostdevalk.nl/x-robots-tag-play/#examples

Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar:

[quickcode:noclick]<filesmatch “robots\.txt”>
Header set X-Robots-Tag “noindex”
</filesmatch>[/quickcode]

Werde versuchen dies hier im Blog bei Zeiten einzusetzen und auszuprobieren und dann über den Einsatz des X-Robots Tag im HTTP Header berichten. Bisher unterstützen mindestens Google und Yahoo die Tags.

, , , , ,

Keine Kommentare

Sitemap (XML) nun auch in robots.txt promoten

Verfasst von sigloch unter SEO (Optimierung) am 25. April 2007

Nun kann man auch in der robots.txt die Webseiten XML Sitemap nach dem Standard von www.sitemaps.org publizieren.

Folgende Zeile ist z.B. bei der Domain www.webideas.de einzubauen.
Sitemap: http://www.webideas.de/sitemap.xml

Aber was wenn man jedem Bot eine individuelle Sitemap geben möchte? Mal schauen ob das auch irgendwann geht. Jedenfalls sollte man zusätzlich in den jeweiligen Portalen die Sitemaps aktiv einstellen, dies hilft immens. Dort ist eine Individualisierung möglich.

Auch kann man versuchen aktiv die jeweilige Suchmaschine. Übrigens ask.com ist nun auch dabei anpingen.

  • http://www.live.com/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml
  • http://de.yahoo.com/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml
  • http://www.google.de/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml
  • http://de.ask.com/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml

, ,

7 Kommentare