webideas.de - E-Commerce & Online-Marketing » robots.txt http://www.webideas.de E-Commerce & Online-Marketing aus Stuttgart: Shopping, Mobile Commerce, Social Commerce, SEO, Google AdWords und vieles mehr... Fri, 02 Sep 2011 09:45:59 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess. http://www.webideas.de/2008/01/21/x-robots-tag-fuer-http-header-centralising-the-management-of-crawlers-in-the-htaccess/ http://www.webideas.de/2008/01/21/x-robots-tag-fuer-http-header-centralising-the-management-of-crawlers-in-the-htaccess/#comments Mon, 21 Jan 2008 07:30:51 +0000 sigloch http://www.webideas.de/2008/01/21/x-robots-tag-fuer-http-header-centralising-the-management-of-crawlers-in-the-htaccess/ ... mehr]]> Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter:

http://www.joostdevalk.nl/x-robots-tag-play/#examples

Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar:

[quickcode:noclick]<filesmatch “robots\.txt”>
Header set X-Robots-Tag “noindex”
</filesmatch>[/quickcode]

Werde versuchen dies hier im Blog bei Zeiten einzusetzen und auszuprobieren und dann über den Einsatz des X-Robots Tag im HTTP Header berichten. Bisher unterstützen mindestens Google und Yahoo die Tags.

]]> http://www.webideas.de/2008/01/21/x-robots-tag-fuer-http-header-centralising-the-management-of-crawlers-in-the-htaccess/feed/ 0 Sitemap (XML) nun auch in robots.txt promoten http://www.webideas.de/2007/04/25/sitemap-xml-nun-auch-in-robotstxt-promoten/ http://www.webideas.de/2007/04/25/sitemap-xml-nun-auch-in-robotstxt-promoten/#comments Wed, 25 Apr 2007 09:03:44 +0000 sigloch http://www.webideas.de/2007/04/25/sitemap-xml-nun-auch-in-robotstxt-promoten/ ... mehr]]> Nun kann man auch in der robots.txt die Webseiten XML Sitemap nach dem Standard von www.sitemaps.org publizieren.

Folgende Zeile ist z.B. bei der Domain www.webideas.de einzubauen.
Sitemap: http://www.webideas.de/sitemap.xml

Aber was wenn man jedem Bot eine individuelle Sitemap geben möchte? Mal schauen ob das auch irgendwann geht. Jedenfalls sollte man zusätzlich in den jeweiligen Portalen die Sitemaps aktiv einstellen, dies hilft immens. Dort ist eine Individualisierung möglich.

Auch kann man versuchen aktiv die jeweilige Suchmaschine. Übrigens ask.com ist nun auch dabei anpingen.

  • http://www.live.com/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml
  • http://de.yahoo.com/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml
  • http://www.google.de/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml
  • http://de.ask.com/ping?sitemap=http%3A%2F%2Fwww.webideas.de%2Fsitemap.xml
]]> http://www.webideas.de/2007/04/25/sitemap-xml-nun-auch-in-robotstxt-promoten/feed/ 9