X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess.

Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter: http://www.joostdevalk.nl/x-robots-tag-play/#examples Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar: [quickcode:noclick]<filesmatch “robots\.txt”> Header set X-Robots-Tag “noindex” </filesmatch>[/quickcode] Werde versuchen dies hier im Blog bei Zeiten einzusetzen und auszuprobieren und dann…

Sitemap (XML) nun auch in robots.txt promoten

Nun kann man auch in der robots.txt die Webseiten XML Sitemap nach dem Standard von www.sitemaps.org publizieren. Folgende Zeile ist z.B. bei der Domain www.webideas.de einzubauen. Sitemap: http://zippy-edge.flywheelsites.com/sitemap.xml Aber was wenn man jedem Bot eine individuelle Sitemap geben möchte? Mal schauen ob das auch irgendwann geht. Jedenfalls sollte man zusätzlich in den jeweiligen Portalen die…