X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess.

Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter: http://www.joostdevalk.nl/x-robots-tag-play/#examples Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar: … mehr