X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess.
Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter: http://www.joostdevalk.nl/x-robots-tag-play/#examples Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar: [quickcode:noclick]<filesmatch “robots\.txt”> Header set X-Robots-Tag “noindex” </filesmatch>[/quickcode] Werde versuchen dies hier im Blog bei Zeiten einzusetzen und auszuprobieren und dann…