X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess.

Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter:

http://www.joostdevalk.nl/x-robots-tag-play/#examples

Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar:

[quickcode:noclick]<filesmatch “robots\.txt”>
Header set X-Robots-Tag “noindex”
</filesmatch>[/quickcode]

Werde versuchen dies hier im Blog bei Zeiten einzusetzen und auszuprobieren und dann über den Einsatz des X-Robots Tag im HTTP Header berichten. Bisher unterstützen mindestens Google und Yahoo die Tags.

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>