Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter:
Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar:
[quickcode:noclick]<filesmatch “robots\.txt”>
Header set X-Robots-Tag “noindex”
</filesmatch>[/quickcode]
Werde versuchen dies hier im Blog bei Zeiten einzusetzen und auszuprobieren und dann über den Einsatz des X-Robots Tag im HTTP Header berichten. Bisher unterstützen mindestens Google und Yahoo die Tags.
