Tag Archives: robots.txt

X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess.
SEO
0

X-Robots Tag für HTTP Header – Centralising the management of crawlers in the .htaccess.

Sehr gute Beispiele was man mit dem X-Robots Tag HTTP Header anstellen kann gibt es aus meiner Sicht unter: http://www.joostdevalk.nl/x-robots-tag-play/#examples Besonders praktisch ist es für den Ausschluss der robots.txt aus den Indexen dieser Welt benutzbar: … mehr

Sitemap (XML) nun auch in robots.txt promoten
SEO
9

Sitemap (XML) nun auch in robots.txt promoten

Nun kann man auch in der robots.txt die Webseiten XML Sitemap nach dem Standard von www.sitemaps.org publizieren. Folgende Zeile ist z.B. bei der Domain www.webideas.de einzubauen. Sitemap: http://www.webideas.de/sitemap.xml Aber was wenn man jedem Bot eine … mehr