Sitemap (XML) nun auch in robots.txt promoten
Nun kann man auch in der robots.txt die Webseiten XML Sitemap nach dem Standard von www.sitemaps.org publizieren. Folgende Zeile ist z.B. bei der Domain www.webideas.de einzubauen. Sitemap: http://www.webideas.de/sitemap.xml Aber was wenn man jedem Bot eine … mehr

