Robots.txt
Robots.txt je textový soubor, který říkám robotům vyhledávačů, jak mají s navštíveným webem naložit. Říká, které části webu mají vyhledávače procházet a indexovat a které jsou naopak pro přístup robotů zakázané.
Soubor robots.txt je uložen v kořenovém adresáři webu. Např.: www.optimal-marketing.cz/robots.txt
Ukázky souboru robots.txt
User-agent: * Disallow:
Výchozí nastavení souboru robots.txt, ve kterém je povolen přístup všem robotům do celého webu.
User-agent: Googlebot Disallow: User-agent: Seznambot Disallow: /img/
Tento zápis říká, že robot Goolebot může přistupovat do celého webu a robot Seznambot nemůže přistupovat do adresáře img.