Robots.txt

Robots.txt je textový soubor, který říkám robotům vyhledávačů, jak mají s navštíveným webem naložit. Říká, které části webu mají vyhledávače procházet a indexovat a které jsou naopak pro přístup robotů zakázané.

 

Soubor robots.txt je uložen v kořenovém adresáři webu. Např.: www.optimal-marketing.cz/robots.txt

Ukázky souboru robots.txt

User-agent: *
Disallow:

Výchozí nastavení souboru robots.txt, ve kterém je povolen přístup všem robotům do celého webu.

User-agent: Googlebot
Disallow:
User-agent: Seznambot
Disallow: /img/

Tento zápis říká, že robot Goolebot může přistupovat do celého webu a robot Seznambot nemůže přistupovat do adresáře img.

Další informace o robots.txt

 

Poslední aktualizace pojmu Robots.txt: 11. 10. 2011