robots.txt
Tento soubor udává crawlerům rozsah stránek k indexaci. Skrze robots.txt dokážete tedy zamezit vyhledávačům přístup do částí stránek, které nechcete mít pro veřejnost k dispozici ze stránky výsledků hledání.
Robot vyhledávače (např. Deepbot) se při každé návštěvě stránky, za účelem indexace, nejprve podívá do souboru robots.txt, kde zjistí, zda nemá k dané stránce či podstránce zakázaný přístup.
Soubor robots.txt musí být umístěn do kořene webové prezentace,
tedy na URL adrese http://www.vašedoména.cz/robots.txt. Jedná se o obyčejný textový soubor, jehož jednotlivé
řádky říkají, který robot (User-agent) kam nesmí (Disallow). Název souboru musí být malými písmeny.
Některé publikační systémy (například náš systém Easyweb)
generují soubor robots.txt na danou URL adresu automaticky, čímž ulehčují majitelům stránek práci.
Jako příklad přidáváme obrázek vygenerovaného souboru robots.txt vyhledávače seznam.cz.
Pro zobrazení nastavení robots.txt na naší homepage klikněte zde.
