Přehled nástrojů pro generování xml souborů typu sitemap. Problematika využití sitemap souborů a práce s nimi.
Štítek: robots
Jak na robots.txt
Robots.txt je jednoduchý textový soubor, nacházející se zpravidla v hlavním adresáři webu.Stačí ho tam vytvořit, případně nahrát přes ftp a můžete v něm nastavit, jak se mají crawlující roboty vyhledávačů chovat k vaší stránce.