Robots.txt je jednoduchý textový soubor, nacházející se zpravidla v hlavním adresáři webu.Stačí ho tam vytvořit, případně nahrát přes ftp a můžete v něm nastavit, jak se mají crawlující roboty vyhledávačů chovat k vaší stránce.
Radírna – Internetová online poradna
Rady a návody. Fígle, tipy a triky.