Súbor robots.txt roboti automaticky prehľadávajú, keď dorazia na váš web. Tento súbor by mal obsahovať príkazy pre roboty, ako napríklad ktoré stránky by mali alebo nemali byť indexované. Ak chcete zakázať indexovanie určitého obsahu (napríklad stránky so súkromným alebo duplikovaným obsahom), použite iba príslušné pravidlo v súbore robots.txt. Viac informácií o týchto pravidlách nájdete na adrese http://www.robotstxt.org/robotstxt.html. Upozorňujeme, že príkazy umiestnené v súbore robots.txt sú skôr návrhmi ako absolútnymi pravidlami, ktoré majú roboti dodržiavať. Neexistuje žiadna záruka, že niektorý robot nekontroluje obsah, ktorý ste zakázali.