File utilizzato per dirigere o indicare ai web bot quali pagine e directory indicizzare o non indicizzare. Questo file deve essere inserito nella directory root sul server che ospita le tue pagine. Il file dovrebbe essere denominato robots.txt e dovrebbe avere le autorizzazioni di lettura. Di seguito è riportato un esempio di un file robots.txt.

 # file robots.txt per //www.computerhope.comUser-agent: * Disallow: / directory1 / 
Disallow: / directory2 /

Nell'esempio robots.txt precedente, la prima riga è un'istruzione non eseguibile che descrive il file. Successivamente, la riga User-agent indica quali robot o bot devono seguire questa sezione del file. Nell'esempio precedente, * rappresenta tutti i bot. Infine, le prossime due righe sono le due directory che vuoi che i bot non indicizzino.

Se si desidera consentire a un bot di interrogare tutti gli URL nel proprio sito Web, immettere il nome del bot seguito da non consentire: con un valore vuoto, come mostrato nell'esempio seguente.

 User-agent: Somebot *
Disallow: 

Termini di Internet, Meta tag, Robot, termini SEO, Mappa del sito, termini di progettazione Web