SEO
Robots.txt
File che indica ai bot quali pagine scansionare o ignorare
Definizione Completa
Il robots.txt è un file di testo posizionato nella root del sito che comunica ai crawler dei motori di ricerca quali pagine o sezioni del sito possono o non possono scansionare. Utile per: gestire il crawl budget, bloccare pagine admin o duplicate, impedire l'indicizzazione di risorse non necessarie. Attenzione: non garantisce la non-indicizzazione (per quello serve il noindex).