Nel vasto e complesso mondo dell'ottimizzazione per i motori di ricerca, ogni piccolo dettaglio può fare la differenza tra una visibilità online eccellente e l'anonimato. Tra questi dettagli, un ruolo cruciale è svolto da un file apparentemente semplice ma incredibilmente potente: il robots.txt. Questo file, spesso sottovalutato, agisce come un gatekeeper virtuale, dettando ai bot dei motori di ricerca quali aree del vostro sito possono esplorare e quali invece dovrebbero ignorare. Comprendere come utilizzare correttamente il robots.txt non è solo una buona pratica ottimizzazione SEO, ma un vero e proprio strumento strategico per gestire la scansione del vostro sito, preservare il budget di crawling e focalizzare l'attenzione dei motori di ricerca sulle pagine che contano davvero. In questa guida pratica passo passo, vi accompagneremo attraverso la creazione, l'implementazione e la manutenzione di un file robots.txt efficace per massimizzare la performance del vostro sito.

Cos'è e a cosa serve il file robots.txt

Prima di addentrarci negli aspetti pratici, è fondamentale comprendere la natura e la funzione del robots.txt. Per una definizione di Robots.txt più approfondita, potete consultare il nostro glossario. In sintesi, il robots.txt è un semplice file di testo che risiede nella directory radice del vostro realizzazione siti web professionali (es. www.iltuosito.it/robots.txt). Il suo scopo principale è comunicare ai web crawler (o "bot") dei motori di ricerca quali parti del sito sono accessibili per la scansione e quali no. È importante sottolineare che il robots.txt non impedisce l'indicizzazione di una pagina se questa viene linkata altrove, ma piuttosto ne sconsiglia il crawling. I motori di ricerca come Google, Bing o Yandex rispettano generalmente queste direttive, anche se il file è inteso come un suggerimento e non una direttiva vincolante per tutti i bot (specialmente quelli "malevoli" che potrebbero non rispettarlo).

Il corretto utilizzo del robots.txt è essenziale per diverse ragioni:

Ottimizzazione del budget di scansione (Crawl Budget): I motori di ricerca hanno un "budget" limitato per la scansione di ogni sito. Escludere pagine di scarso valore (es. pagine di login, carrelli della spesa vuoti, risultati di ricerca interni, pagine di staging) consente ai bot di concentrare le risorse sulla scansione di contenuti più importanti e rilevanti per la SEO.
Controllo dell'indicizzazione (parziale): Sebbene, come detto, non sia un meccanismo di blocco completo dell'indicizzazione, può aiutare a prevenire l'indicizzazione di sezioni del sito non destinate al pubblico, gestendo flussi di lavoro specifici. Per un controllo completo sull'indicizzazione, è meglio utilizzare meta tag noindex o x-robots-tag HTTP header.
Gestione di contenuti duplicati temporanei: In fase di sviluppo o manutenzione, potresti avere versioni temporanee di pagine. Il robots.txt può prevenire la loro indicizzazione accidentale.
Protezione carico del server: Bloccare la scansione di aree molto dinamiche o "pesanti" può ridurre il carico sui server, specialmente per siti di grandi dimensioni.

Sintassi base del robots.txt: i comandi fondamentali

La sintassi del robots.txt è relativamente semplice e si basa su poche direttive chiave. Ogni direttiva deve iniziare su una nuova riga.

User-agent

Il comando User-agent identifica il robot (crawler) a cui si riferiscono le direttive successive. Puoi specificare bot specifici o usare un carattere jolly per tutti.

User-agent: * (Si applica a tutti i crawler)
User-agent: Googlebot (Solo per il crawler principale di Google)
User-agent: Bingbot (Solo per il crawler di Bing)

Disallow

Il comando Disallow indica ai crawler di non accedere a determinate directory o file. Se ometti il percorso, nessun file verrà bloccato (equivalente a un file robots.txt vuoto).

Disallow: / (Blocca l'accesso a tutto il sito)
Disallow: /admin/ (Blocca la scansione della directory "admin")
Disallow: /wp-content/plugins/ (Blocca una sottocartella specifica)
Disallow: /private.html (Blocca un singolo file)

Allow

Il comando Allow viene utilizzato per specificare che una sottodirectory o un file all'interno di una directory "Disallowed" debba essere scansionato. È utile per creare eccezioni.

Disallow: /admin/
Allow: /admin/public/ (Consente la scansione della sottodirectory "public" all'interno di "admin")

Sitemap

Questo comando non è una direttiva di blocco, ma un modo per comunicare ai motori di ricerca dove trovare la vostra Sitemap XML, che è cruciale per la scansione e l'indicizzazione. Dovrebbe apparire su una riga separata, solitamente alla fine del file.

Sitemap: https://www.iltuosito.it/sitemap.xml
Puoi includere più sitemap se ne hai diverse.

Caratteri jolly

Puoi usare i caratteri jolly * e $ per definire pattern più complessi:

*: Corrisponde a qualsiasi sequenza di caratteri. Es: Disallow: /*? (blocca URL con parametri)
$: Indica la fine di un URL. Es: Disallow: /*.pdf$ (blocca tutti i file PDF)

È fondamentale ricordare che le direttive sono case-sensitive. Per esempio, Disallow: /Cartella/ è diverso da Disallow: /cartella/.

Guida pratica: come creare e ottimizzare il tuo robots.txt

Step 1: Analisi del tuo sito e identificazione delle pagine da escludere

Il primo passo è strategico: non create un robots.txt a caso. Dovete sapere esattamente quali parti del vostro sito volete o non volete che vengano scansionate. Considerate:

Pagine di amministrazione e login: /wp-admin/, /login/, /dashboard/.
Contenuti duplicati o di basso valore: Pagine di risultati di ricerca interne, archivi infiniti, pagine di tag troppo granulari.
Cartelle temporanee o di staging: Aree di sviluppo non pubbliche.
File e script non essenziali per l'indicizzazione: Alcuni file CSS, JavaScript o immagini di piccole dimensioni che non aggiungono valore alla SEO, anche se spesso è meglio lasciarli scansionare per una corretta interpretazione della pagina.
Parametri URL: Versioni filtrate o ordinate di e-commerce (es. /categoria?colore=rosso), se non gestite diversamente con canonical.

Potete analizzare il vostro sito manualmente, o utilizzare tool come Screaming Frog SEO Spider per ottenere un elenco completo delle URL e identificare potenziali candidati al blocco.

Step 2: Scrittura del file robots.txt

Una volta identificate le aree, potete iniziare a scrivere il vostro file. Utilizzate un semplice editor di testo (Blocco Note, Sublime Text, VS Code) e salvatelo come robots.txt.

Esempio di file robots.txt di base:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/plugins/
Disallow: /search/
Disallow: /*?
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.iltuosito.it/sitemap.xml

In questo esempio:

Il comando User-agent: * si applica a tutti i bot.
Vengono bloccate le directory comuni di WordPress non necessarie alla scansione SEO.
Disallow: /search/ impedisce la scansione della pagina di ricerca interna.
Disallow: /*? blocca gli URL con parametri di query, utile per evitare duplicati.
Allow: /wp-admin/admin-ajax.php è un'eccezione comune, in quanto alcuni temi e plugin di WordPress necessitano che questo file sia accessibile per funzionare correttamente, anche se si trova in una directory "disallowed".
Infine, viene indicata la posizione della Sitemap XML.

Step 3: Caricamento del file robots.txt

Una volta creato, il file robots.txt deve essere caricato nella directory radice del vostro sito web. Questo significa che dovrebbe essere accessibile all'indirizzo https://www.iltuosito.it/robots.txt.

Tramite FTP/SFTP: Collegati al tuo server e trascina il file nella cartella principale (public_html, www, htdocs a seconda del setup del tuo hosting).
Tramite pannello di controllo dell'hosting: Molti hosting provider offrono un file manager che permette di caricare e modificare file direttamente dal browser.
Tramite CMS (es. WordPress): Sebbene non sia la norma, alcuni plugin SEO (come Yoast SEO o Rank Math) permettono di modificare il robots.txt direttamente dalla dashboard. Assicurati che non ci siano altri plugin che potrebbero sovrascrivere queste impostazioni.

Step 4: Verifica del robots.txt con Google Search Console

Dopo aver caricato il file, è fondamentale verificarne la correttezza. Google offre uno strumento eccellente per questo scopo: il Tester del file robots.txt all'interno di Google Search Console.

Accedi a Google Search Console e seleziona la proprietà del tuo sito.
Tra gli Strumenti legacy e report, cerca lo strumento "Tester del file robots.txt".
Qui potrai vedere l'ultima versione del tuo robots.txt che Google ha scansionato. Puoi anche testare singole URL per vedere se un determinato bot è autorizzato a scansionarle in base alle tue regole attuali.
Presta attenzione a eventuali errori o avvisi che lo strumento potrebbe segnalare, in quanto un robots.txt mal configurato può impedire la scansione di pagine importanti.

Step 5: Monitoraggio e manutenzione

Il robots.txt non è un file da "impostare e dimenticare". Il tuo sito si evolve, aggiungi nuove sezioni, rimuovi vecchie. È buona prassi rivedere periodicamente il tuo robots.txt per assicurarti che sia sempre allineato con la tua strategia SEO. Fai particolare attenzione quando:

Lanci nuove sezioni del sito.
Rimuovi vecchie sezioni.
Implementi nuove funzionalità (es. filtri e-commerce).
Noti cali inspiegabili nel traffico organico o nell'indicizzazione (potrebbero essere causati da un robots.txt erroneo).

Errori comuni da evitare

Un robots.txt mal configurato può fare più danni che benefici. Ecco alcuni errori comuni da evitare:

Errore Comune	Descrizione	Impatto SEO	Soluzione
Blocco indiscriminato	`Disallow: /` (senza `Allow` specifico) blocca l'intero sito.	Impedisce totalmente la scansione e l'indicizzazione del sito. Nessuna visibilità sui motori di ricerca.	Rimuovere la direttiva o specificare correttamente le pagine da bloccare.
Blocco di CSS/JS necessari	Bloccare i file CSS e JavaScript essenziali per il rendering della pagina.	Google non può visualizzare la pagina come un utente, potenzialmente penalizzando l'indicizzazione e il crawling.	Assicurarsi che i file cruciali per il rendering siano scansionabili (Googlebot li scansiona di default, ma verificare non fa male).
Confondere Disallow con Noindex	Usare `Disallow` per impedire l'indicizzazione di pagine che sono già linkate altrove.	La pagina potrebbe comunque essere indicizzata (anche se non scansionata), apparendo con "Nessuna informazione disponibile per questa pagina".	Per impedire l'indicizzazione, usa il meta tag `<meta name="robots" content="noindex">` o l'X-Robots-Tag HTTP header.
Sintassi errata	Errori di battitura, spazi extra, direttive non riconosciute.	Il file potrebbe non essere interpretato correttamente dai crawler, portando a blocchi indesiderati o mancate esclusioni.	Usa il tester di Google Search Console per verificare la sintassi.
Mancanza della Sitemap	Non includere la direttiva `Sitemap:`.	I crawler potrebbero impiegare più tempo a trovare tutte le pagine importanti del tuo sito.	Aggiungere la direttiva `Sitemap: https://www.iltuosito.it/sitemap.xml` (o simile) al file.
Non aggiornare il file	Lasciare un `robots.txt` obsoleto dopo modifiche strutturali al sito.	Direttive obsolete che bloccano nuove directory importanti o consentono la scansione di vecchie.	Revisionare regolarmente il file, specialmente dopo grandi modifiche al sito.
File non accessibile	Il file non si trova nella root o ha permessi errati.	I crawler non riescono a leggerlo e si comportano come se non ci fosse alcun file `robots.txt`.	Assicurarsi che sia in `/robots.txt` e sia leggibile (permessi 644/664).

robots.txt e la tua strategia SEO più ampia

Il robots.txt è solo un pezzo del puzzle della SEO. Deve essere integrato in una strategia più ampia che include l'ottimizzazione on-page, la creazione di contenuti di qualità e una strategia di link building efficace. Per un approccio olistico e professionale all'ottimizzazione del vostro sito web, vi invitiamo a scoprire i nostri Servizi SEO Professionali. Un'agenzia specializzata può aiutarvi non solo con la configurazione del robots.txt, ma con l'intera gamma di attività necessarie per ottenere risultati significativi sui motori di ricerca. Ricorda, il robots.txt è un potente strumento per guidare i motori di ricerca verso i contenuti più rilevanti e per gestire la scansione in modo efficiente, ma non sostituisce una buona architettura del sito, contenuti di qualità e una strategia complessiva ben pianificata. Affidarsi a professionisti vuol dire avere la certezza che ogni dettaglio del vostro sito, dal più piccolo file di configurazione alla strategia di content marketing, sia ottimizzato per il successo.

Trasparenza sull'uso dell'IA: questo articolo è stato redatto con l'assistenza di sistemi di intelligenza artificiale e successivamente revisionato e approvato dalla redazione di Innovonline prima della pubblicazione. Maggiori dettagli nella Informativa sull'uso dell'IA.

Come usare Robots.txt: guida pratica passo passo