I meta tag robots anche noti come tag robots o robot tag sono degli snippet di codice molto utili per gestire il comportamento dei crawler dei motori di ricerca, al fine di impedire l’indicizzazione di una pagina o fornire indicazioni specifiche su cosa mostrare e come.
Per funzionare correttamente queste istruzioni devono essere inserite nella sezione seguendo la corretta sintassi esemplificata nel codice seguente:
<meta name="robots" content="noindex" />L’utilizzo dei meta robots permette di controllare l’attività dei diversi crawler per la pagina specifica, fornendo direttive come la richiesta di mancata indicizzazione, il mancato inserimento in cache e altre funzionalità utili per la gestione delle informazioni da mostrare in SERP.
Per fornire indicazioni specifiche verso un particolare crawler, è possibile modificare il meta name nel modo seguente:
<meta name="googlebot" content="noindex" />In questo caso l’indicazione sarà specifica per googlebot.
Se volessimo invece bloccare l’indicizzazione della pagina sul motore di ricerca Bing, l’istruzione da usare sarebbe:
<meta name="bingbot" content="noindex" />Per semplificare al meglio la comprensione e la gestione del codice nelle tue pagine abbiamo creato una apposita guida pdf scaricabile in modo del tutto gratuito. Clicca sul pulsante “scarica ora” per effettuare il download. Qualora ti fosse d’aiuto, aiutaci a condividerla linkando questa pagina del blog sul tuo sito web.
Guida metatag robots pdf
Scopri tutte le istruzioni utili per la gestione ottimale dei crawler Google. Scarica Gratis la Guida!
Scarica Ora!
Differenze tra metatag robots e robots.txt
Nonostante il nome possa indurre a pensare che Metatag Robots e Robots.txt siano la stessa cosa, sono in realtà presenti profonde differenze.
Differenza nel metodo di utilizzo
– I meta tag robots come indicato dal nome sono dei meta tag che si inseriscono in pagina, nella sezione head.
– il file robots.txt è invece un file di testo da caricare nella root di un sito web.
Differenza di funzionamento
– I meta tag robots forniscono istruzioni relative alla sola pagina nella quale vengono inseriti.
– Il file robots.txt contiene le indicazioni per gli spider su quali pagine e file analizzare e quali no (allow e disallow).
Resta quindi da valutare quale metodo utilizzare in base alle necessità e alle direttive che si vogliono fornire. Per ulteriori informazioni consigliamo questo articolo di approfondimento in lingua inglese.
Mixed directive: come vengono interpretate
Cosa succede se sul file robots.txt vengono indicate delle direttive mentre ne vengono indicate altre in pagina? Facciamo un esempio concreto per capire capire meglio cosa potrebbe succedere. Supponiamo di avere un robots.txt con la seguente istruzione dove indichiamo ai diversi bot di non scansionare la pagina indicata:
User-agent: *
Disallow: /prodotti/pagina.html
Sitemap: https://www.example.com/sitemap.xmlMentre successivamente inseriamo in pagina alcune direttive attraverso i meta tag robots:
<meta name="robots" content="nosnippet" />Come è facile dedurre, la direttiva disallow eviterà che la pagina contenente il secondo tag venga scansionata dai bot, quindi l’istruzione presente nel meta tag robots non ha senso di esistere.
Hai bisogno di aiuto per la gestione delle attività SEO? Contattaci subito, i nostri consulenti SEO dopo aver analizzato il tuo sito web e le tue necessità ti forniranno il giusto supporto per ottenere i migliori risultati sui diversi motori di ricerca.
