MC: Una delle affermazioni che più spesso noi di Google sentiamo è:
Ho bloccato tramite il noindenx inserito nel file Robots.txt una pagina del mio sito web, ma il Crawler di Google ha ignorato il comando inserito e ha scansionato la pagina, mostrandola nelle Serp di Google.
MC: Google non ha mai cambiato la sua politica sul file robots.txt, se avete bloccato una cartella per esempio che all'interno contiene una o più pagine e nonostante il blocco tramite una ricerca su Google la vostra pagina compare così
Mc:Come vedete al link che viene visualizzato non è associato nessuno Snippet. Google ha seguito le indicazioni del robots.txt non ha scansionato la pagina, quello che viene visualizzato nelle Serp è un uncrawled url.
D:Ma allora se il Crawler di Google ha seguito le indicazione del file robots.txt perchè la pagina appare nei risultati della Serp?
Mc:La pagina appare perchè Google ha trovato in altre pagine un link a quest'ultima.
In pratica, anche se la pagina è bloccata ma è linkata da altre pagine con un link o con un anchor text con il nome della pagina Google ritiene rilevante quella pagina anche se presenta il noindex nel file Robots.txt.
Google semplicemente sceglie di mostrarla nonostante non sia stata scansionata perchè rilevante per gli utenti.
Soluzione
Per far si che la pagina non appaia nemmeno selle Serp di ricerca, bisogna inserire nella pagina e non nel file robots.txt il metatag
meta name="robots" content="noindex"
Nessun commento:
Posta un commento