Uncrawwled Urls, pagina scnasionata nonostante il noindex nel robots.txt Matt Cutts chiarisce

MC: Una delle affermazioni che più spesso noi di Google sentiamo è:

Ho bloccato tramite il noindenx inserito nel file Robots.txt una pagina del mio sito web, ma il Crawler di Google ha ignorato il comando inserito e ha scansionato la pagina, mostrandola nelle Serp di Google.

MC: Google non ha mai cambiato la sua politica sul file robots.txt, se avete bloccato una cartella per esempio che all'interno contiene una o più pagine e nonostante il blocco tramite una ricerca su Google la vostra pagina compare così



Mc:Come vedete al link che viene visualizzato non è associato nessuno Snippet. Google ha seguito le indicazioni del robots.txt non ha scansionato la pagina, quello che viene visualizzato nelle Serp è un uncrawled url.

D:Ma allora se il Crawler di Google ha seguito le indicazione del file robots.txt perchè la pagina appare nei risultati della Serp?

Mc:La pagina appare perchè Google ha trovato in altre pagine un link a quest'ultima.
In pratica, anche se la pagina è bloccata ma è linkata da altre pagine con un link o con un anchor text con il nome della pagina Google ritiene rilevante quella pagina anche se presenta il noindex nel file Robots.txt.
Google semplicemente sceglie di mostrarla nonostante non sia stata scansionata perchè rilevante per gli utenti.

Soluzione
Per far si che la pagina non appaia nemmeno selle Serp di ricerca, bisogna inserire nella pagina e non nel file robots.txt il metatag

meta name="robots" content="noindex"

Pubblicità CWS Complete Washroom Solution

Pubblicità divertente della ditta Americana CWS che si occupa dell'igiene dei bagni pubblici.

L'Attributo Nofollow

Con l'attributo nofollow (non-seguire) stiamo dicendo al motore di ricerca di non considerare,un link o dei determinati link di una pagina web, di un blog o un sito, in pratica non fa passare il Page Rank.
Si ma perchè dovremmo dire una cosa del genere al bot di Google magari?
Facciamo due esempi pratici tenendo sempre a mente per quando riguarda il PageRank che quando linkiamo una pagina esterna al nostro sito e come se stessimo assegnando un ipotetico +1 a quella determinata pagina.

1) avete il vostro bel Blog già linkato da altri perchè autorevole, perchè frequentato, perchè effettivamente gli utenti lo trovano interessante e quindi con un discreto Page Rank.
Nel vostro blog permettete come è regola di ogni blogger, di commentare i vostri articoli, magari intavolando vere e proprie discussioni, e consentite l'aggiunta di link da parte degli utenti registrati e non che commentano. Per evitare link a siti non autorevoli o spam e quindi per non incorrere in penalizzazioni si utilizza il nofollow.

2)Altro caso è nel caso di link a pagamento. Avete un buon sito o blog con vari utenti fidelizzati è qualcuno vi chiede di inserire il link del proprio sito o azienda per una pubblicità. Google penalizza e identifica i link a pagamento, soprattutto per un motivo, ovvero che la maggior parte delle volte non sono pertinenti con i contenuti del sito o del blog. Se nel vostro blog parlate di tecnologia, linkare una pasticceria o una pizzeria penalizzerà l'indicizzazione, per questo è utile utilizzare l'attributo nofollow.
Ovviamente Google non riesce a identificare i link a pagamento se i siti linkati hanno come tema il vostro stesso argomento.

NB: Il nofollow non trasferisce Anchor Text, ovvero la keyword alla quale magari avete linkato un altro sito, non influenza l'indicizzazione della pagina di destinazione.

la sintassi vera e propria del nofollow:

href="http://www.sito.com/pagina.html" rel="nofollow">Pizzeria da Gino

Chi è Robin Good e come guadagna Online

Robin Good per chi è interessato terrà a Roma il 7 novembre e il 21 a Milano,un workshop dove imparerete

La Strategia dei New Media
La Visibilità
Come si fa a Creare una Comunità di Tifosi
Quali sono i Business Model

Google: Contenuti Duplicati nei siti E-Commerce

Matt Cutts risponde alla domanda:"Come considera Google i contenuti duplicati nei siti E-Commerce?"



D:Quando si ha un sito e-commerce che ha gli stessi contenuti in lingue differenti e valute diverse, sussiste una penalizzazione?

MC:Nel caso in cui il sito sia lo stesso ma cambi dominio a secondo della lingua visualizzata .it .de .ch ecc... non c'è da preoccuparsi della penalizzazione in quanto oltre che alla valuta solitamente cambia anche la lingua e google interpreta le pagine come siti differenti.
La penalizzazione nasce invece quando la lingua è la stessa anche per diversi paesi e con diversi domini. Ad esempio anche se un sito e-commerce o di altro genere in lingua tedesca si rivolge al mercato austriaco nella stessa lingua, anche se cambia il dominio Google le considera contenuti duplicati.
Il consiglio è quello di posizionare nella Serp solo il dominio effettivamente più efficace e redditizio.