Google non indicizza www ma solo http perchè?

Lavorando come Seo, ho sentito spesso questa domanda ed in effetti è una domanda molto importante e a volte sottovalutata che è collegata direttamente al Redirect 301.
Cosa succede?

Molti utenti o web designer, una volta creato il loro sito o blog anche ottimizzato, procedono alla messa online tramite un qualsiasi servizio di hosting.
Una volta online dopo un po' di tempo, iniziano a guardare come google vede il loro sito e come lo posiziona in base alle loro keywords di riferimento.

Se non chè il risultato anche positivo di una buona posizione nelle Serp di Google si accorgono che quello che viene mostrato come risultato non è il www.miosito.it magari inserito in ogni email inviata, biglietto da visita, profilo facebook o altro, ma bensì http://miosito.it.

Dove hanno sbagliato?
Da nessuna parte.

Quando digitate infatti www.miosito.it si nota che automaticamente viene inserito http:// davanti al www. Questo perchè sta ad indicare la tecnologia HyperText Transfer Protocol che è
il principale sistema di trasmissione delle informazioni nel web.

Ora quando avete registrato il vostro dominio avete registrato www.miosito.it ma la tecnologia http:// ve la fornisce il servizio di hosting a cui vi appoggiate.
Succede che molti hosting creano di default un sotto dominio http://miosito.it collegato direttamente a www.miosito.it, infatti quando uplodate i file del vostro sito vengono automaticamente inseriti non solo in www.miosito.it ma anche in http://miosito.it.

E' quindi?

Quindi succede che Google Bot vede due domini differenti e perciò due siti differenti, ed è la cosa peggiore appunto perchè a sui occhi ci sono 2 siti diversi con contenuti identici e ne penalizza uno.

Quindi Google Bot sbaglia? Assolutamente no, perchè è vero che http://miosito.it è un dominio diverso, infatti è possibile uplodare un altro sito totalmente diverso sotto http senza che il www cambi.

Vi ritrovate quindi con 2 siti diversi dai contenuti uguali con pagerank diverso e link inbound differenti. Uno dei due è penalizzato sicuramente.

E' possibile risolvere questo problema con un Redirect 301, oppure conttattando il vostro hosting provider.

Il Redirect 301

Il redirect 301 è un metodo per mantere il ranking del prorpio sito o pagina quando vogliamo rendirizzare, cambiarne l'indirizzo.
Il codice 301 sta indicare che il redirect sarà permanente, rispetto al 302 che è temporaneo che si usa principalmente per indicare che il contenuto della pagina è stato spostato temporaneamente, per poi ritornare sul principale.
In pratica digitando la vostra vecchia url, verrete automaticamente indirizzati su quella nuova.
L'indicazione del redirect 301, si inserisce nel file .htaccess
Quando uno spider o un utente arrivano sul vostro sito il webserver li fa passare dal file .htaccess presente nella root del vostro sito e che contiene informazioni su certe richieste, sicurezza, redirect e come comportarsi in caso di errore.
Per creare un file .htaccess aprite semplicemente il notepad e inserire

redirect 301 /old/old.htm http://www.you.com/new.htm

dove:
redirect 301
è l'istruzione che la pagina è stata spostata

/old/old.htm
è il percorso della cartella dove sta il sito e il nome del file)

http://www.you.com/new.htm
è il nuovo percorso è il nuovo nome del file

non aggiungete il www alla prima parte (old)

lo spider non legge il file .htaccess, è il server che risponde allo spider e quindi riconosce la risposta del web server come valida.

Per quanto riguarda i file su unix web server

redirectMatch 301 ^(.*)$ http://www.dominio.com
redirectMatch permanent ^(.*)$ http://www.dominio.com

Uncrawwled Urls, pagina scnasionata nonostante il noindex nel robots.txt Matt Cutts chiarisce

MC: Una delle affermazioni che più spesso noi di Google sentiamo è:

Ho bloccato tramite il noindenx inserito nel file Robots.txt una pagina del mio sito web, ma il Crawler di Google ha ignorato il comando inserito e ha scansionato la pagina, mostrandola nelle Serp di Google.

MC: Google non ha mai cambiato la sua politica sul file robots.txt, se avete bloccato una cartella per esempio che all'interno contiene una o più pagine e nonostante il blocco tramite una ricerca su Google la vostra pagina compare così



Mc:Come vedete al link che viene visualizzato non è associato nessuno Snippet. Google ha seguito le indicazioni del robots.txt non ha scansionato la pagina, quello che viene visualizzato nelle Serp è un uncrawled url.

D:Ma allora se il Crawler di Google ha seguito le indicazione del file robots.txt perchè la pagina appare nei risultati della Serp?

Mc:La pagina appare perchè Google ha trovato in altre pagine un link a quest'ultima.
In pratica, anche se la pagina è bloccata ma è linkata da altre pagine con un link o con un anchor text con il nome della pagina Google ritiene rilevante quella pagina anche se presenta il noindex nel file Robots.txt.
Google semplicemente sceglie di mostrarla nonostante non sia stata scansionata perchè rilevante per gli utenti.

Soluzione
Per far si che la pagina non appaia nemmeno selle Serp di ricerca, bisogna inserire nella pagina e non nel file robots.txt il metatag

meta name="robots" content="noindex"

Pubblicità CWS Complete Washroom Solution

Pubblicità divertente della ditta Americana CWS che si occupa dell'igiene dei bagni pubblici.

L'Attributo Nofollow

Con l'attributo nofollow (non-seguire) stiamo dicendo al motore di ricerca di non considerare,un link o dei determinati link di una pagina web, di un blog o un sito, in pratica non fa passare il Page Rank.
Si ma perchè dovremmo dire una cosa del genere al bot di Google magari?
Facciamo due esempi pratici tenendo sempre a mente per quando riguarda il PageRank che quando linkiamo una pagina esterna al nostro sito e come se stessimo assegnando un ipotetico +1 a quella determinata pagina.

1) avete il vostro bel Blog già linkato da altri perchè autorevole, perchè frequentato, perchè effettivamente gli utenti lo trovano interessante e quindi con un discreto Page Rank.
Nel vostro blog permettete come è regola di ogni blogger, di commentare i vostri articoli, magari intavolando vere e proprie discussioni, e consentite l'aggiunta di link da parte degli utenti registrati e non che commentano. Per evitare link a siti non autorevoli o spam e quindi per non incorrere in penalizzazioni si utilizza il nofollow.

2)Altro caso è nel caso di link a pagamento. Avete un buon sito o blog con vari utenti fidelizzati è qualcuno vi chiede di inserire il link del proprio sito o azienda per una pubblicità. Google penalizza e identifica i link a pagamento, soprattutto per un motivo, ovvero che la maggior parte delle volte non sono pertinenti con i contenuti del sito o del blog. Se nel vostro blog parlate di tecnologia, linkare una pasticceria o una pizzeria penalizzerà l'indicizzazione, per questo è utile utilizzare l'attributo nofollow.
Ovviamente Google non riesce a identificare i link a pagamento se i siti linkati hanno come tema il vostro stesso argomento.

NB: Il nofollow non trasferisce Anchor Text, ovvero la keyword alla quale magari avete linkato un altro sito, non influenza l'indicizzazione della pagina di destinazione.

la sintassi vera e propria del nofollow:

href="http://www.sito.com/pagina.html" rel="nofollow">Pizzeria da Gino