Alice ed i risultati indicizzati su Google
Un nostro lettore ci ha segnalato che molteplici pagine dei risultati di ricerca del portale Alice/Virgilio sono presenti all’interno delle SERP di Google (fatto verificabile con questa query). Il motivo è (era) dovuto alla presenza di queste due righe all’interno del file robots.txt di Alice:
User-agent: *
Disallow:
In pratica non era presente alcuna regola che impedisse l’indicizzazione delle pagine dei risultati da parte degli spider dei motori di ricerca.
Dopo essere stato avvertito della cosa, il team di Alice ha subito provveduto alla svista aggiornando il file robots.txt in questo modo:
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /search/cgi/
In una discussione sul Forum di Giorgio Taverniti è intervenuta una persona che si occupa dello sviluppo del motore di ricerca di Alice facendo un po’ di chiarezza sulla vicenda.
Questo blog è parte del network Feedburner