crawler

Yahoo! ha ufficialmente iniziato ad utilizzare la nuova versione del proprio web crawler, chiamato Slurp e giunto alla versione 3.0. Il nuovo software effettuerà la scansione delle pagine web utilizzando un diverso set di IP di provenienza rispetto alla vecchia versione, anche se il dominio resterà comunque crawl.yahoo.net.

Se utilizzate un file robots.txt o dei meta tag espressamente pensati per Yahoo! Slurp, questi continueranno ad essere interpretati correttamente anche dalla nuova versione del crawler, che si presenta con il seguente User-Agent: Yahoo! Slurp/3.0.

Microsoft ha aggiornato il proprio bot per la scansione delle pagine web implementando alcune funzionalità in grado di rendere meno pesante il lavoro svolto dai server web in occasione delle operazioni di crawling. La nuova versione del programma, il cui User Agent è “msnbot/1.1“, supporta ora sia la compressione HTTP che il Conditional Get.

Entrambe le funzionalità sono presenti nelle specifiche del protocollo HTTP 1.1, descritto nella RFC2616 risalente al 1999. Questo tanto per chiarire che non si tratta di novità introdotte da Microsoft ma semplicemente di un aggiornamento volto a supportare standard già esistenti.
Continua a leggere…

Yahoo! modifica indice e crawler — Yahoo! ha aggiornato i propri sistemi dedicati al crawling, all’indicizzazione ed al ranking delle pagine web.

SeoTribù il social network per SEO e SEM — SeoTribù è un nuovo sito in stile Digg pensato per la comunità SEO e SEM italiana. Uno spazio dove segnalare e discutere delle notizie più interessanti che riguardano il mondo dell’ottimizzazione dei siti per i motori di ricerca e del search engine marketing in generale.

Nuova versione per Picasa — Il software di Google che permette di organizzare e gestire le proprie raccolte fotografiche è stato aggiornato. La nuova versione supporta 7 nuove lingue ed ha corretto alcuni problemi riscontrati nelle precedenti versioni.

Maggiore efficienza, velocità e minor consumo di banda sono le caratteristiche principali della nuova versione di Yahoo! Search Crawler (Yahoo! Slurp).

Dopo un periodo di transizione in cui il vecchio ed il nuovo crawler hanno lavorato in tandem, ora tutto il carico di lavoro è sulle spalle del nuovo arrivato.

Gli utenti potranno notare dei cambiamenti nel posizionamento delle pagine e Yahoo! invita ad utilizzare l’apposito feedback form, o il servizio di aiuto in caso di problemi o domande di carattere tecnico.

Link: Il nuovo crawler di Yahoo!