15 aprile 2008
Yahoo! ha ufficialmente iniziato ad utilizzare la nuova versione del proprio web crawler, chiamato Slurp e giunto alla versione 3.0. Il nuovo software effettuerà la scansione delle pagine web utilizzando un diverso set di IP di provenienza rispetto alla vecchia versione, anche se il dominio resterà comunque crawl.yahoo.net.
Se utilizzate un file robots.txt o dei meta [...]
Leggi tutto →
13 febbraio 2008
Microsoft ha aggiornato il proprio bot per la scansione delle pagine web implementando alcune funzionalità in grado di rendere meno pesante il lavoro svolto dai server web in occasione delle operazioni di crawling. La nuova versione del programma, il cui User Agent è “msnbot/1.1“, supporta ora sia la compressione HTTP che il Conditional Get.
Entrambe le [...]
Leggi tutto →
