15 aprile 2008Yahoo! ha ufficialmente iniziato ad utilizzare la nuova versione del proprio web crawler, chiamato Slurp e giunto alla versione 3.0. Il nuovo software effettuerà la scansione delle pagine web utilizzando un diverso set di IP di provenienza rispetto alla vecchia versione, anche se il dominio resterà comunque Y3Jhd2wueWFob28ubmV0 . Se utilizzate un file robots.txt o [...]
13 febbraio 2008Microsoft ha aggiornato il proprio bot per la scansione delle pagine web implementando alcune funzionalità in grado di rendere meno pesante il lavoro svolto dai server web in occasione delle operazioni di crawling. La nuova versione del programma, il cui User Agent è “msnbot/1.1“, supporta ora sia la compressione HTTP che il Conditional Get. Entrambe [...]
