Slurp 3.0, il nuovo crawler di Yahoo!
Yahoo! ha ufficialmente iniziato ad utilizzare la nuova versione del proprio web crawler, chiamato Slurp e giunto alla versione 3.0. Il nuovo software effettuerà la scansione delle pagine web utilizzando un diverso set di IP di provenienza rispetto alla vecchia versione, anche se il dominio resterà comunque crawl.yahoo.net.
Se utilizzate un file robots.txt o dei meta tag espressamente pensati per Yahoo! Slurp, questi continueranno ad essere interpretati correttamente anche dalla nuova versione del crawler, che si presenta con il seguente User-Agent: Yahoo! Slurp/3.0.
Questo blog è parte del network Feedburner