Microsoft aggiorna il crawler di Live Search
Microsoft ha aggiornato il proprio bot per la scansione delle pagine web implementando alcune funzionalità in grado di rendere meno pesante il lavoro svolto dai server web in occasione delle operazioni di crawling. La nuova versione del programma, il cui User Agent è “msnbot/1.1“, supporta ora sia la compressione HTTP che il Conditional Get.
Entrambe le funzionalità sono presenti nelle specifiche del protocollo HTTP 1.1, descritto nella RFC2616 risalente al 1999. Questo tanto per chiarire che non si tratta di novità introdotte da Microsoft ma semplicemente di un aggiornamento volto a supportare standard già esistenti.
Continua a leggere…
