Microsoft aggiorna il crawler di Live Search

Microsoft ha aggiornato il proprio bot per la scansione delle pagine web implementando alcune funzionalità in grado di rendere meno pesante il lavoro svolto dai server web in occasione delle operazioni di crawling. La nuova versione del programma, il cui User Agent è “msnbot/1.1“, supporta ora sia la compressione HTTP che il Conditional Get.

Entrambe le funzionalità sono presenti nelle specifiche del protocollo HTTP 1.1, descritto nella RFC2616 risalente al 1999. Questo tanto per chiarire che non si tratta di novità introdotte da Microsoft ma semplicemente di un aggiornamento volto a supportare standard già esistenti.

La compressione HTTP consente al crawler di scaricare file in formato compresso, riducendo così il carico sulla rete. Il Conditional GET permette invece al crawler di chiedere al server web se un documento è stato modificato rispetto alla precedente richiesta da parte sua. Se questo è rimasto immutato, il server (se supporta il conditional get) restituisce un codice 304 ed il crawler evita di scaricare nuovamente la pagina.

Google e Yahoo! supportano già da alcuni anni entrambe le funzionalità. ASK supporta la compressione HTTP ma dalla documentazione disponibile non è dato sapere se supporti anche il Conditional GET.