Microsoft ha aggiornato il proprio bot per la scansione delle pagine web implementando alcune funzionalità in grado di rendere meno pesante il lavoro svolto dai server web in occasione delle operazioni di crawling. La nuova versione del programma, il cui User Agent è “msnbot/1.1“, supporta ora sia la compressione HTTP che il Conditional Get.
Entrambe le [...]
Post taggati come:
