Yahoo! ha anunciado el lanzamiento de Slurp 3.0

La nueva herramienta de crawling de Yahoo! será empleada progresivamente las próximas semanas, en la cual se incluirán actualizaciones de infraestructura. Esta nueva versión contendrá las mismas directivas para user-agent y robots.txt, pero habrá cambios.

Los nuevos crawlers devolverán un nuevo user-agent, llamado “Yahoo! Slurp 3.0”. Si un webmaster configuró las directivas para “Slurp” o “Yahoo! Slurp”, continuarán con normal funcionamiento, pero si las directivas están configuradas para “Slurp 2.0”, se podrán generar conflictos. El user-agent recomendado en robots.txt es “Slurp”.

Los crawlers se situarán en una nueva set de direcciones IP, si el webmaster está utilizando reglas en base de IP, tendrá que agregar el nuevo set de direcciones IP en la base de datos.

Vía: Techtear