Yahoo Slurp 3.0

(Yahoo Slurp 3.0 - Versão brasileira por Alexis Kauffmann)

Ao longo das últimas semanas, estivemos preparando a última versão do crawler de busca do Yahoo! com diversas atualizações de infraestrutura que causaram uma variância em nosso comportamento de rastreamento.

Com tudo nos seus devidos lugares, o lançamento começa oficialmente. O novo Yahoo! Slurp 3.0 reconhece os mesmos agentes-usuários e todas as diretivas de robots.txt para o 'Yahoo! Slurp,' embora ele se identifique como Slurp 3.0 nos seus logs de servidor.

Enquanto o novo software é submetido a uma liberação gradativa até nossos rastreadores produtivos ao longo da próximas semanas, você verá as mudanças a seguir:

a) Os crawlers vão começar a rastrear a partir de um conjunto diferente e bem menor de endereços IP, mas todos virão do domínio crawl.yahoo.net . Qualquer checagem de DNS reverso para identificar nosso rastreador continuará a funcionar. Por favor, note que, se você estiver usando um reconhecimento baseado em IP para identificar nossos rastreadores, você poderá ver uma queda no rastreamento pelo Yahoo! Nós recomendamos enfaticamente, para evitar esse problema, que você mude para a identificação baseada em DNS reverso do Yahoo! Slurp caso você esteja usando qualquer outro método. O conjunto atual de IPs desaparecerá de seus web logs nas próximas semanas.

b) Os rastreadores também publicarão um novo user-agent, 'Yahoo! Slurp/3.0.' As diretivas existentes em seus robots.txt para 'Slurp' ou 'Yahoo! Slurp' continuarão a funcionar, mas se você tiver diretivas específicas para 'Slurp/2.0,' elas não serão reconhecidas pelo novo rastreador (embora o uso do user-agente 'Slurp/2.0' seja muito raro na web, de modo que você muito provavelmente não será afetado). Nós recomendamos o uso da especificação curta: User-agent: Slurp. Confira "Como posso evitar que meu site ou certos subdiretórios sejam rastreados?" em nossa página de ajuda para mais detalhes.

Estas mudanças afetarão os rastreadores principais do Yahoo! Web Search. Rastreadores que respeitam as diretivas do Yahoo! Slurp mas se identificam de forma mais específica, como Yahoo! Slurp China e outros, não sofrerão impactos.

Entre em contato se você tiver perguntas ou observar qualquer comportamento fora do usual.

Sharad Verma & Yoram Arnon
Yahoo! Search