Yahoo Updates Crawler: Memperkenalkan Yahoo Slurp 3.0

A+ A-

Yahoo telah mengumumkan peluncuran crawler baru mereka, Yahoo! Slurp 3.0. 3.0 perlahan-lahan didorong keluar selama dari “beberapa minggu ke depan,” termasuk “beberapa update infrastruktur,” kata Yahoo. Saya menduga perubahan terbaru kami melaporkan dengan update Hari Pajak Yahoo Search terkait dengan “update infrastruktur.”

Laba-laba baru akan berisi user-agen yang sama dan semua arahan robots.txt, namun akan diberi nama “Slurp 3.0” sebagai lawan Yahoo memberitahu kita untuk mengharapkan dua perubahan “Slurp 2.0.”:


(1) Crawler akan berada pada satu set baru alamat IP, tapi masih akan reverse DNS lookup ke domain crawl.yahoo.net. Jika Anda menggunakan aturan berbasis IP, pastikan untuk mengawasi keluar untuk crawler Slurp baru dan menambahkan mereka set alamat IP ke database Anda.

(2) Crawler baru akan kembali agen pengguna baru, khususnya Yahoo! Slurp / 3.0. Jika Anda mengatur arahan untuk “Slurp” atau “Yahoo! Slurp,”mereka akan tetap bekerja, tetapi jika Anda tentukan‘Slurp / 2.0,’maka Anda mungkin memiliki masalah. Yahoo merekomendasikan menggunakan User-agent: Slurp dalam file robots.txt Anda.

Ingat, Anda dapat membalikkan DNS lookup laba-laba untuk mengkonfirmasi bahwa crawler baru ini adalah dari Yahoo. Jika Anda memiliki masalah, Yahoo meminta Anda mengirimkan mereka di forum SiteExplorer.

Pembaruan ini dikonfirmasi dua posting terakhir:

(1) Yahoo Slurp menjadi sangat hiperaktif satu akhir pekan.
(2) Yahoo Search update yang kami melaporkan selama akhir pekan.