berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

[Berita Teknologi Pasifik]Baru-baru ini, Baidu Encyclopedia mulai memblokir izin perayapan sebagian besar mesin pencari, termasuk Google, Bing, dll. Langkah ini dimaksudkan untuk mencegah mesin pencari dan perayap lainnya merayapi kontennya tanpa izin untuk melatih model kecerdasan buatan.

Menurut pembaruan file robots.txt Baidu Encyclopedia, hanya beberapa mesin pencari seperti Baidu Search, Sogou Search, Chinaso, YYSpider, dan EasouSpider yang saat ini diizinkan untuk merayapi kontennya.

Google Search, Bing Search, Microsoft MSN, Yisouspider UC Browser, dan crawler non-daftar putih lainnya secara eksplisit dilarang mengakses data Baidu Encyclopedia. Meskipun 360 Search tidak terdaftar secara terpisah dalam daftar terlarang, kebijakan Baidu Encyclopedia adalah melarang semua crawler yang tidak masuk daftar putih, sehingga 360 Search dan mesin pencari lainnya juga diblokir.

Meskipun Baidu Encyclopedia telah mengambil langkah-langkah di atas, orang dalam industri menunjukkan bahwa metode ini hanya dapat mencegah sebagian besar perayap yang sah untuk melakukan perayapan, dan tidak dapat sepenuhnya mencegah perayap kecil yang menggunakan cara khusus untuk melewati batasan untuk terus mendapatkan konten untuk pelatihan AI.