berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

baru-baru ini, baidu encyclopedia mulai memblokir sebagian besar mesin pencari seperti google dan bing. hal ini diharapkan dapat mencegah mesin pencari tersebut dan crawler lainnya mengambil konten baidu encyclopedia tanpa izin untuk melatih ai.

file robots.txt dari baidu encyclopedia menunjukkan bahwa saat ini hanya beberapa mesin pencari seperti baidu search, sogou search, china search (chinaso), yyspider dan easou spider yang diizinkan untuk merayapi kontennya.

google search, bing search, microsoft msn, yisouspider uc browser, dan semua crawler mesin pencari lainnya secara tegas dilarang merayapi konten baidu encyclopedia.

meskipun 360 search tidak terdaftar secara terpisah dalam daftar terlarang, kebijakan baidu encyclopedia adalah melarang semua crawler yang tidak masuk daftar putih, sehingga 360 search dan mesin pencari lainnya juga diblokir.

namun, pendekatan baidu encyclopedia ini sebenarnya hanya untuk menjaga dari tuan-tuan dan bukan penjahat. pasti banyak crawler yang terus merayapi konten melalui berbagai metode dan menggunakannya untuk melatih ai.