2024-08-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
최근 바이두 백과사전은 구글, 빙 등 대부분의 검색 엔진을 차단하기 시작했다. 이러한 검색 엔진과 기타 크롤러가 ai 훈련을 위한 승인 없이 바이두 백과사전의 콘텐츠를 가져오는 것을 방지할 것으로 예상된다.
baidu encyclopedia의 robots.txt 파일은 현재 baidu search, sogou search, chinaso, yyspider 및 easouspider와 같은 소수의 검색 엔진만이 해당 콘텐츠를 크롤링할 수 있음을 보여줍니다.
google 검색, bing 검색, microsoft msn, uc 브라우저의 yisouspider 및 기타 모든 검색 엔진 크롤러는 baidu encyclopedia의 콘텐츠를 크롤링하는 것이 명시적으로 금지되어 있습니다.
360 검색은 금지 목록에 별도로 나열되어 있지 않지만 바이두 백과사전의 정책은 화이트리스트에 없는 모든 크롤러를 금지하는 것이므로 360 검색 및 기타 검색 엔진도 차단됩니다.
하지만 바이두 백과사전의 이러한 접근 방식은 사실 악당을 막기 위한 것이지 악당을 막기 위한 것이 아닙니다. 계속해서 다양한 방법을 통해 콘텐츠를 크롤링한 다음 ai를 훈련시키는 데 사용하는 크롤러가 많을 것입니다.
