2024-08-22
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
[퍼시픽테크놀로지뉴스]최근 Baidu Encyclopedia는 Google, Bing 등을 포함한 대부분의 검색 엔진의 크롤링 권한을 차단하기 시작했습니다. 이러한 움직임은 이러한 검색 엔진 및 기타 크롤러가 인공 지능 모델 훈련에 대한 승인 없이 콘텐츠를 크롤링하는 것을 방지하기 위한 것입니다.
Baidu Encyclopedia의 robots.txt 파일 업데이트에 따르면 현재 Baidu Search, Sogou Search, Chinaso, YYSpider 및 EasouSpider와 같은 소수의 검색 엔진만 해당 콘텐츠를 크롤링할 수 있습니다.
Google 검색, Bing 검색, Microsoft MSN, UC 브라우저의 Yisouspider 및 기타 화이트리스트에 없는 크롤러는 Baidu Encyclopedia 데이터에 액세스하는 것이 명시적으로 금지되어 있습니다. 360 검색은 금지 목록에 별도로 나열되어 있지 않지만 바이두 백과사전의 정책은 화이트리스트에 없는 모든 크롤러를 금지하는 것이므로 360 검색 및 기타 검색 엔진도 차단됩니다.
바이두백과사전은 위의 조치를 취했지만 업계 관계자는 이러한 방법은 대부분의 합법적인 크롤러의 크롤링을 막을 뿐이며, 제한을 우회하기 위해 특별한 수단을 사용하는 소규모 크롤러가 AI 훈련을 위한 콘텐츠를 계속 획득하는 것을 완전히 막을 수는 없다고 지적했습니다.
