소식

Anthropic 크롤러는 웹사이트 안티 AI 크롤링 정책을 무시하고 여러 웹사이트 소유자에게 불만을 야기했습니다.

2024-07-27

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

IT하우스는 26일 현지시간 더버지(The Verge)의 보도에 따르면 앤트로픽컴퍼니(Anthropic Company)가 사용한 클로드봇(ClaudeBot)이 불과 24시간 만에 아이픽스잇(iFixit) 웹사이트를 방문했다고 27일 보도했다.거의 백만 번, 이는 사이트 이용 약관을 위반하는 것입니다.

이 겉보기에 미친 움직임으로 인해 iFixit CEO Kyle Wiens는 X(Twitter)를 직접 공격하여 다음과 같은 일반 메시지를 첨부했습니다.

  • "이러한 요청 중 하나라도 당사의 이용 약관에 해당되면 당사 콘텐츠의 사용이 명시적으로 금지되어 있음을 알려줄 것입니다. 나한테 묻지 말고 Claude에게 물어보세요!"

  • "당신이 데이터에 굶주려 있다는 것을 압니다. 그리고 Claude는 정말 똑똑합니다! 하지만 당신은 정말로 데이터에 굶주려야 합니다. 24시간 동안 100만 건의 서버 방문 ? 귀하는 비용을 지불하지 않고 콘텐츠를 얻을 뿐만 아니라 우리의 데브옵스 리소스도 사용하고 있습니다.전혀 멋지지 않아!”

  • "우리랑 얘기하고 싶으면콘텐츠 라이선스 및 상업적 사용 그렇다면 여기 있습니다. "


iFixit의 이용 약관 정책에는 "회사의 명시적인 사전 서면 동의 없이 복제, 재생산 또는 배포하는 것은 엄격히 금지됩니다"라고 명시되어 있습니다. 특히 다음을 포함합니다.기계 학습 또는 AI 모델 훈련용”。

이후 Wiens는 iFixit이 robots.txt 파일에 "크롤링 지연" 확장 기능을 추가했다고 밝혔습니다.

그러나 iFixit만이 유일한 피해자는 아닙니다. Docs 공동 창립자 Eric Holscher와 Freelancer.com CEO Matt Barrie는 Wiens의 게시물에서 그들의 웹사이트가 Anthropic의 크롤러에 의해 자주 크롤링되었다고 말했습니다.

이러한 행동은 ClaudeBot의 "첫 번째 공격"이 아닙니다. 올해 4월, Linux Mint 웹사이트 포럼에서는 사이트 중단이 ClaudeBot의 크롤링 활동으로 인한 스트레스 때문이라고 밝혔습니다.