ニュース

Web サイトの AI クローリング対策ポリシーを無視した Anthropic クローラーは、複数の Web サイト所有者の間で不満を引き起こしました

2024-07-27

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

IT Houseは7月27日、現地時間26日のThe Vergeの報道によると、Anthropic社が使用するClaudeBotがわずか24時間以内にiFixitのWebサイトにアクセスしたと報じた。ほぼ100万回、サイトの利用規約に違反します。

この一見クレイジーな動きにより、iFixit CEO の Kyle Wiens は X を直接攻撃しました (Twitter) に次のような一般的なメッセージが添付されました。

  • 「これらのリクエストのいずれかが当社の利用規約に該当する場合は、当社のコンテンツの使用が明示的に禁止されていることが通知されます。私に尋ねないで、クロードに聞いてください!」

  • 「あなたがデータに飢えているのはわかっています、そしてクロードは本当に賢いのです!しかし、本当に必要なのは、 24 時間でサーバーへの 100 万回のアクセス ?あなたは料金を支払わずに当社のコンテンツを入手するだけでなく、当社の DevOps リソースも消費することになります。全然かっこよくない!”

  • 「私たちと話したいならコンテンツのライセンスと商用利用もしそうなら、ここにいます。 」


iFixit の利用規約ポリシーには、サイト上のあらゆるコンテンツ、特に「機械学習または AI モデルのトレーニング用”。

その後、Wiens は、iFixit が robots.txt ファイルに「クロール遅延」拡張機能を追加したと発表しました。

ただし、被害者はiFixitだけではありません。 Read the Docsの共同創設者であるEric Holscher氏とFreelancer.comのCEOであるMatt Barrie氏は、Wiensの投稿の中で、彼らのWebサイトもAnthropicのクローラーによって頻繁にクロールされていたと述べた。

これらの行為は ClaudeBot の「初犯」ではありません。今年 4 月に遡ると、Linux Mint の Web サイト フォーラムは、サイトの停止は ClaudeBot のクローリング活動によるストレスによるものであると指摘しました。