Nachricht

Der Anthropic-Crawler ignorierte Website-Anti-KI-Crawling-Richtlinien und sorgte bei mehreren Website-Besitzern für Unzufriedenheit

2024-07-27

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

IT House berichtete am 27. Juli, dass laut einem Bericht von The Verge vom 26. Ortszeit der von der Anthropic Company verwendete ClaudeBot die iFixit-Website in nur 24 Stunden besucht habe.fast eine Million Mal, was gegen die Nutzungsbedingungen der Website verstößt.

Dieser scheinbar verrückte Schachzug veranlasste iFixit-CEO Kyle Wiens, X direkt anzugreifen (Twitter fügte folgende allgemeine Nachricht hinzu:

  • „Wenn eine dieser Anfragen auf unsere Nutzungsbedingungen verweist, wird Ihnen mitgeteilt, dass die Nutzung unserer Inhalte ausdrücklich untersagt ist. Fragen Sie nicht mich, sondern Claude!“

  • „Ich weiß, dass Sie datenhungrig sind, und Claude ist wirklich schlau! Aber das müssen Sie wirklich.“ 1 Million Besuche auf unseren Servern in 24 Stunden ? Sie erhalten nicht nur unsere Inhalte, ohne dafür zu zahlen, sondern beanspruchen auch unsere Entwicklungsressourcen.Überhaupt nicht cool!”

  • „Wenn Sie mit uns reden wollenInhaltslizenzierung und kommerzielle Nutzung Wenn ja, dann sind wir hier. "


In den Nutzungsbedingungen von iFixit heißt es, dass „die Vervielfältigung, Wiedergabe oder Verbreitung jeglicher Inhalte auf der Website ohne die vorherige ausdrückliche schriftliche Zustimmung des Unternehmens strengstens verboten ist“, insbesondere „Zum Trainieren von maschinellem Lernen oder KI-Modellen”。

Wiens hat inzwischen erklärt, dass iFixit seiner robots.txt-Datei eine „Crawl-Delay“-Erweiterung hinzugefügt hat.

Allerdings ist iFixit nicht das einzige Opfer. Eric Holscher, Mitbegründer von Read the Docs, und Matt Barrie, CEO von Freelancer.com, sagten in Wiens Beitrag, dass ihre Websites auch häufig von den Crawlern von Anthropic gecrawlt wurden.

Diese Aktionen sind nicht das „erste Vergehen“ von ClaudeBot. Bereits im April dieses Jahres führte das Linux Mint-Website-Forum einen Website-Ausfall auf Stress zurück, der durch die Crawling-Aktivitäten von ClaudeBot verursacht wurde.