소식

New York Times 및 기타 주요 뉴스 웹사이트에서는 SearchGPT 웹 크롤러를 차단합니다.

2024-08-03

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Whip Bullsman은 외신에 따르면 8월 3일에 다음과 같이 보도했습니다.오픈AISearchGPT를 출시한 지 약 일주일 후, 일부 주요 뉴스 게시자는 스타트업의 새로운 검색 엔진과 아무 관련이 없다는 점을 분명히 했습니다.

New York Times와 최소 13개의 다른 뉴스 웹사이트가 OAI-SearchBot을 차단했습니다. OpenAI가 SearchGPT 사용자에게 관련 결과를 검색하고 표시할 수 있도록 정보를 색인화하는 웹 크롤러입니다.

Originality.ai는 이 콘텐츠를 추적한 결과 상위 1,000개 웹사이트 게시자 중 14개가 OAI-SearchBot을 차단했음을 확인했습니다. 목록에 있는 다른 출판물로는 Wired, The New Yorker, Vogue, Vanity Fair 및 GQ가 있습니다.

Originality.ai의 CEO인 Jon Gillham은 "그것은 다소 당혹스럽다"고 말했습니다.

그는 Business Insider에 “출판사가 왜 이를 차단하는지 잘 모르겠습니다.”라고 말했습니다. "이것이 게시자가 원하고 필요로 하는 트래픽입니다."

OpenAI는 지난 주 SearchGPT를 출시했을 때 OAI-SearchBot이 GPT-5 및 기타 AI 모델을 교육하기 위해 데이터를 수집하기 위해 네트워크를 크롤링하지 않을 것이라고 강조했습니다. 웹사이트 소유자는 새로운 봇이 귀하의 웹사이트가 검색 결과에 표시되도록 허용하는 것이 좋습니다.

모든 웹사이트를 크롤링할 수 있는 권한이 없으면 OpenAI의 SearchGPT 서비스는 Google의 검색 엔진만큼 완전하지 않을 수 있습니다. BI는 Gillham에게 주요 뉴스 게시자가 Google의 검색 봇을 차단했는지 물었고 그는 그런 적이 없다고 말했습니다.

검색 트래픽에 대한 신뢰 부족 또는 의심

OpenAI에는 AI 모델 훈련을 위해 온라인 데이터를 수집할 수 있는 GPTbot이라는 또 다른 웹 크롤러도 있습니다. 수백 개의 웹사이트가 이를 차단했습니다. 이는 더 의미가 있습니다. 검색 엔진의 트래픽을 원하지만 귀하의 콘텐츠와 경쟁할 수 있는 AI 모델을 교육하기 위해 콘텐츠를 제공하고 싶지는 않습니다.

그러나 OpenAI는 수년 동안 허가 없이 온라인 데이터를 수집해 왔습니다. OpenAI가 자사의 새로운 검색 봇이 AI 교육 데이터로서 콘텐츠를 비밀리에 훔치지 않을 것이라고 말했을 때 게시자는 이를 신뢰하지 않는 것일까요?

"내 생각엔 그렇습니다"라고 Guillam이 말했습니다.

또 다른 이론: 오늘날의 검색 결과가 항상 독창적인 콘텐츠를 만들기 위해 노력하는 사이트로 사용자를 연결하는 것은 아닙니다. 새로운 AI 검색 엔진의 목표 중 하나는 사용자에게 스니펫을 표시하여 사용자를 유지하는 것입니다. 게시자가 검색 엔진에서 더 이상 상당한 트래픽을 볼 수 없다면 웹 크롤러가 그렇게 하도록 허용할 이유가 무엇입니까?

뉴욕타임스의 항의

Gillum은 또한 OpenAI가 올해 콘텐츠 아카이브를 사용하기 위해 출판사와 계약을 맺느라 바빴다고 언급했습니다. (Business Insider의 모회사인 Axel Springer가 계약 중 하나에 서명했습니다.)

Gillum은 다음과 같이 덧붙였습니다. 이는 OpenAI가 취하려는 일련의 단계인 것 같습니다. 먼저 게시자와 관계를 구축하고 이러한 모든 협력 계약을 체결한 다음 SearchGPT를 발표합니다.

출판사 중 가장 큰 반대자는 The New York Times입니다. OpenAI와 Microsoft가 경쟁 제품을 만들기 위해 자신의 작업을 불법적으로 사용했다고 비난하면서 OpenAI와 Microsoft를 고소했습니다.

The New York Times의 대변인 Charlie Stadtlander는 성명을 통해 다음과 같이 말했습니다. "우리가 명시적인 서면 동의 없이 특정 봇이 우리 콘텐츠를 크롤링하는 것을 차단하거나 제한하는지 여부에 관계없이 New York Times는 우리 작업을 생성 목적으로 사용할 라이센스가 없습니다. 검색이나 인공지능 훈련 목적.

OpenAI와 Microsoft에 대한 고소장에서 New York Times는 검색 엔진이 더욱 인공적으로 지능화되고 잠재적으로 게시자로부터 트래픽을 빨아들이는 문제를 다루었습니다.

"피고인은 또한 New York Times의 온라인 콘텐츠를 복제하고 목록화하는 Microsoft의 Bing 검색 색인을 사용하여 New York Times 기사의 축어적 발췌 및 자세한 요약이 포함된 응답을 생성합니다."라고 발행인은 고소장에 썼습니다. 기존 검색 엔진이 반환하는 것보다 더 자세합니다. 피고인의 도구는 The New York Times의 허가 또는 승인 없이 New York Times 콘텐츠를 제공하고, The Times와 독자의 관계를 방해하고 해를 끼치며, The New York Times의 구독, 라이센스, 광고 및 제휴 수익을 박탈합니다.

OpenAI는 아직 논평 요청에 응답하지 않았습니다.