소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

물고기와 양의 서풍은 아오페이사(Aofei Temple)에서 시작됩니다
Qubits 공개 계정 QbitAI

빅모델계가 이번에도 다구아의 표절을 폭로했다.“피고인”은 여전히 ​​유명한 Google DeepMind입니다.。

“원고”는 화가 나서 다음과 같이 소리쳤습니다.방금 우리 기술 보고서를 씻어냈어요！

구체적으로:

차세대 컨퍼런스 CoLM 2024에 채택된 Google DeepMind 논문이 거부되었습니다. 소유자는 1년 전 arXiv에 게시된 연구를 표절했다고 지적했습니다. 오픈 소스 종류.

두 논문 모두 모델 텍스트 생성 구조를 공식화하는 방법을 탐구합니다.

문제는 Google DeepMind 논문이 "원고" 논문을 명확하게 인용하고 있다는 것입니다.

그러나 인용이 표시되어 있더라도 "원고" 논문의 두 저자인 Brandon T. Willard(Brandon)와 R'emi Louf(Remy)는 여전히 Google이 표절했다고 주장하며 다음과 같이 믿습니다.

둘 사이의 차이점에 대한 구글의 설명은 "단순히 우스꽝스럽다".

많은 네티즌들은 논문을 읽은 후 천천히 물음표를 제기했습니다. CoLM은 원고를 어떻게 검토했습니까?

달라진 점은 컨셉이 바뀐 것 뿐이죠?

빨리 종이 비교를 살펴보세요...

두 논문의 비교

두 논문의 추상적인 비교를 간단히 살펴보겠습니다.

Google DeepMind의 논문에서는 토큰화가 제한된 언어 모델 출력에 문제를 가져온다고 말합니다. 그들은 이러한 문제를 해결하기 위해 오토마타 이론을 도입했습니다. 핵심은 각 디코딩 단계에서 모든 논리값(로짓)을 순회하지 않는 것입니다.

이 방법은 각 토큰의 디코딩된 논리값에만 액세스하면 되며 계산은 언어 모델의 크기와 무관하며 거의 모든 언어 모델 아키텍처에서 효율적이고 사용하기 쉽습니다.

“원고”의 진술은 대략 다음과 같습니다.

언어 모델의 어휘에 대한 색인을 구축하여 제한된 텍스트 생성의 효율성을 크게 향상시키기 위한 효율적인 프레임워크를 제안합니다.쉽게 말하면 그렇다.인덱싱을 통해 모든 논리값을 순회하지 마세요.。

또한 "특정 모델에 의존하지 않습니다".

확실히 방향성에 있어서 큰 차이가 있으니 좀 더 자세히 살펴보도록 하겠습니다.

Google Gemini 1.5 Pro를 사용하여 두 논문의 주요 내용을 요약한 후 Gemini에게 두 논문의 유사점과 차이점을 비교해 달라고 요청했습니다.

'피고인' Google 논문과 관련하여 Gemini는 그 방법을 다음과 같이 요약했습니다.FST(Finite State Transformer) 작업으로 토큰 해제를 재정의。

이 FST를 정규식이나 문법으로 표현할 수 있는 대상 형식 언어를 나타내는 자동 장치와 결합합니다.

위의 조합을 통해 토큰 기반 자동 장치가 생성되며, 이는 출력 텍스트가 미리 설정된 공식 언어 사양을 준수하는지 확인하기 위해 디코딩 프로세스 중에 언어 모델을 제한하는 데 사용됩니다.

또한 Google 문서에서는 텍스트 처리 시 시스템의 효율성과 표현력을 크게 향상시키기 위해 특별히 명명된 캡처 그룹을 사용하여 작성된 일련의 정규식 확장도 만들었습니다.

"원고" 논문에 대해 Gemini는 접근 방식의 핵심을 다음과 같이 요약했습니다.텍스트 생성 문제를 유한 상태 기계(FSM) 간의 변환으로 재구성합니다.。

"원고"의 구체적인 방법은 다음과 같습니다.

• 정규식이나 상황에 구애받지 않는 문법을 사용하여 FSM을 구축하고 이를 사용하여 텍스트 생성 프로세스를 안내합니다.
• 각 단계에서 유효한 단어를 효율적으로 식별하고, 어휘 색인 구축을 통해 전체 어휘를 ​​순회하는 것을 방지합니다.

Gemini는 두 논문의 공통점을 나열합니다.

둘의 차이점은 이전 네티즌이 말한 것과 약간 비슷합니다. 간단히 요약하면 Google은 용어를 FST로 정의합니다.

앞서 언급했듯이 Google은 원고의 논문을 '관련 저작물'에서 '가장 관련성이 높은' 저작물로 나열했습니다.

가장 관련성이 높은 연구는 유한 상태 오토마타(FSA)와 푸시다운 오토마타(PDA)를 제약 조건으로 사용하는 아웃라인(Willard & Louf, 2023)입니다. 우리의 방법은 2023년 초에 독립적으로 개발되었습니다.

Google은 두 가지 방법의 차이점은 아웃라인의 방법이 새로운 애플리케이션 시나리오로 수동 확장이 필요한 특별히 제작된 '인덱싱' 작업을 기반으로 한다는 점이라고 생각합니다. 이에 반해 구글은 오토마타 이론을 이용해 전체 프로세스를 완전히 재정의해 FSA를 적용하고 PDA에 일반화하는 것을 더 쉽게 만들었다.

또 다른 차이점은 Google이 와일드카드 일치를 지원하고 유용성을 향상시키기 위해 확장 프로그램을 정의했다는 것입니다.

구글도 다음 두 가지 관련 작품을 소개하면서 아웃라인을 언급했다.

하나는 Yin et al.(2024)이 텍스트 세그먼트를 미리 채우기에 "압축"하는 기능을 추가하여 개요를 확장했다는 것입니다.

또 다른 하나는 Ugare et al.(2024)이 최근 제안한 SynCode라는 시스템입니다. 또한 FSA를 활용하지만 문법 처리에는 PDA 대신 LALR 및 LR 파서를 사용합니다.

아웃라인과 유사하게 이 방법은 사용자 정의 알고리즘을 사용합니다.

하지만 멜론을 먹는 사람들은 멜론을 별로 사지 않는 것 같습니다.

CoLM 검토자는 주목해야 합니다. 나는 이것이 별개의 '동시대적 노력'으로 보이지는 않는다고 생각한다.

네티즌: 흔한 일이 아닌데…

이 사건이 알려지자마자 많은 네티즌들은 “기술 대기업이 소규모 팀의 작업을 표절한 것은 이번이 처음이 아니다”는 것은 물론이고 표절은 부끄러운 일이라며 분노했다.

그런데 Brandon과 Remy는 원고의 논문을 발표할 당시 2022년에 설립된 AI Infra 회사인 Normal Computing에서 원격으로 일하고 있었습니다.

아, 그런데 Normal Computing 창립팀의 일부가 Google Brain 출신이었는데...

또한 Brandon과 Remy는 이제 .txt라는 새로운 회사를 함께 시작했습니다. 공식 웹사이트 정보에 따르면 이 회사의 목표는 빠르고 안정적인 정보 추출 모델을 제공하는 것입니다. 그리고 공식 홈페이지에 나와 있는 GitHub 홈페이지는 아웃라인 웨어하우스입니다.

네티즌들에게 돌아와서 모두를 더욱 화나게 하는 것은 "이런 상황이 흔한 일이 됐다"는 것이다.

네덜란드 델프트 공과대학(Delft University of Technology)의 박사후 연구원은 자신의 경험을 다음과 같이 공유했습니다.

우리는 지난 10월에 한 편의 작업을 완료했는데, 최근에 동일한 아이디어와 개념을 사용한 논문이 승인되었지만 우리 논문을 인용조차 하지 않았습니다.

이보다 더 심한 미국 노스이스턴대 노인도 있는데, 이런 상황을 두 번이나 겪었는데, 가해자는 늘 같은 집단이었다. 그리고 반대편의 첫 번째 저자도 자신의 GitHub에 별표를 추가했습니다...

하지만 일부 네티즌들은 다른 의견을 내놨다.

블로그 게시물을 게시하거나 평가되지 않은 시험판 논문을 부정 행위로 간주한다면 모두가 부정 행위를 하는 것입니다. 그렇죠?

이에 대해 레미는 화가 나서 이렇게 말했습니다.

안녕하세요 여러분, 사전 인쇄 논문을 출판하고 코드를 오픈 소스로 제공 = 상황을 활용합니다.
의사 코드도 필요하지 않은 수학 보고서 작성 = 잘하셨나요? ? ?

Brandon 형제는 또한 Yue에게 이렇게 말했습니다.

오픈소스 코드를 작성하고 관련 논문을 작성하는 것은 '남의 것을 이용하는 것'인데, 다른 사람의 작업을 베끼고 '나도 이런 생각이 있었다'고 학회에 제출하는 것은 옳지 않은 걸까요? 얼마나 역겨운 지.

여기서 멜론을 먼저 먹을게요. 이것에 대해 어떻게 생각하세요? 댓글 영역에서 토론을 계속하고 싶을 수도 있습니다~

두 가지 논문을 보려면 여기를 클릭하세요.
구글 DeepMind 논문: https://arxiv.org/abs/2407.08103v1
원고의 논문: https://arxiv.org/abs/2307.09702

참조 링크:
[1]https://x.com/레밀루프/상태/1812164616362832287?s=46
[2]https://x.com/karan4d/상태/1812172329268699467?s=46
[3]https://x.com/브랜드온트윌라드/상태/1812163165767053772?s=46