소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

머신하트 편집부

경보를 울리거나 폐쇄를 향해 이동하시겠습니까?

올해 ACL 회장인 에밀리 M. 벤더(Emily M. Bender)는 태국 방콕에서 열린 ACL 2024에서 “ACL is not an AI conference(ACL is not an AI conference)”라는 매우 논란의 여지가 있는 결론을 내놓았다.

ACL 컨퍼런스는 국제컴퓨터언어학회(International Association for Computational Linguistics)가 주최하고 매년 개최되는 컴퓨터언어학과 자연어처리 분야 최고의 국제학술대회이다. ACL 컨퍼런스는 NLP 분야 학술 영향력 1위에 늘 자리해 왔으며, CCF-A 추천 컨퍼런스이기도 하다.

최근에는 딥러닝 등의 방법이 NLP 연구의 주류가 되면서 이번 컨퍼런스를 AI 컨퍼런스로 인식하는 분들이 많아지고 있으며, 출품물 대부분이 AI와 관련되어 있습니다. Emily M. Bender는 이러한 경향에 몇 가지 단점이 있다고 생각하는 것 같습니다.

그녀는 연설에서 ACL이 전산 언어학 협회의 연례 회의이며 그 핵심은 인공 지능이 아니라 언어 기술과 전산 언어학에 더 중점을 두고 있음을 강조했습니다.

벤더는 AI(인공지능)를 ML(머신러닝)의 동의어로 사용하지 않는다는 점을 분명히 했습니다. 그녀는 기계 학습(딥 러닝 포함)이 언어 기술과 컴퓨터 언어학에 유용한 많은 기술을 제공한다고 믿습니다. 그러나 초점이 AI로 옮겨갈 때 문제가 발생합니다.

전산언어학 및 자연어 처리(CL/NLP)는 언어의 유사성/차이점, 정보가 언어로 표현되는 방식, 다양한 언어의 전사, 번역, 요약, 정보 획득 등을 돕는 기술 구축 방법 및 평가 방법에 중점을 둡니다. 이러한 기술, 이러한 기술에 유용한 중간 표현, 다양한 작업에 대해 다양한 ML 기술이 얼마나 효과적인지, 언어 기술이 기존 전력 시스템과 상호 작용하는 방법.

AI 분야의 문제에는 인간과 유사한 추론을 수행할 수 있는 사고 기계를 구축하는 방법, 인지 작업에서 이러한 기계가 인간을 능가하도록 만드는 방법, 과학적 방법을 자동화하는 방법, 창의적인 작업을 자동화하는 방법이 포함됩니다.

AI 분야에서도 인류의 운명은 기계와 융합해 초인이 되는 것, 특이점의 도래는 불가피하다는 것, 우리가 각자에게 제공해야 할 서비스를 AI(실제로는 합성 텍스트 머신)가 대체할 수 있다는 등 몇 가지 생각을 제기하기도 한다. 기타(교육, 의료, 법적 대리).

AI 분야에는 벤처캐피털과 억만장자들의 뜨거운 관심을 포함해 여러 가지 문제가 있다.

Bender는 또한 벤치마크의 부적절한 사용, SOTA의 폐쇄형 모델과의 비교 평가 요구 사항, 지나치게 큰 데이터 세트로 인해 보관된 데이터가 부족해지는 등 AI 분야의 일부 잘못된 연구 관행을 비판했습니다. Bender는 연구 질문이 "내 기계가 지능적이라는 것을 어떻게 증명합니까?"에 초점을 맞추면 이 초점이 연구 관행을 왜곡할 수 있다고 말했습니다.

그녀는 또한 AI에 대한 초점이 열악한 검토 관행으로 이어져 대규모 언어 모델(LLM)을 사용하지 않거나 SOTA 규모의 LLM 결과를 제공하지 않는 논문이 흥미롭지 않은 것으로 간주될 수 있다고 지적했습니다.

AI 분야의 나쁜 관행과 달리 CL/NLP 분야의 연구 모범 사례에는 기술 적용 가능성, 인간 언어 행동에 대한 이해, 잘 정의된 평가, 내재적 및 외적 평가, 견고한 기준선, 보유된 테스트 데이터 및 세부 사항이 포함됩니다. 오류 분석.

Bender는 CL/NLP 연구가 언어 작동 방식(예: 언어학) 및 데이터 세트 문서화에 대한 지식을 포함하여 데이터에 대한 이해를 기반으로 구축되었다고 말했습니다.

복제 가능성과 재현성 측면에서 Bender는 과학은 단지 이전 연구에 도달하려는 것이 아니라 이전 연구를 기반으로 구축하는 것이라고 강조했습니다.

사회적 영향 측면에서 CL/NLP 연구는 NLP 연구의 윤리 및 역사를 포함하여 기술이 사회에 미치는 영향뿐만 아니라 누가, 누구를 위해, 누구를 위해 언어와 기술을 사용할 것인지에 대한 이해에 중점을 두고 있습니다. 제외되거나 포함되어 피해를 입을 수 있는 사람.

벤더는 ACL이 언어 기술에 초점을 맞춘 장소, 학제간 연구를 촉진하는 커뮤니티, 언어 집단을 배려하는 연구 분야, 우리의 연구와 기술이 사회에 미치는 영향을 합리적으로 논의할 수 있는 공간이 되어야 한다고 믿습니다.

이 견해는 소셜 플랫폼에서 큰 논란을 불러일으켰습니다.

일부 사람들은 이것이 충분히 포용적이지 않다는 신호라고 주장합니다. “NLP 역사상 가장 좋은 순간은 사람들이 다른 분야의 아이디어에 열려 있을 때 발생했습니다. 즉, 언어 연구자로부터 통계적 방법을 배우고, 사회과학자로부터 사고하는 방법을 배웠습니다. 이 슬라이드를 보면 어떤 사람들은 우리가 문을 닫기를 원한다는 생각이 들었습니다."

다른 사람들은 두 가지가 유기적으로 통합되었기 때문에 이러한 분리가 완전히 불필요하다고 생각합니다.

하지만 일부 사람들은 AI가 너무 인기가 많다는 점을 이해한다고 밝혔습니다. 일단 AI 논문으로 학회가 '계약'되면 필연적으로 다른 분야의 연구는 배제될 것이며, 이로 인해 학회는 원래의 관심을 잃게 될 것입니다.

이 연설에서 보낸 신호에 대해 모두가 추측하기 시작했습니다. 이는 ACL이 AI 논문을 환영하지 않는다는 의미입니까?

이것에 대해 어떻게 생각하세요?

참조 링크: https://faculty.washington.edu/ebender/papers/ACL_2024_Presidential_Address.pdf