소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

새로운 지혜 보고서

편집자: 편집부

[새로운 지혜 소개]MIT CSAIL의 연구원들은 LLM이 "마음 속 깊은 곳"의 현실 시뮬레이션을 개발했으며, 언어와 세계에 대한 모델의 이해가 단순한 "앵무새" 그 이상임을 발견했습니다. 즉, 미래에는 LLM이 지금보다 더 깊이 언어를 이해하게 될 것입니다.

LLM은 월드 모델과 얼마나 멀리 떨어져 있나요?

작년에 MIT 기사는 놀라운 결론을 발견했습니다. LLM 내부에는 세계 모델이 있다는 것입니다.

LLM은 표면 통계뿐만 아니라 공간, 시간 등 기본 위도를 포함한 세계 모델도 학습합니다.

뿐만 아니라, MIT는 최근 LLM 내부 깊은 곳에서 현실 시뮬레이션이 발전했으며 언어에 대한 이해가 단순한 모방을 훨씬 뛰어넘었다는 사실을 발견했습니다!

논문 주소: https://arxiv.org/abs/2305.11169

특히 MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 두 학자는 다음과 같은 사실을 발견했습니다.

LLM은 순수한 통계적 확률만 포함하는 것처럼 보이는 "다음 토큰 예측"이라는 목표만을 사용하여 프로그래밍 언어를 학습하도록 훈련되었지만 모델은 여전히 ​​프로그램의 형식적 의미를 학습할 수 있습니다.

이는 언어 모델이 생성 능력을 향상시키는 방법으로 현실에 대한 자체 이해를 개발할 수 있음을 시사합니다.

따라서 LLM은 언젠가는 오늘날보다 더 깊은 수준에서 언어를 이해할 수 있을 것입니다.

이 기사는 ICML 2024에 승인되었으며, 실험에 사용된 코드는 GitHub에 게시되었습니다.

창고 주소: https://github.com/charlesjin/emergent-semantics

눈이 없다면 LLM은 “볼” 수 없을까요?

GPT-4에게 비에 젖은 캠프장의 냄새를 맡아 달라고 요청하면 정중히 거절할 것입니다.

그럼에도 불구하고 그것은 시적인 설명을 제공할 것입니다. 신선한 흙향과 상쾌한 비 냄새, 소나무 또는 젖은 나뭇잎의 힌트가 있습니다.

GPT-4는 비를 본 적도 없고 코도 없지만, 대량의 훈련 데이터에 존재하는 텍스트를 모방할 수 있다.

한 쌍의 눈이 없다는 것은 언어 모델이 "사자가 집 고양이보다 크다"는 것을 결코 이해할 수 없다는 것을 의미합니까?

LLM이 현실 세계와 다양한 추상적 개념을 이해할 수 있나요? 아니면 다음 토큰을 예측하기 위해 단지 "앵무새"를 하고 순전히 통계적 확률에만 의존하고 있습니까?

LLM의 작동 원리는 여전히 풀리지 않은 미스터리입니다. AI계의 거물들은 수시로 이 문제를 두고 논쟁을 시작할 것이다.

LeCun은 LLM의 지능이 확실히 과대평가되었다고 굳게 믿습니다! 그의 가장 유명한 주장은 "큰 언어 모델은 집에 있는 고양이만큼 좋지 않다"는 것입니다.

“고양이는 기억할 수 있고, 물리적 세계를 이해할 수 있고, 복잡한 행동을 계획할 수 있으며, 어느 정도 추론할 수 있습니다. 이는 실제로 개념적 수준에서 중요한 격차가 있고 이를 만들 수 없다는 것을 의미합니다. 동물처럼 기계도 똑똑하다."

많은 사람들은 이것을 순전히 통계적인 현상으로 설명합니다. LLM은 단지 "앵무새"이며 대량의 훈련 자료에 존재하는 텍스트를 모방하는 것입니다. 이는 인간과 동일한 수준의 지능이나 인식을 가지고 있지 않습니다.

그러나 이제 MIT 연구는 이것이 사실이 아님을 증명합니다!

LLM에는 확실히 현실 세계에 대한 이해가 있습니다.

LLM은 Karel 퍼즐을 풀었습니다. 그 의미는 무엇입니까?

이 미스터리를 탐구하기 위해 MIT CSAIL의 연구원들은 작은 Karel 퍼즐 세트를 개발했습니다.

카렐의 퍼즐이 무엇인지 간략히 소개해주세요.

여기에는 모델이 시뮬레이션된 환경에서 로봇의 동작을 제어하기 위한 지침을 사용하도록 하는 것이 포함됩니다.

카렐 문법 사양

그런 다음 작동 방식을 보여주지 않고 특정 솔루션을 학습하도록 LLM을 교육합니다.

마지막으로 저자는 모델이 새로운 솔루션을 생성할 때 '사고 과정'을 심층적으로 이해하기 위해 '프로빙'이라는 기계 학습 기술을 제안합니다.

연구자는 무작위 참조 프로그램을 샘플링하여 훈련 예제를 구축한 다음 5개의 무작위 입력을 샘플링하고 프로그램을 실행하여 해당하는 5개의 출력을 얻습니다. LM은 인터리브된 입력 및 출력과 참조 절차로 구성된 예제 코퍼스에 대한 다음 토큰 예측을 위해 훈련됩니다. 테스트 시 연구원들은 LM에 보이지 않는 입력 및 출력 사양을 제공하고 탐욕스러운 디코딩을 사용하여 프로그램을 예측합니다.

1백만 개가 넘는 무작위 퍼즐을 훈련한 후, 연구원들은 모델이 기본 시뮬레이션 환경의 개념을 자발적으로 형성한다는 것을 발견했습니다! 훈련 중에 이 정보에 노출되지는 않았지만.

이 결과는 LLM에 대한 우리의 고유한 인상에 도전할 뿐만 아니라 사고 과정의 본질에 대한 우리의 이해에도 의문을 제기합니다.

의미론을 학습하는 과정에는 어떤 정보가 필요한가?

실험 초기에는 모델에서 생성된 무작위 명령을 실행하는 것이 거의 불가능했지만 훈련이 완료되면 명령의 정확도가 92.4%에 도달했습니다.

논문 제1저자인 진씨는 “언어 모델이 이 정도 정확도로 작업을 완료할 수 있다면 언어의 의미도 이해할 수 있을 것으로 기대하기 때문에 매우 흥미로운 순간이다”라고 말했다.

"이것은 우리에게 LLM이 실제로 텍스트를 이해할 수 있는지 탐구하기 위한 출발점을 제공했으며 이제 모델이 맹목적으로 단어를 연결하는 것보다 훨씬 더 많은 기능을 수행할 수 있음을 알 수 있습니다."

LLM의 두뇌를 열어보세요

이번 실험에서 진은 이러한 진전을 직접 목격했다.

LLM은 왜 이러한 지침이 이를 의미한다고 생각합니까?

그는 LLM이 각 명령에 응답하여 로봇이 어떻게 움직이는지에 대한 자체 시뮬레이션을 개발했다는 ​​사실을 발견했습니다.

어려운 문제를 해결하는 모델의 능력이 점점 더 높아질수록 이러한 개념은 점점 더 정확해지며 이는 LM이 지침을 이해하기 시작했음을 나타냅니다.

오래지 않아 LLM은 작업 지침에 맞게 조각들을 일관되게 올바르게 연결했습니다.

다양한 프로브 분류기로 측정된 의미론적 콘텐츠(녹색)

사고 조사

위에서 언급한 발견에 대한 주요 기여는 "사고 조사"입니다.

이는 LLM 사고 과정에 개입하는 효과적인 도구입니다. 이 논문에서는 이를 "탐색"이라고 부릅니다.

특히 LM의 상태에는 입력 및 생성된 프로그램의 구문 기록만 포함되어 있지만 프로브는 추상적인 해석을 이해하는 방법을 학습할 수 있는 것으로 보입니다.

실제 실험에서 저자는 먼저 LLM의 상태 추적 데이터 세트를 구성한 다음 표준 지도 학습 방법을 사용하여 선형 분류기 또는 2계층 MLP와 같은 작은 모델을 프로브로 훈련했습니다.

학습 후반부에서 현재 및 다음 두 추상 상태의 의미적 내용(1계층 MLP)

그러나 중요한 문제는 프로브가 모델의 실제 사고 과정이나 생성된 명령과 분리되어야 한다는 것입니다.

프로브의 유일한 목적은 "LLM의 두뇌에 들어가는 것"이지만 모델에 대한 사고도 수행한다면 어떨까요?

연구자들이 확인해야 하는 것은 LLM의 구문 파악을 기반으로 프로브가 로봇의 동작을 추론하도록 하는 것이 아니라 LLM이 프로브와 독립적으로 지침을 이해할 수 있다는 것입니다.

LLM의 사고 과정을 인코딩하는 많은 데이터가 있고, 여기서 프로브의 역할은 법의학 분석가와 같다고 상상해 보십시오.

우리는 이 데이터 더미를 분석가에게 주면서 "이것이 로봇의 움직임입니다. 이 데이터 더미에서 로봇이 어떻게 움직이는지 알아보세요."라고 말했습니다. 분석가는 이 데이터 더미에서 로봇을 알고 있다고 말했습니다. 무슨 일이야?

하지만 이 데이터 더미가 원시 지침을 인코딩하고 분석가가 지침을 추출하고 그에 따라 조치를 취하는 영리한 방법을 알아냈다면 어떻게 될까요?

이 경우 LLM은 이러한 지침의 의미를 전혀 이해하지 못합니다.

이를 위해 연구원들은 독창적인 디자인을 만들었습니다. 그들은 모델에 대한 "이상한 세계"를 만들었습니다.

이 세계에서는 "위"가 실제로 "아래"를 의미하는 것처럼 프로브의 명령 의미가 반대입니다.

예를 들어 원래 의미의 exec(turnRight,·)는 로봇을 시계 방향으로 90도 회전시키는 반면, exec adversarial(turnRight,·)은 로봇을 공간으로 밀어냅니다.

이를 통해 프로브는 "기회주의적"이지 않고 LLM이 명령어를 인코딩하는 방법을 직접 학습하고 이해하게 됩니다.

진 작가님은 이렇게 소개하셨습니다——

프로브가 명령을 로봇의 위치로 변환하려면 기이한 의미를 지닌 명령도 똑같이 변환할 수 있어야 합니다.

그러나 프로브가 실제로 언어 모델의 사고 과정에서 원래 로봇 움직임의 인코딩을 찾고 있다면 원래 사고 과정에서 이상한 로봇 움직임을 추출하는 데 어려움을 겪어야 합니다.

프로브에는 번역 오류가 있었고 다른 지시 의미를 가진 언어 모델을 해석할 수 없는 것으로 나타났습니다.

이는 원래 의미 체계가 언어 모델에 내장되어 있음을 의미하며, 이는 LLM이 원래 탐지 분류자와 독립적으로 필요한 지침을 이해할 수 있음을 나타냅니다.

전반부는 두 가지 조건이 개입 전 측정의 의미론적 내용을 어떻게 높이는지 설명합니다. 아래 부분은 두 가설이 분리된 이유를 보여줍니다. LM 표현에 문법만 포함된 경우(왼쪽 아래) 대체 상태 prog(굵은 빨간색 결과)의 관점에서 레코드를 해석하는 방법을 학습하도록 프로브를 훈련할 수 있어야 합니다. ; 그러나 LM 표현에 원래 추상 상태(오른쪽 아래) 인코딩이 포함된 경우 Alt를 감지하려면 원래 상태 prog에서 대체 상태 'prog'를 추출해야 하므로 의미 체계 내용이 낮아집니다(굵은 회색 결과).

LLM은 어린이처럼 언어를 이해합니다.

흥미롭게도 Jin은 아이들이 언어를 여러 단계로 배우는 것처럼 LLM의 언어 이해도 단계적으로 발전한다는 사실을 발견했습니다.

처음에는 아기처럼 옹알이를 하고, 말이 반복되어 대부분 이해하기 어려울 것입니다.

그런 다음 LLM은 문법이나 언어 규칙을 선택하여 실제 솔루션처럼 보이는 지침을 생성할 수 있지만 여전히 작동하지 않습니다.

그러나 LLM 지침은 점차 개선될 것입니다.

모델이 의미를 획득하면 어린이가 문장을 구성하는 것처럼 필수 사양을 올바르게 구현하기 위한 지침을 생성하기 시작합니다.

결과는 그림 2와 같다. LLM의 언어 이해는 어린이가 언어를 배우는 것과 마찬가지로 대략 3단계로 나누어져 있음을 알 수 있다.

• 옹알이(회색 부분): 전체 훈련 과정의 약 50%를 차지하고 고도로 반복적인 프로그램을 생성하며 정확도는 약 10%로 안정적입니다.

• 구문 획득(주황색 부분): 훈련 과정의 50%~75%, 생성된 결과의 다양성이 급격히 증가하고 구문 속성이 크게 변경되며 모델은 프로그램의 토큰을 모델링하기 시작하지만 생성의 정확도는 개선이 뚜렷하지 않다

• 의미론적 획득(노란색 부분): 학습 과정의 75%가 종료되고 다양성은 거의 변하지 않지만 생성 정확도가 크게 증가하여 의미론적 이해가 출현함을 나타냅니다.

실험에서는 비교를 위해 선형 분류기, 단일 레이어 MLP 및 2레이어 MLP라는 세 가지 다른 프로브 아키텍처를 사용했습니다.

2단계 앞서 예측할 때 2계층 MLP 예측 정확도의 절대값은 현재 상태로 예측한 기준 모델보다 높습니다. LLM이 명령을 생성하기 전에 LLM의 사고 과정과 명령 생성의 "의도"가 모델 내부에 저장되어 있다고 추측할 수 있습니다.

LLM = 세계모델?

이 연구에서는 LLM이 훈련 데이터의 각 명령의 의미를 어떻게 생각하는지 설명하고 내부 상태에서 명령에 대한 로봇의 반응을 시뮬레이션합니다.

이것들은 모두 현재 AI 연구의 핵심 질문을 가리킵니다. LLM의 놀라운 능력은 단순히 대규모 통계 상관 관계로 인한 것입니까, 아니면 현실에 대한 의미 있는 이해로 이어지는 것입니까?

연구에 따르면 LLM은 해당 모델을 개발하도록 교육받은 적이 없음에도 불구하고 현실을 시뮬레이션하는 내부 모델을 개발했습니다.

더욱이, 언어 모델은 언어에 대한 이해를 더욱 심화시킬 수 있습니다.

그러나 하나의 논문만으로는 이 질문에 완전히 답할 수 없습니다.

저자 Jin은 또한 이 연구가 몇 가지 한계를 가지고 있음을 인정했습니다. 그들은 매우 간단한 프로그래밍 언어인 Karel과 매우 간단한 프로브 모델 아키텍처만을 사용했습니다.

향후 작업은 보다 일반적인 실험 설정에 초점을 맞추고 LLM의 "사고 과정"에 대한 통찰력을 최대한 활용하여 교육 방법을 개선할 것입니다.

이 기사의 또 다른 저자인 Rinard는 "흥미로운 공개 질문은 로봇 내비게이션 문제를 해결할 때 LLM이 내부 현실 모델을 사용하여 현실을 추론하는 것입니까?"라고 말했습니다.

논문에 제시된 결과가 이러한 결론을 뒷받침할 수 있지만 실험은 이 질문에 답하기 위해 설계되지 않았습니다.

브라운 대학교 컴퓨터 과학 및 언어학과 조교수인 Ellie Pavlick은 이 연구를 높이 평가했습니다.

그녀는 LLM의 작동 방식을 이해하면 이 기술의 고유한 가능성과 한계에 대해 보다 합리적인 기대를 가질 수 있다고 말했습니다. 본 연구는 통제된 환경에서 이 질문을 정확하게 탐구합니다.

컴퓨터 코드는 자연어와 마찬가지로 구문과 의미를 모두 갖고 있지만 자연어와는 달리 코드의 의미는 더 직관적이며 실험적 요구에 따라 직접 제어할 수 있습니다.

"실험 설계는 우아하고 그 결과는 유망하며 LLM이 언어의 '의미'에 대한 더 깊은 이해를 제공할 수 있음을 시사합니다."

저자 소개

이 기사의 첫 번째 저자인 Charles Jin은 MIT의 EECS 부서 및 CSAIL 연구소의 박사 과정 학생입니다. 그의 지도교수인 Martin Rinard는 이 기사의 또 다른 저자이며 그의 연구는 주로 강력한 기계 학습 및 프로그램 합성에 중점을 두고 있습니다.

진씨는 예일대학교에서 컴퓨터 과학 및 수학 학사와 석사 학위를 취득했으며, Weiss Asset Management에서 분석가로 근무했고, 박사 과정 동안 Google Brain에서 연구원 인턴으로 일했습니다.

참고자료:

https://the-decoder.com/training-언어-models-on-synthetic-programs-hints-at-emergent-world-understanding/

https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-언어-능력-improve-0814