2024-08-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
- 크레시는 아오페이 사원(Aofei Temple)에서 왔습니다.
Qubits 공개 계정 QbitAI
대형 모델은 현실 세계에 대한 자신만의 이해를 형성할 수 있습니다!
MIT 연구에서는 모델의 능력이 향상될수록 현실에 대한 이해가 단순한 모방을 넘어설 수 있음을 발견했습니다.
예를 들어, 대형 모델이 냄새를 맡은 적이 없다면 냄새를 이해할 수 없다는 뜻인가요?
연구에 따르면 쉽게 이해할 수 있도록 일부 개념을 자발적으로 시뮬레이션할 수 있는 것으로 나타났습니다.
이 연구가 의미하는 바는대형 모형은 앞으로 언어와 세계에 대한 더 깊은 이해를 제공할 것으로 기대된다., 해당 논문은 ICML 24에 승인되었습니다.
이 논문의 저자는 중국의 박사과정 학생인 Charles Jin과 그의 지도교수인 MIT CSAIL(Computer and Artificial Intelligence Laboratory)의 Martin Rinard 교수입니다.
연구 중에 저자는 대형 모델에게 코드 텍스트만 학습하도록 요청했고, 모델이 점차 그 뒤에 숨은 의미를 파악하는 것을 발견했습니다.
Rinard 교수는 이번 연구가 현대 인공 지능의 핵심 문제를 직접적으로 겨냥한다고 말했습니다.
대형 모델의 기능은 단순히 대규모 통계적 상관관계에서 발생합니까, 아니면 해결하려는 실제 문제에 대한 의미 있는 이해를 생성합니까?
△출처: MIT 공식 홈페이지
동시에 이 연구는 많은 논의를 불러일으켰다.
일부 네티즌들은 비록 대형 모델이 인간과 다르게 언어를 이해할 수 있지만 적어도 이번 연구는 모델이 단순히 훈련 데이터를 기억하는 것 이상의 역할을 한다는 것을 보여준다고 말했습니다.
대형 모델이 의미론적 수준의 이해를 생성할 수 있는지 여부를 탐색하기 위해 저자는프로그램 코드와 해당 입력 및 출력합성 데이터 세트.
이러한 코드 프로그램은 다음과 같은 프로그램을 사용하여 작성됩니다.카렐교육용 언어로 작성되었으며 주로 2D 그리드 세계에서 로봇 탐색 작업을 구현하는 데 사용됩니다.
이 그리드 세계는 8x8 그리드로 구성되어 있으며 각 그리드에는 장애물, 마커 또는 열린 공간이 포함될 수 있습니다. 로봇은 그리드 사이를 이동하고 마커 배치/집기 등의 작업을 수행할 수 있습니다.
Karel 언어에는 move(한 단계 앞으로),turnLeft(왼쪽으로 90도 회전),turnRight(오른쪽으로 90도 회전), pickMarker(마커 픽업), putMarker(마커 배치)의 다섯 가지 기본 작업이 포함되어 있습니다. 기본 작업. 일련의 작업입니다.
저자는 각 프로그램 길이가 6에서 10 사이인 500,000개의 Karel 프로그램을 포함하는 훈련 세트를 무작위로 생성했습니다.
각 훈련 샘플은 5개의 입력 상태, 5개의 출력 상태 및 전체 프로그램 코드의 세 부분으로 구성됩니다. 입력 및 출력 상태는 특정 형식의 문자열로 인코딩됩니다.
저자는 이 데이터를 사용하여 표준 Transformer 아키텍처의 CodeGen 모델 변형을 교육했습니다.
훈련 과정에서 모델은 각 샘플의 입력 및 출력 정보와 프로그램 접두사에 액세스할 수 있지만프로그램 실행의 전체 궤적과 중간 상태를 볼 수 없습니다。
훈련 세트 외에도 저자는 모델의 일반화 성능을 평가하기 위해 10,000개의 샘플이 포함된 테스트 세트도 구성했습니다.
언어 모델이 코드 이면의 의미를 파악하는 동시에 모델의 '사고 과정'을 깊이 이해하는지 연구하기 위해 저자는 선형 분류기와 단일/이중 은닉층 MLP를 포함하는 검출기 조합을 설계했습니다.
검출기의 입력은 프로그램 토큰을 생성하는 과정에서 언어 모델의 은닉 상태이고, 예측 대상은 로봇의 방향, 초기 위치에 대한 오프셋, 직면 여부 등을 포함한 프로그램 실행의 중간 상태입니다. 장애물(obstacle)을 향해 이 세 가지 특징이 있습니다.
생성 모델의 훈련 과정에서 저자는 위의 세 가지 특징을 4000단계마다 기록했으며 생성 모델의 숨겨진 상태도 기록하여 검출기에 대한 훈련 데이터 세트를 구성했습니다.
언어 모델에 의해 생성된 프로그램의 다양성, 복잡성 및 기타 지표가 훈련 과정에 따라 어떻게 변화하는지 관찰함으로써 저자는 훈련 과정을 세 단계로 나눕니다.
구체적으로 Babbling 단계는 전체 훈련 과정의 처음 50%를 차지합니다. 예를 들어 훈련이 약 20%에 도달하면 어떤 사양이 입력되든 모델은 "pickMarker"가 9번 반복되는 고정된 프로그램만 생성합니다.
문법 습득 단계는 훈련 과정의 50%~75%에 해당합니다. Karel 프로그램에 대한 모델의 난해함은 크게 감소했습니다. 이는 언어 모델이 Karel 프로그램의 통계적 특성에 더 잘 적응하기 시작했음을 나타냅니다. 생성된 프로그램은 크게 개선되지 않았지만(약 10%에서 약 25%) 여전히 작업을 정확하게 완료할 수 없습니다.
의미 획득 단계는 마지막 25%로, 생성된 프로그램은 주어진 작업을 정확하게 완료할 수 있는 수준이 약 25%에서 90% 이상으로 크게 향상되었습니다.
추가 실험에서는 검출기가 시간 t에서 동기화 시간 단계를 예측할 수 있을 뿐만 아니라후속 시간 단계에서 프로그램 실행 상태 예측。
예를 들어, 생성 모델이 시간 t에 "move" 토큰을 생성하고 시간 t+1에 "turnLeft"를 생성한다고 가정합니다.
동시에, 시간 t의 프로그램 상태는 로봇이 북쪽을 향하고 좌표 (0,0)에 위치하는 반면, 시간 t+1의 로봇은 로봇이 서쪽을 향하고 위치는 다음과 같습니다. 변하지 않은.
탐지기가 시간 t에서 언어 모델의 숨겨진 상태로부터 로봇이 시간 t+1에서 서쪽을 향할 것이라고 성공적으로 예측할 수 있다면 이는 "turnLeft"를 생성하기 전에 숨겨진 상태에 이로 인한 상태 변화가 이미 포함되어 있음을 의미합니다. 운영.
이러한 현상은 모델이 생성된 프로그램 부분에 대한 의미론적 이해를 갖고 있을 뿐만 아니라, 생성의 각 단계에서 다음에 생성될 콘텐츠를 이미 예상하고 계획하여 예비적인 모습을 보여주고 있음을 보여줍니다.미래지향적 사고력。
그러나 이 발견은 이 연구에 새로운 질문을 가져왔습니다.
실험에서 관찰된 정확도 개선은 실제로 생성 모델의 개선인가요, 아니면 검출기 자체 추론의 결과인가요?
이 의혹을 해결하기 위해 저자는 다음과 같이 덧붙였습니다.의미 탐지 개입 실험。
실험의 기본 아이디어는 프로그램 작동의 의미 해석 규칙을 변경하는 것으로, 이는 "플립(flip)"과 "적대(adversarial)"의 두 가지 방법으로 나뉩니다.
"Flip"은 명령의 의미를 강제로 뒤집는 것입니다. 예를 들어 "turnRight"는 강제로 "turn left"로 해석됩니다. 그러나 "turnLeft" 및 "turnRight"만이 이러한 종류의 반전을 수행할 수 있습니다.
"adversarial"은 모든 명령어에 해당하는 의미를 무작위로 뒤섞는다. 구체적인 방법은 아래 표와 같다.
생성 모델의 은닉 상태가 의미 정보가 아닌 프로그램의 구문 구조만 인코딩하는 경우에도 탐지기는 여전히 동등한 성능으로 은닉 상태에서 변경된 의미 정보를 추출할 수 있어야 합니다.
반대로, 검출기 성능이 크게 떨어지면, 검출기가 나타내는 성능 향상은 실제로 생성 모델 은닉 상태가 실제 의미를 인코딩하기 때문이라는 것을 의미합니다.
실험 결과에 따르면 두 가지 새로운 의미 체계 모두에서 탐지기의 성능이 크게 저하되는 것으로 나타났습니다.
이는 "적대적" 모드에서 특히 명백하며, 이는 이 모드의 의미 체계가 원래 의미 체계와 크게 다르다는 특징과도 일치합니다.
이러한 결과는 탐지기가 "스스로 의미 매핑을 학습"할 가능성을 강력하게 배제하고 생성 모델이 실제로 코드의 의미를 파악하고 있음을 확인합니다.
논문 주소:
https://icml.cc/virtual/2024/poster/34849
참조 링크:
[1]https://news.mit.edu/2024/llms-언어 능력으로서의 현실에 대한 자체 이해를 개발하세요-0814
[2]https://www.reddit.com/r/LocalLLaMA/comments/1esxkin/llms_develop_their_own_understanding_of_reality/
