소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

대형 모델은 지난 1~2년 동안 특히 산술 문제 해결 성능으로 많은 주목을 받았습니다.

실제로 2022년 초 Google Research 팀의 연구원들은 대규모 모델의 수학적 추론을 효과적으로 개선하고 몇 가지 샘플 컨텍스트에서 학습할 수 있는 프롬프트 엔지니어링 방법인 CoT(사고 사슬) 프롬프트를 제안했습니다. 효과가 검증되었습니다 [1].

이 방법은 빠르게 널리 사용되었지만 해당 분야의 연구자들은 이 방법이 대형 모델에서 산술 추론을 어떻게 자극하는지에 대해 아직 거의 알지 못합니다.

이전에는 관련 탐구가 CoT 프롬프트 설명의 다양한 구성 요소가 대형 모델의 산술 추론 효과에 미치는 영향을 실험적으로 관찰하는 데 주로 중점을 두었습니다.

구체적으로 CoT 샘플의 언어적 추론 부분을 제거하고 핵심 수학식만 남기는 등 CoT 프롬프트문의 구성요소를 교체하거나 제거하고, 기존 산술에서 교체 또는 제거 전후의 대형 모델을 관찰합니다. 추론 벤치마크 테스트의 성능 차이는 교체 또는 제거 부분이 대형 모델의 산술 추론 능력을 자극하는 데 중요한 기여를 하는지 여부를 판단하는 데 사용됩니다.

이 분야의 연구자들은 이러한 연구에서 몇 가지 흥미로운 현상을 발견했지만 CoT가 어떻게 신경망의 내부 메커니즘에서 대형 모델의 산술 추론 능력을 자극하는지 설명할 수 없습니다.

동시에 이러한 연구는 더 많은 질문을 제기합니다. 예를 들어, CoT의 다양한 구성 요소가 대형 모델의 산술 추론에 서로 다른 영향을 미치는 이유는 무엇입니까?

위의 문제를 해결하기 위해 미국 조지 메이슨 대학의 Yao Ziyu 교수와 그의 팀은 "모델 해석 가능성"의 관점에서 오픈 소스 Llama2 모델에 대한 일련의 탐색을 시작했으며 "뉴런 활성화"를 사용하여 CoT에서 관찰되는 현상을 체계적으로 설명합니다.

사진丨 연구팀 구성원들 (출처: 연구팀)

최근 LLM의 "An Investigation of Neuron Activation as a Unified Lens to explain Chain-of-Thought Eliciting Arithmetic Reasoning in Large Language Models of LLM"이라는 제목의 관련 논문이 전산 언어학 협회(ACL, Annual Meeting)에서 채택되었습니다. 전산언어학 회의) 2024 [2].

George Mason University의 박사과정 학생인 Daking Rai가 제1저자로, Yao Ziyu가 교신저자로 활동하고 있습니다.

그림丨관련 논문 (출처: ACL 2024)

이번 연구에서는 먼저 Transformer 피드포워드 계층이 산술 추론의 개념을 표현하는 뉴런인지 여부를 탐색하는 데 중점을 두었습니다.

관련 개념에는 덧셈, 뺄셈, 곱셈 및 나눗셈의 산술 연산 개념, 산술 추론 과정의 논리적 연결 개념(예: "...so" "...next") 및 기타 산술 계산 개념(예: 예: '퍼센트', '알고리즘', '수식').

따라서 각 뉴런이 나타내는 개념을 찾아내기 위해 뉴런을 대형 모델의 어휘 공간에 매핑하고, 뉴런 매핑 후 각 어휘에 포함된 개념의 비율을 라벨링하여 뉴런의 의미를 요약하였다.

연구 그룹은 GPT-4를 사용하여 뉴런의 어휘 매핑을 읽고 이해하여 뉴런 라벨링 및 마이닝 프로세스를 자동화할 것을 제안했습니다.

실험에 따르면 Transformer 피드포워드 계층에는 산술 개념을 나타내는 뉴런이 실제로 있는 것으로 나타났습니다. 이러한 뉴런이 손상되면 대형 모델의 산술 추론 능력이 손상됩니다.

동시에 연구원들은 이러한 뉴런의 활동이 대형 모델의 산술 추론 능력과 긍정적인 상관관계가 있음을 관찰했습니다. 이러한 긍정적인 상관 관계는 서로 다른 프롬프트 명령문이 대규모 모델의 산술 추론에 서로 다른 영향을 미치는 이유를 설명합니다.

연구팀은 이러한 뉴런을 기반으로 이전 연구에서 관찰된 CoT 관련 현상 4가지를 체계적으로 설명했다.

첫째, CoT 샘플에서 수학 공식을 제거하고 연산 결과만 남게 되면 대형 모델의 산술 추론 능력이 손상될 수 있다.

둘째, CoT 표본에서 언어적 추론을 제거하고 수학 공식만 남게 되면 모델 능력도 저하된다.

셋째, CoT 샘플이 작업 다양성을 잃으면, 예를 들어 모든 샘플이 추가 작업만 포함하는 경우 모델 기능이 손상됩니다.

넷째, CoT 샘플의 연산 결과가 잘못되었으나 추론 과정이 올바른 경우에는 모델 능력에 큰 영향을 미치지 않는다.

"우리는 이러한 현상이 기본적으로 뉴런의 활성화 정도에 의해 설명될 수 있음을 알 수 있습니다. 예를 들어 수학 공식을 제거하기 전과 후에 활성화된 뉴런의 수가 감소하여 모델의 산술 추론 능력이 손상되는 이유를 설명합니다." 길을 설명했다.

적용 관점에서 본 성과는 두 가지 측면에서 적용 전망을 갖게 될 것입니다.

첫째, 대형 모델을 예측하는 능력입니다.

연구진은 실험을 통해 산술 추론을 나타내는 뉴런의 활성화 수준이 Llama2 모델의 산술 추론 능력과 양의 상관관계가 있음을 확인할 수 있었습니다. 이는 미래에는 특정 작업에 대한 대규모 모델의 기능을 직접 예측하는 데 벤치마크가 필요하지 않을 수도 있음을 의미합니다.

동시에 벤치마크 테스트에는 데이터 세트 주석, 컴퓨팅 자원 등 많은 인력과 물적 자원이 필요하기 때문에, 내부 메커니즘을 이해하여 대규모 모델을 직접 예측하는 능력은 비용 절감에도 도움이 됩니다.

또한 현장 실무자들은 가까운 미래에 대형 모델이 초인적인 작업을 수행할 수 있기를 바라고 있습니다. 그러나 인간의 능력이 제한되어 있으므로 이러한 작업에 대한 벤치마크를 구축할 방법이 없습니다. 이 문제는 대형 모델의 고유한 메커니즘을 통해 모델 성능을 예측함으로써 잘 피할 수 있습니다.

둘째, 대형 모델의 내부 메커니즘을 제어함으로써 모델의 능력을 강화하거나 약화시킬 수 있다.

“우리는 이 애플리케이션이 향후 대규모 모델의 보안을 향상시키는 중요한 방법 중 하나가 될 것이라고 믿습니다. 동시에 작은 데이터를 통해 뉴런을 찾는 등 보다 효율적인 대규모 모델 훈련을 달성할 수 있는 잠재력도 가지고 있습니다. 그 다음에는 뉴런의 활성화를 조절하는 것”이라고 연구팀은 말했다.

실제로 OpenAI는 2023년 하반기에 과학적 연구 혁신을 장려하여 인간이 초인적 AI 모델을 감독하고 제어할 수 있도록 돕는 것을 목표로 하는 '슈퍼 정렬' 제안[3]을 제안했습니다. 예측 및 제어 모델 기능은 이 목표를 달성하기 위한 두 가지 중요한 작업입니다.

연구팀은 “이번 결과는 이 방향에 대한 우리의 예비 탐색이다. 우리나 다른 연구자들이 앞으로도 이 방향으로 계속 탐색할 수 있기를 바란다”고 말했다. 이 연구는 "메커니즘 해석 가능성"에서 영감을 받았습니다.

이는 최근 몇 년 동안 빠르게 등장하고 광범위한 관심을 받은 모델 해석 가능성의 하위 분야입니다. 이전의 해석 가능한 방법과 달리 메커니즘 해석은 신경망을 리버스 엔지니어링하여 모델의 동작 메커니즘을 이해하려고 시도합니다.

현재 이러한 유형의 방법은 대형 모델의 거동 및 구조적 기능을 설명하는 데 적용되고 있습니다.

"우리에게 큰 영감을 준 연구 중 하나는 미국의 Allen Institute for Artificial Intelligence와 이스라엘의 Bar-Ilan University의 연구원들이 Transformer 피드포워드 계층을 탐색한 것입니다[4]."

본 연구에서는 대형 모델이 다음 어휘 단위를 예측하는 과정에서 모델의 Transformer 피드포워드 계층이 어휘 공간에서 관련 개념을 지속적으로 강화하여 예측을 구축한다는 사실을 발견했습니다. 이 개념 강화는 Transformer 피드포워드 계층의 뉴런을 활성화하여 달성됩니다.

"메커니즘 수준에서의 이러한 발견은 우리의 추측에 영감을 주었습니다. CoT가 산술 추론에서 대형 모델의 능력을 자극할 수 있는 이유는 이것이 Transformer 피드포워드 계층에서 산술 추론 개념을 나타내는 뉴런을 효과적으로 활성화할 수 있기 때문일 수 있으며, 이러한 뉴런은 강화하는 데 도움이 됩니다. 연구팀은 “대형 모델의 산술 추론 능력이 중요하다”고 말했다.

연구팀은 이를 바탕으로 대형 모델, 특히 소형 대형 모델의 산술 추론 능력을 직접적으로 강화할 수 있는 메커니즘이 있는지 고민했다.

연구팀은 “소규모 대형 모델이 특유의 계산 효율성과 경제성, 보안성을 누리고 있다는 점에서 매우 의미 있는 일”이라고 말했다.

또한 같은 기간에는 고품질 데이터를 수집하거나 학습 목적 함수를 수정하여 특정 분야나 작업에서 소규모 대형 모델의 성능을 향상시키는 연구도 있었습니다. 그러나 이와 관련하여 기계적 해석 가능성의 적용은 아직 초기 단계에 있습니다.

그럼에도 불구하고, 팀의 과학 연구 과정은 순조롭게 진행되지 않았고, 심지어 초반에는 '막히는' 상황에 직면하기도 했습니다.

그 중 가장 큰 어려움은 산술 추론을 위한 대형 모델의 내부 메커니즘을 완전히 이해하지 못하고 당연히 원하는 모델 제어를 달성할 수 없다는 점입니다.

Yao Ziyu는 "그래서 논문의 첫 번째 저자인 내 학생 Lai와 나는 먼저 대형 모델의 산술 추론을 설명하는 데 집중하기로 결정했습니다."라고 말했습니다.

그러나 그들은 곧 다음 어려움에 직면했습니다.

"산술 추론"은 매우 추상적인 개념이며, 대규모 모델의 예측은 특정 어휘 단위 수준에서 수행됩니다.

"어휘 공간에서 뉴런의 개념적 강화"라는 관점에서 대형 모델의 산술 추론 능력을 이해하려면 먼저 이 고도로 추상적인 개념을 특정 어휘 수준 개념에 구현해야 합니다.

이러한 격차를 해소하기 위해 연구 그룹은 먼저 산술 연산자, 산술 추론의 논리적 언어 표현 및 기타 산술 컴퓨팅 개념을 포함하여 산술 추론과 관련된 여러 하위 수준 개념을 요약했습니다.

그리고 GPT-4를 사용하여 이러한 하위 수준 개념을 표현하는 뉴런에 효율적으로 레이블을 지정하고 검색합니다. 그런 다음 검색된 뉴런을 검증하기 위해 이전 연구를 참조했습니다.

"실험 결과는 이러한 뉴런이 우리 실험의 대규모 모델에서 실제로 중요한 역할을 한다는 것을 증명한다고 연구팀은 말했습니다."

이는 또한 이 방향으로 계속 탐색할 수 있는 더 많은 자신감을 줍니다.

그들은 이전 연구에서 관찰된 여러 현상을 설명하는 것을 포함하여 대형 모델의 산술 추론 능력에 대한 CoT의 효과를 균일하게 설명하기 위해 이러한 뉴런의 활성화 상태를 사용하는 것을 생각했습니다.

결과는 기본적으로 그들의 추측을 검증했습니다. 즉, 대형 모델의 산술 추론 능력에 대한 CoT의 다양한 구성 요소의 자극 효과는 관련 뉴런의 활성화로 설명될 수 있습니다.

그러나 연구에서는 신경세포 활성화가 대형 모델의 산술 추론 성능을 모두 설명하지 못한다는 점도 지적했다. 동시에 Llama2에 대한 연구진의 연구 결과가 다른 대규모 모델 그룹에도 적용 가능한지 여부에 대해서도 추가 검증이 필요합니다.

또한 Yao Ziyu의 연구실에는 현재 2025년 가을에 입학할 수 있는 완전 학자 수여 박사 학위 자리가 다수 있는 것으로 알려졌습니다. 자세한 내용은 팀 홈페이지 https://ziyuyao.org/ 확인 및 이메일로 문의해 주시기 바랍니다.

참고자료:

1. 웨이, 제이슨, 쉬에지 왕, 데일 슈르만스, 마르텐 보스마, 페이 시아, 에드 치, 콰크 V. 레, 데니 저우. Chain-of-thought prompting elicits reasoning in large language models.Advances in neural information processing systems 35 (2022): 24824-24837.https://doi.org/10.48550/arXiv.2201.11903

2. Daking，Rai，Ziyu, Yao，LLM의 산술적 추론을 이끌어내는 사고의 사슬을 설명하기 위한 통합 렌즈로서의 신경 활성화에 대한 연구.arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3. OpenAI. Superalignment 소개. https://openai.com/index/introducing-superalignment/. 2023.

4. Geva, Mor, Avi Caciularu, Kevin Wang, Yoav Goldberg. Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space. InProceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 30-45. 2022.https://arxiv.org/abs/2203.14680

조판: 추지아시(Chu Jiashi)

01/

02/

03/

04/

05/