2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Jin Lei의 서풍은 Aofei Temple에서 시작됩니다.
Qubits 공개 계정 QbitAI
칭화대학교 야오학급 최우수학생야오순위, OpenAI에 합류했다고 공식 발표했습니다.
그러나 그러한 짧은 메시지는 서클에 있는 모든 사람들의 관심과 축복을 끌었습니다. 와서 다음과 같은 느낌을 느껴 보십시오.
그 중에는 OpenAI 최첨단 연구 소장, 미국 IOI 코치 등이 많다.마크 첸, AI 분야의 교수, 투자자 등이 있습니다.
그렇다면 야오순위는 왜 그렇게 많은 주목을 받는가?
그의 과거 이력서를 보면 다음과 같은 키워드를 추출할 수 있다.
△야오순위, 사진 출처: 개인 홈페이지
그러나 Yao Shunyu가 대중의 주목을 받게 된 것은 상대적으로 밝은 이력서 외에도 그의 많은 과학 연구 업적입니다.
거의 모든 연구가 그 순환계에 상당한 파급력을 일으켰다고 해도 과언이 아니며, 그것들이 모두 깊은 주변에 있다는 것은 매우 분명합니다.대형 모델그리고 펼쳐보세요.
이는 Yao Shunyu의 공식 발표 문장과도 일치할 수 있습니다.
이제 연구 비전을 현실로 바꿔야 할 때입니다.
이 "연구 비전"에 대해 계속해서 자세히 살펴 보겠습니다.
야오순우 홈페이지, 특히 논문연구 코너를 보면 아주 자주 등장하는 문구를 찾는 것은 어렵지 않다——언어 에이전트。
그의 X 홈페이지에 포함된 프로필의 첫 번째 문장도 Language Agents입니다.
그리고 이것은 그의 박사학위 논문 제목이기도 하다.언어 에이전트: 다음 토큰 예측부터 디지털 자동화까지。
언어 에이전트, 즉언어 대리인, 새로운 유형의 에이전트를 제안한 사람은 Yao Shunyu였습니다.
기존 에이전트와 달리 이 방법은 에이전트의 추론과 행동에 언어 모델을 사용하여 에이전트가 실현하도록 하는 데 중점을 둡니다.디지털 자동화（디지털 자동화）。
구체적인 구현 방법에는 다음과 같은 세 가지 핵심 기술(모두 독립적인 논문 포함)이 있습니다.
ReAct를 예로 들면, 언어모델의 행위공간을 행위세트와 언어공간의 결합으로 확장시키는 연구이다.
언어 공간의 행동(예: 사고 또는 추론 궤적)은 외부 환경에 영향을 미치지 않지만 현재 컨텍스트에 대한 추론을 통해 컨텍스트를 업데이트할 수 있으며 미래의 추론 또는 행동을 지원할 수 있습니다.
예를 들어, 아래 그림의 대화에서 ReAct 메서드를 사용하면 에이전트가 "아이디어 생성 → 실행 → 결과 관찰" 과정을 순환하도록 안내할 수 있습니다.
이런 방식으로 추론의 궤적과 작동이 결합될 수 있어 모델이 동적 추론을 수행할 수 있게 되어 에이전트의 의사 결정과 최종 결과가 더 좋아질 수 있습니다.
ReAct 메소드를 에이전트에게 맡기는 것으로 요약하면“행동할 이유”, 다음 방법은생각하는 나무, 그러면 초점은 상담원이“계획을 세우는 이유”。
사고 트리는 트리 구조에 대한 검색으로 문제를 나타냅니다. 각 노드는 부분적인 솔루션을 나타내는 상태이며 분기는 상태를 수정하는 작업에 해당합니다.
이는 주로 다음 네 가지 문제와 관련됩니다.
'24점' 게임에 사고나무를 적용해 기존 CoT(Chain of Thinking)에 비해 정확도가 대폭 향상됐다.
Language Agents의 마지막 핵심 기술은 다음과 같습니다.코알라는 언어 에이전트를 구성하고 설계하기 위한 개념적 프레임워크입니다.
아래 구조도를 보면 크게 정보저장, 행동공간, 의사결정의 세 가지 모듈로 나누어진다.
정보 저장이란 언어 에이전트가 단기 작업 기억과 장기 기억(예: 의미 기억, 일화 기억, 절차 기억)을 포함한 여러 메모리 모듈에 정보를 저장한다는 것을 의미합니다.
이러한 메모리 모듈은 감각 입력, 지식, 경험 등과 같은 다양한 유형의 정보를 저장하는 데 사용되며 에이전트의 의사 결정 과정에서 역할을 합니다.
또한 CoALA는 에이전트의 행동 공간을 외부 행동과 내부 행동으로 구분합니다. 외부 행동은 로봇 제어, 인간과의 통신, 디지털 환경에서의 작업 수행 등 외부 환경과의 상호 작용을 포함합니다.
내부 작업은 추론, 검색, 학습과 같은 작업을 포함하여 에이전트의 내부 상태 및 메모리와 상호 작용합니다.
결국 언어 에이전트는 의사결정 과정을 통해 수행할 작업을 선택하게 되며, 이 과정에서도 다양한 요인과 피드백을 바탕으로 최적의 솔루션을 찾게 됩니다.
그 외에도 오픈소스 AI 프로그래머 같은 직업도 있어요SWE 에이전트등도 널리 퍼져있습니다.
하지만 야오순우의 수많은 과학 연구 주제에서 언어 에이전트 외에도 그가 추구하는 또 다른 키워드를 볼 수 있습니다.컴퓨팅적 사고。
이는 실제로 그가 학부생이었을 때 밝혀졌습니다.
야오 순위는 프린스턴 대학에서 컴퓨터 과학 박사 학위를 취득하기 전, 2015년 4학년인 칭화 대학의 2019년 각종 유형의 개막식에서 재시험 후보자들과 칭화 대학에서의 학습 및 성장 경험을 공유했습니다. 독립선발 재심사.
관련 내용은 그가 쓴 '칭화대 야오 수업에서 무엇을 배웠는가? 야오순위: 세상을 바꾸기에 충분하다'라는 제목의 글에 기록되어 있다.
당시 그는 이론적, 실무적 측면 모두에서 컴퓨팅 사고력을 공유하는 데 중점을 두었고, 4년 후 느낀 점을 밝혔다.가장 큰 이득은 컴퓨팅 사고력입니다.：
우리는 지금 이론적으로 불가능한 일들을 많이 보고 있습니다. 소위 이론이 실천을 안내한다는 것은 시스템의 능력의 한계와 사물의 어려움을 높은 수준에서 이해하고, 무엇을 할 수 있고 무엇이 의미있는지를 선택해야 한다는 것이 더 의미가 있다고 생각합니다.
밝고 쾌활한 소년이라는 꼬리표에 갇힌 Yao Shunyu는 또한 칭화 남부 침투 프로그램을 위해 아르헨티나로 간 경험을 공유했습니다.
아르헨티나 아이들을 만났습니다...영어는 보편적으로 사용되지 않고 아르헨티나인들은 스페인어를 사용합니다. 한때 스페인어를 배우려고 했으나 컴퓨터 공부를 하다 구글 번역을 꺼낸 탓에 포기했습니다. 나는 그들에게 베이징의 자금성과 만리장성에 대해 이야기했습니다.
△출처: 칭화대 입학 공식 계정
그의 견해에 따르면, 이 시대에는 컴퓨팅이 어떤 학문과도 결합될 수 있고, 세상은 넓고, 칭화대에서는 원하는 것은 무엇이든 할 수 있습니다.
야오슌위(Yao Shunyu)에 대해 이야기한 후, 야오 클래스 중 또 누가 대형 모델 작업을 하고 있습니까?
제가 언급해야 할 것은마텡규그리고첸 단치。
두 사람은 당시 동창이었고, 2008년 칭화야오급 동문이었고, 이후 둘 다 '노벨상 트렌드 베인'으로 알려진 슬론상을 수상했다.
Ma Tengyu 박사는 프린스턴 대학교에서 수학했으며, 그의 멘토는 이론 컴퓨터 과학자이자 괴델상을 두 번이나 수상한 Sanjeev Arora 교수였습니다.
박사 학위를 졸업한 후 MIT, 하버드, 스탠포드 등 일류 대학에서 모두 그에게 조교수 자리를 제안했고, 마텡위는 마침내 스탠포드를 선택했습니다.
마텡위는 지난해 말 대규모 모델 스타트업인 Voyage AI의 창립을 공식 발표하기도 했다. 특정 분야나 기업.
스탠포드 인공지능연구소 크리스토퍼 매닝(Christopher Manning) 소장과 AI 분야 중국 유명 학자 리페이페이(Li Feifei) 등 3명의 교수가 Voyage AI의 학술 자문을 맡고 있다.
Chen Danqi는 Tsinghua Yao Ban에서 학부 과정을 마친 후 2018년에 스탠포드 대학교에서 NLP에 중점을 두고 박사 학위를 취득했으며, 결국 프린스턴 대학교 컴퓨터 공학과의 조교수이자 프린스턴 언어학과의 부국장이 되었습니다. Princeton NLP 그룹을 공동으로 이끄는 Intelligence Project.
그의 개인 홈페이지에는 “요즘은 주로 대형 모델 개발에 매력을 느낀다”고 나와 있으며, 그가 연구하고 있는 주제는 다음과 같다.
Chen Danqi 팀의 대규모 모델 작업과 큐비트도 계속해서 주목을 받고 있습니다.
예를 들어, 대형 모델에 대해 제안된 비용 절감 방법인 데이터 선택 알고리즘 LESS는 명령 미세 조정 작업에 가장 관련성이 높은 데이터 중 5%만 선택하므로 전체 데이터 세트를 사용하는 것보다 좋습니다.
지침 미세 조정은 기본 모델을 ChatGPT 보조 모델로 만드는 핵심 단계입니다.
인기 있는 "알파카 쉬어링" 방법을 제안했습니다. LLM-Shearing 대형 모델 가지치기 방법은 SOTA를 얻기 위해 계산량의 3%와 비용의 5%만 사용하여 오픈 소스 대형 모델의 1B-3B 규모를 장악했습니다.
이 두 사람 외에도 업계와 학계에서 대형 모델을 연구하는 야오 클래스 동문이 많이 있다.
인터넷상에서 큰 인기를 끌었던 빅모델 네이티브 어플리케이션이 "완료되었습니다!" "나는 빅 모델들에게 둘러싸여 있다"와 그 속편 "나는 빅 모델을 깨뜨렸다"는 야오 클래스의 우수 학생들이 이끄는 팀에 의해 개발되었습니다.
게임 제작자판하오창 , Megvii 직원 번호 6. 당시 IOI 금메달, 칭화야오반 추천, 고등학교 2학년 연습생 등 전설적인 업적으로 천재소년이라는 찬사를 받았다. 이제 그는 Megvii Technology의 연구 총괄 관리자이자 Google Scholar h-index 32의 업계 리더입니다.
Musk의 xAI의 첫 번째 연구 결과인 Tensor Programs VI에는 Yao 클래스 동문도 공동 작업에 포함되어 있습니다.
Tensor Programs VI는 xAI의 창립 멤버이자 Shing-tung Yau의 제자인 Greg Yang의 이전 Tensor Programs 시리즈 작업의 연속이며, 이 논문은 "무한하게 깊은 네트워크를 훈련하는 방법"에 중점을 둡니다.
Tensor Programs 관련 결과가 GPT-4에 적용되었다고 합니다. 논문 해석을 위해 양씨가 직접 X에서 생방송을 진행하기도 했다.
협력딩리 유, Tsinghua University의 Yao Class에서 학사 학위를 취득했습니다. 현재 Dingli Yu는 Princeton 컴퓨터 공학과에서 박사 학위를 취득할 예정입니다.
더 많아요, 더 많아요......
이번 야오슌위의 OpenAI 채용 이야기를 하자면, OpenAI의 채용 노력은 여전히 계속되고 있습니다.
OpenAI 엔지니어 Karina Nguyen이 최신 채용 게시물을 공개했습니다.
- OpenAI 모델 행동팀에서 채용 중입니다! 디자인 엔지니어링과 교육 후 연구를 결합한 꿈의 직위이며, 세계에서 가장 희귀한 직업입니다❤️
- RLHF/RLAIF와 같은 정렬 방법을 사용하여 모델 핵심 동작을 정의하여 기본 가치를 반영하고 AGI의 창의적 지능을 향상시킵니다. 이러한 결과를 통해 우리는 제품 + 모델 설계 및 엔지니어링 팀과 협력하여 수백만 명의 사용자에게 영향을 미칠 AI 인터페이스 및 상호 작용의 새로운 모델을 만듭니다.
흥미로운 점은 Karina Nguyen이 실제로 이전에 Anthropic AI(Claude 팀)의 연구원이었다는 것입니다. 그녀는 작년 5월에도 Think Chain의 저자인 OpenAI의 Jason Wei와 함께 X(이전 Twitter)에서 프롬프트 단어 결투에 참여했습니다. 기초 종이”.
Karina Nguyen이 이렇게 빨리 OpenAI로 전환할 것이라고는 예상하지 못했습니다…
그런데 어제 Google DeepMind 연구원 Thibault Sottiaux도 OpenAI에 고용되었다는 소식이 전해졌습니다.
아시다시피 Thibault Sottiaux는 원본 Gemini 및 Gemini 1.5와 같은 논문의 핵심 기고자였습니다.
이는 현재 대형 모델 트랙이 얼마나 인기가 있는지를 보여줍니다. 회사는 트랙을 놓고 경쟁하고 있으며 사람들은 사람을 위해 경쟁하고 있습니다.
야오순위와 같은 해에 칭화대를 졸업한 야오순위가 두 명 더 있었습니다!
2019년 야오순위 학생 3명이 졸업하자 칭화대 관계자는 웨이보에 이들 3명의 단체 사진을 올렸다.
현재 OpenAI에 합류한 야오순위 외에 또 다른 야오순위가 있다.인문학부일본어를 전공하는 소녀.
또 다른 야오순위는 야오순이다유, 에서물리학과그는 2018년 학부특별상을 수상했다. 학부 기간 동안 물리학 최고 저널인 PRL(Physical Review Letters)에 제1저자로 2편의 논문을, PRB(Physical Review B)에 1편의 논문을 게재했다.
참조 링크:
[1]https://x.com/ShunyuYao12/상태/1818807946756997624
[2]https://ysymyth.github.io
[3]https://x.com/카리낭구옌_/상태/1819082842238079371
[4]https://weibo.com/1676317545/HCR7yuXAl?refer_flag=1001030103_
