대형 모델에 대한 학자 yao qizhi의 새로운 연구는 "9.11과 9.8 중 어느 것이 더 큽니까?"라는 문제를 해결했습니다.
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
이 기사는 qubit(qbitai)에 재인쇄되었습니다.
작가 : 웨스트 윈드학자 yao qizhi가 주도하여 대형 모델을 위한 새로운 추론 프레임워크를 시작합니다. cot "왕관"은 더 이상 버틸 수 없습니다.대형 모델이 인간처럼 생각하도록 생각 다이어그램을 제안합니다.팀은 이러한 추론 과정에 대한 수학적 기초를 제공하고 topos 이론을 통해 dot를 공식화하여 논리적 일관성과 합리성을 보장합니다.추론 프로세스를 선형 시퀀스로 표현하는 cot와 비교할 때 dot는 인간 추론의 복잡성을 더 잘 포착할 수 있습니다.분기 구조 tot 및 got의 도입과 비교하여 dot는 외부 제어 메커니즘이나 여러 모델의 협력에 의존할 필요가 없으며 교육 및 배포가 더 간단합니다.그 비밀은 dot가 단일 모델 내에서 방향성 비순환 그래프(dag)를 구축하면서 llm의 반복 추론을 모델링한다는 것입니다.dag는 제안, 비판, 개선 및 검증을 나타내는 노드로 구성됩니다. 가장자리는 방향이 있고 순환 경로가 없습니다.이 비순환 기능은 추론 프로세스가 순환 종속성의 영향을 받지 않고 합리적인 논리적 파생을 보다 정확하게 반영할 수 있도록 보장합니다.9.11과 9.8 중에서 어느 것이 더 큰지, 딸기에 "r"이 몇 개 있는지 같은 질문은 모두 dot의 도움으로 해결됩니다.네티즌들은 이것이 옳은 길이라고 표현했습니다.dot가 어떤 모습인지 구체적으로 살펴보겠습니다.대규모 모델의 복잡한 추론을 위한 새로운 프레임워크
앞서 언급했듯이 dot는 단일 llm 내에서 dag(방향성 비순환 그래프)를 구축하는 것으로 논리적 추론 프로세스를 모델링합니다.프레임워크 내에서 세 가지 주요 역할이 관리됩니다.제안자: 제안 또는 추론 단계를 생성하고 새 노드를 추가합니다.
비평가: 명제를 평가하고 오류, 불일치 또는 논리적 오류를 식별하고 비판 노드를 추가합니다.
요약자: 검증된 명제를 일관된 사고 체인으로 합성하고 dag의 토폴로지 종류를 효과적으로 수행하여 최종 추론 결과를 생성합니다.
추론 프로세스는 제안자가 제안을 도입하고 dag에 노드를 추가하는 것으로 시작됩니다.그런 다음 비평을 평가, 검증 또는 제공하는 것은 검토자의 몫입니다. 비판이 제공되면 새로운 노드가 추가되고 명제와 비판 사이에 경계가 설정됩니다.비판을 바탕으로 제안자는 dag의 새로운 노드로 표현되는 세련되고 개선된 제안을 생성합니다.충분히 타당한 명제가 확립되면 요약자는 이러한 추론을 종합하고 dag를 위상적으로 정렬하여 일관된 생각의 사슬을 생성합니다.dot는 올바른 추론과 잘못된 추론 모두에 모델을 노출함으로써 llm이 실수로부터 학습하고 인간이 문제를 해결하는 방식과 유사하게 시간이 지남에 따라 추론을 개선할 수 있도록 합니다.이 접근 방식은 추론의 비선형적이고 반복적인 특성을 포착할 뿐만 아니라 자연어 비판을 통해 이진 신호보다 풍부한 피드백을 제공합니다.dot 교육에는 역할별 토큰 및 dag 표현을 포함하여 dot 구조로 형식화된 교육 예제를 사용하는 작업이 포함됩니다. 추론하는 동안 모델은 상황별 단서와 역할별 토큰을 기반으로 명제, 비판 및 요약을 생성합니다.이 접근 방식은 배포를 단순화하고 다중 llm 협업 또는 외부 제어 메커니즘의 필요성을 제거하는 동시에 기존 워크플로에 쉽게 통합할 수 있도록 표준 llm 교육 패러다임과 일관성을 유지합니다.저자는 또한 다음을 활용하여 dot 프레임워크에 대한 엄격한 수학적 기초를 제공합니다.추론 과정은 공식적으로 설명됩니다.이 프레임워크에서 명제는 토폴로지에서 말단 객체의 하위 객체로 모델링되고, 논리적 관계와 추론 단계는 사상으로 표현되며, 비판과 개선 과정은 각각 하위 객체 분류기의 사상과 명제 간 사상에 대응됩니다.prenet 카테고리를 도입함으로써 추론 프로세스의 동적 동시성 특성도 성공적으로 포착했습니다.이러한 수학적 기초는 추론 과정의 논리적 일관성과 완전성을 보장할 뿐만 아니라 특히 추론을 위한 차세대 ai 모델을 설계하기 위한 개념적 프레임워크를 제공합니다.청화대학교의 yao qizhi와 yuan yang이 주도
이 논문은 tsinghua institute of interdisciplinary information의 yao qizhi와 yuan yang이 주도했으며, 논문의 첫 번째 저자는 zhang yifan입니다.장이판(zhang yifan)은 2021년에 학사 학위를 취득했습니다.북경대학교 위안페이 칼리지, 현재 칭화대학교 학제간정보학부에서 박사과정을 밟고 있으며 양위안 조교수 밑에서 공부하고 있습니다.주요 연구 방향은 기본 모델(대규모 언어 모델), 자기 지도 학습, 신뢰할 수 있는 인공 지능의 이론 및 알고리즘입니다.yuan yang은 칭화대학교 학제간 정보 학부의 조교수이자 박사 지도교수입니다.2012년 북경대학교 컴퓨터공학과를 졸업하고 2018년부터 2019년까지 미국 코넬대학교에서 컴퓨터공학 박사학위를 취득했으며 매사추세츠연구소 빅데이터과학대학원에서 박사후 연구원으로 근무했습니다. 기술의.주요 연구 방향은 지능형 의료, ai 해석성, ai 대형 시스템이며, 비볼록 최적화 이론, 신경망 최적화 이론, 메커니즘 설계 분야에서 많은 연구 성과를 거두었습니다.야오치즈(yao qizhi)는 중국과학원 원사이자 칭화대학교 학제간정보연구소 소장이기도 하다.튜링 상"설립 이후 이 상을 받은 최초의 아시아 학자이자 지금까지 이 영예를 얻은 유일한 중국 컴퓨터 과학자입니다.yao qizhi 교수는 2004년에 종신 교수직을 사임하고 2005년에 tsinghua로 돌아와 강의했습니다. 그는 2011년에 tsinghua 학부생을 위한 컴퓨터 과학 실험 수업인 "yao class"를 설립했으며, "tsinghua quantum information center"를 설립했습니다. 2019년에는 2008년 칭화대 학부생을 위한 인공지능 수업인 '스마트클래스'를 개설했다.현재 그가 이끄는 칭화대학교 학제간 정보 연구소는 오랫동안 유명해졌습니다. yao class와 zhiban은 모두 학제 간 정보 연구소에 소속되어 있습니다.yao qizhi 교수의 연구 관심분야는 알고리즘,암호화、양자 컴퓨팅등은 이 분야의 국제적인 개척자이자 권위자입니다.하나 더
1년 전쯤 같은 시기에 야오치지(yao qizhi) 학자가 제안을 주도했습니다.누적 추론(누적 추론, cr) 방법.당시 cr은 제안자, 검증자, 보고자의 역할을 맡는 다양한 모델을 사용하여 다양한 전문 분야의 대규모 언어 모델과 관련된 반복 프로세스를 조정했습니다.반면, dot는 단일 모델 내에서 방향성 비순환 그래프를 직접 구축하고 외부 제어 메커니즘이나 다중 모델에 의존하지 않으므로 교육 및 배포가 더 간단해집니다.그리고 dot에서는 모델이 생성하는 중요한 피드백이 cr과 같은 이진 신호만 제공하는 것이 아니라 자연어 형태로 제공됩니다. 이를 통해 모델은 오류에 대한 자세한 설명을 받을 수 있어 제안을 보다 효과적으로 개선하는 데 도움이 됩니다.이번에 dot는 또한 dot의 추론 과정과 범주 논리 사이의 관계를 명확히 하는 강력한 수학적 기반을 갖추고 있어 이론상 추론의 일관성과 신뢰성을 보장합니다.
