die neue forschung des akademikers yao qizhi zu großen modellen hat das problem „was ist größer, 9,11 oder 9,8?“ gelöst.
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
der artikel ist in qubit (qbitai) nachgedruckt.
autor: westwindder akademiker yao qizhi übernimmt die führung und führt ein neues argumentationsrahmen für große modelle ein. die cot-„krone“ kann nicht länger halten.schlagen sie ein gedankendiagramm vor, um große modelle dazu zu bringen, mehr wie menschen zu denken.das team liefert eine mathematische grundlage für diesen denkprozess und formalisiert dot durch die topos-theorie, um seine logische konsistenz und rationalität sicherzustellen.im vergleich zu cot, das den denkprozess als lineare abfolge ausdrückt, kann dot die komplexität menschlichen denkens besser erfassen.im vergleich zur einführung der zweigstrukturen tot und got ist dot nicht auf externe kontrollmechanismen oder die zusammenarbeit mehrerer modelle angewiesen, und schulung und bereitstellung sind einfacher.das geheimnis besteht darin, dass dot iterative inferenz in llm als aufbau eines gerichteten azyklischen graphen (dag) innerhalb eines einzigen modells modelliert.dag besteht aus knoten, die vorschläge, kritiken, verfeinerungen und überprüfungen darstellen. die kanten stellen die logischen beziehungen oder abhängigkeiten zwischen ihnen dar. die kanten haben richtungen und es gibt keine kreisförmigen pfade.diese azyklische funktion stellt sicher, dass der argumentationsprozess nicht durch zirkuläre abhängigkeiten beeinträchtigt wird und eine vernünftige logische ableitung besser widerspiegeln kann.fragen wie „welches größer ist, 9,11 oder 9,8“ und wie viele „r“ es in erdbeere gibt, werden alle mit hilfe von dot gelöst.diese studie erhielt große aufmerksamkeit, nachdem sie vorgeschlagen wurde.internetnutzer haben zum ausdruck gebracht, dass dies der richtige weg ist.hör auf, hör auf, hör auf
schauen wir uns genauer an, wie dot aussieht.ein neuer rahmen für komplexes denken in großen modellen
wie bereits erwähnt, modelliert dot den prozess des logischen denkens als aufbau eines gerichteten azyklischen graphen (dag) innerhalb eines einzelnen llm.in seinem rahmen werden drei schlüsselrollen verwaltet:antragsteller: vorschläge oder argumentationsschritte generieren, neue knoten hinzufügen.
kritiker: bewerten sie vorschläge, identifizieren sie fehler, inkonsistenzen oder logische irrtümer und fügen sie kritikpunkte hinzu.
zusammenfassung: fassen sie die verifizierten aussagen zu einer kohärenten denkkette zusammen und führen sie effektiv die topologische art von dag durch, um die endgültige argumentationsausgabe zu erzeugen.
diese drei rollen verwenden spezielle tokender argumentationsprozess beginnt damit, dass der antragsteller einen vorschlag einbringt und der dag einen knoten hinzufügt.es liegt dann an den gutachtern, zu bewerten, zu bestätigen oder kritik zu üben. wenn kritik geübt wird, wird ein neuer knoten hinzugefügt und eine grenze zwischen dem vorschlag und der kritik hergestellt.basierend auf der kritik generiert der antragsteller einen verfeinerten und verbesserten vorschlag, der als neuer knoten im dag dargestellt wird.diesen prozesswiederholen,。sobald hinreichend gültige aussagen vorliegen, fasst der zusammenfassende diese überlegungen zusammen und sortiert die dag topologisch, um eine kohärente gedankenkette zu erzeugen.indem das modell sowohl korrekten als auch falschen überlegungen ausgesetzt wird, ermöglicht dot dem llm, aus seinen fehlern zu lernen und seine argumentation im laufe der zeit zu verfeinern, ähnlich wie menschen probleme lösen.dieser ansatz erfasst nicht nur die nichtlineare und iterative natur des denkens, sondern liefert durch die kritik natürlicher sprache auch ein umfassenderes feedback als binäre signale.das training des dot umfasst die verwendung von trainingsbeispielen, die in der dot-struktur formatiert sind, einschließlich rollenspezifischer token und dag-darstellungen. während der argumentation generiert das modell vorschläge, kritiken und zusammenfassungen auf der grundlage kontextbezogener hinweise und rollenspezifischer token.dieser ansatz vereinfacht die bereitstellung und macht eine multi-llm-zusammenarbeit oder externe kontrollmechanismen überflüssig. gleichzeitig bleibt er mit den standard-llm-schulungsparadigmen konsistent und ermöglicht eine einfache integration in bestehende arbeitsabläufe.der autor stellt außerdem eine strenge mathematische grundlage für das dot-framework bereitder argumentationsprozess wird formal beschrieben.in diesem rahmen werden aussagen als unterobjekte von endobjekten in der topologie modelliert, logische beziehungen und argumentationsschritte werden als morphismen dargestellt und die kritik- und verbesserungsprozesse entsprechen morphismen von unterobjektklassifikatoren bzw. morphismen zwischen aussagen.durch die einführung der prenet-kategorie gelang es ihnen auch, die dynamische und gleichzeitige natur des inferenzprozesses erfolgreich zu erfassen.diese mathematische grundlage stellt nicht nur die logische konsistenz und vollständigkeit des argumentationsprozesses sicher, sondern bietet auch einen konzeptionellen rahmen für die gestaltung der nächsten generation von ki-modellen speziell für das denken.unter der leitung von yao qizhi und yuan yang von der tsinghua-universität
dieser artikel wurde von yao qizhi und yuan yang vom tsinghua institute of interdisciplinary information geleitet. der erstautor des artikels ist zhang yifan.zhang yifan schloss 2021 sein studium mit einem bachelor abyuanpei college der peking-universität, ist derzeit doktorand an der school of interdisciplinary information der tsinghua-universität und studiert bei assistenzprofessor yuan yang.seine hauptforschungsrichtungen sind die theorie und algorithmen grundlegender modelle (große sprachmodelle), selbstüberwachtes lernen und vertrauenswürdige künstliche intelligenz.yuan yang ist assistenzprofessor und doktorvater an der school of interdisciplinary information der tsinghua-universität.er schloss 2012 sein studium an der informatikabteilung der peking-universität ab, promovierte 2018 in informatik an der cornell university in den vereinigten staaten und arbeitete als postdoktorand an der school of big data science am massachusetts institute der technologie.seine hauptforschungsrichtungen sind intelligente medizinische versorgung, ki-interpretierbarkeit und ki-großsysteme. er hat zahlreiche forschungserfolge in den bereichen nichtkonvexe optimierungstheorie, theorie der neuronalen netzwerkoptimierung und mechanismusdesign erzielt.yao qizhi ist akademiker der chinesischen akademie der wissenschaften und direktor des instituts für interdisziplinäre information an der tsinghua-universität.turing-preis„der erste asiatische wissenschaftler, der den preis seit seiner gründung gewonnen hat, und der einzige chinesische informatiker, der diese auszeichnung bisher erhalten hat.“professor yao qizhi trat 2004 als ordentlicher professor aus princeton zurück und kehrte 2005 nach tsinghua zurück, um zu unterrichten. er gründete die „yao class“, eine experimentelle informatikklasse für tsinghua-studenten „ und das „interdisciplinary information research institute“; im jahr 2019 gründete er 2008 einen kurs für künstliche intelligenz für tsinghua-studenten, der als „smart class“ bezeichnet wird.heute ist das von ihm geleitete interdisziplinäre informationsinstitut der tsinghua-universität seit langem bekannt. yao class und zhiban sind beide dem interdisziplinären informationsinstitut angeschlossen.zu den forschungsinteressen von professor yao qizhi gehören algorithmen,kryptographie、quantencomputingetc. sind internationale pioniere und autoritäten auf diesem gebiet.noch etwas
ungefähr zur gleichen zeit vor einem jahr leitete akademiker yao qizhi den vorschlagkumulative argumentation(cumulative reasoning, cr)-methode.dot ist eine weitere vertiefung von cr.zu dieser zeit koordinierte cr einen iterativen prozess, an dem große sprachmodelle unterschiedlicher spezialisierung beteiligt waren, wobei verschiedene modelle die rollen des antragstellers, prüfers und reporters übernahmen.dot hingegen erstellt direkt einen gerichteten azyklischen graphen innerhalb eines einzelnen modells und ist nicht auf externe kontrollmechanismen oder mehrere modelle angewiesen, was training und bereitstellung einfacher macht.und in dot erfolgt das vom modell generierte kritische feedback in form natürlicher sprache und nicht nur in form eines binären signals wie cr. dadurch erhält das modell detaillierte erklärungen zu fehlern und trägt so dazu bei, vorschläge effektiver zu verbessern.dieses mal verfügt dot auch über eine starke mathematische grundlage, die die beziehung zwischen dem argumentationsprozess von dot und der kategorialen logik verdeutlicht und so die konsistenz und zuverlässigkeit des theoretischen denkens gewährleistet.
