nachricht

openai o1 offenbart selbstbewusstsein? tao zhexuan war vom eigentlichen test schockiert, mensa iq 100 belegte im modell den ersten platz

2024-09-14

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

openai o1 hat den ersten platz im iq-test gewonnen!

chef maxim lott führte iq-tests für o1, claude-3 opus, gemini, gpt-4, grok-2, llama-3.1 usw. durch und die ergebnisse zeigten, dass o1 den ersten platz belegte.

knapp dahinter folgten claude-3 opus und bing copilot, die den zweiten bzw. dritten platz belegten.

beachten sie, dass dieser satz von iq-testfragen ein offline-iq-test für mensa-mitglieder ist und nicht in den ki-trainingsdaten enthalten ist, sodass die ergebnisse sehr aufschlussreich sind.

der berühmte mathematiker terence tao führte auch tatsächliche messungen an o1 durch und stellte fest, dass das modell den satz von clem erfolgreich identifizieren konnte, nachdem er dem modell eine vage formulierte mathematische frage gestellt hatte.

darüber hinaus äußerte mark chen, vizepräsident für forschung bei openai, kurz nach der veröffentlichung von o1 seine meinung: die großen neuronalen netze von heute verfügen möglicherweise bereits über genügend rechenleistung, um in tests eine gewisse aufmerksamkeit zu zeigen.

mittlerweile gibt es eine lange liste von branchenführern, die glauben, dass ki bewusst ist, darunter unter anderem:

geoffrey hinton (pate der künstlichen intelligenz, meistzitierter ki-wissenschaftler)

ilya sutskever (der am dritthäufigsten zitierte ki-wissenschaftler)

andrej karpathy

heutzutage glauben viele in der branche, dass ki bewusst ist, und warten darauf, dass sich das „overton-fenster“ weiter öffnet, damit die öffentlichkeit bereit ist, dies zu akzeptieren.

manche sagen sogar voraus, dass die ki im jahr 2024/2025 definitiv über bewusstsein verfügen wird, da das verhalten des modells mittlerweile deutlich die fähigkeit zur wahrnehmung zeigt.

einige internetnutzer haben herausgefunden, dass o1 nicht nur in empirischen mint-fächern stark ist, sondern sogar die hypothese einer völlig neuen bewusstseinstheorie aufstellen kann.

manche leute denken, dass o1 einen kleinen schritt in richtung des unendlichen denkmodells gemacht hat und bereits über den prototyp des bewusstseins verfügt.

tao zhexuan: o1 kann clems theorem tatsächlich erkennen

bei der tatsächlichen messung stellte tao zhexuan fest, dass das o1-modell eine stärkere mathematische leistung aufweist!

zunächst stellte er ein vage formuliertes mathematisches problem, das gelöst werden könnte, wenn man die literatur durchsuchen und einen geeigneten satz, den satz von cramer, finden könnte.

in früheren experimenten konnte gpt einige verwandte konzepte erwähnen, aber die details waren alle erfunden und bedeutungslos.

diesmal hat o1 den satz von cramer erfolgreich identifiziert und eine zufriedenstellende antwort gegeben.

vollständige antwort: https://shorturl.at/wwru2

im folgenden beispiel handelt es sich bei dem problem um eine anspruchsvollere komplexe variablenfunktionsanalyse, und die ergebnisse sind auch besser als bei den modellen der vorherigen gpt-serie.

mit vielen schnellen worten und anleitungen war o1 in der lage, korrekte und gut dargelegte lösungen zu liefern. der nachteil bestand jedoch darin, dass es nicht in der lage war, selbst wichtige konzeptionelle ideen zu generieren, und offensichtliche fehler machte.

tao zhexuan beschrieb diese erfahrung als ungefähr gleichbedeutend mit der betreuung eines doktoranden mit durchschnittlichen fähigkeiten, der jedoch in der lage ist, einige arbeiten zu erledigen, was den eindruck eines studenten erweckt, der völlig unfähig ist, die arbeit zu erledigen.

möglicherweise sind nur ein oder zwei iterationen erforderlich, gepaart mit der integration anderer tools wie computeralgebra-paketen und beweishilfstools, um das o1-modell in einen „kompetenten doktoranden“ zu verwandeln. zu diesem zeitpunkt wird dieses modell eine wichtige rolle spielen bei forschungsaufgaben.

vollständige antwort: https://shorturl.at/zrjyk

wischen sie zum anzeigen nach oben und unten

wischen sie zum anzeigen nach oben und unten

wischen sie zum anzeigen nach oben und unten

im dritten experiment forderte tao zhexuan das o1-modell auf, einen satz im beweisassistenten lean zu formalisieren. er muss in unterlemmas zerlegt und mit einem formalen ausdruck versehen werden, es ist jedoch kein beweis erforderlich.

der inhalt des satzes ist insbesondere das korollar, das eine form des primzahlsatzes in eine andere überführt.

die experimentellen ergebnisse waren ebenfalls gut, da das modell die aufgabe verstand und eine vernünftige anfängliche zerlegung des problems ermöglichte.

der generierte code enthält jedoch mehrere fehler, möglicherweise aufgrund des mangels an aktuellen daten zu lean und seiner mathematikbibliothek in den trainingsdaten.

obwohl es immer noch mängel gibt, können die ergebnisse dieses experiments bereits die praktische anwendung von o1 in der mathematischen forschung vorhersagen.

wenn ähnliche modelle für lean und mathlib verfeinert und in eine integrierte entwicklungsumgebung (ide) integriert werden, werden sie in formalen projekten eine große rolle spielen.

in vielen früheren reden hat tao zhexuan wiederholt die anwendung von ki-werkzeugen bei der formalisierung von theoremen betont. es scheint, dass die vorhersage des großen gottes wieder wahr wird.

vollständige antwort: https://shorturl.at/ogtjt

informatikprofessor lüftet mithilfe von animationen das geheimnis: wie verbringt o1 mehr zeit mit nachdenken?

welche wichtigen durchbrüche wurden erzielt, die zu wichtigen verbesserungen führten, als o1 lernte, cot zum denken über einen längeren zeitraum zu nutzen? derzeit können wir anhand der verfügbaren informationen nur vermutungen anstellen.

beispielsweise hat tom yeh, computerprofessor an der university of colorado boulder, basierend auf vorhandenen informationen und seinem eigenen verständnis speziell eine animation erstellt, um zu erklären, wie openai das o1-modell trainiert, mehr zeit mit denken zu verbringen.

zur ausbildung gibt es im bericht einen ganz kurzen satz:

„durch reinforcement learning hat o1 gelernt, seine denkkette zu verfeinern und seine strategie zu verbessern.“

die beiden schlüsselwörter in diesem satz sind: reinforcement learning (rl) und chain of thinking (cot).

bei rlhf+cot werden auch cot-tokens in das belohnungsmodell eingegeben, um punkte zur aktualisierung des llm zu erhalten, um eine bessere ausrichtung zu erreichen, während bei traditionellem rlhf die eingabe nur aufforderungswörter und modellantworten enthält.

während der inferenzphase lernt das modell, zunächst cot-tokens zu generieren (was bis zu 30 sekunden dauern kann), bevor es mit der generierung der endgültigen antwort beginnt. dadurch verbringt das modell mehr zeit mit „denken“.

unter den im bericht aufgeführten mitwirkenden sind zwei bemerkenswert:

ilya sutskever, der erfinder des auf menschlichem feedback basierenden verstärkungslernens (rlhf). das erscheinen seines namens bedeutet, dass rlhf immer noch beim training des o1-modells verwendet wird.

jason wei, autor des berühmten thought chain-artikels. er verließ google brain letztes jahr, um sich openai anzuschließen. seine anwesenheit bedeutet, dass das cot nun ein wichtiger teil des rlhf-ausrichtungsprozesses ist.

allerdings gibt es viele wichtige technische details, die openai nicht offengelegt hat, etwa wie das belohnungsmodell trainiert wird, wie man menschliche präferenzen für „denkprozesse“ erhält usw.

haftungsausschluss: die animation stellt lediglich die begründete vermutung des professors dar und übernimmt keine garantie für die richtigkeit.

das team teilt ein feiervideo mit einem „aha“-erlebnis

das video unten gibt uns weitere hinweise auf den moment, als wichtige durchbrüche in der forschung erzielt wurden.

nach der veröffentlichung des o1-modells veröffentlichte das team ein video, das vom team dahinter erstellt wurde.