große modelle beginnen zu lernen, wie menschen zu denken. wo führt der weg zur agi?
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
vor zwei monaten hat das problem der schwachen mathematischen fähigkeiten großer modelle große aufmerksamkeit erregt. viele große modelle auf dem markt können nicht einmal die einfache mathematische frage „welches ist größer, 9,11 oder 9,9?“ beantworten. zwei monate später löst die branche nach und nach das problem der eingeschränkten mathematischen fähigkeiten großer modelle.
am frühen morgen des 13. september, pekinger zeit, veröffentlichte openai ohne vorankündigung eine neue argumentationsmodellreihe, darunter drei modelle: o1-preview, o1 und o1-mini. dabei handelt es sich um das seit langem gemunkelte „strawberry project“ von openai mit erweiterten argumentationsfunktionen. laut openai schnitt die neue modellreihe in bezug auf daten und codierung gut ab und erzielte bei der qualifikationsprüfung der international mathematical olympiad (imo) eine punktzahl von 83 %.
openai ist nicht der einzige, der versucht, die grenzen der mathematischen fähigkeiten zu durchbrechen. das google deepmind-team hat außerdem zuvor das alpha-system alphaproof auf den markt gebracht, das zur lösung komplexer mathematischer probleme eingesetzt wird.
das durchbrechen der grenzen mathematischer fähigkeiten ist ein neuer schritt in der entwicklung der ki-technologie und auf dem weg zur agi (künstliche allgemeine intelligenz). laut simon see, professor an der coventry university und globaler direktor des artificial intelligence technology center von nvidia, umfassen die bemühungen der branche zur verbesserung der mathematischen fähigkeiten der ki auch bemühungen, llm (großes sprachmodell) mit anderen technologien zu kombinieren agi (künstliche allgemeine intelligenz).
wie kann man einschränkungen der mathematischen fähigkeiten lösen?
„dies ist ein großer fortschritt für komplexe denkaufgaben und stellt eine neue ebene der fähigkeiten der künstlichen intelligenz dar“, schrieb openai bei der einführung der modelle der o1-serie. sam altman, ceo von openai, sagte auf sozialen plattformen auch, dass das neue modell der beginn eines neuen paradigmas sei, das heißt, dass ki allgemeine komplexe überlegungen anstellen könne.
erweiterte mathematische fähigkeiten sind ein wichtiges merkmal dieser modellreihe. openai stellte fest, dass die aktualisierte leistung der neuen modellreihe der von doktoranden ähnelt, die anspruchsvolle benchmark-aufgaben in physik, chemie und biologie lösen. in der qualifikationsprüfung zur internationalen mathematischen olympiade (imo) löste gpt-4o nur 13 % richtig. der fragen, während das neue modell 83 % erreichte.
in bezug darauf, wie das neue modell bessere mathematik- und programmierfähigkeiten erreichen kann, stellte openai vor, dass das unternehmen groß angelegte reinforcement-learning-algorithmen verwendet, um dem modell beizubringen, denkketten zu verwenden, um beim effizienten training von daten effizient zu denken, ähnlich wie menschen für ein jahr denken es dauert lange, bis schwierige fragen beantwortet werden. mit zunehmendem verstärkungslernen und zunehmender denkzeit verbessert sich die leistung von o1 weiter. der openai-forscher noam brown sagte, dass o1 eine neue dimension für die skalierung großer modelle (skalierung) eröffnet, sodass große modelle nicht mehr dem engpass des vortrainings unterliegen und nun auch inferenzberechnungen erweitern können. in bezug auf die rolle verbesserter argumentationsfähigkeiten gab openai an, dass diese zur kommentierung von zellsequenzierungsdaten im bereich der medizinischen versorgung und zur generierung komplexer mathematischer formeln im bereich der physikalischen forschung verwendet werden können.
google deepmind steigert die endleistung des ki-systems durch die kombination anderer technologien neben llm. alphaproof basiert ebenfalls auf reinforcement learning und ist ein system für mathematisches denken. das system trainierte sich selbst, um die programmiersprache lean zu beweisen, eine programmiersprache, die zur überprüfung von theoremen verwendet wird, und kombinierte ein trainiertes sprachmodell mit dem alphazero-algorithmus für verstärktes lernen. laut google ermöglicht lean dem system, die richtigkeit von beweisen für mathematisches denken zu überprüfen. wenn ein problem auftritt, generiert alphaproof mögliche lösungen und durchsucht lean dann nach möglichen beweisschritten zum beweisen oder widerlegen.
unabhängig davon, ob die technischen prinzipien ähnlich sind, denken alphaproof und openai o1 im vergleich zu früheren modellen eher tiefgründig und verlassen sich nicht nur auf die fähigkeit von llm, das nächste token (wortelement) vorherzusagen und schnell zu generieren.
wie komme ich zur agi?
zuvor erklärte ein großer modellentwickler gegenüber reportern, dass ein grund für die schwachen mathematischen fähigkeiten großer modelle darin bestehe, dass eine große menge hochwertiger mathematischer daten nicht zum trainieren des modells verwendet werde fähigkeit gelöst werden kann. neben dem grund für die trainingsdaten sagen branchenanalysten jedoch, dass die schlechten mathematischen fähigkeiten von llm auch darauf zurückzuführen sind, dass die methode zur vorhersage des nächsten tokens nicht wirklich intelligent ist. den jüngsten trends zufolge löst die branche, darunter openai und google deepmind, das problem der schlechten mathematik- und denkfähigkeiten des betriebsmechanismus von ki-systemen. tatsächlich nutzt sie verschiedene technologien, um die mängel der llm-betriebsmethoden auszugleichen lassen sie llm bis zu einem gewissen grad mehr wie menschen denken.
in bezug auf die einschränkungen der llm-fähigkeiten, die lösung von problemen wie mathematischen fähigkeiten und den übergang vom bestehenden llm zu agi diskutiert die branche immer noch über die ursachen und lösungen. viele branchenveteranen hielten kürzlich eine von saudi data veranstaltete konferenz ab und artificial intelligence authority diskutiert auf dem gain summit world artificial intelligence summit. auf dem gipfel sagte simon see, dass die derzeitige künstliche intelligenz „eng“ sei. viele menschen glauben, dass llm die treibende kraft für die verwirklichung von agi werden wird, aber die menschen verstehen tatsächlich nicht wirklich, wie es funktioniert, und stehen immer noch am rande der entwicklung von llm. es gibt noch viele probleme, die gelöst werden müssen, etwa die unfähigkeit, immer größere modelle zu bauen, weil nicht unbegrenzt energie bereitgestellt werden kann.
„wir haben jetzt eine große datenmenge. sobald das modell groß genug trainiert ist, werden fähigkeiten entstehen. meiner meinung nach ist es nicht machbar, sich auf eine einzige technologie zu verlassen. die richtung, an der die branche derzeit arbeitet, umfasst die kombination von llm mit anderem wissen und.“ technologien wie neue symbole, analysis usw. für verständnis und argumentation.“ simon see sagte, dass die kombination verschiedener technologien in letzter zeit große fortschritte gemacht habe. alphaproof von deepmind kombiniert lean-programmiersprache, sprachmodelle usw., sodass ki möglich ist wird für mathematische beweise verwendet. lassen sie llm verschiedene technologien kombinieren, um dem ki-system die potenzielle kraft zu verleihen, zu agi zu führen.
auch antoine blondeau, mitbegründer und geschäftsführender gesellschafter von alpha intelligence captal, ist davon überzeugt, dass es eine ausgemachte sache ist, dass maschinen irgendwann besser sein werden als menschen, aber es wird einige zeit dauern, bis dieses ergebnis erreicht ist, und es gibt noch viel wissenschaftliche erkenntnisse zu erledigende arbeit. er kam zu dem schluss, dass ki kein einzelnes modell sein wird, sondern möglicherweise eine kombination mehrerer modelle. die maschine wird schließlich lernen, in der realen welt zu beobachten, zu beweisen oder zu widerlegen, zu verallgemeinern und zu lernen.
in bezug auf die aktuellen mechanismen und grenzen von llm glaubt antoine blondeau, dass menschen aus dem leben lernen, wobei 95 % davon aus „videos mit ton“ gelernt werden. die essenz unseres lebens besteht im wesentlichen darin, „das video einzuschalten“, und die anderen 5 % stammt aus text, z. b. büchern. menschen lernen die semantik aus videos. wenn beispielsweise fünf finger auftauchen, bedeutet dies, dass es sich möglicherweise um einen menschen oder ein anderes tier handelt. wenn eine maschine jedoch aus einem video lernt, besteht ihre aufgabe darin, das nächste pixel vorherzusagen, was nicht der menschlichen art entspricht. wenn wir maschinen nicht dazu bringen können, wie menschen zu lernen, wird es für maschinen schwierig sein, höhere intelligenzniveaus zu erreichen.
alex smola, ein bekannter wissenschaftler für maschinelles lernen sowie gründer und ceo des großen modell-startups boson ai, wies darauf hin, dass die einschränkungen des llm-betriebs auch mit der token-vorhersage zusammenhängen. er sagte, dass die fähigkeit von llm, das nächste token (wortelement) vorherzusagen, genutzt wurde, um bilder und töne zu verstehen und geräusche zu erzeugen, und in den letzten 12 monaten schien alles zu einem token geworden zu sein.
„zu einem gewissen grad haben wir begonnen, die anzahl der verfügbaren token zu erschöpfen. eine grobe schätzung geht davon aus, dass es 100 billionen token sein könnten, die möglicherweise die token sind, die menschen zum aufbau von llm verwenden können. es gibt immer noch viele video- und audiomaterialien, inwieweit dies ins spiel kommt, hängt auch von nvidia oder anderen unternehmen ab, die chips herstellen, die diese modi verarbeiten können. alex smola sagte, dass der kern von llm in absehbarer zeit die sequenzmodellierung (sequenzmodellierung) sein könnte. , die nun die daten, hardware-konvergenz und wahrscheinlichkeitsmodelle sehen können, entwickeln sich ebenfalls in richtung ähnlicher strukturen. wir können sehen, wie weit die damit verbundene erforschung in den nächsten jahren gehen kann.
angesichts des technologischen fortschritts und des blicks in die zukunft glaubt antoine blondeau, dass die verwirklichung von agi innerhalb von 10 bis 20 jahren erfolgen könnte und die geschwindigkeit der entwicklung mittlerweile sehr hoch ist. simon see glaubt, dass 80 % des prozesses innerhalb dieser 10 jahre erreicht werden können, um agi zu erreichen, aber er geht davon aus, dass die letzten 20 % eine große herausforderung darstellen und länger dauern werden.
(dieser artikel stammt von china business news)
