nachricht

ilya warnt erneut: das ki-paradigma wird sich ändern und superintelligente sicherheit wird zum wichtigsten thema

2024-09-07

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

fische und schafe stammen aus dem aofei-tempel

qubits |. öffentliches konto qbitai

das unternehmen hat nur 10 mitarbeiter und hat eine startfinanzierung abgeschlossen.1 milliarde us-dollar

so etwas umwerfendes kann nur passierenilja sutskeveram körper sieht es leicht „normal“ aus.

ilya, in einer zeit, in der große models die welt im sturm erobern, wird sein beitrag als weitreichend anerkanntdie welt verändernebene:

er ist einer der drei autoren von alexnet. nachdem er zusammen mit seinem mentor hinton zu google abgeworben wurde, war er tief in das alphago-projekt involviert, das die welt schockierte.

im jahr 2015 war er an der gründung von openai beteiligt und fungierte als chefwissenschaftler. chatgpt verändert erneut die welt und er gilt als eine der schlüsselfiguren dahinter.

von november letzten jahres bis heute wurde jede bewegung von ilya in den vordergrund gerückt und erregte die aufmerksamkeit des globalen technologiekreises:

der von ihm initiierte interne konflikt im openai-vorstand offenbarte einen streit über den entwicklungsweg großer modelle. nachdem er sich im mai dieses jahres vollständig von openai getrennt hat, warten alle auf seinen nächsten unternehmerischen schritt.

jetzt legt sich der staub. ilya selbst, der immer zurückhaltend war, teilte zu diesem zeitpunkt auch weitere informationen über sein unternehmen ssi und seine eigene meinung zu agi mit.

im austausch mit reuters beantwortete ilya sechs zentrale fragen. nachfolgend der originaltext:

warum wurde ssi erstellt?

wir haben einen „großen berg“ entdeckt, der sich ein wenig von meiner bisherigen arbeit unterscheidet...sobald sie den gipfel dieses berges erreichen, ändert sich das paradigma…alles, was wir über künstliche intelligenz wissen, wird sich erneut ändern.

an diesem punkt werden superintelligente sicherheitsbemühungen von entscheidender bedeutung sein.

unser erstes produkt wird eine sichere superintelligenz sein.

wird es vor der superintelligenz eine ki geben, die so intelligent ist wie der mensch?

ich denke, der schlüssel ist: ist es sicher? ist es eine kraft zum guten in der welt? ich denke, wenn wir das tun, wird sich die welt stark verändern. daher ist es im moment ziemlich schwierig, einen klaren plan zu geben, „was wir tun werden“.

was ich ihnen sagen kann ist, dass die welt ein ganz anderer ort sein wird. die wahrnehmung der außenwelt darüber, was im ki-bereich geschieht, wird sich dramatisch verändern und schwer zu verstehen sein. dies wird ein intensiveres gespräch sein. es hängt möglicherweise nicht nur von unserer entscheidung ab.

wie bestimmt ssi, was sichere künstliche intelligenz ist?

um diese frage zu beantworten, müssen wir einige wichtige untersuchungen durchführen. vor allem, wenn sie wie wir denken, dass sich die dinge stark verändern werden ... es werden viele tolle ideen entdeckt.

viele menschen denken darüber nach, welche tests für die ki durchgeführt werden müssen, wenn sie immer leistungsfähiger wird. das ist etwas knifflig und es gibt noch viel zu recherchieren.

ich möchte nicht sagen, dass es jetzt eine klare antwort gibt. aber das ist eines der dinge, die wir herausfinden müssen.

über skalierungsannahmen und ki-sicherheit

alle reden von der „skalierungshypothese“, aber alle ignorieren eine frage: was skalieren wir?

der große durchbruch beim deep learning im letzten jahrzehnt war eine spezifische formulierung der skalenannahme. aber es wird sich ändern ... und wenn es sich ändert, werden die fähigkeiten des systems zunehmen und sicherheitsprobleme werden immer dringlicher, und genau darum müssen wir uns kümmern.

wird ssi open source sein?

derzeit bieten nicht alle ki-unternehmen ihre hauptarbeit als open source an, und wir auch nicht. aber ich denke, abhängig von bestimmten faktoren wird es viele möglichkeiten geben, superintelligente sicherheitsarbeit als open-source-lösung zu entwickeln. vielleicht nicht alle, aber sicherlich einige.

gedanken zu den sicherheitsforschungsbemühungen anderer ki-unternehmen

tatsächlich habe ich eine sehr hohe meinung von der branche. ich denke, wenn die menschen weiterhin fortschritte machen, werden alle unternehmen – wahrscheinlich zu unterschiedlichen zeitpunkten – die art der herausforderungen erkennen, denen sie gegenüberstehen. es ist also nicht so, dass wir glauben, dass niemand anderes es schaffen kann, sondern dass wir glauben, dass wir dazu beitragen können.

wofür wird eine milliarde dollar verwendet?

fügen sie abschließend einige hintergrundinformationen außerhalb von ilyas worten hinzu.

die nachricht von ssi wurde erstmals im juni dieses jahres veröffentlicht. das ziel ist ganz klar: es geht darum, das zu erreichen, was ilya bei openai nicht geschafft hat: sichere superintelligenz aufzubauen.

derzeit hat ssi nur 10 mitarbeiter. nach der beschaffung von geldern plant das unternehmen, die gelder für den kauf von rechenleistung und die einstellung von top-talenten zu verwenden.

diejenigen, die mit ihren ideen einverstanden sind und mental darauf vorbereitet sind, dass ki eines tages die menschliche intelligenz übertreffen wird.

mitbegründer daniel gross verriet auch, dass sie nicht allzu viel wert auf qualifikationen und erfahrung legen, sondern stundenlang prüfen, ob kandidaten einen „guten charakter“ haben.

in bezug auf die rechenleistung plant ssi eine zusammenarbeit mit cloud-herstellern und chipherstellern. es ist noch nicht klar, mit welchen unternehmen und wie die zusammenarbeit erfolgen soll.

zu den mitbegründern von ssi gehören neben ilya selbst auch daniel gross und daniel levy.

△links: daniel gross; rechts: daniel levy

daniel gross absolvierte die informatikabteilung der harvard university und war zuvor einer der partner von y combinator. er gründete oder beteiligte sich an der gründung vieler unternehmen, darunter citrus lane, writelatex (später umbenannt in overleaf) usw.

das magazin time 100 listete ihn als einen der „einflussreichsten menschen auf dem gebiet der künstlichen intelligenz“.

daniel levy absolvierte das stanford computer science department und war zuvor leiter des openai-optimierungsteams.