Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Herausgeber: Zhang Qian

„Maschinelles Lernen lebt in einer Blase, um die uns Robotiker, Chemiker, Biologen und Neurowissenschaftler beneiden, und wenn es richtig Fahrt aufnimmt, werden wir alle auf die gleichen Probleme stoßen, mit denen sich alle anderen schon seit Jahren herumschlagen . realistische Barrieren.“

Manche Leute sagen, dass der Fortschritt im Bereich der Robotik im Vergleich zu anderen Teilbereichen des maschinellen Lernens langsam oder sogar lückenhaft sei.

Alex Irpan, Robotikwissenschaftler bei Google DeepMind und Teilnehmer an Embodied-Intelligence-Projekten wie SayCan, RT-1 und RT-2, stimmt dem zu. Er glaubt jedoch, dass dies daran liegt, dass die Robotik ein Bereich ist, der eng mit der Realität verbunden ist und die Komplexität der Realität dazu führt, dass sie unweigerlich an eine Wand stößt. Er wies auch darauf hin, dass diese Probleme nicht nur die Robotik betreffen. Das gleiche Problem gilt für Techniken wie große Sprachmodelle (LLM). Diese Modelle stoßen in der realen Welt auf ähnliche Komplexitäten wie die Robotik.

Kürzlich schrieb er einen Blog mit dem Titel „Die Tragödien der Realität kommen auf Sie zu“, um diesen Punkt zu veranschaulichen.

Die Tragödie der Realität kommt zu Ihnen

Im Jahr 2023 nahm ich an einer ML-Konferenz teil. Ye Weiyang war betrunken und das Thema wandte sich einer Frage zu: „Wenn Sie die Ressourcen eines Teilbereichs des maschinellen Lernens einem anderen Teilbereich geben könnten, welchen würden Sie abschneiden und wem würden Sie die Ressourcen geben?“

Ich kann mich nicht erinnern, was jemand gesagt hat, aber eine Person sagte, sie würden die Roboter niedermetzeln. Als ich weiter drängte, sagten sie, dass die Robotik zu langsam Fortschritte mache und dass sich im Vergleich zu anderen Bereichen nichts tue.

Sie sagen, dass die Robotik langsamere Fortschritte gemacht hat als der reine Software-Teilbereich des maschinellen Lernens, und ich denke, sie haben Recht, aber ich möchte noch zwei weitere Punkte hinzufügen:

• Der Grund dafür, dass Roboter langsamer lernen, liegt darin, dass es schwierig ist, etwas zu bewirken, ohne schwierige Probleme zu lösen.
• Die Herausforderungen der Robotik sind nicht nur Robotern vorbehalten.

Im Bereich der Robotik lautet ein gängiges Sprichwort: „Die Realität ist chaotisch.“ Bezogen auf Code würde ich dies auf „Die Realität ist komplex“ erweitern. In der Robotik tendiert man dazu, die chaotische Realität auf ein Abstraktionsniveau zu bringen, das gut genug ist, damit Code darauf arbeiten kann. Als Fachgebiet hat die Informatik Jahrzehnte damit verbracht, gute Abstraktionsschichten zwischen Hardware und Software zu schaffen. Der Code beschreibt, wie die Festplatte, der Prozessor und das Display mit Strom versorgt werden, und er ist zuverlässig genug, dass ich nicht einmal darüber nachdenken muss.

Dies hat viele Vorteile. Sobald Sie die harte Arbeit erledigt und Ihren Arbeitsfortschritt in einen abstrakten logischen Raum verschoben haben, wird alles einfacher. Der Code und die Daten sind unglaublich reproduzierbar. Ich habe Kopien der Datei, die einen Entwurf dieses Blogbeitrags darstellt, auf drei Geräten synchronisiert, ohne darüber nachzudenken.

Wie Joel Spolsky jedoch sagte, haben alle Abstraktionen in gewissem Maße Lücken, und ich finde, dass die Lücken in der Robotik tendenziell noch größer sind. Es gibt viele Möglichkeiten, wie Dinge schief gehen können, die nichts mit der Korrektheit Ihres Codes zu tun haben.

Hängt das mit einigen Grundprinzipien des Themas zusammen? Ein wenig. Viele Robotik-Hardware ist experimenteller als Laptops oder Linux-Server. Die Verbraucherrobotik ist noch keine große Branche. „Experimentell“ bedeutet oft „seltsame, fehleranfälligere Zustände“.

Allerdings glaube ich nicht, dass die Hardware die Hauptursache für das Problem ist. Die Realität ist die Wurzel des Problems. Benjamin Holson bringt es in seinem Artikel „Mythical Non-Roboticist“ sehr gut auf den Punkt:

Die erste Schwierigkeit besteht darin, dass Roboter in der realen Welt mit unvollkommener Wahrnehmung und unvollkommener Ausführung zu kämpfen haben. Ein global veränderlicher Zustand ist ein schlechter Programmierstil, weil er wirklich schwer zu handhaben ist, aber bei Robotersoftware ist die gesamte physische Welt ein global veränderlicher Zustand, und Sie können ihn nur unzuverlässig beobachten und hoffen, dass Ihre Aktion Sie dem näher bringt, was Sie erreichen möchten.

In der Robotikforschung geht es darum, neue Brücken zwischen Realität und Software zu schlagen, aber das geschieht auch außerhalb der Robotikforschung. Jede Software, die mit der Realität interagiert, hat ein unvollständiges Verständnis der Realität. Jede Software, die versucht, Veränderungen in der realen Welt zu bewirken, muss sich mit dem global veränderlichen Zustand der Realität auseinandersetzen. Jede Software, deren Verhalten davon abhängt, was in der Realität geschieht, führt zu gegnerischem Lärm und Komplexität.

Game AI ist ein gutes Beispiel. Die Schach-KI ist übermenschlich zuverlässig. Allerdings können einige übermenschliche Go-KIs besiegt werden, wenn man auf eine bestimmte Art und Weise Schach spielt, wie Tony T. Wang et al. im ICML 2023-Artikel „Adversarial Policies Beat Superhuman Go AIs“ herausfanden. Gegnerische Techniken finden Strategien, die klar genug sind, dass Menschen sie nachahmen können.

In Anhang G.2 konnte einer unserer Autoren, ein Go-Experte, diesen [zyklischen] Angriff umsetzen, indem er die Spielaufzeichnungen des Gegners ohne jegliche algorithmische Hilfe lernte. Sie spielten unter normalen menschlichen Bedingungen auf dem KGS-Online-Go-Server und erzielten eine Gewinnquote von über 90 % in den besten KataGo-Roboterspielen, die nichts mit dem Autor zu tun hatten.
Der Autor hat es sogar geschafft, zu gewinnen, indem er dem Roboter 9 Handicaps gegeben hat, was ein großer Vorteil ist: Ein menschlicher Profischachspieler mit diesen Handicaps hätte eine Siegesquote von fast 100 % gegen jeden Gegner, egal ob Mensch oder KI. Sie schlugen auch KataGo und Leela Zero, die beide 100.000 Suchvorgänge pro Spiel durchführten, was normalerweise weit über den menschlichen Fähigkeiten liegt. Seitdem haben andere Menschen den zyklischen Angriff genutzt, um verschiedene andere Top-Go-KIs zu besiegen.

Unterdessen hat OpenAI vor einigen Jahren ein System entwickelt, das den amtierenden Weltmeister von Dota 2 besiegte. Nachdem das System der Öffentlichkeit zugänglich gemacht wurde, um seine Robustheit zu testen, entwickelte ein Team eine Strategie, die zu einer Siegesserie von 10 Spielen führte.

Auf dieser Grundlage könnten Sie die pessimistische Ansicht vertreten, dass selbst eine einfache „Realität“ wie das Anschließen eines 19 x 19 Go-Boards oder Dota 2 genug zusätzliche Komplexität aufweist, um robustes Verhalten zu einer Herausforderung zu machen. Ich halte diese Ansicht für unfair, da bei keinem der Systeme Robustheit das oberste Ziel ist, aber ich denke, dass sie eine interessante Fallstudie darstellen.

In letzter Zeit gab es eine Welle des Hypes um LLMs – was sie können und wo sie angewendet werden können. Darin liegt die Überzeugung, dass LLM die Art und Weise, wie Menschen bei der Arbeit und in der Freizeit mit Technologie interagieren, dramatisch verändern kann. Mit anderen Worten: LLM wird die Art und Weise verändern, wie wir mit der Realität interagieren. Tatsächlich bin ich auf den Hype-Zug aufgesprungen, insbesondere auf meinen Verdacht, dass das zugrunde liegende Modell kurzfristig überbewertet und langfristig unterbewertet wurde. Allerdings bedeutet es auch, dass für einen Bereich, der historisch gesehen schlecht darin war, die Realität zu berücksichtigen, das ganze Chaos der Realität bevorsteht.

Auf derselben ML-Konferenz, auf der dieser Typ sagte, Robotik sei eine Verschwendung von Ressourcen, erwähnte ich, dass wir grundlegende Modellexperimente mit echten Robotern durchführten. Einige Leute sagten, es sei ein wenig beängstigend, und ich versicherte ihnen, dass es sich lediglich um einen Forschungsprototyp handele. Aber ich finde LLM-Generierungs- und Ausführungssoftware auch etwas einschüchternd, und ich finde es interessant, dass sie sich über das eine, aber nicht über das andere, vage Sorgen machen. Die Menschen im Silicon Valley sind ein gewisser Widerspruch. Sie glauben, dass Software Start-ups dabei helfen kann, erstaunliche Veränderungen herbeizuführen, und dass ihre Software weder einer Überlegung noch einer Überlegung wert ist. Ich glaube, dass die Welt der Bits ebenso Teil der Realität ist wie die Welt der Atome. Sie wirken auf unterschiedlichen Ebenen, sind aber alle Teil der Realität.

Ich habe (mit einiger Schadenfreude) festgestellt, dass LLM-Praktiker allmählich auf die gleichen Probleme stoßen, auf die die Robotik zuvor gestoßen ist. Zum Beispiel: „Wir können diese Schulungen nicht wiederholen, weil es zu teuer ist.“ Ja, dieses Thema wird im Robotikbereich seit mindestens zehn Jahren diskutiert. Ein weiteres Beispiel: „Ich kann Bing nicht dazu bringen, mir das Veröffentlichungsdatum von Avatar 2 mitzuteilen, weil es ständig Nachrichtenmeldungen über sich selbst abruft und sich selbst korrigiert, bevor es sie generiert.“

Wir leben heute in einer Welt, in der jeder öffentlich zugängliche Text im Internet unwiderruflich die Generierung von Retrieval-Enhancements beeinflusst. Willkommen im globalen veränderlichen Zustand. Immer wenn ich jemanden sehe, der behauptet, das Verhalten von ChatGPT habe sich zurückgebildet, denke ich an die verschiedenen „Verschwörungstheorien“, die ich und andere aufgestellt haben, um den plötzlichen und unerklärlichen Rückgang der Roboterleistung zu erklären, und ob das Problem im Modell oder in der Umgebung liegt . Oder ist es unsere übermäßige Schlussfolgerung.

Wie das Sprichwort sagt: „Alle Roboterdemos lügen“, finden die Leute, dass auch alle LLM-Demos lügen. Ich denke, dass dies grundsätzlich unvermeidbar ist, da die menschliche Aufmerksamkeitsspanne begrenzt ist. Es ist wichtig, Art, Größe und Bedeutung der Lüge einzuschätzen. Zeigen sie, wie das Modell/der Bot verallgemeinert? Haben sie erwähnt, wie sorgfältig diese Beispiele ausgewählt wurden? Diese Probleme werden komplexer, sobald die Realität miteinander verknüpft wird. Messi scheint im Moment ein guter Spieler zu sein, aber „kann er es in einer kalten, regnerischen Nacht in Stoke City schaffen“?

Erschwerend kommt hinzu, dass die Antwort auf diese Fragen nicht immer „Nein“ lautet. Messi könnte es in einer kalten, regnerischen Nacht in Stoke City schaffen. Er ist gut genug. Das macht die Frage schwierig, denn es ist viel wichtiger, mit einem richtigen „Ja“ zu antworten, als mit einem richtigen „Nein“. Da LLM immer besser wird und KI immer häufiger im Alltag zum Einsatz kommt, müssen wir als Gesellschaft immer besser darin werden, zu beurteilen, ob sich ein Modell bewährt hat. Eine meiner größten Sorgen für die Zukunft ist, dass wir nicht gut darin sind, zu beurteilen, ob sich Modelle bewährt haben.

Ich gehe jedoch davon aus, dass die Robotik der Zeit einen Schritt voraus sein wird. Wir haben uns über Bewertungsprobleme beschwert, bevor die Vermutung auftauchte, dass LLM gängige Benchmarks manipuliert habe. Lange bevor „Wir brauchen eine bessere Datenabdeckung“ zum Slogan des Basismodell-Vorschulungsteams wurde, arbeiteten wir hart daran, genügend Daten zu erhalten, um den Long-Tail-Effekt des autonomen Fahrens zu erfassen. Maschinelles Lernen lebt in einer Blase, um die uns Robotiker, Chemiker, Biologen und Neurowissenschaftler beneiden, und wenn es richtig Fahrt aufnimmt, werden wir alle mit den gleichen Problemen konfrontiert sein, mit denen sich alle anderen schon seit Jahren herumschlagen. Realistische Barrieren. Diese Herausforderungen können gemeistert werden, aber sie werden schwierig sein. Willkommen in der realen Welt. Willkommen in der Welt des Schmerzes.

Ursprünglicher Link: https://www.alexirpan.com/2024/07/08/tragedies-of-reality.html