2024-08-13
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Das Mengchen-Haus stammt aus dem Aofei-Tempel
Qubits |. Öffentliches Konto QbitAI
GeschichteDer erste „KI-Wissenschaftler“”, stellte sich heraus!
Es wurde in einem Rutsch generiert, sobald es erschien.Zehn vollständige wissenschaftliche Arbeiten。
△Ein von KI generiertes Diffusionsmodellpapier
Vom Vorschlagen von Forschungsideen über die Überprüfung der Neuheit, das Entwerfen von Experimenten, das Schreiben von Code, das Ausführen von Experimenten auf der GPU und das Sammeln von Ergebnissen bis hin zum schließlichen Verfassen der Arbeit wird alles in einem Rutsch erledigt.
Das alles wird von diesem „KI-Wissenschaftler“ automatisch erledigt.
Die Kosten pro Papier betragen ca.15 $(ca. 107,62 Yuan).
Dies ist der erste fürWissenschaftliche Forschung zur Automatisierungund ein integriertes KI-System für Open Discovery,Der KI-Wissenschaftler。
Aus dem Startup von Llion Jones, einem der Autoren von Transformer:Sakana-KI。
Und!
Was dieses Unternehmen tut, ist nicht nur die Schaffung eines KI-Wissenschaftlers,Wir haben außerdem einen zusätzlichen KI-Rezensenten erstellt。
Gutachter können von AI verfasste Arbeiten begutachten und Verbesserungsvorschläge machen.
Hilfe, das ist ein Matroschka-Zyklus, bei dem ich mit meinem Speer meinen Schild angreife!
Nach einer Operation ähnelt es eher einem menschlichen akademischen Kreis als einem menschlichen akademischen Kreis (nein)
Noch eins und!
Ob es sich um einen KI-Wissenschaftler oder einen KI-Rezensenten handelt, Sakana AI stellt sie darAlles Open Source.
Die Internetnutzer applaudierten, nachdem sie das gesehen hatten;
Schöner schöner, sehr interessanter Job!
Und einige Leute haben bereits begonnen, auf „schlechte Ideen“ zu kommen.
Es wird empfohlen, eines der Papiere bei AI Dinghui einzureichen!
Jahrzehntelang scherzten Forscher nach jedem großen Fortschritt in der KI oft: „Es ist an der Zeit, darüber nachzudenken, ob KI uns beim Verfassen von Arbeiten helfen kann”。
Jetzt ist aus der Idee endlich Realität geworden.
Konkret erstellten KI-Wissenschaftler zehn Artikel und wählten aus jeder Forschungsrichtung einen mit einer höheren Punktzahl zur Einführung aus.
Teil 1, Diffusionsrichtungsmodell, „Dual-Scale Diffusion: Adaptive Feature Balancing für niedrigdimensionale generative Modelle“
Es wird eine adaptive Dual-Scale-Entrauschungsmethode vorgeschlagen, um das Problem zu lösen, dass es mit bestehenden Diffusionsmodellen schwierig ist, gleichzeitig globale Strukturen und lokale Details im niedrigdimensionalen Raum zu erfassen.
Verfahren:
Experimentelle Ergebnisse:
Ein kurzer Blick auf den Haupttext zeigt, dass es Formeln und Diagramme gibt, und er sieht ziemlich anständig aus.
Teil zwei, Richtung des Sprachmodells, „StyleFusion: Adaptive Multi-Style-Generierung in Sprachmodellen auf Zeichenebene.“
In diesem Artikel wird eine neue Methode namens Multi-Style Adapter vorgeschlagen, die das Stilbewusstsein und die Konsistenz von Sprachmodellen auf Zeichenebene durch die Einführung lernbarer Stileinbettungen und Stilklassifizierungsheader verbessert.
Erzielte nahezu perfekte Stilkonsistenzwerte für alle Datensätze (0,9667 für shakespeare_char, 1,0 für enwik8 und text8), mit einem besseren Validierungsverlust als beim Basismodell, aber mit einer leichten Abnahme der Inferenzgeschwindigkeit (~400 Token/s gegenüber 670 Token für die Grundlinie /s)
Der dritte Artikel kombiniert Transformer mit verstärkendem Lernen, „Adaptive Lernrate von Transformern durch Q-Learning“.
Diese Studie untersucht die Anwendung von Reinforcement Learning zur dynamischen Anpassung der Lernrate beim Transformatormodelltraining, wobei der Verifizierungsverlust und die aktuelle Lernrate als Zustand verwendet werden, um die Lernrate dynamisch anzupassen und den Trainingsprozess zu optimieren.
Die Ergebnisse übertreffen das Basismodell bei allen Datensätzen und zeigen auch Vorteile bei der Trainingszeit.
Der vierte Artikel untersucht das vom Google-Team vorgeschlagene „Grokking“-Phänomen großer Modelle, „Unlocking Grokking: Eine vergleichende Studie zu Gewichtsinitialisierungsstrategien in Transformatormodellen“
Dieser Artikel untersucht zum ersten Mal systematisch die Auswirkungen der Gewichtsinitialisierung auf das Grokken und vergleicht fünf Gewichtsinitialisierungsstrategien zur Optimierung der Lerndynamik neuronaler Netze.
sich herausstellen:
Die unterstützenden Codes für diese Artikel (ebenfalls von KI generiert) sind ebenfalls Open Source auf GitHub, wobei einer hervorgehoben wird, der reproduzierbar ist.
Darüber hinaus stellte das Team fest, dass es auch „KI-Wissenschaftler“ gibtInteressantes, aber etwas gefährliches Verhalten：
In einem Experiment wurde der eigene Code geändert, um die Forschung abzuschließen.Lassen Sie das System sich iterativ aufrufenund verwandelte sich schließlich in eine unendliche Matroschka-Puppe.
Ein anderes Mal fand die KI angesichts der vom Menschen vorgegebenen Laufzeitbegrenzung keine Möglichkeiten, die Effizienz zu steigern, sondern lockerte ihre Anforderungen an sich selbst.Das Zeitlimit wurde von 2 Stunden auf 4 Stunden verlängert。
Die gesamte Forschungsidee ergibt sich aus der Fortsetzung mehrerer Errungenschaften nach der Gründung von Sakana AI:
Zunächst entwickelten sie eine Methode, um das Wissen mehrerer großer Modelle automatisch zusammenzuführen und weiterzuentwickeln, um neue Modelle zu generieren. In neueren Arbeiten nutzen sie große Modelle, um neue Zielfunktionen zu entdecken und andere Modelle zu optimieren.
Bei diesen Projekten lässt sich das Team immer wieder von der Kreativität aktueller Spitzenmodelle überraschen, was zu noch größeren Träumen führt:Können große Modelle genutzt werden, um den gesamten Forschungsprozess zu automatisieren?
Das Endergebnis wurde von einem Team von Sakana AI, dem Foerster Laboratory der University of Oxford und der University of British Columbia erstellt.
Das „AI Scientist“-System besteht aus vier Teilen.
Ideengenerierung:
Basierend auf einer Ausgangsvorlage „brainstormt“ die KI zunächst eine Reihe verschiedener neuer Forschungsrichtungen und durchsucht Semantic Scholar, um zu überprüfen, ob diese Ideen bereits umgesetzt wurden.
Experimentiteration:
Für die im ersten Teil vorgestellte Idee führt der „KI-Wissenschaftler“ zunächst das vorgeschlagene Experiment durch und generiert dann eine Diagrammvisualisierung der Ergebnisse.
Essay schreiben:
Ich habe einen prägnanten und informativen LaTeX-Artikel im Stil einer Standardkonferenz zum maschinellen Lernen geschrieben und außerdem Semantic Scholar verwendet, um unabhängig nach relevanten Artikeln für Zitate zu suchen.
Automatisiertes Peer-Review:
Es wurde ein automatisierter „KI-Rezensent“ entwickelt, der generierte Arbeiten mit nahezu menschlicher Genauigkeit bewerten kann und so eine kontinuierliche Feedbackschleife ermöglicht, die es „KI-Wissenschaftlern“ ermöglicht, ihre Forschungsergebnisse iterativ zu verbessern.
Insgesamt wurden 10 Arbeiten wie folgt erstellt:
In dem Experiment verglich das Team auch die Auswirkungen der Verbindung verschiedener Mainstream-Großmodelle mit dem gesamten System, einschließlich des inländischen Code-Großmodells des DeepSeek-Teams.
sich herausstellen,Claude-Sonnet-3.5 schneidet in Bezug auf Ideeninnovation, Testerfolgsquote und Qualität der Papiervervollständigung am besten ab.
GPT-4o und DeepSeek Coder schneiden ähnlich ab, letzterer ist jedoch 30-mal günstiger.
Natürlich sind die von AI unabhängig erstellten Arbeiten zu diesem Zeitpunkt noch nicht perfekt und können auch nicht direkt veröffentlicht werden.
Humanforscher haben mehrere Einschränkungen und Herausforderungen zusammengefasst:
Zusammenfassend lässt sich sagen, dass die von dieser ersten Generation von KI-Wissenschaftlern verfassten Arbeiten von Zeit zu Zeit immer noch einige Fehler aufweisen.
Aber das Projekt selbst und die Kosten von 15 US-Dollar pro Artikel werden von Sakana AI als „vielversprechend“ bezeichnet und können dazu genutzt werden, den wissenschaftlichen Fortschritt zu beschleunigen.
Sakana AI veröffentlichte außerdem einen erläuternden Artikel, in dem es heißt, dass die endgültige Vision von KI-Wissenschaftlern eine istEin wissenschaftliches Ökosystem, das vollständig auf KI basiert。
Das System umfasst nicht nur große modellgetriebene Forscher, sondern auch Gutachter, regionale Lehrstühle und eine neue Konferenz.
Es sei darauf hingewiesen, dass Sakana AI davon überzeugt ist:
Die Rolle menschlicher Wissenschaftler wird durch das Aufkommen von KI-Wissenschaftlern nicht geschmälert.
Wenn wir einen Vergleich anstellen müssen, müssen sich Wissenschaftler an die Entstehung und Anwendung neuer Technologien anpassen, sich an Veränderungen in ihrer Rollenpositionierung anpassen und „in der Nahrungskette nach oben vorrücken“.
Darüber hinaus bleibt abzuwarten, ob KI-Wissenschaftler tatsächlich wirklich neue Paradigmen entwickeln können.
Immerhin basiert dieses Ding immer noch auf Transformer.
Kann es etwas so Mächtiges wie ein Transformer- oder Diffusionsmodell entwickeln? Sogar theoretische Konzepte wie künstliche neuronale Netze oder Informationstheorie?
Wir wissen es auch nicht und trauen uns auch nicht, es zu sagen.
Sakana AI hat auch diesen Absatz geschrieben:
Wir glauben, dass KI-Wissenschaftler großartige Partner für menschliche Wissenschaftler werden.
Aber nur die Zeit wird zeigen, inwieweit die Essenz menschlicher Kreativität und zufälliger Momente der Innovation durch ergebnisoffene Entdeckungen durch Menschen reproduziert werden können.
△Sakana AI: Ein vollautomatischer KI-kleiner Fisch erkundet seine Welt
Das Unternehmen, das dieses Mal die „neue Schöpfung“ fertiggestellt hat, Sakana AI, ist im engeren Sinne ebenfalls ein alter Freund von uns.
Vom letzten der acht Autoren des Transformer-ArtikelsLlion JonesDas Startup wurde mit dem Ziel gegründet, ein „Weltklasse-Forschungslabor für künstliche Intelligenz“ zu werden.
Firmensitz in Tokio, und Sakana ist das japanische Wort für „Fisch“ (Fisch).
Vielleicht aus Gründen der Unternehmenskultur gab Llion auf LinkedIn auch an, dass er eine japanische Transliteration seines Namens habe: ライオン (was auch das Katakana von Lion ist; im Folgenden wird er liebevoll Bruder Lion genannt).
Im August letzten Jahres wurde das Unternehmen bekannt gegeben.
Damals sagte Lion Brother ohne zu zögern, er habe keine bösen Absichten gegenüber Google, aberGoogle gibt ihm tatsächlich das Gefühl, „gefangen“ zu sein。
Bevor Bruder Lion sein eigenes Unternehmen gründete, arbeitete er acht Jahre lang bei Google.
△Ratet mal, wem die Hälfte seines Gesichts fehlt?
Er schloss sein Studium an der University of Birmingham mit einem Bachelor ab und arbeitete bei Delcam, YouTube und Google, dem Unternehmen, bei dem er am längsten geblieben ist.
Laut FourWeekMBA hat er in seiner bisherigen Berufserfahrung„Ich habe den Job bei Google zweimal abgelehnt“。
Das erste Mal suchte er kurz nach seinem Abschluss nach einem Job. Obwohl er seinen Lebenslauf als Software-Ingenieur bei Google London einreichte und zwei Runden Telefoninterviews bestand, entschied er sich schließlich für Delcam, ein CAD/CAM-Softwareunternehmen in Großbritannien. über Google.
Erwähnenswert ist, dass er, bevor er das Google-Angebot erhielt, zufällig mit der Wirtschaftskrise im Jahr 2009 konfrontiert wurde. Lion Brother konnte keine Arbeit finden und war mehrere Monate lang auf Hilfsgelder angewiesen, um zu überleben.
Das zweite Mal erhielt er nach 18 Monaten Arbeit einen Einstellungsanruf von Google, in dem er gefragt wurde, ob er sich erneut bewerben wolle. Er ging jedoch immer noch nicht zu Google, sondern wechselte später zu YouTube.
Während er drei Jahre lang als Software-Ingenieur bei YouTube arbeitete, interessierte er sich für künstliche Intelligenz, brachte sich selbst den Kurs für maschinelles Lernen von Coursera bei und kam schließlich 2015 als leitender Software-Ingenieur zu Google Research.
In dieser Zeit veröffentlichten er und sieben weitere Autoren auch den berühmten Transformer-ArtikelAufmerksamkeit ist alles, was Sie brauchen。
Darüber hinaus hat Lion Brother auch an zahlreichen Forschungsarbeiten bei Google teilgenommen, darunter ProtTrans, Tensor2Tensor usw.
Er entschied sich, Google zu verlassen, weil das Unternehmen so groß geworden war, dass es ihm unmöglich war, die Arbeit, die er wollte, weiter zu machen.
Er verschwendet nicht nur jeden Tag seine Energie damit, die Fehler anderer Leute zu beheben, sondern muss auch Zeit damit verbringen, nach Ressourcen dieses Unternehmens zu suchen, um Zugriff auf bestimmte Daten zu erhalten.
Nach der Gründung des Unternehmens schreitet die Arbeit von Sakana AI ordnungsgemäß voran.
Bevor wir KI-Wissenschaftler und KI-Rezensenten einsetzten, veröffentlichten wir auch große Modelle, die evolutionäre Algorithmen zusammenführten und den internen Informationsfluss von Transformer untersuchten.
Die Projekte für KI-Wissenschaftler und KI-Gutachter werden in Zusammenarbeit mit Sakana AI, Oxford und UBC abgeschlossen.
Die drei Co-Autoren sind:
Chris Lu, ein Praktikant bei Sakana AI, fungiert als Forschungswissenschaftler des Unternehmens.
Er schloss sein Bachelor-Studium an der UC Berkeley ab und ist derzeit Doktorand im dritten Jahr an der Universität Oxford.
Chris‘ aktuelle wichtige Forschungsrichtung ist die Anwendung von evolutionsinspirierten Techniken auf Meta-Learning und Multi-Agent-Reinforcement-Learning.
Im Sommer 2022 absolvierte er ein Praktikum als Forschungswissenschaftler bei DeepMind.
Cong Lu, Postdoktorand an der UBC (University of British Columbia), betreut von Jeff Clune.
Cong studierte an der RGU (Robert Gordon University) und promovierte 2019 an der Universität Oxford. Seine Hauptforschungsinteressen sind offenes Verstärkungslernen und wissenschaftliche KI-Entdeckung.
Zuvor absolvierte er Praktika bei Waymo und Microsoft.
Robert Tjarko Lange, eines der Gründungsmitglieder von Sakana AI und Forschungswissenschaftler im Unternehmen.
Derzeit absolviert er sein letztes Doktoratsjahr an der Technischen Universität Berlin und seine Forschungsrichtung ist evolutionäres Meta-Learning.
Der junge Mann erwarb einen Master-Abschluss in Informatik vom Imperial College London, einen Master-Abschluss in Datenwissenschaft von der Universität Pompeu Fabra und einen Bachelor-Abschluss in Wirtschaftswissenschaften von der Universität zu Köln.
Letztes Jahr arbeitete er als Vollzeit-Studentenforscher im Tokio-Team von Google DeepMind.
Papieradresse:
https://arxiv.org/abs/2408.06292
Referenzlinks:
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
