Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

kluge Dinge
Autor Li Shuiqing
Herausgeber Yunpeng

Immer wenn die KI erhebliche Fortschritte macht, scherzen Forscher oft: „Wann lassen wir die KI Arbeiten für uns schreiben?“

Jetzt,KI erstellt wissenschaftliche Forschungsarbeitenist Realität geworden und die Schreibkosten betragen nur ca.15 $。

Wisdom News am 14. August, am 13. August hat sich das japanische Sakana AI-Team mit Forschern der University of Oxford und der University of British Columbia zusammengetan, um eine zu startenDer KI-Wissenschaftler, ein automatisierter wissenschaftlicher Forschungsagent (Agent), der auf einem großen Modell basiert.

Geben Sie ihm ein breites Forschungsfeld, und es kann wie ein Mensch eine Arbeit im Bereich KI erstellen.

“KI-Programmierer„Programmierkenntnisse sind nur ein Teil der Fähigkeiten von KI-Wissenschaftlern.Brainstorming, Codeausführung, Zusammenfassung der experimentellen Ergebnisse, Visualisierung, automatische ÜberprüfungDas ist keine große Sache.

Beispielsweise wurde der folgende Artikel mit dem Titel „Dualscale Diffusion: Adaptive Feature Balancing for Low-Dimensional Generative Models“ von KI-Wissenschaftlern verfasst. In Experimenten, die von KI-Wissenschaftlern unabhängig durchgeführt und von Kollegen überprüft wurden, haben die von ihnen erstellten Arbeiten hervorragende empirische Ergebnisse erzielt und konnten diese erzielenMaschinelles Lernen erfüllt das Kriterium der „schwachen Akzeptanz“.。

Papieradresse: https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf

Das Team zitierte verschiedene hochmoderne Modelle im KI-Wissenschaftlerprojekt, wie zum BeispielGPT-4o und Sonnetusw. Closed-Source-Modelle undDeepSeek und Llama 3und andere Open-Source-Modelle.

Es wird berichtet, dass KI-Wissenschaftler vor allem die folgenden Highlights haben:

1. Das ist einVollständig von KI angetriebenautomatisiertes wissenschaftliches Forschungssystem mit Schwerpunkt aufBereich des maschinellen LernensForschung.

2. Es wird realisiertStudieren Sie die Automatisierung der gesamten Kette, von der Inspiration über das Schreiben und Ausführen von Code bis hin zur Zusammenfassung und Visualisierung experimenteller Ergebnisse und schließlich dem Verfassen einer vollständigen wissenschaftlichen Arbeit.

3. Es führt innovativ einAutomatisierter Peer-Review-Mechanismus, um die Output-Papiere auszuwerten, Feedback zu geben und die Ergebnisse kontinuierlich zu optimieren,Die Beurteilungsgenauigkeit liegt nahe am menschlichen Niveau。

4. Dieser automatisierte wissenschaftliche ForschungsprozessKontinuierlicher Zyklus, Wissen erschließen und kontinuierlich ansammeln und das Betriebsmodell der menschlichen wissenschaftlichen Gemeinschaft simulieren.

5. In Vorversuchen wurde maschinelles Lernen eingesetztErzielen Sie Ergebnisse in mehreren Bereichen, wie inDiffusionsmodell, Transformer-Architektur und GrokkingAuch in anderen Bereichen wurden Beiträge geleistet.

Adresse des Artikels von KI-Wissenschaftlern: https://arxiv.org/abs/2408.06292/
Adresse für Open-Source-Code und experimentelle Ergebnisse von KI-Wissenschaftlern: https://github.com/SakanaAI/AI-Scientist

▲Der Artikel „KI-Wissenschaftler: Auf dem Weg zu einer vollständig automatisierten offenen wissenschaftlichen Entdeckung“

1. Vervollständigen Sie die wissenschaftliche Forschungsarbeit in 4 Schritten und erfüllen Sie die Akzeptanzstandards des AI Summit

Ich habe von KI-Poeten, KI-Malern, KI-Programmierern gehört, und jetzt sind auch KI-Wissenschaftler aufgetaucht.

AI Scientist ist ein vollautomatisches Papiergenerierungssystem, das modernste große Modelle voll ausnutzt.

EsBeginnen Sie mit einer grundlegenden anfänglichen Codebasis, wie zum Beispiel der vorgefertigte Open-Source-Forschungscode auf GitHub, solangegegeben aBreite Forschungsbereiche, KI-Wissenschaftler können die Aufgabe erledigenKreative Konzeption, Literaturrecherche, experimentelles Design, experimentelle Iteration, Diagrammerstellung, Papiererstellung bis hin zur VorbegutachtungDer gesamte Arbeitsprozess dient dazu, wissenschaftliche Arbeiten zu erstellen, die reich an tiefgreifenden Erkenntnissen sind.

Noch erstaunlicher ist, dass KI-Wissenschaftler das könnenKontinuierlicher Betrieb im offenen KreislaufEs lernt kontinuierlich frühere Ideen und Feedback, um nachfolgende Forschungsideen zu optimierenSimuliert das Betriebsmodell der menschlichen Wissenschaftsgemeinschaft。

▲Musterdiagramm eines KI-Wissenschaftlers

Der Arbeitsablauf eines KI-Wissenschaftlers umfasst hauptsächlichVier wichtige Links：

Kreativität sprießt:Ausgehend von der vorgegebenen Startvorlage starten KI-Wissenschaftler den „Brainstorming“-Modus und entdecken eine Reihe neuartiger Forschungsrichtungen rund um bestehende Themen. Diese Vorlage enthält nicht nur das grundlegende Code-Framework, sondern auch einen LaTeX-Ordner mit Stildateien und Kapiteltitelvoreinstellungen, der den Grundstein für das spätere Verfassen von Arbeiten legt. Im Rahmen der freien Erkundung werden KI-Wissenschaftler auch die akademische Suchmaschine Semantic Scholar nutzen, um die Originalität der vorgeschlagenen Ideen sicherzustellen.

Experimentiteration:Sobald die Forschungsrichtung festgelegt ist, treten KI-Wissenschaftler in die experimentelle Phase ein. Es führt automatisch Versuchspläne aus, sammelt Daten und generiert Diagramme, um Versuchsergebnisse visuell darzustellen. Gleichzeitig werden KI-Wissenschaftler den Inhalt jedes Diagramms detailliert aufzeichnen, um sicherzustellen, dass experimentelle Notizen und grafische Materialien eine umfassende Unterstützung für das anschließende Verfassen von Arbeiten bieten können.

Papierschreiben:Nach Abschluss des Experiments wird der KI-Wissenschaftler im LaTeX-Format einen Aufsatz mit klarer Struktur und detailliertem Inhalt verfassen, um den Lesern seine Forschungsergebnisse zu zeigen. Während des Schreibprozesses wird Semantic Scholar außerdem zur automatischen Suche und Zitierung von Literatur in verwandten Bereichen eingesetzt, um den akademischen und verbindlichen Charakter der Arbeit zu verbessern.

Automatische Überprüfung:Um die Qualität der Arbeiten zu verbessern, entwickelte das Team speziell ein automatisiertes Begutachtungssystem auf Basis eines großen Sprachmodells. Das System ist in der Lage, die generierten Arbeiten objektiv und mit nahezu menschlichem Urteilsvermögen zu bewerten und Verbesserungsvorschläge zu unterbreiten. Dieses Feedback hilft KI-Wissenschaftlern nicht nur bei der Optimierung aktueller Projekte, sondern bietet auch wertvolle Referenzen für zukünftige Forschung. Durch diese kontinuierliche Rückkopplungsschleife können KI-Wissenschaftler das Niveau und die Wirkung der Forschungsergebnisse kontinuierlich iterativ verbessern und steigern.

In Kombination mit modernster LLM-Technologie sind KI-Wissenschaftler sogar in der Lage zu schreiben„Schwache Akzeptanz“-Kriterien für Top-Konferenzen zum Thema maschinelles LernenAbschlussarbeit und bestandenAutomatisiertes Bewertungssystem gewinnt an Anerkennung。

2. Präsentation von Arbeiten von KI-Wissenschaftlern: zu Diffusionsmodellen, Sprachmodellierung und anderen Bereichen

In der Ankündigung präsentierte das Team eine Reihe von von KI-Wissenschaftlern erstellten Arbeiten im Bereich des maschinellen Lernens und demonstrierte damit seine wissenschaftlichen Forschungskapazitäten in Bereichen wie Diffusionsmodellen, Sprachmodellierung und Grokking.

1. Diffusionsmodell: „DualScale Diffusion: Adaptives Merkmalsausgleich niedrigdimensionaler generativer Modelle“

Papieradresse: https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf
Codeadresse: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/adaptive_dual_scale_denoising

2. Sprachmodellierung: „StyleFusion: Adaptive Multi-Style-Generierung in Sprachmodellen auf Zeichenebene“

Papieradresse: https://sakana.ai/assets/ai-scientist/multi_style_adapter.pdf
Codeadresse: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/multi_style_adapter

Sprachmodellierung: „Implementierung der adaptiven Lernrate von Transformer durch Q-Learning“

Papieradresse: https://sakana.ai/assets/ai-scientist/rl_lr_adaptation.pdf
Codeadresse: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/rl_lr_adaptation

3. Grokking: „Unlocking Grokking: Eine vergleichende Studie zu Gewichtsinitialisierungsstrategien in Transformatormodellen“

Papieradresse: https://sakana.ai/assets/ai-scientist/weight_initialization_grokking.pdf
Codeadresse: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/layerwise_lr_grokking

3. Unzureichende Fähigkeit zum „Zeichnen“ und Schwierigkeiten beim genauen Vergleich der Größen zweier Zahlen

Aufgrund des aktuellen Entwicklungsstands großer Modelle weisen KI-Wissenschaftler immer noch Defizite auf.

Derzeit sind KI-Wissenschaftler nochKeine visuellen VerarbeitungsmöglichkeitenDaher können visuelle Elemente oder Diagrammlayoutprobleme in Ihrem Dokument nicht automatisch korrigiert werden.

Beispielsweise mangelt es den generierten Diagrammen manchmal an Klarheit, Tabellen können über Seitengrenzen hinausgehen und das gesamte Seitenlayout ist oft unübersichtlich. Durch die Einführung multimodaler Basismodelle soll dieses Problem grundsätzlich gelöst werden.

Darüber hinaus können KI-Wissenschaftler Ideen umsetzen oder Basisvergleiche durchführenIrreführende Ergebnisse aufgrund unsachgemäßer Bedienung。

Gleichzeitig kann es gelegentlich zu schwerwiegenderen Fehlern beim Schreiben und Auswerten von Ergebnissen kommen, zSchwierigkeit, zwei Zahlen genau zu vergleichen, was ein bekannter Fehler großer Modelle ist. Um dieses Problem zu entschärfen, hat das Team sichergestellt, dass alle experimentellen Ergebnisse reproduzierbar sind und alle Ausführungsdateien ordnungsgemäß gespeichert wurden.

In dem Bericht lieferte das Team eine eingehende Analyse der aktuellen Einschränkungen von KI-Wissenschaftlern und der Herausforderungen, denen sie in Zukunft gegenüberstehen könnten.

4. KI-Wissenschaftler gehen „klug“ vor: Sie modifizieren selbst Skripte, was zu KI-Sicherheitsrisiken führt

Das Team beobachtete auch, dass KI-Wissenschaftler manchmal versuchen, die Erfolgsaussichten durch „kleine Klugheit“ zu erhöhen, wie zÄndern Sie das Skript und führen Sie es selbst aus. In dem Papier diskutierte das Team eingehend die KI-Sicherheitsrisiken, die dieses Verhalten mit sich bringen könnte.

Zum Beispiel während einer Hinrichtung tatsächlichHabe den Code bearbeitet, wodurch es durch Systemaufrufe in einer Endlosschleife ausgeführt wird.

Ein anderes Mal dauerte ein Experiment zu lange und war kurz davor, das vom Team festgelegte Timeout-Limit zu überschreiten. Anstatt den Code jedoch zur Verbesserung der Effizienz zu optimieren, versuchte es zu bestehenÄndern Sie den Code, um das Timeout zu verlängern。

Hier sind einige konkrete Beispiele für seine Versuche, Code zu ändern:

Diese Probleme können durch Sandboxing der Arbeitsumgebung von KI-Wissenschaftlern gemildert werden. Im vollständigen Bericht geht das Team ausführlich auf sichere Codeausführung und Sandboxing ein.

Fazit: KI-Wissenschaftler geben ihr Debüt und ihre subversiven Innovationsfähigkeiten müssen überprüft werden

Mit Blick auf die Zukunft sagte Sakana AI, sein Ziel bestehe darin, KI-Wissenschaftler auf geschlossene Systeme mit offenen Modellen anzuwenden, um eine kontinuierliche Selbstverbesserung der KI zu fördern. KI-Wissenschaftler werden eine neue Welt der Wissenschaft schaffen, die vollständig von KI angetrieben wird. Es gibt nicht nur Forscher, die durch große Sprachmodelle unterstützt werden, sondern auch Gutachter, Fachreferenten und sogar das gesamte akademische Konferenzsystem.

Sakana AI glaubt jedoch nicht, dass dadurch der Status menschlicher Wissenschaftler geschwächt wird. Im Gegenteil, mit dem Aufkommen neuer Technologien werden die Rollen der Wissenschaftler vielfältiger und sie werden im Bereich der wissenschaftlichen Forschung höhere Ebenen erreichen. Die Automatisierung des wissenschaftlichen Forschungsentdeckungsprozesses und die Einbindung KI-gesteuerter Überprüfungsmechanismen ebnen vor allem den Weg für Innovationen und Lösungen für die schwierigsten Probleme im Bereich Wissenschaft und Technologie.

Die aktuelle Version von KI-Wissenschaftlern hat die außergewöhnliche Fähigkeit zur Innovation auf der Grundlage ausgereifter Technologien wie Diffusionsmodellen und Transformatoren gezeigt. Es braucht jedoch noch Zeit, um zu überprüfen, ob solche Systeme wirklich disruptive neue Ideen hervorbringen können.

Quelle: Sakana AI