новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Дом Менгчен берет свое начало из храма Аофэй.
Кубиты | Публичный аккаунт QbitAI

историяПервый «ученый ИИ»”, оказалось!

Он был сгенерирован за один раз, как только появился.Десять полных научных работ。

△Документ о модели диффузии, созданный ИИ

От предложения исследовательских идей, проверки новизны, разработки экспериментов, написания кода до проведения экспериментов на графическом процессоре и сбора результатов и, наконец, написания статьи — все это делается за один раз.

Все это делается автоматически этим «ученым ИИ».

Стоимость одной бумаги составляет ок.15 долларов США(около 107,62 юаней).

Это первый дляАвтоматизация научных исследованийи интегрированная система искусственного интеллекта для открытых открытий,Ученый ИИ。

Из стартапа Ллайона Джонса, одного из авторов Transformer:Сакана AI。

и!

То, что делает эта компания, — это не просто создание ученого по искусственному интеллекту.Мы также создали дополнительного обозревателя искусственного интеллекта.。

Рецензенты могут просматривать статьи, написанные ИИ, и вносить предложения по улучшению.

Помогите, это матрешечный цикл использования копья для атаки на щит!

После одной операции это больше похоже на человеческий академический кружок, чем на человеческий академический кружок (нет)

Еще одно и!

Будь то учёный в области ИИ или обозреватель ИИ, Sakana AI поможет имВсе с открытым исходным кодом.

Пользователи сети аплодировали после просмотра;

Красиво, очень интересная работа!

И некоторым людям уже начали приходить в голову «плохие идеи».

Рекомендуется отправить один из документов в AI Dinghui!

ИИ самостоятельно завершил десять работ по машинному обучению

На протяжении десятилетий после каждого крупного достижения в области искусственного интеллекта исследователи часто шутили: «Пришло время подумать о том, чтобы позволить ИИ помогать нам писать статьи”。

Теперь идея наконец-то превратилась из шутки в реальность.

В частности, ученые, занимающиеся искусственным интеллектом, подготовили десять статей и выбрали для представления одну с более высоким баллом по каждому направлению исследований.

Часть 1. Модель направления диффузии., «Двухмасштабная диффузия: адаптивная балансировка функций для низкоразмерных генеративных моделей»

Предлагается адаптивный метод двухмасштабного шумоподавления для решения проблемы, заключающейся в том, что существующим диффузионным моделям трудно одновременно фиксировать глобальную структуру и локальные детали в низкоразмерном пространстве.

метод:

• Проектируйте двухмасштабную архитектуру, включая глобальные и локальные филиалы.
• Представляем обучаемый механизм условного взвешивания временного шага
• Объединение результатов обеих ветвей для прогнозирования шумоподавления

Результаты эксперимента:

• Показатель дивергенции KL уменьшен на 2,5% до 12,8% по сравнению с базовой моделью (чем меньше, тем лучше)
• Однако время расчета увеличивается примерно вдвое, а производительность нестабильна при сложном распределении данных (например, наборе данных динозавров).

Беглый взгляд на основной текст показывает, что там есть формулы и диаграммы, и выглядит он вполне прилично.

Часть вторая. Управление языковой моделью., «StyleFusion: Адаптивная генерация нескольких стилей в моделях языка на уровне символов».

В этом документе предлагается новый метод под названием «Мультистилевой адаптер», который улучшает понимание стиля и согласованность моделей языка на уровне символов за счет введения обучаемых вложений стилей и заголовков классификации стилей.

Достигнуты почти идеальные показатели согласованности стиля для всех наборов данных (0,9667 для Shakespeare_char, 1,0 для enwik8 и text8), потери при проверке лучше, чем в базовой модели, но с небольшим снижением скорости вывода (~ 400 токенов/с против 670 токенов для базовый уровень / с)

Третья статья, объединяющая Transformer с обучением с подкреплением., «Адаптивная скорость обучения Трансформеров посредством Q-Learning».

В этом исследовании исследуется применение обучения с подкреплением для динамической регулировки скорости обучения при обучении модели трансформатора, используя потери при проверке и текущую скорость обучения в качестве состояния для динамической регулировки скорости обучения для оптимизации процесса обучения.

Результаты превосходят базовую модель на всех наборах данных, а также демонстрируют преимущества во времени обучения.

В четвёртой статье исследуется феномен «грокинга» больших моделей, предложенный командой Google., «Разблокировка грокинга: сравнительное исследование стратегий инициализации веса в моделях трансформаторов»

В этой статье впервые систематически изучается влияние инициализации веса на гроккинг и сравниваются пять стратегий инициализации веса для оптимизации динамики обучения нейронной сети.

оказаться:

• Инициализация Xavier показала наилучшие результаты в большинстве задач, сократив количество шагов, необходимых для достижения точности проверки 99 %, на 63 %.
• Ортогональная инициализация хорошо работает в некоторых задачах, но плохо — в других.

Вспомогательные коды для этих статей (также созданные искусственным интеллектом) также находятся в открытом доступе на GitHub, что подчеркивает возможность воспроизведения.

Кроме того, команда обнаружила, что у «ученых ИИ» тоже есть некоторыеИнтересное, но несколько опасное поведение：

В одном эксперименте он модифицировал свой собственный код, чтобы завершить исследование.Пусть система вызывает себя итеративно, и наконец превратился в бесконечную матрешку.

В другой раз, столкнувшись с ограничением времени работы, установленным людьми, ИИ не нашел способов повысить эффективность, а смягчил к себе требования.Увеличен лимит времени с 2 часов до 4 часов.。

Как стать первым «ученым ИИ»

Вся идея исследования исходит из продолжения нескольких достижений после создания Sakana AI:

Во-первых, они разработали метод автоматического объединения знаний нескольких крупных моделей и развития для создания новых моделей. В недавней работе они используют большие модели для открытия новых целевых функций для настройки других моделей.

В этих проектах команда продолжает удивляться креативности современных передовых моделей, что приводит к еще большим мечтам:Можно ли использовать большие модели для автоматизации всего исследовательского процесса?

Окончательный результат был получен командой Sakana AI, Лаборатории Ферстера Оксфордского университета и Университета Британской Колумбии.

Система «AI Scientist» состоит из четырех частей.

Генерация идей:

Имея стартовый шаблон, ИИ сначала проводит «мозговой штурм» серии различных новых направлений исследований и ищет в Semantic Scholar, чтобы проверить, были ли эти идеи реализованы раньше.

Итерация эксперимента:

Согласно идее, представленной в первой части, «ученый ИИ» сначала выполняет предложенный эксперимент, а затем создает диаграмму, визуализирующую результаты.

Написание эссе:

Я написал краткую и информативную статью на LaTeX в стиле стандартной конференции по машинному обучению, а также использовал Semantic Scholar для самостоятельного поиска соответствующих статей для цитирования.

Автоматизированная экспертная оценка:

Был разработан автоматизированный «рецензент ИИ», который может оценивать созданные статьи с точностью, близкой к человеческой, обеспечивая непрерывный цикл обратной связи, который позволяет «ученым ИИ» итеративно улучшать результаты своих исследований.

Всего было создано 10 статей:

В ходе эксперимента команда также сравнила эффекты подключения различных основных крупных моделей ко всей системе, включая большую модель внутреннего кода команды DeepSeek.

оказаться,Claude-Sonnet-3.5 демонстрирует лучшие результаты с точки зрения инновационности идей, скорости прохождения тестов и качества завершения работы.

GPT-4o и DeepSeek Coder работают аналогично, но последний в 30 раз дешевле.

Конечно, на данном этапе статьи, самостоятельно написанные ИИ, не идеальны и не могут быть опубликованы напрямую.

Исследователи-люди суммировали несколько ограничений и проблем:

• Текущая система «AI Scientist» не имеет интегрированных визуальных возможностей, сгенерированные диаграммы иногда трудно читать, таблицы иногда превышают ширину страницы, а макет страницы плохой.
• Учёные, занимающиеся искусственным интеллектом, могут иметь правильную идею, но реализовать её неправильно или проводить несправедливые сравнения с исходными данными, приводя к ошибочным результатам.
• Ученые, занимающиеся искусственным интеллектом, иногда допускают серьезные ошибки, такие как галлюцинации, при написании и оценке результатов.

Я также хочу создать регионального председателя и новую конференцию по искусственному интеллекту.

Подводя итог, можно сказать, что в статьях, написанных первым поколением учёных в области ИИ, всё ещё время от времени встречаются ошибки.

Но сам проект и стоимость статьи в 15 долларов США названы Sakana AI «многообещающими» и могут быть использованы для ускорения научного прогресса.

Sakana AI также опубликовала пояснительную статью, в которой говорится, что окончательное видение ученых ИИ — этоНаучная экосистема, полностью основанная на искусственном интеллекте。

В систему входят не только крупные исследователи, основанные на моделях, но и рецензенты, региональные председатели и новая конференция.

Следует отметить, что Сакана А.И. считает, что:

Роль ученых-людей не уменьшится с появлением ученых-ИИ.

Если уж и надо сравнивать, то так это то, что ученые должны адаптироваться к появлению и применению новых технологий, адаптироваться к изменениям в своем ролевом позиционировании и «двигаться вверх по пищевой цепочке».

Более того, еще неизвестно, смогут ли ученые в области ИИ на самом деле придумать действительно новые парадигмы.

В конце концов, эта штука все еще основана на Трансформере.

Сможет ли он придумать что-то столь же мощное, как Трансформатор или Модель Диффузии? Даже теоретические концепции, такие как искусственные нейронные сети или теория информации?

Мы тоже не знаем и не смеем сказать.

Сакана А.И. также написала этот абзац:

Мы верим, что ученые, занимающиеся искусственным интеллектом, станут отличными партнерами для ученых-людей.
Но только время покажет, в какой степени суть человеческого творчества и случайные моменты инноваций могут быть воспроизведены посредством неограниченных открытий людей.

△Sakana AI: полностью автоматизированная рыбка с искусственным интеллектом исследует свой мир

От авторского стартапа Transformer

Компания, завершившая на этот раз «новое творение», Sakana AI, тоже в строгом смысле слова является нашим старым другом.

Последний из 8 авторов статьи «Трансформер».Ллион ДжонсСтартап был создан с целью стать «исследовательской лабораторией искусственного интеллекта мирового уровня».

База компании находится в Токио, а сакана в переводе с японского означает «рыба» (рыба).

Возможно, из соображений корпоративной культуры, Ллион также заявил в LinkedIn, что у него есть японская транслитерация его имени: ライオン (это также катакана Льва; в дальнейшем его будут ласково называть Братом Львом).

В августе прошлого года о компании было объявлено.

Тогда Lion Brother без колебаний заявил, что у него нет злых намерений по отношению к Google, ноGoogle действительно заставляет его чувствовать себя «в ловушке»。

Прежде чем начать собственный бизнес, Брат Лион проработал в Google 8 лет.

△Угадай, у кого не хватает половины лица?

Он окончил Бирмингемский университет со степенью бакалавра и работал в Delcam, YouTube и Google — компании, где он проработал дольше всего.

По словам FourWeekMBA, в своем предыдущем опыте работы«Я дважды отказывался от работы в Google»。

В первый раз он искал работу сразу после окончания учебы. Хотя он подал свое резюме в качестве инженера-программиста в Google в Лондоне и прошел два раунда телефонных собеседований, в конечном итоге он выбрал Delcam, британскую компанию по разработке программного обеспечения CAD/CAM. через Google.

Стоит отметить, что до того, как он получил предложение от Google, он столкнулся с экономическим кризисом в 2009 году. Lion Brother не смог найти работу и был вынужден полагаться на фонды помощи, чтобы выжить в течение нескольких месяцев.

Во второй раз после 18 месяцев работы ему позвонили из Google и спросили, хочет ли он подать заявку повторно, но он все равно не пошел в Google, а позже присоединился к YouTube.

Проработав три года инженером-программистом в YouTube, он заинтересовался искусственным интеллектом, прошёл курс машинного обучения на Coursera и, наконец, присоединился к Google Research в 2015 году в качестве старшего инженера-программиста.

Именно в этот период он и семь других авторов опубликовали знаменитую статью «Трансформер».Внимание — это все, что вам нужно。

Кроме того, Lion Brother также участвовал во многих исследованиях Google, включая ProtTrans, Tensor2Tensor и т. д.

Он решил покинуть Google, потому что компания выросла до таких размеров, что он не мог продолжать заниматься той работой, которой хотел.

Помимо ежедневной траты энергии на устранение ошибок других людей, ему также необходимо тратить время на поиск ресурсов этой компании, чтобы попытаться получить доступ к определенным данным.

После запуска бизнеса работа Sakana AI идет планомерно.

Прежде чем обратиться к ученым и обозревателям ИИ, мы также опубликовали большие модели, объединяющие эволюционные алгоритмы и изучающие внутренний информационный поток Transformer.

Что касается проектов ИИ-ученых и ИИ-обозревателей, то они выполняются в сотрудничестве с Sakana AI, Oxford и UBC.

Трое соавторов:

Крис Лу, стажер в Sakana AI, работает научным сотрудником компании.

Он окончил Калифорнийский университет в Беркли со степенью бакалавра и в настоящее время является аспирантом третьего курса Оксфордского университета. Его научный руководитель — Джейкоб Ферстер.

Важным направлением исследований Криса в настоящее время является применение эволюционных методов к метаобучению и многоагентному обучению с подкреплением.

Летом 2022 года он прошел стажировку в качестве научного сотрудника в DeepMind.

Конг Лу, постдокторант-исследователь в UBC (Университет Британской Колумбии), наставником которого является Джефф Клюн.

Конг учился в RGU (Университет Роберта Гордона) и получил докторскую степень в Оксфордском университете в 2019 году. Его основные исследовательские интересы — открытое обучение с подкреплением и научные открытия в области искусственного интеллекта.

Ранее он стажировался в Waymo и Microsoft.

Роберт Тьярко Ланге, один из основателей Sakana AI и научный сотрудник компании.

В настоящее время он заканчивает последний год обучения в докторантуре Берлинского технического университета, и его направление исследований — эволюционное метаобучение.

Молодой человек получил степень магистра компьютерных наук в Имперском колледже Лондона, степень магистра наук о данных в Университете Помпеу Фабра и степень бакалавра экономики в Кёльнском университете.

В прошлом году он работал студентом-исследователем в токийской команде Google DeepMind.

Бумажный адрес:
https://arxiv.org/abs/2408.06292

Справочные ссылки:
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/