новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Западный ветер Цзинь Лея исходит из храма Аофэй.
Кубиты | Публичный аккаунт QbitAI

После Девина еще одининженер-программист ИИЭкран был смахнут——

это называетсяДжинн, известный как нынешнийСамый сильный на поверхности, уже могут думать и действовать как люди!

Так насколько же сильно это «самое сильное на поверхности»?

Давайте сначала посмотримОценка по отзывам。

В авторитетном списке SWE-Bench Genie решила30.07%Оценка вопроса возглавила список.

(SWE-Bench — это тест, используемый для оценки больших моделей для решения реальных программных задач.)

Можно сказать, что этот результат значительно опережает второе место на 19,27%, открываяСамый большой прирост улучшения СОТА - 57%!

Что касается ДжиниФактический эффект, по словам команды:

Он может решать реальные проблемы программного обеспечения так же, как люди-инженеры.

Прежде всего, вы можете использовать 4 способа запуска Genie, а именно: слова-подсказки, проблема GitHub, линейный билет или API.

Если взять в качестве примера решение проблем GitHub, сначала дайте Genie ссылку на репозиторий, и он запустится.Автоматически решать проблемыПолучил:

Клуб джинновАвтоматическое итеративное мышлениеЕсли он хочет решить эту проблему, какие файлы ему нужны, пока он не почувствует, что нашел тот, который его устраивает:

Сразу после этого он выполнитАвтоматический итерационный анализПроцесс:

Затем Джинн начал «свист, свист, свист».Автоматически писать + запускать кодПолучил:

Если ошибка возникает во время выполнения кода, Genie сосредоточится только на проблемной области и будет повторять процесс анализа, написания кода и его запуска до тех пор, пока он не будет выполнен.

Весь процесс требует только времени84 секунды！

По словам команды:

Джинн миллионы раз наблюдал и учился на примере того, как программисты-люди решают проблемы с программным обеспечением.
Это число, которого ни один программист-человек не может достичь за всю жизнь.

Но что еще более неожиданно, так это команда, стоящая за Genie…Косинус, всего 5 человек。

Генеральный директор Алистер также опубликовал сообщение с благодарностью OpenAI:

Без вас мы не смогли бы создать Genie.

Так как же команда Cosine создала Genie?

Как стать сильнейшим инженером ИИ?

Главной особенностью Genie является его способность имитировать когнитивные процессы, логику и рабочий процесс людей-инженеров.

Для этого команда Genie сообщила, что собрала набор данных, содержащий информацию о деятельности реальных программистов-людей за последний год.

Он не только использует анализ результатов, статический анализ, самостоятельную игру, пошаговую проверку и другие методы, но также использует модели ИИ, обученные на основе большого количества размеченных данных. Преимущество заключается в том, что по мере улучшения возможностей базовых моделей растет и качество данных, которые они могут извлечь.

Наконец-то ДжиннИспользуйте эти собственные данные для обучения。

В наборе данных закодирован весь процесс человеческого рассуждения, включая идеальное отслеживание информации, постепенное обнаружение знаний и пошаговый процесс принятия решений на основе реальных случаев работы инженеров-программистов.

Процесс рассуждения Джини включает в себяПланирование, извлечение, написание кода и выполнение кода.Четыре основных шага преодолевают ограничения других инженеров ИИ, которые полагаются на добавление дополнительных инструментов, таких как веб-браузеры и интерпретаторы кода, поверх базовой модели, и могут решать разнообразные, ситуативные и беспрецедентные проблемы, как и люди.

Этот метод тренировки заставил пользователей сети сразу же подумать об аналогичных идеях, которые Карпати выдвигал ранее:

Для LLM идеальными обучающими данными является не сам контент, который вы пишете, а весь ваш мыслительный процесс и каждое действие по редактированию в процессе написания. Однако мы можем сделать все, что в наших силах, только с теми ресурсами, которые у нас есть.

Кроме того, обучение Genie также знакомит смеханизм самосовершенствования。

Исходные данные обучения в основном представляют собой безошибочный код, который может работать нормально, что затрудняет работу Genie с ошибочными ситуациями. Чтобы решить эту проблему, команда использовала первую версию Genie для генерации синтетических данных, содержащих ошибки, а затем использовала эти данные для обучения следующей версии модели.

В частности, старая версия Genie используется для предложения решения, и если решение неверно, освоенное конечное состояние задачи используется, чтобы научить ее достигать правильного состояния из текущего состояния.

Повторяя этот процесс, первоначальное решение, предложенное Джини, постепенно становится более точным, в большинстве случаев напрямую давая правильный ответ, и даже если оно допускает ошибку, оно требует лишь меньшего количества исправлений в наборе данных.

Еще один ключ к улучшению возможностей Genie заключается в поддержке больших моделей, предоставляемой OpenAI.

Команда заявила, что когда они впервые разработали Genie, они могли получить доступ только к коротким контекстным моделям в диапазоне 16-32 тыс. для точной настройки. Они использовали эти модели на ранних стадиях разработки и использовали более 100 миллионов данных токенов для обучения. модели, хотя они обнаружили, что разработанная архитектура имеет определенные преимущества, но фундаментально ограничена объемом информации, которую модель может обработать за определенный промежуток времени.

После испробования различных методов сжатия/разбиения на части единственным решением было использование модели с более широким контекстом.

OpenAI обеспечивает поддержку моделей длительного контекста, а последняя версия Genie была обучена на миллиардах токенов.

Команда считает, что по сравнению с корректировкой гиперпараметров и объемом данных качество данных является ключевым моментом. Поэтому они также провели множество экспериментов по смешиванию данных, включая несколько измерений, таких как язык, тип задачи, длина задачи и т. д. Ниже приведена пропорция данных различных языков программирования, используемых для обучения Genie:

Также существуют пропорции данных разных типов экземпляров:

Команда всего 5 человек

Как мы уже упоминали выше, в команде стартапа Cosine на данный момент всего 5 человек.

Во введении на официальном сайте они также очень прямо описывают себя как:

Маленький, но могучий.
Маленький, но мощный.

Судя по вступлению, некоторые участники представляют компании-единороги, некоторые имеют опыт управления глобальными командами, а некоторые даже начали программировать с 8 лет.

Но когда компания Cosine была впервые создана, их целью было всего три человека.Понять человеческое мышление。

Стоит отметить, что один из участников команды – китаец.Ян Ли, является соучредителем Cosine и в 2021 году вошел в список Forbes 30 до 30 лет.

Кроме того, что касается самой Genie, генеральный директор Алистер также сказал:

Мы начали представлять Genie еще в 2022 году, но на тот момент это было технически невозможно.
Лишь в последние шесть месяцев или около того Genie стала реальностью, поскольку большая модель постепенно взрослела.

Что ж, я должен сказать, что большая модель снова внесла большой вклад.

В настоящее время Genie может подать заявку на включение в список ожидания. Заинтересованные друзья могут нажать на ссылку в конце статьи~.

Адрес списка ожидания:
https://cosine.sh/register

Справочные ссылки:
[1]https://x.com/alistairpullen/status/1822981361608888619?s=46
[2]https://cosine.sh/blog/genie-technical-report
[3]https://cosine.sh/blog/state-of-the-art
[4]https://x.com/AlistairPullen/status/1823030874579120223
[5]https://x.com/yangli_