большие модели начинают учиться думать как люди. где путь к agi?
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
два месяца назад проблема слабых математических возможностей больших моделей привлекла всеобщее внимание. многие крупные модели на рынке не могут ответить даже на простой математический вопрос «что больше, 9,11 или 9,9?» спустя два месяца отрасль постепенно решает проблему ограничений математических возможностей больших моделей.
ранним утром 13 сентября по пекинскому времени openai без предварительного уведомления выпустила новую серию моделей рассуждений, включающую три модели: o1-preview, o1 и o1-mini. это давно известный «клубничный проект» openai с расширенными возможностями рассуждения. по данным openai, новая серия моделей хорошо показала себя при обработке данных и кодировании, набрав 83% на квалификационном экзамене международной математической олимпиады (imo).
openai не единственный, кто пытается преодолеть ограничения математических возможностей. команда google deepmind ранее также запустила систему alpha alphaproof, которая используется для решения сложных математических задач.
выход за пределы математических способностей — это новый шаг в эволюции технологии искусственного интеллекта и на пути к agi (общему искусственному интеллекту). по словам саймона си, профессора университета ковентри и глобального директора технологического центра искусственного интеллекта nvidia, усилия отрасли по улучшению математических возможностей ии включают в себя усилия по объединению llm (большая языковая модель) с другими технологиями. усилия в различных технологиях создают потенциальный импульс для этого. agi (общий искусственный интеллект).
как решить проблемы ограничений математических способностей?
«это значительный прогресс в решении сложных задач рассуждения и представляет собой новый уровень возможностей искусственного интеллекта», — написала openai, представляя модели серии o1. генеральный директор openai сэм альтман также заявил в социальных сетях, что новая модель — это начало новой парадигмы, то есть ии может выполнять общие сложные рассуждения.
расширенные математические возможности – важная особенность этой серии моделей. openai сообщила, что обновленная производительность новой серии моделей аналогична производительности докторантов, выполняющих сложные контрольные задания по физике, химии и биологии. на квалификационном экзамене международной математической олимпиады (imo) gpt-4o правильно решил только 13%. вопросов, а новая модель набрала 83%.
что касается того, как новая модель может улучшить математические и программные возможности, openai сообщила, что компания использует крупномасштабные алгоритмы обучения с подкреплением, чтобы «научить» модель использовать цепочки мышления для эффективного мышления при эффективном обучении данных, подобно тому, как люди думают для время, прежде чем отвечать на сложные вопросы, занимает много времени, поскольку обучение с подкреплением увеличивается и время размышления увеличивается, производительность o1 продолжает улучшаться. исследователь openai ноам браун заявил, что o1 открывает новое измерение для масштабирования (масштабирования) больших моделей, благодаря чему большие модели больше не подвергаются узким местам предварительного обучения, а также теперь могут расширять вычисления вывода. что касается роли расширенных возможностей рассуждения, openai заявила, что их можно использовать для аннотирования данных секвенирования клеток в области медицинского обслуживания и создания сложных математических формул в области физических исследований.
google deepmind повышает конечную производительность системы искусственного интеллекта за счет объединения других технологий, помимо llm. alphaproof также основан на обучении с подкреплением и представляет собой систему математических рассуждений. система обучалась для проверки языка программирования lean, языка программирования, используемого для проверки теорем, сочетая обученную языковую модель с алгоритмом обучения с подкреплением alphazero. по данным google, lean позволяет системе проверять правильность математических рассуждений. столкнувшись с проблемой, alphaproof генерирует варианты решения, а затем ищет в lean возможные шаги доказательства, чтобы доказать или опровергнуть.
независимо от того, схожи ли технические принципы, alphaproof и openai o1 склонны мыслить глубже по сравнению с предыдущими моделями, а не просто полагаться на способность llm предсказывать и быстро генерировать следующий токен (элемент слова).
как добраться до аги?
ранее крупный разработчик моделей сообщил журналистам, что одна из причин слабых математических способностей больших моделей заключается в том, что для обучения модели не используется большой объем высококачественных математических данных. по мере улучшения качества данных возникает проблема слабых математических данных. способность можно решить. однако отраслевые аналитики утверждают, что не только причина обучающих данных, но и плохие математические способности llm еще и потому, что метод прогнозирования следующего токена не очень разумен. судя по последним тенденциям, отрасль, включая openai и google deepmind, решает проблему плохих математических и логических способностей рабочего механизма систем искусственного интеллекта. фактически, она использует различные технологии, чтобы компенсировать недостатки методов работы llm. в какой-то степени заставить llm думать как люди.
что касается ограничений возможностей llm, того, как решать такие проблемы, как математические способности, и как перейти от существующего llm к agi, отрасль все еще обсуждает коренные причины и решения. многие ветераны отрасли недавно провели конференцию, организованную saudi data. и управление искусственного интеллекта. обсуждалось на всемирном саммите по искусственному интеллекту gain summit. на саммите саймон си заявил, что нынешний искусственный интеллект «узок». многие думают, что llm станет движущей силой реализации agi, но на самом деле люди не совсем понимают, как он работает, и все еще находятся на грани разработки llm. есть еще много проблем, которые необходимо решить, например, невозможность создания все более крупных моделей, поскольку невозможно обеспечить неограниченную энергию.
«теперь у нас есть большой объем данных. как только модель будет достаточно обучена, появятся новые возможности. на мой взгляд, полагаться на одну технологию невозможно. направление, над которым в настоящее время работает отрасль, включает объединение llm с другими знаниями и такие технологии, как новые символы, исчисление и т. д. для понимания и рассуждения». саймон си сказал, что в последнее время сочетание различных технологий достигло большого прогресса. alphaproof от deepmind сочетает в себе язык бережливого программирования, языковые модели и т. д., так что ии может быть реализован. используется для математических доказательств. пусть llm объединит различные технологии, чтобы дать системе искусственного интеллекта потенциальную возможность привести к agi.
антуан блондо, соучредитель и управляющий партнер alpha intelligence captal, также считает, что то, что машины в конечном итоге будут лучше людей, предрешено, но для достижения этого результата потребуется некоторое время, и существует еще много научных исследований. работа, которую предстоит сделать. он пришел к выводу, что ии не будет единой моделью, а может представлять собой комбинацию нескольких моделей. в конечном итоге машина научится наблюдать, доказывать или опровергать, обобщать и учиться в реальном мире, как люди.
что касается нынешнего механизма и ограничений llm, антуан блондо считает, что люди учатся у жизни, 95% которой познается из «видео со звуком». % — это текст, например книги. люди будут изучать семантику из видео. например, когда появляются пять пальцев, это означает, что это может быть человек или другое животное. люди также будут понимать последовательность времени и причин и следствий событий из видео. но когда машина учится по видео, ее задача — предсказать следующий пиксель, что не так, как это делает человек. если мы не сможем заставить машины учиться, как люди, машинам будет трудно достичь более высокого уровня интеллекта.
алекс смола, известный ученый в области машинного обучения, а также основатель и генеральный директор стартапа по крупным моделям boson ai, отметил, что ограничения работы llm также связаны с прогнозированием токенов. он сказал, что способность llm предсказывать следующий токен (элемент слова) использовалась для понимания изображений, звуков, создания звуков, и за последние 12 месяцев все, кажется, стало токенами.
«в какой-то степени мы начали исчерпать количество доступных токенов. по приблизительным оценкам, может существовать 100 триллионов токенов, которые могут быть токенами, которые люди могут использовать для создания llm. есть еще много видео- и аудиоматериалов, какой-то степени, в какой степени это будет реализовано, это также зависит от nvidia или других компаний, производящих чипы, способные обрабатывать эти режимы. алекс смола заявил, что в обозримом будущем ядром llm может стать последовательное моделирование (sequence modeling). , которые теперь могут видеть данные, аппаратная конвергенция и вероятностные модели также развиваются в сторону подобных структур. мы видим, как далеко могут зайти соответствующие исследования в ближайшие несколько лет.
объединив технологический прогресс и глядя в будущее, антуан блондо считает, что реализация оии может произойти в течение 10 или 20 лет, а скорость эволюции сейчас очень быстрая. саймон си считает, что 80% процесса можно достичь за эти 10 лет, но он считает, что последние 20% будут очень сложными и займут больше времени.
(эта статья взята из china business news)
