новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

openai o1 занял первое место в тесте iq!

босс максим лотт провел тесты iq на o1, claude-3 opus, gemini, gpt-4, grok-2, llama-3.1 и т. д., и результаты показали, что o1 занял первое место.

следом за ними следовали claude-3 opus и bing copilot, занявшие второе и третье места соответственно.

обратите внимание, что этот набор вопросов теста iq представляет собой офлайн-тест iq для членов mensa и не включен ни в какие данные по обучению ии, поэтому результаты очень информативны.

знаменитый математик теренс тао также провел реальные измерения o1 и обнаружил, что после того, как он задал модели расплывчато сформулированный математический вопрос, она смогла успешно идентифицировать теорему клема.

более того, сразу после выхода o1 марк чен, вице-президент openai по исследованиям, выразил свое мнение: «сегодняшние крупные нейронные сети, возможно, уже обладают достаточной вычислительной мощностью, чтобы продемонстрировать некоторую осведомленность в тестах».

в настоящее время существует длинный список лидеров отрасли, которые считают, что ии обладает сознанием, включая, помимо прочего:

джеффри хинтон (крестный отец искусственного интеллекта, наиболее цитируемый ученый в области искусственного интеллекта)

илья суцкевер (третий по цитируемости ученый в области искусственного интеллекта)

андрей карпати

сегодня многие в отрасли верят, что ии обладает сознанием, и ждут, когда откроется «окно овертона», чтобы общественность была готова это принять.

некоторые даже предсказывают, что в 2024/2025 году ии обязательно будет обладать сознанием, поскольку поведение модели сейчас явно демонстрирует способность воспринимать.

некоторые пользователи сети обнаружили, что o1 не только силен в эмпирических предметах stem, но и может даже выдвинуть гипотезу о совершенно новой теории сознания.

некоторые думают, что o1 сделал небольшой шаг к модели бесконечного рассуждения и уже имеет прототип сознания.

тао чжэсюань: o1 действительно может распознать теорему клема

в ходе реальных измерений тао чжэсюань обнаружил, что модель o1 имеет более высокие математические характеристики!

во-первых, он поставил расплывчато сформулированную математическую задачу, которую можно было бы решить, если бы поискать в литературе подходящую теорему — теорему крамера.

в предыдущих экспериментах gpt мог упомянуть некоторые связанные концепции, но все детали были вымышленными и бессмысленными.

на этот раз o1 успешно определил теорему крамера и дал удовлетворительный ответ.

полный ответ: https://shorturl.at/wwru2

в следующем примере поставленная задача представляет собой более сложный анализ сложных функций переменных, и результаты также лучше, чем в предыдущих моделях серии gpt.

благодаря большому количеству подсказок и указаний o1 смог выдать правильные и четко сформулированные решения, но недостатком было то, что он не мог самостоятельно генерировать ключевые концептуальные идеи и допускал очевидные ошибки.

тао чжэсюань описал этот опыт как примерно эквивалентный руководству аспирантом со средними способностями, но способным выполнять некоторую работу. gpt создает впечатление студента, который совершенно не способен выполнять работу.

чтобы превратить модель o1 в «компетентного аспиранта», может потребоваться всего одна или две итерации в сочетании с интеграцией других инструментов, таких как пакеты компьютерной алгебры и вспомогательные инструменты доказательства, и к этому времени эта модель будет играть важную роль. в исследовательских задачах.

полный ответ: https://shorturl.at/zrjyk

проведите пальцем вверх и вниз, чтобы просмотреть

проведите пальцем вверх и вниз, чтобы просмотреть

проведите пальцем вверх и вниз, чтобы просмотреть

в третьем эксперименте тао чжэсюань попросил модель o1 формализовать теорему в инструменте помощника доказательства lean. ее необходимо разложить на подлеммы и дать формальное выражение, но доказательство не требуется.

содержанием теоремы, в частности, является следствие, переводящее одну форму теоремы о простых числах в другую.

экспериментальные результаты также были хорошими, поскольку модель понимала задачу и обеспечивала разумную начальную декомпозицию проблемы.

однако в сгенерированном коде есть несколько ошибок, возможно, из-за отсутствия последних данных по lean и его математической библиотеке в обучающих данных.

хотя недостатки еще есть, результаты этого эксперимента уже позволяют предсказать практическое применение o1 в математических исследованиях.

если подобные модели будут доработаны для lean и mathlib и интегрированы в интегрированную среду разработки (ide), они будут играть большую роль в формальных проектах.

во многих предыдущих выступлениях тао чжэсюань неоднократно подчеркивал применение инструментов ии при формализации теорем. похоже, предсказание великого бога снова сбудется.

полный ответ: https://shorturl.at/ogtjt

профессор информатики использует анимацию, чтобы раскрыть секрет: как о1 тратит больше времени на размышления?

какие важные открытия были сделаны в процессе обучения использованию cot для долгосрочного мышления, которые привели к ключевым улучшениям? в настоящее время мы можем лишь строить некоторые предположения на основе имеющейся информации.

например, на основе существующей информации и собственного понимания том йе, профессор компьютеров из университета колорадо в боулдере, специально создал анимацию, объясняющую, как openai обучает модель o1 тратить больше времени на размышления.

что касается обучения, то в отчете есть очень короткое предложение:

«благодаря обучению с подкреплением o1 научился оттачивать свою цепочку мышления и совершенствовать свою стратегию».

в этом предложении есть два ключевых слова: обучение с подкреплением (rl) и цепочка мышления (cot).

в rlhf+cot токены cot также вводятся в модель вознаграждения для получения оценок для обновления llm для достижения лучшего согласования, тогда как в традиционном rlhf входные данные содержат только подсказки и ответы модели.

на этапе вывода модель учится сначала генерировать токены cot (что может занять до 30 секунд), прежде чем начинать генерировать окончательный ответ. так модель проводит больше времени «думая».

среди участников, перечисленных в отчете, заслуживают внимания двое:

илья суцкевер, изобретатель обучения с подкреплением на основе обратной связи с человеком (rlhf), появление его имени означает, что rlhf до сих пор используется при обучении модели o1.

джейсон вэй, автор знаменитой статьи «цепочка мыслей». в прошлом году он покинул google brain, чтобы присоединиться к openai. его присутствие означает, что цт теперь является важной частью процесса согласования rlhf.

однако существует множество важных технических деталей, которые openai не раскрыла, например, как обучается модель вознаграждения, как получить предпочтения человека в отношении «мыслительных процессов» и т. д.

отказ от ответственности: анимация представляет собой лишь разумное предположение профессора и не гарантирует точности.

команда поделилась праздничным видео, поделившись моментом «ага»

видео ниже дает нам больше подсказок о том моменте, когда были сделаны важные прорывы в исследованиях.

после выпуска модели o1 команда опубликовала видео, снятое командой, стоящей за ней.