Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

За последние год-два большие модели привлекли к себе много внимания, особенно из-за их эффективности в решении арифметических задач.

Фактически, еще в 2022 году исследователи из исследовательской группы Google предложили подсказку «Цепочка мыслей» (CoT) — метод быстрого проектирования, который может эффективно улучшить математические рассуждения в больших моделях и обучаться в контексте нескольких выборок. эффективность подтверждена [1].

Хотя этот метод быстро стал широко использоваться, исследователи в этой области до сих пор мало знают о том, как он стимулирует арифметические рассуждения в больших моделях.

Ранее соответствующие исследования в основном были сосредоточены на экспериментальном наблюдении влияния различных компонентов в операторе подсказки ЦТ на эффект арифметического рассуждения больших моделей.

В частности, попробуйте заменить или удалить компоненты в подсказке ЦТ, например удалить часть словесного рассуждения из образца ЦТ, оставив только ключевые математические формулы, и наблюдать за большой моделью до и после замены или удаления в существующей арифметике. Разница в производительности в эталонном тесте вывода используется для определения того, вносит ли заменяющая или удаляемая часть важный вклад в стимулирование способности арифметического рассуждения большой модели.

Хотя исследователи в этой области обнаружили в результате этих исследований несколько интересных явлений, они до сих пор не могут объяснить, как CoT стимулирует способность арифметических рассуждений больших моделей за счет внутреннего механизма нейронных сетей.

В то же время эти исследования вызывают еще больше вопросов. Например, почему разные компоненты CoT по-разному влияют на арифметические рассуждения больших моделей.

Чтобы решить вышеупомянутые проблемы, профессор Яо Цзыюй и его команда из Университета Джорджа Мейсона в США начали серию исследований модели Llama2 с открытым исходным кодом с точки зрения «интерпретируемости модели» и предложили использовать «активацию нейронов» для систематически объяснить Явление, наблюдаемое на CoT, было изучено.

Изображение 丨Члены исследовательской группы (источник: исследовательская группа)

Недавно соответствующая статья под названием «Исследование активации нейронов как единая линза для объяснения цепочки мыслей, вызывающей арифметические рассуждения в моделях большого языка» (LLM) была принята на ежегодном собрании Ассоциации компьютерной лингвистики (ACL, Annual Совещание по компьютерной лингвистике) 2024 г. [2].

Дакинг Рай, докторант Университета Джорджа Мейсона, является первым автором, а Яо Цзыюй — автором-переписчиком.

Рисунок: Сопутствующие документы (Источник: ACL 2024).

В ходе исследования они сначала сосредоточились на изучении того, является ли слой прямой связи Transformer нейроном, выражающим концепцию арифметического рассуждения.

Соответствующие понятия включают понятия арифметических операций сложения, вычитания, умножения и деления, понятия логических связей в процессе арифметических рассуждений (таких как «...так», «...следующий») и другие понятия арифметических вычислений ( такие как «процент», «алгоритм» и «формула»).

Поэтому, чтобы обнаружить концепцию, представленную каждым нейроном, они сопоставили нейрон со словарным пространством большой модели и суммировали значение нейрона, обозначив долю понятий в каждом словаре после картирования нейронов.

Исследовательская группа предложила использовать GPT-4 для чтения и понимания лексического отображения нейронов, чтобы автоматизировать процесс маркировки и анализа нейронов.

Эксперименты показывают, что на слое прямой связи Трансформатора действительно есть нейроны, которые представляют арифметические понятия. Когда эти нейроны повреждаются, способности большой модели к арифметическому рассуждению подвергаются риску.

В то же время исследователи также заметили, что активность этих нейронов положительно коррелирует со способностью большой модели к арифметическому мышлению. Такая положительная корреляция объясняет, почему разные утверждения подсказок приводят к разным последствиям для арифметических рассуждений больших моделей.

На основе этих нейронов команда систематически объяснила четыре феномена, связанных с ЦТ, наблюдавшихся в предыдущих исследованиях.

Во-первых, когда математические формулы удаляются из выборки CoT и остаются только результаты операций, способность большой модели к арифметическим рассуждениям будет нарушена.

Во-вторых, когда из выборки ЦТ удаляется вербальное рассуждение и остаются только математические формулы, способность модели также ухудшается.

В-третьих, когда выборки ЦТ теряют операционное разнообразие, например, когда все выборки включают только операции сложения, возможности модели ухудшаются.

В-четвертых, когда результат операции образца ЦТ неверен, но процесс вывода верен, возможности модели существенно не страдают.

«Мы видим, что эти явления в основном можно объяснить степенью активации нейронов. Например, до и после удаления математических формул количество активированных нейронов уменьшается, что объясняет, почему способность модели к арифметическому мышлению ухудшается». объяснил дорогу.

С точки зрения применения это достижение будет иметь перспективы применения в двух аспектах.

Во-первых, способность прогнозировать большие модели.

В ходе экспериментов исследователи смогли увидеть, что уровень активации нейронов, отвечающих за арифметическое мышление, положительно коррелирует со способностью модели Llama2 к арифметическому рассуждению. Это означает, что в будущем тесты для прямого прогнозирования возможностей крупных моделей по конкретным задачам могут отпасть.

В то же время, поскольку эталонное тестирование требует большого количества человеческих и материальных ресурсов, таких как аннотации наборов данных и вычислительные ресурсы, возможность напрямую прогнозировать большую модель, понимая ее внутренние механизмы, также помогает сэкономить затраты.

Кроме того, специалисты в этой области надеются, что в ближайшем будущем большие модели смогут выполнять сверхчеловеческие задачи. Но, ограниченные человеческими возможностями, невозможно построить эталоны для этих задач. Этой проблемы можно избежать, прогнозируя возможности модели с помощью внутреннего механизма больших моделей.

Во-вторых, управляя внутренними механизмами больших моделей, их возможности можно расширить или ослабить.

«Мы считаем, что это приложение станет одним из важных методов повышения безопасности больших моделей в будущем. В то же время оно также имеет потенциал для достижения более эффективного обучения больших моделей, например, для обнаружения нейронов с помощью небольших данных. затем контроль активации нейронов. Цель обучения модели», — заявила исследовательская группа.

Фактически, во второй половине 2023 года OpenAI предложила предложение «суперсогласования» [3], направленное на то, чтобы помочь людям контролировать и контролировать сверхчеловеческие модели ИИ путем поощрения инноваций в научных исследованиях. Возможности модели прогнозирования и управления — две важные задачи для достижения этой цели.

«Этот результат является нашим предварительным исследованием в этом направлении. Мы надеемся, что мы или другие исследователи сможем продолжить исследования в этом направлении в будущем», — заявили в команде. Это исследование было вдохновлено «интерпретируемостью механизма».

Это область интерпретируемости моделей, которая быстро возникла и получила широкое внимание в последние годы. В отличие от предыдущих интерпретируемых методов, интерпретируемость механизма пытается понять поведенческий механизм модели путем обратного проектирования нейронной сети.

В настоящее время этот тип метода применяется для объяснения поведения и структурных функций больших моделей.

«Одним из исследований, которые нас очень вдохновили, является исследование слоя прямой связи Трансформатора исследователями из Института искусственного интеллекта Аллена в США и Университета Бар-Илан в Израиле [4]», — сказал исследователь.

Это исследование показало, что в процессе прогнозирования следующей словарной единицы в большой модели слой прямой связи Transformer модели будет строить прогнозы, постоянно усиливая связанные понятия в словарном пространстве. Подкрепление этой концепции достигается за счет активации нейронов в слое прямой связи Трансформатора.

«Это открытие на уровне механизма вдохновило нашу гипотезу: причина, по которой CoT может стимулировать способность больших моделей к арифметическому рассуждению, может заключаться в том, что он может эффективно активировать нейроны, которые представляют концепции арифметического рассуждения в слое прямой связи Трансформатора, и эти нейроны помогают укрепить способность больших моделей к арифметическому рассуждению», — заявила исследовательская группа.

Основываясь на этом, исследовательская группа задалась вопросом, существует ли механизм, который может напрямую улучшить возможности арифметического рассуждения больших моделей, особенно небольших больших моделей.

Команда отметила: «Это очень значимая вещь, потому что небольшие крупные модели обладают уникальной вычислительной эффективностью, экономической эффективностью и безопасностью».

Более того, в тот же период они также увидели некоторые исследования по улучшению возможностей небольших крупных моделей в конкретных областях или задачах путем сбора высококачественных данных или изменения целевой функции обучения. Однако применение механистической интерпретируемости в этом отношении все еще находится на зарождающейся стадии.

Несмотря на это, процесс научных исследований команды не шел гладко, и вначале они даже столкнулись с «застреванием».

Среди них самая большая трудность заключается в том, что они не до конца понимают внутренний механизм арифметических рассуждений больших моделей и, естественно, не могут достичь желаемого управления моделью.

«Поэтому мы с моим студентом Лаем, первым автором статьи, решили сосредоточиться на объяснении арифметических рассуждений больших моделей», — сказал Яо Цзыюй.

Но вскоре они столкнулись со следующей трудностью.

«Арифметическое рассуждение» — это очень абстрактное понятие, и предсказания больших моделей выполняются на уровне конкретных словарных единиц.

Если мы хотим понять способность больших моделей к арифметическому мышлению с точки зрения «концептуального усиления нейронов в лексическом пространстве», мы должны сначала реализовать эту весьма абстрактную концепцию в конкретных концепциях лексического уровня.

Чтобы восполнить этот пробел, исследовательская группа сначала обобщила ряд концепций более низкого уровня, связанных с арифметическими рассуждениями, включая арифметические операторы, логические языковые выражения в арифметических рассуждениях и другие концепции арифметических вычислений.

И используя GPT-4 для эффективной маркировки и поиска нейронов, выражающих эти концепции низкого уровня. Затем они обратились к предыдущим исследованиям, чтобы проверить эти найденные нейроны.

«Результаты эксперимента доказывают, что эти нейроны действительно играют важную роль в большой модели нашего эксперимента», — заявила исследовательская группа Llama2.

Это также дает им больше уверенности в продолжении исследований в этом направлении.

Они подумали об использовании состояний активации этих нейронов, чтобы единообразно объяснить влияние CoT на способность к арифметическому мышлению больших моделей, включая объяснение нескольких явлений, наблюдавшихся в предыдущей работе.

Результаты в основном подтвердили их гипотезу, то есть стимулирующее влияние различных компонентов ЦТ на способность арифметического мышления больших моделей можно объяснить активацией соответствующих нейронов.

Однако исследование также показало, что активация нейронов не объясняет всю эффективность арифметических рассуждений большой модели. В то же время вопрос о том, применимы ли выводы исследователей о Llama2 к другим крупным модельным группам, также требует дальнейшей проверки.

Также сообщается, что в лаборатории Яо Цзыюй в настоящее время имеется ряд докторских должностей с полной научной степенью, которые будут поступать осенью 2025 года. Для получения подробной информации посетите веб-сайт команды https://ziyuyao.org/ и свяжитесь с нами по электронной почте.

Использованная литература:

1.Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le и Denny Zhou. Цепочка мыслей вызывает рассуждения в больших языковых моделях. Достижения в нейронных системах обработки информации 35 (2022): 24824-24837.https://doi.org/10.48550/arXiv.2201.11903

2. Дакин, Рай, Цзыюй, Яо, Исследование активации нейронов как единой линзы для объяснения цепочки мыслей, вызывающей арифметические рассуждения у магистров права. arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3.OpenAI. Знакомство с супервыравниванием. https://openai.com/index/introducing-superalignment/. 2023.

4. Гева, Мор, Ави Касиулару, Кевин Ванг и Йоав Голдберг. Слои прямой связи трансформатора строят прогнозы, продвигая концепции в словарном пространстве. В материалах конференции 2022 года по эмпирическим методам обработки естественного языка, стр. 30–45. 2022. https://arxiv.org/abs/2203.14680

Набор текста: Чу Цзяши

01/

02/

03/

04/

05/