Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Автор: Ма Сюэвэй

От использования наркотиков для стимуляции мозга в «Супертеле» до использования электронного вмешательства для вторжения в пространство мозга в культуре киберпанка, у людей было много фантазий о возможности манипулирования человеческим мозгом. Давайте представим,Что, если бы люди могли напрямую манипулировать каждым нейроном человеческого мозга?

К тому времени люди смогут напрямую понять роль этих нейронов в восприятии конкретных объектов и, будем надеяться, делать некоторые очень «научно-фантастические» вещи.

В реальной жизни такой эксперимент практически невозможно реализовать в человеческом мозге, но осуществим в искусственных нейронных сетях. Однако, поскольку модели часто содержат миллионы нейронов, они слишком велики и сложны, и для их понимания требуется много рабочей силы, что делает понимание крупномасштабных моделей очень сложной задачей.

С этой целью исследовательская группа из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) запустила систему, которая использует нейронные модели для автоматического выполнения задач по пониманию моделей — MAIA, или «МАИА».Мультимодальные автоматически интерпретируемые агенты”。

MAIA использует предварительно обученные модели визуального языка для автоматизации задачи понимания нейронных моделей.Модульная конструкция позволяет MAIAГибкость оценки любой системы и легкое добавление новых экспериментальных инструментов. . Кроме того, он может автоматизировать сложные эксперименты, использовать итеративные экспериментальные методы для проверки гипотез и обновлять гипотезы на основе результатов экспериментов.

Джейкоб Стейнхардт, доцент Калифорнийского университета в Беркли, считает, что расширение этих методов может быть одним из наиболее важных способов понять и безопасно контролировать системы искусственного интеллекта. Однако исследовательская группа считает, чтоРасширенный MAIA не заменит человеческий надзор за системами искусственного интеллекта . MAIA по-прежнему требует человеческого контроля для обнаружения таких ошибок, как предвзятость подтверждения и сбои при создании/редактировании изображений.

Каков реальный эффект?

В то время как существующие методы автоматической интерпретации просто размечают или визуализируют данные один раз, MAIA способна генерировать гипотезы, разрабатывать эксперименты для их проверки и улучшать их понимание посредством итеративного анализа. Объединив предварительно обученные модели визуального языка (VLM) с библиотекой инструментов интерпретируемости, этот мультимодальный подход может отвечать на запросы пользователей путем написания и проведения целевых экспериментов для конкретной модели, постоянно совершенствуя свой подход, пока он не сможет предоставить исчерпывающий ответ.

Ядром платформы MAIA является агент, управляемый предварительно обученной мультимодальной моделью (например, GPT-4V), который способен автоматически проводить эксперименты для объяснения поведения других систем. Это достигается путем объединения интерпретируемых подпрограмм в программы Python.

Рисунок Архитектура MAIA

Исследовательская группа оценила MAIA на парадигме описания нейронов. Исследование показало, что MAIA добился превосходного эффекта описания как на реальных моделях, так и на синтетических наборах данных нейронов, с прогностическими возможностями, лучшими, чем базовые методы, и сравнимыми с экспертами-людьми.

Рисунок Оценка MAIA Описание

Кроме того, MAIA демонстрирует хороший потенциал применения в удалении ложных функций и выявлении предвзятостей, что может помочь пользователям-людям лучше понять поведение модели и повысить производительность и справедливость модели.

Используйте MAIA для удаления ложных функций

Ложные функции могут повлиять на надежность модели в реальных сценариях. MAIA может идентифицировать и удалять ложные функции в модели, тем самым повышая надежность модели. Исследовательская группа использовала ResNet-18 для обучения набору данных Spawrious, который содержит четыре породы собак с разным происхождением.

В наборе данных каждая порода собак ошибочно связана с определенным фоном (например, снегом, джунглями, пустыней, пляжем), тогда как в тестовом наборе пары породы и фона хаотичны. Исследовательская группа использовала MAIA, чтобы найти подмножество нейронов последнего слоя, которые могли бы надежно предсказать породу отдельной собаки независимо от ложных признаков, просто изменив запрос в командной строке пользователя.

Результаты показывают, что MAIA может эффективно удалять ложные функции в модели, тем самым повышая ее надежность.

Использование MAIA для выявления предвзятости

Модели могут иметь предубеждения, из-за которых они плохо работают в определенных ситуациях. А MAIA может автоматически выявлять отклонения в моделях. Исследовательская группа использовала ResNet-152 для обучения ImageNet и использовала MAIA для проверки смещения выходных данных модели.

В ходе эксперимента MAIA предлагалось создать изображения, относящиеся к определенным категориям, и наблюдать за реакцией модели на эти изображения. Позже MAIA обнаружила, что некоторые модели отдавали предпочтение определенным подкатегориям или изображениям, относящимся к определенным категориям.

Это показывает, что MAIA может помочь выявить ошибки в моделях и тем самым улучшить их.

Рисунок: Обнаружение смещения модели MAIA

Недостатки и перспективы

Хотя MAIA демонстрирует большой потенциал в области автоматической интерпретации, все же существуют некоторые ограничения.

Во-первых, возможности объяснения MAIA ограничены используемыми им инструментами, такими как Stable Diffusion и GPT-4. Ограничения этих инструментов (например, качество генерации изображений, стоимость, ограничения доступа) напрямую влияют на производительность MAIA. В будущем вы можете рассмотреть возможность разработки более мощных собственных инструментов или поиска альтернатив с открытым исходным кодом для повышения надежности и доступности вашей системы.

Во-вторых, объяснение MAIA не является формальной проверкой, а основано на экспериментальных результатах и ​​описаниях на естественном языке. Это может привести к предвзятым или вводящим в заблуждение интерпретациям. В будущем можно считать, что формальные методы проверки (такие как причинно-следственные рассуждения, теоретический анализ) будут интегрированы в MAIA для повышения точности и надежности объяснений.

Кроме того, MAIA не может полностью избежать распространенных ошибок, таких как предвзятость подтверждения, чрезмерная интерпретация, выводы из небольшой выборки и т. д. В будущем можно рассмотреть возможность внедрения механизма саморефлексии, который позволит MAIA выявлять и исправлять свои собственные ошибки и повышать надежность интерпретации.

Заглядывая в будущее, Ротт Шахам, соавтор статьи, сказал: «Я думаю, что естественным следующим шагом для нашей лаборатории будет выход за пределы искусственных систем и применение подобных экспериментов к человеческому восприятию. Традиционно это требовало ручного проектирования и тестирования стимулов. , Это трудоемкий процесс, и с помощью нашего агента мы можем масштабировать этот процесс, разрабатывать и тестировать большое количество стимулов одновременно».