Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Монтажер: Чжан Цянь

«Машинное обучение живет в пузыре, которому завидуют робототехники, химики, биологи и нейробиологи, и когда оно действительно начнет разрастаться, мы все столкнемся с теми же проблемами, с которыми все остальные сталкивались годами. .реалистичные барьеры».

Некоторые говорят, что прогресс в области робототехники идет медленно или даже не прогрессирует по сравнению с другими областями машинного обучения.

Алекс Ирпан, ученый в области робототехники из Google DeepMind и участник проектов воплощенного интеллекта, таких как SayCan, RT-1 и RT-2, согласен. Но он считает, что это потому, что робототехника — это область, тесно связанная с реальностью, а сложность реальности определяет, что они неизбежно упираются в стену. Он также отметил, что эти проблемы присущи не только робототехнике. Та же проблема применима и к таким методам, как модели большого языка (LLM). Эти модели сталкиваются с теми же сложностями, что и робототехника, когда сталкиваются с реальным миром.

Недавно он написал блог под названием «Трагедии реальности идут за вами», чтобы проиллюстрировать эту мысль.

Трагедия реальности приближается к вам

В 2023 году я посетил конференцию по ML. Е Вэйян был пьян, и тема перешла к вопросу: «Если бы вы могли передать ресурсы любого подполя машинного обучения другому подполю, какое из них вы бы отрезали и кому бы вы отдали ресурсы?»

Не помню, что кто-то сказал, но один человек сказал, что роботов собираются рубить. Когда я продолжил, они сказали, что робототехника развивается слишком медленно и что по сравнению с другими областями ничего не происходит.

Говорят, что робототехника развивалась медленнее, чем чисто программная подобласть машинного обучения, и я думаю, что они правы, но хотелось бы добавить еще два момента:

• Причина, по которой роботы учатся медленнее, заключается в том, что трудно изменить ситуацию, не решив сложных проблем.
• Проблемы робототехники присущи не только роботам.

В области робототехники распространена поговорка: «Реальность запутана». Что касается кода, я бы расширил это до «реальность сложна». В робототехнике вы склонны доводить беспорядочную реальность до достаточно хорошего уровня абстракции, чтобы поверх нее мог работать код. Информатика как область науки десятилетиями создавала хорошие уровни абстракции между аппаратным и программным обеспечением. Код описывает, как подавать питание на жесткий диск, процессор и дисплей, и он настолько надежен, что мне даже не нужно об этом думать.

Это дает много преимуществ. Как только вы проделаете тяжелую работу и переместите свой прогресс в абстрактное логическое пространство, все станет проще. Код и данные невероятно воспроизводимы. Я синхронизировал копии файла, представляющего черновик этого сообщения в блоге, на трех устройствах, даже не задумываясь.

Однако, как сказал Джоэл Спольски, все абстракции в той или иной степени имеют дыры, и я считаю, что дыр в робототехнике, как правило, еще больше. Есть много причин, по которым что-то может пойти не так, и это не имеет никакого отношения к правильности вашего кода.

Связано ли это с какими-то базовыми принципами предмета? Немного. Многие роботизированные устройства более экспериментальны, чем ноутбуки или серверы Linux. Бытовая робототехника пока не является крупной отраслью. «Экспериментальный» часто означает «странные, более подверженные неудачам состояния».

Однако я не думаю, что аппаратное обеспечение является основной причиной проблемы. Реальность – это корень проблемы. Бенджамин Холсон очень хорошо выразил это в своей статье «Мифический неробототехник»:

Первая трудность заключается в том, что роботам приходится иметь дело с несовершенным восприятием и несовершенным исполнением в реальном мире. Глобально изменяемое состояние — это плохой стиль программирования, потому что с ним действительно сложно иметь дело, но для роботизированного программного обеспечения весь физический мир представляет собой глобально изменяемое состояние, и вы можете только наблюдать за ним ненадежно и надеяться, что ваше Действие приблизит вас к тому, чего вы хотите достичь.

Исследования в области робототехники основаны на построении новых мостов между реальностью и программным обеспечением, но это происходит и за пределами исследований в области робототехники. Любое программное обеспечение, взаимодействующее с реальностью, имеет несовершенное понимание реальности. Любое программное обеспечение, которое пытается повлиять на изменения в реальном мире, должно иметь дело с глобально изменчивым состоянием реальности. Любое программное обеспечение, поведение которого зависит от того, что происходит в реальности, порождает состязательный шум и сложность.

Игровой ИИ — хороший пример. Шахматный ИИ сверхчеловечески надежен. Однако некоторых сверхчеловеческих ИИ Го можно победить, если играть в шахматы определенным образом, как обнаружили Тони Т. Ван и др. в статье ICML 2023 «Состязательная политика побеждает сверхчеловеческие ИИ Го». Состязательные методы позволяют найти стратегии, которые достаточно ясны, чтобы люди могли их воспроизвести.

В Приложении G.2 один из наших авторов, эксперт по Го, смог реализовать эту [циклическую] атаку, изучая игровые записи противника без какой-либо алгоритмической помощи. Они играли в стандартных человеческих условиях на онлайн-сервере Go KGS и добились выигрыша более 90% в топовых играх с роботами KataGo, не связанных с автором.
Автору даже удалось победить, дав роботу 9 гандикапов, что является огромным преимуществом: профессиональный шахматист-человек с такими гандикапами имел бы почти 100% процент побед над любым противником, человеком или ИИ. Они также обыграли KataGo и Leela Zero, которые выполняли по 100 000 поисковых запросов за игру, что обычно намного превышает человеческие возможности. С тех пор другие люди использовали циклическую атаку, чтобы победить других лучших ИИ Го.

Между тем, несколько лет назад OpenAI создала систему, которая победила действующего чемпиона мира по Dota 2. Открыв систему для публики, чтобы проверить ее надежность, одна команда разработала стратегию, которая привела к победной серии из 10 игр.

Основываясь на этом, вы можете принять пессимистическую точку зрения, что даже простая «реальность», такая как подключение доски Go 19 x 19 или Dota 2, имеет достаточно дополнительных сложностей, чтобы сделать надежное поведение трудным. Я думаю, что эта точка зрения несправедлива, поскольку ни одна из систем не ставит надежность в качестве высшей цели, но я действительно думаю, что они представляют собой интересный практический пример.

В последнее время вокруг LLM поднялась волна ажиотажа – на что они способны и где их можно применить. В этом неявно заложена вера в то, что LLM может кардинально изменить способ взаимодействия людей с технологиями на работе и отдыхе. Другими словами, LLM изменит то, как мы взаимодействуем с реальностью. На самом деле, я ухватился за ажиотаж, особенно из-за моего подозрения, что базовая модель была переоценена в краткосрочной перспективе и недооценена в долгосрочной перспективе. Однако это также означает, что в области, которая исторически плохо учитывала реальность, грядет весь хаос реальности.

На той же конференции по машинному обучению, где этот парень сказал, что робототехника — это пустая трата ресурсов, я упомянул, что мы проводили базовые модельные эксперименты с реальными роботами. Некоторые люди сказали, что это кажется немного пугающим, и я заверил их, что это всего лишь исследовательский прототип. Но я также нахожу программное обеспечение для создания и выполнения LLM немного пугающим, и мне кажется интересным, что они смутно беспокоятся об одном, но не о другом. Люди в Кремниевой долине представляют собой некоторое противоречие. Они верят как в то, что программное обеспечение может помочь стартапам добиться удивительных изменений, так и в то, что их программное обеспечение не заслуживает размышлений или размышлений. Я считаю, что мир битов — такая же часть реальности, как и мир атомов. Они действуют на разных уровнях, но все являются частью реальности.

Я заметил (с некоторым злорадством), что специалисты LLM начинают сталкиваться с теми же болевыми точками, с которыми раньше сталкивалась робототехника. Например: «Мы не можем повторить эти тренинги, потому что это слишком дорого». Да, этот вопрос обсуждается в сфере робототехники уже как минимум десять лет. Другой пример: «Я не могу заставить Bing сообщить мне дату выхода «Аватара 2», потому что он продолжает получать новости о себе и исправляться перед их созданием».

Сейчас мы живем в мире, где любой общедоступный текст в Интернете безвозвратно влияет на качество поиска. Добро пожаловать в глобальное изменяемое состояние. Всякий раз, когда я вижу, как кто-то утверждает, что поведение ChatGPT ухудшилось, я думаю о различных «теориях заговора», которые я и другие придумали, чтобы объяснить внезапное и необъяснимое снижение производительности роботов, а также о том, кроется ли проблема в модели или в окружающей среде. Или это наш чрезмерный умозаключение.

Как говорится, «все демонстрации роботов лгут», люди обнаруживают, что все демонстрации LLM тоже лгут. Я думаю, что, по сути, это неизбежно, потому что продолжительность человеческого внимания ограничена. Важно оценить тип, размер и значимость лжи. Показывают ли они, как модель/бот обобщает? Они упомянули, насколько тщательно были отобраны эти примеры? Эти вопросы становятся более сложными, когда реальность становится взаимосвязанной. На данный момент Месси выглядит хорошим игроком, но «сможет ли он сделать это в холодную дождливую ночь в «Сток Сити»?»

Ситуация усложняется тем, что ответ на эти вопросы не всегда «нет». Месси мог бы сделать это холодным дождливым вечером в «Сток Сити». Он достаточно хорош. Это усложняет вопрос, поскольку гораздо важнее ответить правильное «да», чем правильное «нет». По мере того, как LLM становится все лучше и лучше, а ИИ становится все более распространенным в повседневной жизни, нам как обществу необходимо все лучше и лучше оценивать, зарекомендовала ли модель себя. Одно из моих главных опасений по поводу будущего заключается в том, что мы не умеем оценивать, зарекомендовали ли модели себя.

Тем не менее, я ожидаю, что робототехники будут впереди всех. Мы жаловались на проблемы с оценкой еще до того, как появилось предположение, что LLM манипулирует общими критериями. Задолго до того, как фраза «нам нужно лучшее покрытие данных» стала лозунгом группы предварительного обучения базовой модели, мы усердно работали, чтобы получить достаточно данных, чтобы уловить эффект автономного вождения с длинным хвостом. Машинное обучение живет в пузыре, которому завидуют робототехники, химики, биологи и нейробиологи, и когда оно действительно начнет раздуваться, мы все столкнемся с теми же проблемами, с которыми все остальные сталкивались годами. Реалистичные барьеры. Эти проблемы можно преодолеть, но они будут трудными. Добро пожаловать в реальный мир. Добро пожаловать в мир боли.

Оригинальная ссылка: https://www.alexirpan.com/2024/07/08/tragedies-of-reality.html.