новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Новый отчет мудрости

Редактор: Редакционный отдел

[Введение в новую мудрость]ACL, ежегодная конференция по НЛП, объявила окончательный победитель. В этом году в общей сложности 7 работ были признаны лучшими, а награды за тестирование на время были присуждены Stanford GloVe и Cornell University Assessment Measure. Кроме того, есть награда за лучшую тему, награду за лучшее социальное воздействие, награду за лучший ресурс, премию за кафедру области и премию за выдающуюся работу.

Награды ACL 2024 наконец-то объявлены!

Всего были объявлены 7 лучших статей, 35 выдающихся статей, а также награда Time Test Award, награда SAC, лучшая тематическая статья, награда за лучший ресурсный документ и т. д.

Стоит отметить, что среди 7 лучших работ «Расшифровка языка костей Oracle с помощью диффузионных моделей» была выполнена китайской командой.

В этом году пройдет 26-я ежегодная конференция Международной конференции по компьютерной лингвистике (ACL), которая открылась в Бангкоке, Таиланд, с 11 по 16 августа.

Общее количество статей, поданных на ACL 2024, почти такое же, как и в 2023 году, около 5000 статей, из которых было принято 940 работ.

Этот ACL является крупнейшим в истории: в общей сложности насчитывается 72 SAC, 716 AC и 4208 рецензентов.

975 научных докладов, 6 JCL, 31 TACL, 3 основных доклада и 1 панельная дискуссия.

Вся конференция также включала 18 семинаров, 6 учебных пособий, 38 демонстраций и 60 статей по НИОР.

Конкретные сведения о представлении авторов статьи следующие:

Наибольшее количество представленных статей: 1/2: 10 333 ученых представили 1 и 2 130 представили 2.

Небольшое количество людей представило несколько статей: 3 автора представили 18 статей, 6 человек представили 19 статей и 18 человек представили более 20 статей.

Давайте посмотрим, какие команды завоевали награды в этом году?

7 лучших статей

Документ 1: Расшифровка языка Oracle Bone с помощью диффузионных моделей

В ролях: Хайсу Гуань, Хуаньсинь Ян, Синьюй Ван, Шэнвэй Хан, Юнге Лю, Ляньвэнь Цзинь, Сян Бай, Юлян Лю

Учреждения: Хуачжунский университет науки и технологий, Университет Аделаиды, Аньянский педагогический университет, Южно-Китайский технологический университет.

Адрес статьи: https://arxiv.org/pdf/2406.00684.

Как следует из названия, китайская команда использовала ИИ для очень интересной и ценной вещи — расшифровки Oracle (OBS) с помощью диффузионной модели.

Надписи на костях оракулов возникли во времена китайской династии Шан около 3000 лет назад и являются краеугольным камнем в истории языка.

Хотя были обнаружены тысячи надписей, большая часть надписей на костях оракула остается нерасшифрованной, что накладывает завесу тайны на этот древний язык.

В статье автор представляет новый метод генерации ИИ с использованием изображений, в частности разработку «Oracle Bone Script Decipher» (OBSD).

Используя стратегию, основанную на условной диффузии, OBSD генерировал важные подсказки для дешифровки и открыл новый путь для анализа древних языков с помощью ИИ.

Чтобы проверить его эффективность, исследователи провели большое количество экспериментов на наборе данных Oracle, и количественные результаты доказали эффективность OBSD.

Раздел 2: Выполнимость естественного языка: исследование распределения проблем и оценка языковых моделей на основе преобразователя

(Препринт еще не отправлен)

Документ 3: Причинная оценка профилей запоминания

В ролях: Пьетро Лесчи, Клара Мейстер, Томас Хофманн, Андреас Влахос, Тьяго Пиментель

Учебное заведение: Кембриджский университет, ETH Zurich

Адрес статьи: https://arxiv.org/pdf/2406.04327.

Понимание памяти LLM имеет важные последствия для практики и общества, например, изучение динамики обучения моделей или предотвращение нарушения авторских прав.

Предыдущие исследования определяют память как причинную реакцию на способность модели предсказывать этот экземпляр посредством обучения на этом примере.

Это определение основано на контрфактическом предположении: возможности наблюдать, что произошло бы, если бы модель не видела этот экземпляр.

Однако существующие методы обычно нацелены на архитектуру модели, а не на оценку памяти для конкретных экземпляров модели, что затрудняет предоставление эффективных в вычислительном отношении и точных контрфактических оценок.

Это исследование заполняет важный пробел, поскольку авторы предлагают принципиальный и эффективный новый метод оценки мемоизации, основанный на методах «разница в различиях» в эконометрике.

Используя этот метод, только наблюдая за поведением небольшого количества экземпляров в течение всего процесса обучения, можно описать профиль памяти модели, то есть тенденцию запоминания модели на протяжении всего процесса обучения.

В экспериментах с набором моделей Pythia исследователи обнаружили:

(1) У больших моделей более сильная и долговечная память;

(2) Определяется порядком данных и скоростью обучения;

(3) В моделях разного размера существуют устойчивые тенденции, поэтому память больших моделей столь же предсказуема, как и память маленьких моделей.

Документ 4: Модель Aya: точно настроенная многоязычная языковая модель открытого доступа с инструкциями

В ролях: Ахмет Устюн, Вираат Арьябуми, Чжэн-Синь Юн, Вей-Инь Ко, Дэниел Д'Суза, Гбемилеке Онилюде, Нил Бхандари, Шивалика Сингх, Хуэй-Ли Оой, Амр Кайид, Фредди Варгус, Фил Блансом, Шейн Лонгпре, Никлас Мюннигофф, Марзи Фадаи, Джулия Крейцер, Сара Хукер

Учреждения: «Сплоченность ради ИИ», Университет Брауна, «Сплоченность, сплоченность ради ИИ-сообщества», Университет Карнеги-Меллона, Массачусетский технологический институт

Адрес статьи: https://arxiv.org/pdf/2402.07827.

В феврале этого года стартап Cohere выпустил новую крупномасштабную модель генерации языков с открытым исходным кодом под названием Aya, охватывающую более 101 языка.

Стоит отметить, что охват модели языка модели Aya более чем в два раза превышает охват существующих моделей с открытым исходным кодом, превосходя mT0 и BLOOMZ.

Оценка человека достигает 75%, а оценка в различных смоделированных тестах на вероятность выигрыша составляет 80-90%.

Проект был запущен, объединив более 3000 независимых исследователей из 119 стран.

Кроме того, исследователи также раскрыли самый большой на сегодняшний день набор данных для точной настройки многоязычных руководств, содержащий 513 миллионов фрагментов данных, охватывающих 114 языков.

Документ 5: Миссия: невыполнимые языковые модели

В ролях: Джули Каллини, Изабель Пападимитриу, Ричард Фьютрелл, Кайл Маховальд, Кристофер Поттс

Учреждение: Стэнфордский университет, Калифорнийский университет в Ирвине, Техасский университет в Остине.

Адрес статьи: https://arxiv.org/pdf/2401.06416.

Хомский и другие прямо заявили, что LLM обладает одинаковой способностью изучать языки, которые люди могут и невозможно выучить.

Однако опубликованных экспериментальных данных, подтверждающих это утверждение, мало.

Для этого исследователи разработали набор синтетических «невозможных языков» различной сложности, каждый из которых создан путем систематического изменения английских данных и использования неестественного порядка слов и грамматических правил.

Эти языки лежат в континууме невозможных языков: на одном конце находятся совершенно невозможные языки, такие как случайно переставленный английский, а на другом конце — языки, которые считаются лингвистически невозможными, например языки, основанные на правилах подсчета позиций слов. .

После серии оценок GPT-2 очень сложно выучить невозможные языки, что бросает вызов основной идее.

Что еще более важно, исследователи надеются, что этот подход приведет к большему количеству исследований способности LLM изучать различные типы языков, чтобы лучше понять потенциальное применение LLM в исследованиях когнитивных и лингвистических типологий.

Документ 6: Полуконтролируемая нейронная реконструкция протоязыка

Автор: Лян Лу, Пейронг Се, Дэвид Р. Мортенсен

Учреждение: Университет Карнеги-Меллона, Университет Южной Калифорнии.

Адрес статьи: https://arxiv.org/pdf/2406.05930.

Существующие работы по сравнению и реконструкции родного языка обычно требуют полного контроля.

Однако модели исторической реконструкции имеют практическую ценность только при обучении на ограниченных аннотированных данных.

В связи с этим исследователи предложили задачу полуконтролируемой реконструкции истории.

В этой задаче модель необходимо обучить только на небольшом объеме размеченных данных (гомологический набор с прототипами) и большом объеме неразмеченных данных (гомологический набор без прототипов).

Автор разработал нейронную архитектуру для сравнительной реконструкции — DPD-BiReconstructor, которая содержит важный момент в сопоставительных методах лингвистов: реконструированные слова можно не только реконструировать из своих подслов, но и детерминированно трансформировать Назад к своим подсловам. .

Мы показываем, что эта архитектура способна использовать немаркированные наборы родственных слов и превосходить существующие базовые методы полуконтролируемого обучения в этой новой задаче.

Документ 7. Почему чувствительные функции сложны для трансформаторов?

Автор: Майкл Хан, Марк Рофин

Учреждение: Саарский университет

Адрес статьи: https://arxiv.org/pdf/2402.09963.

Эмпирические исследования выявили ряд недостатков обучаемости и ограничений модели Transformer, таких как сложность обучения вычислениям на простых формальных языках (таких как PARITY) и ее склонность работать с функциями низкого порядка.

Однако теоретическое понимание остается ограниченным, а существующие теории выразительных способностей либо переоценивают, либо недооценивают реальную способность к обучению.

Исследователи продемонстрировали, что в архитектуре Transformer ландшафт потерь ограничен чувствительностью входного пространства:

Модели трансформаторов, выходные данные которых чувствительны к нескольким частям входной строки, занимают изолированные точки в пространстве параметров, что приводит к смещению низкой чувствительности при обобщении.

Исследование демонстрирует как теоретически, так и эмпирически, что последняя теория объединяет эмпирические наблюдения о способностях и предубеждениях Трансформатора к обучению, таких как их предпочтение чувствительности к земле и функциям низкого порядка, а также трудности с проблемами четности и длины.

Это говорит о том, что понимание индуктивного смещения трансформатора требует изучения не только его принципиальной выразительности, но и картины потерь.

2 награды за испытание на время

Документ 1: GloVe: глобальные векторы для представления слов (2014 г.)

Автор: Джеффри Пеннингтон, Ричард Сочер, Кристофер Мэннинг

Учреждение: Стэнфордский университет

Адрес статьи: https://nlp.stanford.edu/pubs/glove.pdf.

Встраивание слов было краеугольным камнем методов глубокого обучения НЛП в период с 2013 по 2018 год и продолжает оказывать большое влияние. Они не только улучшают выполнение задач НЛП, но также оказывают существенное влияние на вычислительную семантику, такую ​​как сходство и аналогия слов.

Вероятно, два наиболее влиятельных метода встраивания слов — это Skip-gram/CBOW и GloVe. По сравнению со скип-граммой, GloVe был предложен позже. Его относительное преимущество заключается в концептуальной простоте — оптимизации их сходства в векторном пространстве непосредственно на основе характеристик распределения слов, а не с точки зрения упрощения языкового моделирования, что используется в качестве . набор параметров для косвенной оптимизации.

Документ 2: Меры сходства распределения (1999 г.)

Автор: Лилиан Ли

Учреждение: Корнельский университет

Адрес статьи: https://aclanthology.org/P99-1004.pdf.

Изучение мер сходства распределения направлено на улучшение оценки вероятности невидимых одновременных событий, что эквивалентно другому способу характеристики сходства между словами.

Вклад статьи тройной: обширное эмпирическое сравнение различных показателей; классификация, основанная на информации, содержащейся в функции сходства, и введение новой функции, которая хорошо работает при оценке распределения потенциальных агентов;

1 лучшая тематическая статья

Диссертация: OLMo: Ускорение науки о языковых моделях

В ролях: Дирк Груневельд, Из Белтаги, Пит Уолш, Акшита Бхагиа, Родни Кинни, Ойвинд Тафьорд, Ананья Харш Джа, Хэмиш Ивисон, Йен Магнуссон, Ижонг Ван, Шейн Арора, Дэвид Аткинсон, Рассел Аутур, Кьяти Рагави Чанду, Арман Коэн, Дженнифер Дюма, Янаи Элазар, Юлинг Гу, Джек Хессель, Тушар Хот, Уильям Меррилл, Джейкоб Моррисон, Никлас Мюннигофф, Ааканша Найк, Кристал Нам, Мэттью Э. Питерс, Валентина Пяткин, Абхилаша Равичандер, Дастин Швенк, Саураб Шах, Уилл Смит, Эмма Штрубелл, Нишант Субрамани, Митчелл Уортсман, Прадип Дасиги, Нэйтан Ламберт, Кайл Ричардсон, Люк Зеттлмойер, Джесси Додж, Кайл Ло, Лука Солдайни, Ной А. Смит, Ханнане Хаджиширзи

Учреждения: Институт искусственного интеллекта Аллена, Вашингтонский университет, Йельский университет, Нью-Йоркский университет, Университет Карнеги-Меллон.

Адрес статьи: https://arxiv.org/abs/2402.00838.

Эта работа является значительным шагом вперед в повышении прозрачности и воспроизводимости обучения на больших языковых моделях, чего сообщество стремится добиться прогресса (или, по крайней мере, позволить другим участникам, помимо отраслевых гигантов, внести свой вклад в прогресс).

3 награды за лучшее социальное воздействие

Статья 1: Как Джонни может убедить LLM сделать им джейлбрейк: переосмысление убеждения для того, чтобы бросить вызов безопасности ИИ путем гуманизации LLM

В ролях: И Цзэн, Хунпэн Линь, Цзинвэнь Чжан, Дийи Ян, Руоси Цзя, Вэйянь Ши

Учреждения: Технологический институт Вирджинии, Китайский университет Жэньминь, Калифорнийский университет в Дэвисе, Стэнфордский университет.

Адрес статьи: https://arxiv.org/abs/2401.06373

В этой статье исследуется тема безопасности искусственного интеллекта, связанная с обходом ограничений. В нем рассматривается метод, разработанный в области социальных исследований. Исследование увлекательно и потенциально может оказать существенное влияние на общество.

Перевод 2: DIALECTBENCH: Тест НЛП для диалектов, вариантов и близкородственных языков

В ролях: Фахим Фейсал, Ореваоген Ахия, Аарохи Шривастава, Кабир Ахуджа, Дэвид Чанг, Юлия Цветков, Антониос Анастасопулос

Учреждения: Университет Джорджа Мейсона, Вашингтонский университет, Университет Нотр-Дам, RC Athena.

Адрес статьи: https://arxiv.org/abs/2403.11009.

Вариации диалекта — недостаточно изученное явление в обработке естественного языка и искусственном интеллекте. Однако его исследования имеют большую ценность не только с лингвистической и социальной точки зрения, но также имеют важные последствия для приложений. В данной статье предлагается инновационный ориентир для изучения этой проблемы в эпоху больших языковых моделей.

Документ 3: Пить пиво после молитвы? Измерение культурных предубеждений в больших языковых моделях?

Автор: Тарек Наус, Майкл Дж. Райан, Алан Риттер, Вэй Сюй

Учреждение: Технологический институт Джорджии.

Адрес статьи: https://arxiv.org/abs/2305.14456.

Эта статья раскрывает важную проблему в эпоху больших языковых моделей: культурную предвзятость. Хотя контекстом исследования является арабская культура и язык, результаты показывают, что нам необходимо учитывать культурные нюансы при разработке крупных языковых моделей. Поэтому аналогичные исследования можно было бы провести и в других культурах, чтобы обобщить и оценить, затронуты ли другие культуры этой проблемой.

3 лучших справочных документа

Документ 1: Latxa: модель открытого языка и пакет оценки баскского языка

В ролях: Хулен Эчанис, Оскар Сайнс, Найара Перес, Ициар Альдабе, Герман Ригау, Энеко Агирре, Айтор Ормазабаль, Микель Артече, Айтор Сороа

Учреждение: Университет Страны Басков

Адрес статьи: https://arxiv.org/abs/2403.20266.

В этой статье подробно описаны все детали сбора и оценки наборов данных корпуса. Хотя они изучали баскский язык, этот подход можно расширить для построения больших языковых моделей для языков с ограниченными ресурсами.

Статья 2: Долма: открытый корпус из трех триллионов токенов для исследований предварительного обучения языковых моделей

В ролях: Лука Солдайни, Родни Кинни, Акшита Бхагиа, Дастин Швенк, Дэвид Аткинсон, Рассел Аутур, Бен Богин, Кьяти Чанду, Дженнифер Дюма, Янаи Элазар, Валентин Хофманн, Ананья Харш Джа, Сачин Кумар, Ли Люси, Синьси Лю, Нэйтан Ламберт , Ян Магнуссон, Джейкоб Моррисон, Никлас Мюннигофф, Ааканша Найк, Кристал Нам, Мэттью Э. Питерс, Абхилаша Равичандер, Кайл Ричардсон, Зецзян Шен, Эмма Штрубелл, Нишант Субрамани, Ойвинд Тафьорд, Пит Уолш, Люк Зеттлмойер, Ной А. Смит, Ханнане Хаджиширзи, Из Белтаги, Дирк Грюневельд, Джесси Додж, Кайл Ло

Учреждения: Институт искусственного интеллекта Аллена, Калифорнийский университет в Беркли, Университет Карнеги-Меллона, Spiffy AI, Массачусетский технологический институт, Вашингтонский университет.

Адрес статьи: https://arxiv.org/abs/2402.00159.

Эта статья иллюстрирует важность курирования данных при подготовке наборов данных для больших языковых моделей. Он предоставляет ценную информацию, которая может принести пользу широкой аудитории внутри сообщества.

Статья 3: AppWorld: контролируемый мир приложений и людей для сравнительного анализа интерактивных агентов кодирования

В ролях: Харш Триведи, Тушар Хот, Марейке Хартманн, Раскин Манку, Винти Донг, Эдвард Ли, Шашанк Гупта, Ашиш Сабхарвал, Ниранджан Баласубраманян

Учреждения: Государственный университет Нью-Йорка в Стоуни-Брук, Институт искусственного интеллекта Аллена, Саарский университет.

Адрес статьи: https://arxiv.org/abs/2407.18901.

Это очень впечатляющая и важная попытка создать симулятор и среду оценки взаимодействия человека с компьютером. Это будет стимулировать разработку сложных динамических тестов для сообщества.

Премия председателя области за 21 статью

35 выдающихся статей

(Это изображение неполное)

Ссылки:

https://x.com/aclmeeting/status/1823664612677705762