Моя контактная информация
Почта[email protected]
2024-08-15
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Отчет о сердце машины
Редакция «Машинное сердце»
Участники получили много пользы от этой конференции ACL.
Шестидневный турнир ACL 2024 пройдет в Бангкоке, Таиланд.
ACL — ведущая международная конференция в области компьютерной лингвистики и обработки естественного языка. Она организуется Международной ассоциацией компьютерной лингвистики и проводится ежегодно. ACL всегда занимала первое место по академическому влиянию в области НЛП, а также является конференцией, рекомендованной CCF-A.
Конференция ACL в этом году является 62-й и собрала более 400 передовых работ в области НЛП. Вчера днем на конференции были объявлены лучшие доклады и другие награды. На этот раз были вручены 7 наград за лучшую работу (две неопубликованные), 1 награда за лучшую тематическую статью и 35 наград за выдающуюся работу.
Конференция также присудила 3 награды за ресурсы, 3 награды за социальное влияние и 2 награды за испытание временем.
Кроме того, Премию за выдающиеся достижения на этой конференции получил Ральф Гришман, профессор кафедры компьютерных наук Нью-Йоркского университета.
Ниже приводится конкретная информация о награде.
лучшая статья
Документ 1: Миссия: невыполнимые языковые модели
Введение в статью: Хомский и другие считают, что способность к обучению больших языковых моделей (LLM) одинакова для языков, которые могут или не могут быть изучены людьми. Однако опубликованных экспериментальных данных, подтверждающих это утверждение, мало.
В ходе исследования был разработан набор синтетических языков различной сложности, каждый из которых создан путем систематического изменения английских данных с использованием неестественного порядка слов и грамматических правил с целью синтеза языков, которые было бы невозможно выучить людям.
В ходе исследования были проведены обширные оценочные эксперименты, чтобы оценить способность небольшой модели GPT-2 изучать эти «невозможные языки», и эти оценки проводились на разных этапах обучения, чтобы сравнить процесс обучения для каждого языка. Основной вывод исследования заключается в том, что GPT-2 труднее изучать «невозможные языки» по сравнению с английским, что бросает вызов утверждениям Хомского и других.
Что еще более важно, исследование надеется, что его подход откроет плодотворное направление исследований, позволяя протестировать различные архитектуры LLM на множестве «невозможных языков», чтобы понять, как LLM можно использовать в качестве инструмента когнитивного и типологического исследования.
Документ 2: Почему чувствительные функции сложны для трансформаторов?
Аннотация: Экспериментальные исследования выявили ряд отклонений в обучаемости и ограничений преобразователей, таких как постоянные трудности в обучении вычислениям на простых формальных языках, таких как PARITY, и предвзятость к функциям низкой степени. Однако теоретическое понимание остается ограниченным, а существующие теории репрезентации либо переоценивают, либо недооценивают реалистичные возможности обучения.
Это исследование показывает, что в архитектуре трансформатора ландшафт потерь ограничен чувствительностью входного пространства: трансформаторы, выходы которых чувствительны ко многим частям входной цепочки, расположены в изолированных точках пространства параметров, что приводит к низкому смещению чувствительности в обобщение.
Это исследование теоретически и экспериментально показывает, что теория объединяет обширные экспериментальные наблюдения о способностях и предубеждениях трансформаторов к обучению, таких как их смещение обобщения в сторону низкой чувствительности и степени, а также сложность обобщения длины четности. Это говорит о том, что понимание индуктивных смещений трансформатора требует изучения не только его принципиальной выразительности, но и ландшафта функции потерь.
Документ 3: Расшифровка языка Oracle Bone с помощью диффузионных моделей
Введение в статью: Oracle Bone Script (OBS) возник во времена династии Шан в Китае около 3000 лет назад. Он является краеугольным камнем истории языка и предшествует многим устоявшимся системам письменности. Хотя были обнаружены тысячи надписей, большое количество костей оракулов остаются нерасшифрованными, окутывая этот древний язык пеленой тайны. Появление современной технологии искусственного интеллекта открыло новые области для расшифровки Oracle, поставив перед традиционными методами НЛП проблемы, которые в значительной степени полагаются на большие текстовые массивы.
В этом документе представлен новый метод с использованием технологии генерации изображений для разработки диффузионной модели, оптимизированной для дешифрования Oracle, — Oracle Bone Script Decipher (OBSD). Используя стратегию условного распространения, OBSD предоставил важные подсказки для расшифровки Oracle и открыл новое направление для анализа древних языков с помощью ИИ. Чтобы проверить эффективность, исследователи провели обширные эксперименты с набором данных Oracle, и количественные результаты доказали эффективность OBSD.
Документ 4: Причинная оценка профилей запоминания
Введение в статью: Понимание памяти в языковых моделях имеет практическое и социальное значение, например, изучение динамики обучения моделей или предотвращение нарушения авторских прав. Предыдущие исследования определяют память как причинно-следственную связь между «обучением с использованием экземпляра» и «способностью модели предсказывать этот экземпляр». Это определение основано на контрфактическом предположении: способности наблюдать, что произошло бы, если бы модель не увидела данный экземпляр. Существующие методы с трудом обеспечивают вычислительно эффективные и точные оценки таких контрфактических явлений. Более того, эти методы обычно оценивают память архитектуры модели, а не память конкретных экземпляров модели.
Эта статья заполняет важный пробел, предлагая новый, принципиальный и эффективный подход к оценке памяти, основанный на эконометрическом модели «разница в разнице». С помощью этого метода исследователи наблюдают за поведением модели только в небольшом количестве случаев в течение всего процесса обучения, чтобы описать профиль памяти модели, то есть тенденцию ее памяти во время процесса обучения. В экспериментах с использованием набора моделей Pythia они обнаружили, что память (i) сильнее и устойчивее в более крупных моделях, (ii) определяется порядком данных и скоростью обучения и (iii) стабильна при разных размерах моделей, поэтому. воспоминания в большей модели можно предсказать на основе меньшей модели.
Документ 5: Модель Aya: точно настроенная многоязычная языковая модель открытого доступа с инструкциями
Введение в статью: Недавние достижения в области больших языковых моделей (LLM) были сосредоточены на небольшом количестве языков, богатых данными. Как можно расширить возможности для прорывов за пределы других языков? Исследование представляет Aya, крупномасштабную многоязычную модель генеративного языка, которая следует инструкциям для 101 языка, более 50% из которых считаются малоресурсными. Aya превосходит mT0 и BLOOMZ в большинстве задач, охватывая при этом вдвое больше языков.
Кроме того, исследование представляет обширный набор новых тестов, расширяя возможности многоязычного оценивания до 99 языков. Наконец, исследование обеспечивает детальное изучение оптимального точно настроенного состава смеси, обрезки данных, а также токсичности, систематической ошибки и безопасности модели.
Документ 6: Полуконтролируемая нейронная реконструкция протоязыка
Причина награждения: Это новаторское исследование направлено на полуавтоматизацию задачи реконструкции прототипного языка в исторической лингвистике, предлагая новую полуконтролируемую архитектуру. Этот метод превосходит предыдущие контролируемые методы за счет введения процесса отражения «прототип-родной язык» в реконструкцию «родной язык-прототип». Эта статья является хорошим примером того, как современные вычислительные модели, такие как нейронные кодеры и декодеры, могут внести вклад в лингвистику.
Документ 7: Выполнимость естественного языка: исследование распределения проблем и оценка языковых моделей на основе преобразователей (неопубликовано)
Причина награждения: В данной статье четко описан синтетический набор данных для оценки логического вывода. Это хорошее дополнение к большим наборам данных для вывода, когда неясно, какие способности измеряются. Теоретически действительно есть основания ожидать, что некоторые подмножества будут сложнее других, и эти ожидания подтверждаются в статье. В рамках каждой категории авторы уделяют особое внимание выборке действительно сложных случаев.
Награда «Проверено временем»
Премия ACL Time Test Award присуждается почетным работам, оказавшим долгосрочное влияние на области обработки естественного языка и компьютерной лингвистики. Она делится на две награды: 10 лет назад (2014 г.) и 25 лет назад (максимум 1999 г.). двух работ присуждаются каждый год.
Документ 1: GloVe: глобальные векторы для представления слов
Введение. Методы изучения представлений слов в векторном пространстве успешно улавливают детальные семантические и синтаксические правила с использованием векторной арифметики, но синтаксические правила остаются непрозрачными. В этом исследовании анализируются и уточняются, какие свойства должна иметь модель, чтобы синтаксические правила появлялись в векторах слов.
В этом исследовании предлагается новая глобальная модель логарифмической линейной регрессии — GloVe, предназначенная для изучения векторных представлений слов. Эта модель сочетает в себе преимущества глобальной матричной факторизации и методов локального контекстного окна.
GloVe достигла наилучшего результата (75%) в задаче по аналогии слов и превзошла аналогичные модели по задаче сходства слов и распознаванию названных объектов.
Причина награды: встраивание слов было краеугольным камнем методов глубокого обучения обработке естественного языка (НЛП) с 2013 по 2018 год и продолжает оказывать значительное влияние. Они не только повышают производительность задач НЛП, но также оказывают существенное влияние на вычислительную семантику, такую как сходство и аналогия слов. Двумя наиболее влиятельными методами встраивания слов, вероятно, являются Skip-gram/CBOW и GloVe. По сравнению со скип-граммом, GloVe был предложен позже. Его относительное преимущество заключается в его концептуальной простоте, оптимизации сходства векторного пространства непосредственно на основе характеристик распределения между словами, а не косвенно как набора параметров с точки зрения упрощенного моделирования языка.
Документ 2: Меры сходства распределения
Введение в статью: Автор изучает меры сходства распределения с целью улучшения оценок вероятности невидимых одновременно происходящих событий. Их вклад тройной: эмпирическое сравнение широкого спектра показателей; классификация функций сходства на основе содержащейся в них информации и введение новой функции, которая лучше всего подходит для оценки распределения основных агентов;
Премия за заслуги перед жизнью
Награда ACL за заслуги перед жанром была вручена Ральфу Гришману. Ральф Гришман — профессор кафедры компьютерных наук Нью-Йоркского университета, специализирующийся на исследованиях в области обработки естественного языка (НЛП). Он является основателем проекта Proteus, который внес значительный вклад в извлечение информации (IE) и способствовал развитию этой области.
Он также разработал Java Extraction Toolkit (JET), широко используемый инструмент извлечения информации, который предоставляет несколько компонентов языкового анализа, такие как сегментация предложений, аннотация именованных сущностей, аннотация и нормализация темпоральных выражений, тегирование частей речи, синтаксический анализ частей и совместный анализ. Относится к анализу. Эти компоненты можно объединять в конвейеры в соответствии с различными приложениями, которые можно использовать для интерактивного анализа отдельных предложений или пакетного анализа целых документов. Кроме того, JET предоставляет простые инструменты для аннотирования и отображения документов и включает в себя полный процесс извлечения сущностей, связей и событий в соответствии со спецификацией ACE (автоматическое извлечение контента).
Работа профессора Гришмана охватывает множество основных проблем НЛП и оказала глубокое влияние на современные технологии обработки речи.
35 выдающихся статей
Награда за лучшую тематическую статью
Диссертация: OLMo: Ускорение изучения языковых моделей
Цитата: Эта работа является важным шагом к прозрачности и воспроизводимости в обучении больших языковых моделей, шагом вперед в усилиях сообщества по достижению прогресса (или, по крайней мере, предоставлению возможности внести свой вклад другим исследователям, которые не являются гигантами отрасли).
Премия за ресурсную бумагу
3 статьи получили награду Resource Paper Award.
Документ 1: Latxa: модель открытого языка и пакет оценки баскского языка
Учебное заведение: Университет Страны Басков, Испания.
Причины награждения: В этом документе подробно описаны детали сбора корпуса и оценки набора данных. Хотя эта методология актуальна для исследований баскского языка, ее можно распространить на построение крупных моделей для других языков с ограниченными ресурсами.
Документ 2: Долма: открытый корпус из трех триллионов токенов для исследования предварительной подготовки языковой модели
Причина награждения: эта статья демонстрирует важность управления данными при подготовке наборов данных для обучения больших языковых моделей. Это дает очень ценную информацию широкому кругу людей в сообществе.
Документ 3: AppWorld: управляемый мир приложений и людей для сравнительного анализа агентов интерактивного кодирования
Причины награждения: Это исследование представляет собой очень важную и удивительную работу по созданию интерактивного моделирования и оценки среды. Это побудит всех создавать более точные динамические тесты для сообщества.
Премия за социальное воздействие
3 статьи получили премию Social Impact Award.
Статья 1: Как Джонни может убедить LLM сделать им джейлбрейк: переосмысление убеждения для того, чтобы бросить вызов безопасности ИИ путем гуманизации LLM
Причина награждения: В этой статье исследуется тема безопасности ИИ — джейлбрейка, изучается метод, разработанный в области социальных исследований. Исследование очень интересно и потенциально может оказать существенное влияние на общество.
Документ 2: DIALECTBENCH: тест НЛП для диалектов, разновидностей и близкородственных языков
Причина награждения: вариации диалектов — малоизученное явление в области НЛП и искусственного интеллекта. Однако с точки зрения языка и общества его исследования имеют чрезвычайно высокую ценность и имеют важные последствия для приложений. В этой статье предлагается совершенно новый ориентир для изучения этой проблемы в эпоху LLM.
Документ 3: Пить пиво после молитвы? Измерение культурных предубеждений в больших языковых моделях?
Причины получения награды: Эта статья демонстрирует важную проблему эпохи LLM: культурные предубеждения. В этой статье изучается арабская культура и языковая среда, и результаты показывают, что нам необходимо учитывать культурные различия при разработке программ LLM. Следовательно, то же исследование можно повторить в других культурах, чтобы обобщить и оценить, затронуты ли другие культуры этой проблемой.
Собирайте и систематизируйте самую свежую новостную информацию и сделайте ее бесплатной для всех.
Почта[email protected]