Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

сгенеративный искусственный интеллект С тех пор как эпидемия охватила мир, многие создатели контента заявляют, что их работы используются для обучения моделей искусственного интеллекта без разрешения. Но до сих пор было трудно определить, действительно ли работа, по их словам, использовалась в определенных наборах обучающих данных.

Теперь исследователи разработали новый способ доказать это. Недавно группа исследователей из Имперского колледжа Лондона разработала «ловушки авторского права» — тип скрытого текста, который позволяет писателям и издателям тонко помечать свои работы, чтобы позже определить, защищены ли они авторским правом. Используется для обучения моделей искусственного интеллекта. Идея аналогична тактике, ранее использовавшейся правообладателями, например, добавлению поддельных местоположений на карты или поддельных слов в словари.

Эти ловушки авторского права на ИИ вызвали одну из самых больших дискуссий в области ИИ. Многие издатели и авторы подают иски против технологических компаний, утверждая, что их интеллектуальная собственность без разрешения включается в наборы данных для обучения искусственному интеллекту.Например, Нью-Йорк ТаймсOpenAI Судебный процесс, пожалуй, самый типичный случай.

На данный момент код для генерации и обнаружения ловушек запущен на GitHub. Далее команда планирует разработать инструмент, который позволит пользователям самостоятельно создавать и внедрять ловушки авторского права.

Ив-Александр де Монжуа, профессор прикладной математики и информатики Имперского колледжа Лондона, который руководил исследованием, рассказал на Международной конференции по машинному обучению, главной конференции по искусственному интеллекту, которая прошла в Вене на этой неделе: «В настоящее время нет единого мнения о том, что именно использовать для обучения искусственного интеллекта. Когда дело касается интеллектуальных моделей, наблюдается полное отсутствие прозрачности, что, по нашему мнению, мешает компаниям, занимающимся искусственным интеллектом, и создателям контента найти правильный баланс».

Чтобы создать ловушку, он и его команда использовали генератор слов, создающий тысячи синтетических предложений. Предложения длинные и в основном бессмысленные, например: «Когда наступают неспокойные времена… Что продается и, что более важно, когда это лучше всего, этот список расскажет вам, кто в четверг открывается вечером, с их обычными часами продаж и другими часами работы. для тебя. "

Ив-Александр де Монжуа объяснил: «Мы сгенерировали 100 предложений-ловушек, а затем случайным образом выбрали предложение, чтобы несколько раз вставить его в текст». например, в разделе «Используйте белый текст на белом фоне» или вставьте его в исходный код статьи. Это предложение необходимо повторить в тексте от 100 до 1000 раз.

Чтобы обнаружить эти ловушки, они ввели 100 сгенерированных синтетических предложений в большую языковую модель и посмотрели, помечает ли модель их как новые предложения. Если модель видела в своих обучающих данных предложения-ловушки, она показывает более низкий «показатель недоумения», но если модель «удивлена» предложениями, это означает, что модель столкнулась с ними впервые и, следовательно, эти предложения не являются таковыми; ловушки.

В прошлом исследователи предлагали использовать языковые модели для запоминания обучающих данных, чтобы определить, присутствует ли что-то в данных. Этот метод, известный как «Атаки вывода членства», лучше работает в сложных больших моделях, поскольку эти модели имеют тенденцию запоминать большие объемы данных во время обучения.

«Напротив, модели меньшего размера, которые становятся все более популярными и могут быть запущены на мобильных устройствах, менее подвержены атакам на основе определения членства из-за меньшего объема данных в памяти. Это облегчает определение того, нацелены ли они на конкретный объект, защищенный авторским правом. по тексту», — сказал Гаутам Камат, доцент кафедры информатики Университета Ватерлоо. Он не участвовал в исследовании.

Ловушка авторского права как способ проведения атак на определение членства, даже на меньших моделях. Команда Ива-Александра де Монжуа внедрила свою ловушку в набор обучающих данных CroissantLLM. CroissantLLM — это недавно разработанная франко-английская двуязычная языковая модель, разработанная исследовательской группой Имперского колледжа Лондона в сотрудничестве с партнерами из промышленности и научных кругов. CroissantLLM имеет 1,3 миллиарда параметров, что составляет небольшую часть современных моделей (например, GPT-4, как сообщается, имеет 1,76 триллиона параметров).

«Исследования показывают, что такие ловушки действительно могут быть введены в текстовые данные, что значительно повышает эффективность атак на основе определения членства даже для небольших моделей», — сказал Гаутам Камат, но добавил, что на этом этапе еще многое предстоит сделать. быть сделано.

«Повторение 75-символьной фразы 1000 раз в тексте оказывает большое влияние на исходный текст. Это может позволить тренеру, обучающему модель ИИ, обнаружить ловушку и пропустить контент, который ее содержит, или просто удалить ее и игнорировать остальную часть». Это также затрудняет чтение исходного текста», — отметил Гаутам Камат.

«Из-за этого ловушки авторского права кажутся непрактичными на данный момент. Многие компании будут выполнять дедупликацию, другими словами, они будут очищать данные, и эти ловушки авторских прав могут быть удалены», профессор информатики Калифорнийского университета в Ирвайне, стартап Самир Сингх, соавтор». сказал основатель Spiffy AI. Он также не принимал участия в исследовании.

По мнению Гаутама Камата, еще один способ улучшить ловушки авторского права — это найти другие способы маркировки контента, защищенного авторским правом, чтобы атаки на основе определения членства работали против них лучше, или улучшить сами атаки на основе определения членства.

Ив-Александр де Монжуа признает, что эти ловушки не являются надежными. «Мотивированный злоумышленник мог бы снять ловушку, если бы знал о ее существовании», — сказал он.

«Но смогут ли они уничтожить их всех, неизвестно, и это может быть что-то вроде игры в кошки-мышки», — сказал он. «И даже в этом случае, чем больше ловушек вы установите, не затрачивая много инженерных ресурсов, тем больше будет шансов на успех». лучше, становится труднее убрать все ловушки».

«Важно помнить, что ловушки авторского права могут быть временной мерой или просто неудобством для тренеров моделей. Никто не может опубликовать часть контента, содержащую ловушку, и гарантировать, что это всегда будет действующая ловушка», — сказал Гаутам Камат.

Оригинальная ссылка:

https://www.technologyreview.com/2024/07/25/1095347/a-new-tool-for-copyright-holders-can-show-if-their-work-is-in-ai-training-data/