новости

(Источник изображения: изображение, созданное AI)

16 августа по пекинскому времени скандальный Калифорнийский Закон о безопасности инновационных моделей искусственного интеллекта Frontier (позже известный как Калифорнийский закон о безопасности искусственного интеллекта SB 1047) наконец прошел проверку Комитета по ассигнованиям Палаты представителей Калифорнии после значительного ослабления соответствующих положений.

Команда сенатора от Калифорнии Винера рассказала TechCrunch, что в законопроект добавлено несколько поправок, предложенных компанией искусственного интеллекта Anthropic и другими оппонентами, и, наконец, он был принят Калифорнийским комитетом по ассигнованиям, что сделало важный шаг на пути к тому, чтобы стать законом, который включал несколько ключевых изменений.

«Мы приняли предложенный набор очень разумных поправок, и я считаю, что мы устранили основные опасения, высказанные Anthropic и многими другими представителями отрасли», — заявил сенатор Винер в своем заявлении. «Эти поправки основаны на моих предыдущих существенных изменениях в SB 1047, чтобы удовлетворить уникальные потребности сообщества открытого исходного кода, которое является важным источником инноваций».

Целью SB 1047 по-прежнему является предотвращение инцидентов кибербезопасности, в которых крупномасштабные системы искусственного интеллекта убивают большое количество людей или причиняют убытки, превышающие 500 миллионов долларов, путем привлечения разработчиков к ответственности. Однако теперь законопроект дает правительству Калифорнии меньше полномочий по привлечению к ответственности лабораторий искусственного интеллекта. В условиях дилеммы регуляторных трудностей на национальном уровне это стало важным шагом в регулировании ИИ в США.

Однако некоторые люди в индустрии искусственного интеллекта, такие как Ли Фейфэй и Ян Ликунь, считают, что это в конечном итоге нанесет ущерб Калифорнии и даже лидирующим позициям США в области искусственного интеллекта. Сотни предпринимателей подписали письмо против законопроекта, написанное инкубатором YC, и более 100 ученых в Калифорнии также опубликовали письмо против законопроекта. Институт венчурного капитала a16z специально создал веб-сайт, чтобы подробно описать шесть грехов законопроекта. В настоящее время в Соединенных Штатах обсуждается множество законопроектов об искусственном интеллекте, но Калифорнийский Закон о безопасности инновационных моделей искусственного интеллекта Frontier стал одним из самых противоречивых.

Законопроект требует от отечественных предприятий, чтобы поставщики облачных услуг собирали информацию о клиентах, IP-адреса, способы оплаты и другую информацию, что облегчает работу регулирующих органов по отслеживанию. Если последующий контроль будет ужесточен, это может стать регуляторным риском, с которым столкнутся некоторые китайские компании, занимающиеся искусственным интеллектом, которые используют зарубежные вычислительные мощности для обучения.

Итак, теперь, когда законопроект об искусственном интеллекте в Калифорнии принят, какое влияние он окажет на китайскую и американскую отрасли искусственного интеллекта? Титан МедиаАГИРазберитесь с шестью вопросами и ответами, чтобы объяснить этот законопроект и некоторую информацию, лежащую в его основе.

1. Каковы новые ограничения Закона Калифорнии об искусственном интеллекте? Какова его основная функция?

Калифорнийский законопроект об искусственном интеллекте, SB 1047, направлен на предотвращение использования крупных моделей искусственного интеллекта для нанесения «серьезного вреда» людям.

В законопроекте перечислены примеры «серьезного вреда». Например, злоумышленники использовали модели ИИ для создания оружия, которое привело к огромным жертвам, или поручали моделям ИИ организовывать кибератаки, которые причинили ущерб на сумму более 500 миллионов долларов США (по сравнению сCrowdStrike По оценкам, ущерб стоил более 5 миллиардов долларов). Законопроект требует от разработчиков (то есть компаний, разрабатывающих модели) внедрения адекватных протоколов безопасности для предотвращения таких последствий.

Правила SB 1047 применимы только к крупнейшим в мире моделям искусственного интеллекта: моделям, которые стоят не менее 100 миллионов долларов и используют 10^26 FLOPS во время обучения — это огромный объем вычислений, но OpenAI Генеральный директор Сэм Альтман сказал, что обучение GPT-4 будет стоить примерно столько же. При необходимости эти пороговые значения могут быть повышены.

В настоящее время лишь немногие компании разработали общедоступные продукты искусственного интеллекта, достаточно большие, чтобы удовлетворить эти требования, но такие технологические гиганты, как OpenAI, Google и Microsoft, могут вскоре сделать это. Модели ИИ — по сути, крупные статистические механизмы, которые выявляют и прогнозируют закономерности в данных — обычно становятся более точными по мере масштабирования, и многие ожидают, что эта тенденция сохранится. Марк Цукерберг недавно заявил, что следующему поколению Llama от Meta потребуется в 10 раз больше вычислительной мощности, что сделает его подпадающим под действие SB 1047.

В частности, законопроект больше не позволяет Генеральному прокурору Калифорнии подавать в суд на разведывательные компании, занимающиеся искусственным интеллектом, за небрежные меры безопасности до того, как произойдет катастрофа. Это то, что предлагает Антропик.

Вместо этого генеральный прокурор Калифорнии может потребовать судебного запрета, потребовав от компании прекратить операцию, которую она считает опасной, и по-прежнему может подать в суд на разработчиков ИИ, если модель ИИ действительно вызовет катастрофическое событие.

2. Кто будет реализовывать законопроект? Как выполнить?

В новом законопроекте об искусственном интеллекте в Калифорнии объявлено, что агентства Frontier Model Department (FMD) больше не будет. Тем не менее, законопроект по-прежнему учреждает Комиссию по пограничной модели — ядро ​​​​ящура — и помещает ее в состав существующих правительственных оперативных агентств. Фактически, комитет стал больше: девять человек вместо пяти. Совет по передовым моделям по-прежнему будет устанавливать пороговые значения вычислений для рассматриваемых моделей, издавать рекомендации по безопасности и правила для аудиторов.

Самым большим изменением в пересмотренном законопроекте является то, что Генеральному прокурору Калифорнии больше не разрешено подавать в суд на компании, занимающиеся искусственным интеллектом, за пренебрежение вопросами безопасности до того, как произойдет катастрофическое событие. Первоначальный законопроект предусматривает, что, если аудиторы обнаружат, что компании, занимающиеся искусственным интеллектом, занимаются незаконной деятельностью в повседневной деятельности, компании могут быть привлечены к ответственности. Это знаменует собой сдвиг в регулятивном фокусе законопроекта на реальный вред, а также уменьшит давление на компании, связанные с соблюдением требований.

Наконец, законопроект также обеспечивает защиту информаторов для сотрудников модельной компании, если они попытаются раскрыть информацию о небезопасных моделях ИИ Генеральному прокурору Калифорнии.

Большинство американских технологических компаний и стартапов в сфере искусственного интеллекта работают в Калифорнии и подпадут под действие этого законопроекта. В частности, этот законопроект посвящен «передовым моделям искусственного интеллекта». Только разработчики, затраты на вычислительную мощность которых превышают 100 миллионов долларов США, будут сталкиваться с нормативными требованиями. В будущем Llama 4 и GPT-5 могут стать его основными объектами регулирования.

3. Как наказывать противоправные действия? Штрафы на сумму от 10 миллионов долларов США могут привести к закрытию или удалению модели.

Законопроект показывает, что технические директора компаний-разработчиков моделей должны представлять в FMD ежегодные сертификаты, в которых оцениваются потенциальные риски их моделей ИИ, эффективность их протоколов безопасности и описание того, как компания соблюдает SB 1047. Как и в случае с уведомлениями о нарушениях, если происходит «инцидент безопасности ИИ», разработчики должны сообщить об этом в FMD в течение 72 часов после того, как стало известно об инциденте.

SB 1047 позволяет Генеральному прокурору Калифорнии подавать гражданские иски против застройщиков, если они не соблюдают какое-либо из этих положений. Для модели, обучение которой обходится в 100 миллионов долларов, штраф может достигать 10 миллионов долларов за первое нарушение и до 30 миллионов долларов за последующие нарушения. Поскольку модели ИИ станут дороже, ставки штрафов будут увеличиваться.

В случае нарушений компаниям могут грозить штрафы в размере от 10 до 30 миллионов долларов США, и эта сумма будет увеличиваться по мере увеличения стоимости обучения моделей.

Кроме того, если разработчики моделей и операторы вычислительных кластеров не соблюдают вышеуказанные правила и причиняют огромный вред, а также если будет установлено, что противоправное поведение действительно имело место, суд может наложить следующие штрафы:

1. За противоправные действия в 2026 году и позже будут наказаны лица, впервые нарушившие закон.облачные вычисленияРазмер штрафа составляет не более 10 % от средней стоимости модели в рамках рыночного обучения. За последующие нарушения сумма штрафа не должна превышать 30 % от этой стоимости (рассчитывается на основе порога в 100 миллионов долларов США, определенного для модели в рамках обучения). в законопроекте штраф за первое нарушение составляет не менее 10 миллионов долларов США).

2. Суд также может объявить судебный запрет, включая, помимо прочего, изменение, полное закрытие или удаление всех производных, контролируемых моделью, в пределах области применения и ее разработчиков.

Однако штрафы за изменение, закрытие и удаление рассматриваемой модели могут применяться только в том случае, если это приводит к смерти другого человека, серьезным телесным повреждениям, материальному ущербу или серьезной угрозе общественной безопасности.

4. Кто выступает против законопроекта? Почему возражаете?

Законопроект был принят Законодательным собранием Калифорнии относительно легко, несмотря на сильную оппозицию со стороны американских законодателей, видных исследователей искусственного интеллекта, крупных технологических компаний и венчурных капиталистов. Поправки могли бы успокоить противников SB 1047 и предоставить губернатору Ньюсому менее противоречивый законопроект, который он сможет подписать, не теряя поддержки со стороны индустрии искусственного интеллекта.

Сегодня все больше и больше специалистов в сфере технологий выступают против калифорнийского законопроекта об искусственном интеллекте.

Anthropic заявила, что рассматривает изменения в SB 1047, прежде чем принять решение. Не все предыдущие предложения компании по пересмотру были приняты сенатором Винером.

Известная венчурная компания a16z перечислила на своем официальном сайте «6 грехов» Калифорнийского закона о безопасности искусственного интеллекта:

1. Этот законопроект окажет сдерживающее воздействие на инвестиции и развитие искусственного интеллекта в Калифорнии.

2. Законопроект наказывает застройщиков/разработчиков на основании неясных результатов. Соответствующих тестов пока не существует.

3. Расплывчатые определения законопроекта в сочетании со строгой юридической ответственностью создают значительную неопределенность и экономический риск для разработчиков ИИ и владельцев бизнеса.

4. Законопроект может заставить исследования ИИ уйти в подполье и непреднамеренно сделать системы ИИ менее безопасными.

5. Этот законопроект создает системный недостаток для разработчиков ПО с открытым исходным кодом и стартапов, которые находятся в центре инноваций и малого бизнеса в Калифорнии.

6. Этот законопроект препятствует исследованиям и инновациям в области искусственного интеллекта в Соединенных Штатах и ​​дает возможность таким странам, как Китай, превзойти Соединенные Штаты в области искусственного интеллекта.

Андриссен Горовиц, партнер-основатель a16z, считает, что, хотя калифорнийский законопроект об искусственном интеллекте имеет благие намерения, он может ослабить технологическую отрасль США из-за дезинформации как раз в тот момент, когда будущее технологий находится на критическом перепутье. Соединенным Штатам необходимо, чтобы лидеры осознали, что сейчас настал критический момент для принятия разумных и единых мер регулирования в области ИИ.

Профессор Стэнфордского университета Ли Фейфей опубликовала на сайте журнала Fortune статью, в которой подробно объяснила причины своего несогласия. Она считает, что основные проблемы этого законопроекта заключаются в четырех пунктах: он чрезмерно наказывает разработчиков и может подавить инновации; ограничивает работу по разработке открытого исходного кода. Уничтожает сообщество открытого исходного кода, ослабляет исследования ИИ в академических кругах и государственном секторе, потенциально лишая ученых возможности получать больше финансирования, и не устраняет потенциальный вред, причиняемый достижениями ИИ, такими как предвзятость или дипфейки;

Кроме того, сотни стартапов, поддерживаемых инкубатором YC, единодушно полагают, что этот законопроект может иметь четыре негативных последствия для отрасли и экосистемы разработчиков:

1. Законопроект должен наказывать злоупотребляющих инструментами, а не разработчиков. Разработчикам часто трудно предсказать возможное применение моделей, и разработчики могут попасть в тюрьму из-за преступления лжесвидетельства.

2. Нормативные пороги не могут адекватно отразить динамику развития технологий. Компании за пределами Калифорнии смогут более свободно разрабатывать технологии искусственного интеллекта, что может повлиять на инновации в Калифорнии.

3. «Аварийный выключатель» (имеется в виду способность разработчиков отключать модели) может запретить разработку ИИ с открытым исходным кодом и препятствовать сотрудничеству и прозрачности с открытым исходным кодом.

4. Формулировка законопроекта расплывчата и может быть произвольно истолкована судьями.

Янн ЛеКун, главный научный сотрудник Meta и лауреат Премии Тьюринга 2018 года, также выступил против этого законопроекта. Он был обеспокоен тем, что, если риски модели, входящей в сферу применения, не будут точно оценены, положения о совместной и нескольких ответственности покажут, что исходный код открыт. платформе, возможно, придется нести ответственность.

Эндрю Нг, приглашенный профессор кафедры компьютерных наук и электротехники Стэнфордского университета, написал, что калифорнийский законопроект SB-1047 задушит разработку больших моделей с открытым исходным кодом. Законопроект должен регулировать приложения искусственного интеллекта, а не сами большие модели.

Он до сих пор шокирован огромным ущербом, нанесенным предложенным Калифорнией законопроектом SB 1047 о открытом исходном коде больших моделей. Этот законопроект допускает серьезную и фундаментальную ошибку. Что следует регулировать, так это продукты генеративного ИИ, разрабатываемые с помощью больших моделей, а не сами большие модели с открытым исходным кодом.

Нг также считает, что SB 1047 требует от разработчиков защищать большие модели с открытым исходным кодом от неправильного использования, модификации и разработки незаконных производных продуктов искусственного интеллекта. Однако то, как разработчики должны защищать и определять такое поведение, все еще очень неясно, и нет детального регулирования.

Поэтому Эндрю Нг настоятельно призывает всех бойкотировать законопроект SB 1047. Он считает, что, если он будет принят, это нанесет сокрушительный удар по инновациям больших моделей с открытым исходным кодом, и в то же время Калифорния потеряет мотивацию для этого. Инновации ИИ.

5. Кто поддерживает законопроект? Зачем поддерживать?

Что касается оппозиции, то в настоящее время есть некоторые профессионалы в области технологий, которые поддерживают Калифорнийский законопроект об искусственном интеллекте.

Среди них, хотя губернатор Калифорнии Ньюсом публично не прокомментировал SB 1047, ранее он выражал свою приверженность инновациям в области искусственного интеллекта в Калифорнии.

В то же время лауреат премии Тьюринга и «крестный отец искусственного интеллекта» Джеффри Хинтон, обладатель премии Тьюринга Йошуа Бенджио, профессор Гарвардской школы права Лоуренс Лессиг) и Стюарт Рассел, автор популярного учебника по искусственному интеллекту «Искусственный интеллект: современный подход» и профессор из Калифорнийского университета в Беркли совместно написали в Законодательное собрание Калифорнии, чтобы выразить свою поддержку Калифорнийскому закону о безопасности ИИ «Решительная поддержка».

Четверо ученых отметили, что они глубоко обеспокоены рисками, связанными с ИИ, и что Калифорнийский Закон о безопасности ИИ является минимальным требованием для эффективного регулирования этой технологии. «Законопроект не имеет системы лицензирования и не требует от компаний получения разрешения от государственных органов перед обучением или внедрением моделей. Он опирается на самооценку рисков компаниями и не требует от компаний строгой ответственности даже в случае стихийного бедствия. Относительно с чем мы сталкиваемся Риск заключается в том, что это очень свободное законодательство. Действующие законы, регулирующие ИИ, не так строги, как правила, регулирующие магазины сэндвичей. Было бы исторической ошибкой отменить основные меры законопроекта - год спустя, когда закон будет принят. следующее поколение будет более строгим. Эта ошибка станет более очевидной, когда будут выпущены мощные системы искусственного интеллекта».

«Сорок лет назад, когда я тренировался ЧатGPT Когда дело дошло до первых версий алгоритмов ИИ, лежащих в основе инструментов, никто, включая меня, не мог предсказать, что ИИ добьется такого большого прогресса. Мощные системы искусственного интеллекта открывают невероятные перспективы, но риски также вполне реальны, и к ним следует относиться очень серьезно. SB 1047 использует очень разумный подход к решению этих проблем. Я по-прежнему с энтузиазмом отношусь к потенциалу ИИ в спасении жизней за счет улучшения науки и медицины, но мы должны разработать действительно сильное законодательство для устранения рисков. Калифорния является отправной точкой для этой технологии, потому что именно здесь она получила распространение. - сказал Хинтон.

Четверо ученых также подчеркнули в письме, что независимо от того, являются ли эти риски необоснованными или реальными, соответствующие стороны должны нести ответственность за снижение рисков. «Как группа экспертов, которые лучше всего разбираются в этих системах», они считают, что эти риски возможны и достаточно значительны, поэтому необходимы тестирование безопасности и здравые меры предосторожности.

Сенатор от Калифорнии Скотт Винер, автор законопроекта, заявил, что SB 1047 направлен на то, чтобы извлечь уроки из прошлых неудач в социальных сетях и политике конфиденциальности данных и обеспечить безопасность граждан, пока не стало слишком поздно.

«Наше отношение к технологиям заключается в том, чтобы ждать, пока причинится вред, а затем ничего с этим не делать», — сказал Винер. «Мы не ждем, пока произойдет что-то плохое. Мы хотим действовать до того, как это произойдет».

• Разработчики не попадут в тюрьму за неспособность предсказать риски модели. Во-первых, разработчикам стартапов и ученым не стоит беспокоиться, поскольку на них законопроект не распространяется. Во-вторых, пункт о лжесвидетельстве в законопроекте вступит в силу только в том случае, если разработчик «сознательно» сделает ложное заявление, а непреднамеренная неправильная оценка возможностей модели не приведет к срабатыванию пункта о лжесвидетельстве (этот пункт был удален в сегодняшней поправке).

• Законопроект не создает совершенно новых обязанностей. В соответствии с существующими законами, как разработчики моделей, так и отдельные разработчики могут быть привлечены к ответственности, если модель причиняет вред, и это относится к моделям всех способностей, и все пострадавшие могут подать в суд. Новый законопроект Калифорнии не только ограничивает сферу регулирования, но также ограничивает право на подачу иска двум организациям: генеральному прокурору Калифорнии и совету по труду.

• Законопроект не задушит инновации в Калифорнии. Этот законопроект распространяется на все компании, ведущие бизнес в Калифорнии. Даже если они перенесут свою штаб-квартиру из Калифорнии, они должны соблюдать соответствующие правила (Примечание Чжиси: Калифорния является пятой по величине экономикой в ​​мире по ВВП и имеет полную технологическую экосистему. Технологии). компании Трудно отделиться от Калифорнии). Когда Калифорния приняла законы о конфиденциальности данных и законы об охране окружающей среды, многие люди утверждали, что это будет препятствовать инновациям, но факт остается фактом: Калифорния по-прежнему лидирует в инновациях.

• Аварийные переключатели и требования к оценке безопасности не будут препятствовать развитию ИИ с открытым исходным кодом. В настоящее время законопроект был пересмотрен и усилил защиту ИИ с открытым исходным кодом. Требование об аварийном отключении модели в законопроекте применяется только к моделям, находящимся под контролем разработчика, за исключением неконтролируемых моделей с открытым исходным кодом. Законопроект также создает новый консультативный комитет для защиты и поддержки безопасных и надежных усилий по разработке искусственного интеллекта с открытым исходным кодом.

Согласно законопроекту, даже если компания обучила модель стоимостью 100 миллионов долларов в Техасе или Франции, она будет защищена законом SB 1047, пока она ведет бизнес в Калифорнии. Винер сказал, что Конгресс «за последние 25 лет почти не принял никаких законов по технологиям», поэтому он считает, что Калифорния должна создать здесь прецедент.

Дэн Хендрикс, директор Центра безопасности искусственного интеллекта, сказал: «Этот законопроект отвечает долгосрочным интересам Калифорнии и промышленности США, поскольку крупные инциденты, связанные с безопасностью, могут стать самым большим препятствием для дальнейшего развития».

Несколько бывших сотрудников OpenAI также поддержали законопроект, в том числе Дэниел Кокотайло, который добровольно отказался от своих возможностей OpenAI в обмен на право свободно критиковать компанию. Он полагает, что утверждения критиков законопроекта о том, что прогресс ИИ застопорится, скорее всего, не оправдаются.

Саймон Ласт, основатель компании Notion, компании-единорога искусственного интеллекта, стоимость которой оценивается в десятки миллиардов долларов, написал статью, в которой заявил, что поддерживает законопроект и считает, что, когда законы об искусственном интеллекте федерального уровня трудно реализовать, Калифорния как технологический центр в Соединенные Штаты и даже мир обременены важной ответственностью. Он считает, что надзор за моделями не только повысит их безопасность, но и будет способствовать запуску ИИ-стартапов, создающих продукты на основе базовых моделей, что снизит нагрузку на малые и средние предприятия.

«Цель SB 1047 — и всегда была — повысить безопасность ИИ, сохраняя при этом возможность внедрения инноваций во всей экосистеме», — сказал Натан Кальвин, старший советник по политике Центра действий по безопасности ИИ. «Новые поправки будут способствовать этому. цель. "

6. Как развиваться дальше?

Теперь законопроект SB 1047 будет передан в Ассамблею Калифорнии для окончательного голосования. Если законопроект будет принят Ассамблеей, ему придется вернуться в Сенат Калифорнии для голосования из-за последних поправок. Если законопроект будет принят одновременно, он будет отправлен на рассмотрение губернатору Калифорнии Гэвину Ньюсому, который примет окончательное решение о том, подписывать ли законопроект к концу августа.

Винер сказал, что он не говорил с Ньюсомом по поводу законопроекта и не знает своей позиции.