новости

отчет о сердце машины

монтажер: чжан цянь

первоначальный замысел хорош, но подход все еще остается под вопросом.

только сейчас законопроект sb 1047, который обсуждался более полугода, наконец-то подошёл к концу: губернатор калифорнии гэвин ньюсом наложил вето на законопроект.

полное название sb 1047 — «закон о безопасных и надежных инновациях для пограничных искусственных интеллектов», целью которого является установление четких стандартов безопасности для моделей искусственного интеллекта с высоким уровнем риска, чтобы предотвратить их злоупотребление или возникновение катастрофы в результате.

в частности, законопроект направлен на регулирование искусственного интеллекта на уровне модели, применяя его к моделям, обученным выше определенных пороговых значений вычислительных ресурсов и затрат. однако, если рассчитывать строго в соответствии с установленными расчетами и пороговыми значениями стоимости, все основные крупносерийные модели на рынке будут считаться «потенциально опасными». более того, законопроект требует от компании-разработчика модели нести юридическую ответственность за дальнейшее использование или модификацию ее модели, что, как полагают, оказывает «сдерживающее воздействие» на выпуск моделей с открытым исходным кодом.

ссылка на законопроект: https://leginfo.legislature.ca.gov/faces/billtextclient.xhtml?bill_id=202320240sb1047.

законопроект был принят в феврале этого года.сенатбыл предложен и с тех пор вызывает споры. ли фейфей, ян лекун,эндрю нгвсе против. некоторое время назад ли фейфэй лично написал статью, в которой объяснил многочисленные негативные последствия, которые может принести этот законопроект. десятки преподавателей и студентов калифорнийского университета также подписали совместное письмо против этого законопроекта (см. «ли фейфей лично написал статью, а десятки ученых подписали совместное письмо против калифорнийского законопроекта об ограничении ии»). однако есть также много людей, которые поддерживают законопроект, например, маск, хинтон и бенджио. прежде чем законопроект был представлен губернатору калифорнии, между двумя сторонами было много жарких дебатов.

теперь все уладилось. в своем заявлении о вето губернатор ньюсом назвал множество факторов, повлиявших на его решение, в том числе влияние, которое законопроект окажет наиибремя, ложащееся на компании, лидерство калифорнии в этой области и критика по поводу того, что законопроект может быть слишком широким.

после того, как новость была опубликована, ян лекун выразил благодарность губернатору калифорнии от имени сообщества открытого исходного кода.

нг подтвердил усилия янна лекуна по разъяснению общественности недостатков законопроекта.

однако некоторые люди довольны, а некоторые обеспокоены: сенатор от калифорнии скотт винер, автор законопроекта, заявил, что он очень разочарован результатами. в своем сообщении он написал, что право вето «является неудачей для всех, кто верит в надзор за крупными корпорациями, принимающими важные решения, влияющие на общественную безопасность и благосостояние, а также на «будущее нашей планеты».

следует отметить, что отказ от sb 1047 не означает, что калифорния закрывает глаза на проблемы безопасности ии, как отметил в своем заявлении губернатор ньюсом. в то же время он также объявил, что ли фейфей и другие помогут калифорнии сформулировать ответственные защитные меры для развертывания генеративного искусственного интеллекта.

губернатор калифорнии: у sb 1047 много проблем

что касается sb 1047, последнее слово остается за губернатором калифорнии ньюсомом. почему он наложил вето на законопроект? заявление дало ответ.

ссылка на заявление: https://www.gov.ca.gov/wp-content/uploads/2024/09/sb-1047-veto-message.pdf.

выдержка из заявления выглядит следующим образом:

калифорния является домом для 32 из 50 ведущих мировых компаний в области искусственного интеллекта, пионеров важных технологических достижений в современной истории. мы являемся лидером в этой области благодаря нашим исследовательским и образовательным учреждениям, нашей разнообразной и мотивированной рабочей силе, а также нашему свободолюбивому культивированию свободных идей. как будущий менеджер и новатор, я серьезно отношусь к своей ответственности за регулирование этой отрасли.

сб 1047 преувеличивает дискуссию о возможных угрозах, исходящих от размещения ал. ключевым моментом в дискуссии является вопрос о том, должен ли порог регулирования основываться на стоимости и количестве вычислений, необходимых для разработки модели искусственного интеллекта, или же следует оценивать фактический риск системы без учета этих факторов. эта глобальная дискуссия происходит в то время, когда возможности ала продолжают расширяться с угрожающей скоростью. в то же время стратегии и решения по устранению риска катастрофических опасностей быстро развиваются.

сосредоточив внимание только на самых дорогих и крупнейших моделях, sb 1047 создает нормативную базу, которая может дать общественности ложное чувство безопасности при контроле над этой быстро развивающейся технологией. специализированные модели меньшего размера могут быть столь же опасными или даже более опасными, чем модели, на которые нацелена sb 1047.

адаптивность имеет решающее значение, поскольку мы соревнуемся со временем, чтобы регулировать технологию, которая все еще находится в зачаточном состоянии. это требует тонкого баланса. хотя sb 1047 имеет благие намерения, он не принимает во внимание, развертываются ли системы искусственного интеллекта в средах высокого риска, требуют принятия критически важных решений или используют конфиденциальные данные. вместо этого законопроект налагает строгие стандарты даже на самые базовые функции — при условии, что они развернуты в больших системах. я не думаю, что это лучший способ защитить общественность от реальных угроз, связанных с этой технологией.

я согласен с автором, что мы не можем ждать, пока произойдет крупная катастрофа, чтобы принять меры по защите населения. калифорния не откажется от своих обязанностей. должны быть приняты протоколы безопасности. должны быть реализованы упреждающие меры защиты, и должны быть четкие и осуществимые последствия для злоумышленников. однако с чем я не согласен, так это с тем, что для обеспечения общественной безопасности мы должны согласиться на решение без эмпирического анализа траектории систем и возможностей ии. в конечном счете, любая система, которая эффективно регулирует ии, должна идти в ногу с самой технологией.

я не согласен с теми, кто говорит, что мы не решаем проблему или что калифорния не играет никакой роли в регулировании потенциального воздействия этой технологии на национальную безопасность. принятие такого подхода только в калифорнии может иметь смысл, особенно в отсутствие федеральных действий со стороны конгресса, но он должен быть основан на эмпирических данных и науке.

институт безопасности искусственного интеллекта сша, входящий в состав национального института науки и технологий, разрабатывает руководство по рискам национальной безопасности, основанное на научно обоснованных методах защиты от явных рисков для общественной безопасности.

в соответствии с указом, который я издал в сентябре 2023 года, агентства моей администрации проводят анализ рисков потенциальных угроз и уязвимостей, связанных с использованием ии в критической инфраструктуре калифорнии.

это лишь несколько примеров работы, которую мы проводим под руководством экспертов, чтобы познакомить политиков с методами управления рисками ии, основанными на науке и фактах.

благодаря этим усилиям за последние 30 дней я подписал более десятка законопроектов, регулирующих конкретные и известные риски, связанные с ии.

более дюжины законопроектов подписано за 30 дней, интенсивная инициатива калифорнии по безопасности искусственного интеллекта

в заявлении ньюсом упомянул, что за 30 дней он подписал более десятка законопроектов. эти законопроекты охватывают широкий круг тем, включая борьбу с явным фейковым контентом, требование добавления водяных знаков к контенту, созданному искусственным интеллектом, защиту цифровых портретов исполнителей, авторские права на голоса или изображения умерших людей, конфиденциальность потребителей и изучение влияние внедрения искусственного интеллекта в обучение и многие другие аспекты.

ссылка на список законопроектов: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/

в ответ на отсутствие научного анализа в оценке рисков ии, проведенной sb 1047, губернатор объявил, что обратился к ведущим мировым экспертам по генеративному ии с просьбой помочь калифорнии разработать возможные меры для развертывания генеративного ии.

помимо ли фейфея, тино куэльяр, член комитета национальной академии наук по социальному и этическому влиянию компьютерных исследований, и дженнифер тур чейес, декан школы вычислительной техники, науки о данных и общества калифорнийского университета, беркли, также являются участниками программы.

их работа сосредоточена на эмпирическом, научно обоснованном анализе траектории передовых моделей, их возможностей и сопутствующих рисков. эта работа имеет долгий путь.

参考链接: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/