ニュース

（画像出典：AI生成画像）

北京時間の8月16日、物議を醸しているカリフォルニア州のフロンティアAIモデル安全イノベ​​ーション法（後にカリフォルニアAI安全法SB 1047として知られる）が、関連規定を大幅に緩和した後、ついにカリフォルニア州下院歳出委員会の審査を通過した。

カリフォルニア州上院議員ウィーナー氏のチームはTechCrunchに対し、この法案はAI企業Anthropicやその他の反対派が提案したいくつかの修正案を追加し、最終的にカリフォルニア州歳出委員会を通過し、いくつかの重要な修正点を含む法案成立に向けた重要な一歩を踏み出したと語った。

ウィーナー上院議員は声明で、「われわれは非常に合理的な一連の修正案を受け入れ、アンスロピック社や業界の他の多くの企業が表明した核心的な懸念に対処できたと信じている」と述べた。 「これらの修正は、イノベーションの重要な源であるオープンソース コミュニティの固有のニーズに対応するために、SB 1047 に対する以前の大幅な変更を基礎としています。」

SB 1047 は、開発者の責任を追及することで、大規模な AI システムによって多数の人が死亡したり、5 億ドルを超える損失が発生したりするサイバーセキュリティ インシデントを防ぐことを依然として目指しています。しかし、今回の法案により、カリフォルニア州政府はAI研究所の責任を問う権限が減退した。国家レベルでの規制が難しいというジレンマの中、これは米国における AI 規制の重要なステップとなっています。

しかし、リー・フェイフェイ氏やヤン・リークン氏などのAI業界の一部の人々は、これが最終的にはカリフォルニア、さらにはAI分野における米国の主導的な地位にまでダメージを与えるだろうと信じている。数百人の起業家がインキュベーターYCによって書かれた反対書簡に署名し、カリフォルニア州の100人以上の学者もこの法案に反対する書簡を発行した。ベンチャーキャピタル機関a16zは、この法案の6つの罪を詳しく説明するウェブサイトを開設した。現在、全米で多くの AI 法案が議論されていますが、カリフォルニア州のフロンティア人工知能モデル安全イノベ​​ーション法は、最も物議を醸している法案の 1 つとなっています。

この法案は国内企業に対して、クラウドサービスプロバイダーに対し顧客情報やIPアドレス、支払い方法などの情報を収集することを義務付けており、これにより規制当局によるトレーサビリティー作業が容易になる。その後の管理がさらに強化された場合、海外のコンピューティング能力をトレーニングに使用している一部の中国の AI 企業が直面する規制リスクとなる可能性があります。

では、カリフォルニアAI法案が可決された今、中国とアメリカのAI産業にどのような影響を与えるのでしょうか?チタンメディア汎用性この法案とその背後にある情報の一部を説明するために、6 つの質問と回答を整理します。

1. カリフォルニア AI 法の新しい制約は何ですか?その主な機能は何ですか?

カリフォルニア州の AI 法案 SB 1047 は、大規模な AI モデルが人間に「重大な危害」を引き起こすために使用されることを防ぐことを目的としています。

法案には「重大な危害」の例が列挙されている。たとえば、悪意のある攻撃者は AI モデルを使用して大量の死傷者を出した兵器を製造したり、AI モデルにサイバー攻撃を指示して 5 億ドルを超える損害を引き起こしたりしました (以前と比較して)。クラウドストライク この混乱には 50 億ドル以上の費用がかかったと推定されています)。この法案は、開発者（つまり、モデルを開発している企業）に、そのような結果を防ぐために適切なセキュリティプロトコルを実装することを義務付けています。

SB 1047 のルールは、世界最大の AI モデルにのみ適用されます。つまり、少なくとも 1 億ドルの費用がかかり、トレーニング中に 10^26 FLOPS を使用するモデルです。これは膨大な量のコンピューティングですが、 オープンAI CEOのサム・アルトマン氏は、GPT-4の訓練にはそれくらいの費用がかかるだろうと述べた。これらのしきい値は必要に応じて上げることができます。

現在、これらの要件を満たすのに十分な規模のパブリック AI 製品を開発している企業はほとんどありませんが、OpenAI、Google、Microsoft などのテクノロジー大手が間もなく開発する可能性があります。 AI モデル (基本的にデータ内のパターンを特定して予測する大規模な統計エンジン) は、一般に規模が拡大するにつれて精度が向上しており、多くの人がこの傾向が続くと予想しています。マーク・ザッカーバーグ氏は最近、メタ社の次世代ラマには10倍のコンピューティングパワーが必要となり、SB 1047の対象となるだろうと述べた。

最も注目に値するのは、この法案により、カリフォルニア州司法長官が災害発生前の安全対策の不注意でAIインテリジェンス企業を訴えることが認められなくなったことである。これが人類学が示唆することです。

その代わり、カリフォルニア州司法長官は企業に対し、危険と判断した事業の停止を求める差し止めによる救済を求めることができ、AIモデルが実際に壊滅的な出来事を引き起こした場合にはAI開発者を訴えることもできる。

2. この法案を実行するのは誰ですか?どのように実行するか?

カリフォルニア州の新しい AI 法案では、フロンティアモデル局 (FMD) 機関が廃止されることが発表されました。しかし、この法案は依然として口蹄疫の中核であるフロンティアモデル委員会を設立し、それを既存の政府運営機関の中に置くものである。実際、委員会は現在、5 人ではなく 9 人で構成されています。 Frontier Models Council は引き続き、対象モデルの計算しきい値を設定し、安全性に関するガイダンスを発行し、監査人向けの規制を発行します。

改正法案の最大の修正点は、カリフォルニア州司法長官が、大惨事が起こる前に安全性の問題を無視したとしてAI企業を訴えることが認められなくなったことだ。原案では、AI企業が日常業務で違法行為を行っていることを監査人が発見する限り、企業は訴追される可能性があると規定されている。これは、この法案の規制上の焦点が実害に移ったことを示しており、企業に対するコンプライアンスの圧力も軽減されることになる。

最後に、この法案は、モデリング会社内の従業員が安全でない AI モデルに関する情報をカリフォルニア州司法長官に開示しようとした場合の内部告発者の保護も規定しています。

米国のテクノロジー企業やAI新興企業のほとんどはカリフォルニアで事業を展開しており、この法案の対象となる。具体的には、この法案は「最先端の AI モデル」に焦点を当てており、トレーニング モデルの計算能力コストが 1 億米ドルを超える開発者のみが規制要件の対象外となります。将来的には、Llama 4 と GPT-5 が主な規制対象となる可能性があります。

3. 違法行為をどのように処罰するか? 1,000万米ドル以上の罰金はモデルの閉鎖または削除につながる可能性があります

この法案は、モデル開発会社の最高技術責任者が、自社の AI モデルの潜在的なリスク、セキュリティプロトコルの有効性、および企業がどのように SB 1047 に準拠しているかの説明を評価する証明書を毎年 FMD に提出する必要があることを示しています。侵害通知と同様に、「AI セキュリティ インシデント」が発生した場合、開発者はインシデントを認識してから 72 時間以内に FMD に報告する必要があります。

SB 1047 は、開発者がこれらの規定のいずれかを遵守しない場合、カリフォルニア州司法長官が開発者に対して民事訴訟を起こすことを認めています。トレーニングに 1 億ドルかかるモデルの場合、最初の違反では最高 1,000 万ドル、その後の違反では最高 3,000 万ドルの罰金が課せられる可能性があります。 AI モデルが高価になるにつれて、ペナルティ率も増加します。

違反が発生すると、企業は 1,000 万ドルから 3,000 万ドルの範囲の罰金を科される可能性があり、この金額はモデルのトレーニングのコストが増加するにつれて増加します。

さらに、モデル開発者およびコンピューティングクラスター運営者が上記の規制を遵守せず、多大な損害を引き起こした場合、実際に違法行為が行われたと判断された場合、裁判所は以下の罰則を課す可能性があります。

1. 2026年以降の違法行為については、初めて法律に違反した主体が処罰されるクラウドコンピューティング罰金は、市場トレーニング範囲内のモデルの平均コストの 10% 以内です。その後の違反については、罰金の額はこのコストの 30% を超えてはなりません (範囲内のモデルに対して定義された 1 億米ドルのしきい値に基づいて計算されます)。この法案では、最初の違反に対する罰金は少なくとも 1,000 万ドルです)。

2. 裁判所は、範囲内のモデルおよびその開発者によって管理されるすべての派生製品の変更、完全な停止、または削除を含むがこれらに限定されない差し止め命令を宣言することもできます。

ただし、範囲内のモデルの変更、閉鎖、削除に対する罰則は、それが他人の死亡、重大な人身傷害、物的損害、または公共の安全に対する重大な脅威を引き起こす場合にのみ適用されます。

4. この法案に反対しているのは誰ですか?なぜ反対するのでしょうか？

この法案は、米国議員、著名なAI研究者、大手ハイテク企業、ベンチャーキャピタリストの強い反対にもかかわらず、比較的容易にカリフォルニア州議会を通過した。この修正案はSB 1047の反対派をなだめる可能性があり、ニューサム知事はAI業界からの支持を失うことなく署名できる、議論の余地の少ない法案を提供できる可能性がある。

現在、カリフォルニア州の AI 法案に反対するテクノロジー関係者が増えています。

Anthropic は、決定を下す前に SB 1047 への変更を検討していると述べた。同社のこれまでの修正案のすべてがウィーナー上院議員に採用されたわけではない。

有名なベンチャーキャピタル会社 a16z は、カリフォルニア州 AI 安全法の「6 つの罪」を公式ウェブサイトに記載しています。

1. この法案はカリフォルニア州のAI投資と開発に萎縮効果をもたらすだろう。

2. この法案は、不透明な結果に基づいて開発者/開発者に罰則を科すものです。関連するテストはまだ存在しません。

3. この法案の曖昧な定義と厳格な法的責任は、AI 開発者や事業主に重大な不確実性と経済的リスクをもたらします。

4. この法案はAI研究を地下で強制し、意図せずAIシステムの安全性を低下させる可能性がある。

5. この法案は、カリフォルニア州のイノベーションと中小企業の中心であるオープンソース開発者とスタートアップ開発者に体系的な不利益をもたらします。

6. この法案は米国におけるAIの研究とイノベーションを阻害し、中国などの国々がAIにおいて米国を超える機会を提供する。

a16zの創設パートナーであるアンドリーセン・ホロウィッツ氏は、カリフォルニア州のAI法案は善意に基づいたものではあるが、テクノロジーの将来が重大な岐路に立っているときに、誤った情報によって米国のテクノロジー産業を弱体化させる可能性があると考えている。米国は指導者たちに、今がAIに対する賢明で統一された規制措置を講じる重要な時期であることを認識させる必要がある。

スタンフォード大学のリー・フェイフェイ教授は、フォーチュン誌のウェブサイトに、この法案の主な問題点を 4 つの点に詳しく説明した記事を掲載した。オープンソースの開発作業を制限し、学術界や公共部門における AI 研究を弱体化させ、学者がより多くの資金を受け取ることを妨げる可能性があり、偏見やディープフェイクなどの AI の進歩によって引き起こされる潜在的な害に対処しません。

さらに、YC インキュベーターが支援する数百のスタートアップ企業は、この法案が業界と開発者のエコシステムに 4 つのマイナスの影響を与える可能性があると共同で考えています。

1. この法案は開発者ではなく、ツールの乱用者を罰すべきだ。開発者がモデルの可能な用途を予測することは多くの場合困難であり、開発者は偽証罪により刑務所に送られる可能性があります。

2. 規制の基準値は、技術開発のダイナミクスを適切に捉えることができません。カリフォルニア州以外の企業もより自由にAI技術を開発できるようになり、カリフォルニア州のイノベーションに影響を与える可能性がある。

3. 「キルスイッチ」（モデルをオフにする開発者の能力を指す）は、オープンソースの AI 開発を禁止し、オープンソースのコラボレーションと透明性を阻害する可能性があります。

4. 法案の文言は曖昧で、裁判官によって恣意的に解釈される可能性がある。

Meta の主任科学者で 2018 年チューリング賞受賞者のヤン・ルカン氏もこの法案に反対し、範囲内のモデルのリスクが正確に評価されなければ、連帯責任条項がオープンソースの危険性を示していると懸念した。プラットフォームが責任を負う必要があるかもしれません。

スタンフォード大学のコンピューターサイエンス学部と電気工学部の客員教授であるアンドリュー・ン氏は、カリフォルニア州のSB-1047法案はオープンソースの大規模モデルの開発を抑圧するだろうと書いた。この法案は、大規模なモデルそのものではなく、AI アプリケーションを規制する必要がある。

彼は、大規模モデルをオープンソースにするカリフォルニア州提案の SB 1047 法案によって引き起こされた多大な損害に今でもショックを受けています。この法案は重大かつ根本的な間違いを犯しています。規制されるべきは、オープンソースの大規模モデルそのものではなく、大規模モデルを通じて開発された生成 AI 製品です。

Ng 氏はまた、SB 1047 では開発者に対し、オープンソースの大規模モデルを悪用、改変、違法な派生 AI 製品の開発から保護するよう求めていると考えています。ただし、開発者がこれらの動作をどのように保護および定義するかは依然として非常に曖昧であり、詳細な規制はありません。

したがって、Andrew Ng 氏は、SB 1047 法案をボイコットするよう強く呼び掛けています。同法案が可決されれば、オープンソースの大規模モデルのイノベーションに壊滅的な打撃を与えると同時に、カリフォルニア州の意欲も失われると考えています。 AI イノベーション。

5. この法案を支持しているのは誰ですか?なぜサポートするのか？

現在、カリフォルニア州 AI 法案を支持するテクノロジー専門家は、反対派に比べて何人かいます。

その中で、カリフォルニア州知事のニューサムはSB 1047について公にはコメントしていないが、以前にカリフォルニア州のAIイノベーションへの取り組みを表明していた。

同時に、チューリング賞受賞者で「AIのゴッドファーザー」ジェフリー・ヒントン氏、チューリング賞受賞者のヨシュア・ベンジオ氏、ハーバード大学ロースクール教授のローレンス・レッシグ氏、そして人気のAI教科書「人工知能:現代的なアプローチ」の著者で教授のスチュアート・ラッセル氏も参加しました。カリフォルニア大学バークレー校の教授らは共同でカリフォルニア州議会に書簡を送り、カリフォルニア州AI安全法への支持を表明した。

4人の学者は、AIのリスクを深く懸念しており、カリフォルニア州のAI安全法はこの技術を効果的に規制するための最低要件であると述べた。 「この法案にはライセンス制度がなく、企業がモデルのトレーニングや導入前に政府機関から許可を得る必要もありません。この法案は企業のリスク自己評価に依存しており、災害が発生した場合でも企業に厳格な責任を課すものではありません。リスクは、これが非常に緩い法律であるということです。AI を規制する現在の法律は、サンドイッチ店を規制するほど厳格ではありません。1 年後にこの法案の基本的な措置を取り消すのは歴史的な間違いです。次世代はより厳格になるでしょう。強力な AI システムがリリースされると、この間違いはさらに明らかになるでしょう。」

「40年前、私が修行していた頃、 チャットGPT ツールの背後にある AI アルゴリズムの最初のバージョンに関しては、私を含め、誰も AI がこれほど大きな進歩を遂げるとは予想していませんでした。強力な AI システムには信じられないほどの可能性が秘められていますが、リスクも非常に現実的であり、非常に真剣に受け止める必要があります。 SB 1047 は、これらの懸念のバランスをとるために非常に賢明なアプローチを採用しています。私は科学と医学を改善することで命を救う AI の可能性に今も情熱を持っていますが、リスクに対処するための真に強力な法律を制定する必要があります。カリフォルニアはこのテクノロジーが誕生した場所であるため、このテクノロジーの出発点です。ヒントンは言った。

4人の学者は書簡の中で、これらのリスクが根拠のないものであるか現実であるかに関係なく、関係者はリスクを軽減する責任を負わなければならないとも強調した。 「これらのシステムを最もよく理解している専門家のグループとして」、彼らは、これらのリスクは可能性があり、セキュリティテストと常識的な予防措置が必要であるほど十分に重大であると信じています。

同法案の起草者であるカリフォルニア州上院議員スコット・ウィーナー氏は、SB1047は過去のソーシャルメディアやデータプライバシー政策の失敗から学び、手遅れになる前に国民の安全を守ることを目的としていると述べた。

「テクノロジーに対する私たちの態度は、害が起こるのを待って、その後は何もしないというものです」とウィーナー氏は言う。 「私たちは何か悪いことが起こるのを待っているのではありません。起こる前に行動したいのです。」

• 開発者は、モデルのリスクを予測できなかったからといって刑務所に行くことはありません。まず、スタートアップの開発者や学者は、この法案は適用されないので心配する必要はありません。第二に、法案の偽証条項は、開発者が「知りながら」虚偽の陳述をした場合にのみ有効であり、モデルの能力に対する意図しない誤った判断によって偽証条項が発動されることはない（この条項は本日の修正案で削除された）。

• この法案は全く新しい責任を生み出すものではありません。現行法の下では、モデルが危害を引き起こした場合、モデル開発者と個人開発者の両方が告訴される可能性があり、これはあらゆる能力のモデルに適用され、被害を受けたすべての個人が訴訟を起こすことができます。カリフォルニア州の新しい法案は、規制の範囲を制限するだけでなく、カリフォルニア州司法長官と労働委員会という 2 つの組織に対して訴訟を起こす権利も制限します。

• この法案はカリフォルニアのイノベーションを抑制するものではありません。この法案は、カリフォルニア州で事業を行うすべての企業に適用され、たとえ本社をカリフォルニア州外に移転する場合でも、関連する規制を遵守する必要があります (Zhixi 注: カリフォルニア州は GDP ベースで世界第 5 位の経済大国であり、完全なテクノロジー エコシステムを備えています。カリフォルニアから切り離すのは難しい）。カリフォルニア州がデータプライバシー法と環境保護法を可決したとき、多くの人がこれがイノベーションを妨げると主張しましたが、実際にはカリフォルニア州は依然としてイノベーションをリードしています。

• キル スイッチとセキュリティ評価要件は、オープンソース AI の開発を妨げることはありません。この法案は修正され、オープンソース AI の保護が強化されました。法案におけるモデルの緊急シャットダウンの要件は、管理されていないオープンソース モデルを除き、開発者の管理下にあるモデルにのみ適用されます。この法案はまた、安全で信頼性の高いオープンソース AI 開発の取り組みを提唱し、支援するための新しい諮問委員会を設立します。

この法案では、企業がテキサスやフランスで1億ドルのモデルを訓練したとしても、カリフォルニアで事業を行っている限り、SB 1047によって保護されることになる。ウィーナー氏は、議会は「過去25年間、テクノロジーに関する法案をほとんど制定していない」ため、カリフォルニア州がここで先例を示すべきだと考えていると述べた。

人工知能安全センター所長のダン・ヘンドリックス氏は、「重大な安全上のインシデントはさらなる発展への最大の障害となる可能性があるため、この法案はカリフォルニア州と米国の産業界の長期的な利益となる」と述べた。

OpenAIの元従業員数人もこの法案を支持しており、その中には同社を自由に批判する権利と引き換えにOpenAIのオプションを自発的に放棄したダニエル・ココタジロも含まれる。同氏は、AIの進歩が停滞するという法案批判者の主張はおそらく起こらないと信じている。

数百億ドルの価値があるAIユニコーンであるNotionの創設者であるサイモン・ラスト氏は、この法案を支持し、連邦レベルのAI法の施行が難しい場合にはカリフォルニアが米国の技術センターになると信じていると記事に書いた。米国、さらには世界は重要な責任を負っています。同氏は、モデルを監視することでセキュリティが向上するだけでなく、基本モデルに基づいて製品を構築するAIスタートアップが促進され、中小企業の負担も軽減されると考えている。

「SB 1047 の目標は、エコシステム全体の革新を可能にしながら、AI の安全性を向上させることです」と、AI 安全性活動基金センターの上級政策アドバイザーであるネイサン カルビン氏は述べ、「新たな修正案はそれをサポートします。」目標。」

6. 次にどのように開発するか?

SB 1047 は今後、最終投票のためにカリフォルニア州議会に提出されます。この法案が議会を通過した場合、最新の修正によりカリフォルニア州上院に戻って採決を行う必要がある。法案が同時に可決された場合、法案はカリフォルニア州知事ギャビン・ニューサムのデスクに送られ、同知事が8月末までに法案に署名するかどうかの最終決定を下すことになる。

ウィーナー氏は、この法案についてニューサム氏とは話しておらず、自分の立場も分からないと述べた。