nouvelles

(Source de l'image : image générée par l'IA)

Le 16 août, heure de Pékin, la controversée loi californienne Frontier AI Model Safety Innovation Act (plus tard connue sous le nom de California AI Safety Act SB 1047) a finalement été examinée par le comité des crédits de la Chambre des représentants de Californie après avoir considérablement affaibli les dispositions pertinentes.

L’équipe du sénateur californien Wiener a déclaré à TechCrunch que le projet de loi ajoutait plusieurs amendements proposés par la société d’IA Anthropic et d’autres opposants, et avait finalement été adopté par le comité des crédits de Californie, franchissant ainsi une étape importante vers l’adoption d’une loi, qui comprenait plusieurs changements clés.

"Nous avons accepté l'ensemble d'amendements très raisonnables proposés et je pense que nous avons répondu aux principales préoccupations exprimées par Anthropic et de nombreux autres acteurs de l'industrie", a déclaré le sénateur Wiener dans un communiqué. "Ces modifications s'appuient sur mes précédentes modifications importantes apportées au SB 1047 pour répondre aux besoins uniques de la communauté open source, qui est une source importante d'innovation."

Le SB 1047 vise toujours à prévenir les incidents de cybersécurité dans lesquels des systèmes d'IA à grande échelle tuent un grand nombre de personnes ou causent des pertes supérieures à 500 millions de dollars en obligeant les développeurs à rendre des comptes. Cependant, le projet de loi donne désormais moins de pouvoir au gouvernement californien pour demander des comptes aux laboratoires d’IA. Dans le dilemme des difficultés réglementaires au niveau national, cela est devenu une étape importante dans la réglementation de l’IA aux États-Unis.

Cependant, certaines personnes dans l'industrie de l'IA, comme Li Feifei et Yang Likun, pensent que cela finira par nuire à la position de leader de la Californie et même des États-Unis dans le domaine de l'IA. Des centaines d'entrepreneurs ont signé une lettre d'opposition rédigée par l'incubateur YC, et plus de 100 universitaires californiens ont également publié une lettre d'opposition au projet de loi. L'institution de capital-risque a16z a créé un site Web spécifiquement pour détailler les six péchés du projet de loi. Actuellement, de nombreux projets de loi sur l’IA sont en cours de discussion aux États-Unis, mais la loi californienne Frontier Artificial Intelligence Model Safety Innovation Act est devenue l’une des plus controversées.

Pour les entreprises nationales, le projet de loi oblige les fournisseurs de services cloud à collecter des informations sur les clients, les adresses IP, les méthodes de paiement et d'autres informations, ce qui facilite le travail de traçabilité des autorités de régulation. Si les contrôles ultérieurs sont encore renforcés, cela pourrait devenir un risque réglementaire auquel sont confrontées certaines sociétés chinoises d’IA qui utilisent la puissance de calcul étrangère pour leur formation.

Alors maintenant que le projet de loi californien sur l’IA a été adopté, quel impact aura-t-il sur les industries chinoise et américaine de l’IA ? Support en titaneAGITriez six questions et réponses pour expliquer ce projet de loi et certaines des informations qui le sous-tendent.

1. Quelles sont les nouvelles contraintes du California AI Act ? Quelle est sa fonction principale ?

Le projet de loi californien sur l’IA, SB 1047, vise à empêcher que de grands modèles d’IA soient utilisés pour causer des « dommages graves » aux humains.

Le projet de loi énumère des exemples de « préjudices graves ». Par exemple, des acteurs malveillants ont utilisé des modèles d’IA pour fabriquer des armes qui ont causé d’énormes pertes, ou ont demandé à des modèles d’IA d’orchestrer des cyberattaques qui ont causé plus de 500 millions de dollars de dégâts (contre 500 millions de dollars).Grève de foule On estime que la perturbation a coûté plus de 5 milliards de dollars). Le projet de loi oblige les développeurs (c'est-à-dire les entreprises développant des modèles) à mettre en œuvre des protocoles de sécurité adéquats pour éviter de telles conséquences.

Les règles du SB 1047 ne s'appliquent qu'aux plus grands modèles d'IA au monde : des modèles qui coûtent au moins 100 millions de dollars et utilisent 10^26 FLOPS pendant l'entraînement – ​​cela représente une énorme quantité de calcul, mais OpenAI Le PDG Sam Altman a déclaré que la formation de GPT-4 coûterait à peu près autant. Ces seuils peuvent être relevés selon les besoins.

Actuellement, peu d’entreprises ont développé des produits publics d’IA suffisamment importants pour répondre à ces exigences, mais des géants de la technologie tels qu’OpenAI, Google et Microsoft pourraient bientôt le faire. Les modèles d’IA (essentiellement de grands moteurs statistiques qui identifient et prédisent des modèles dans les données) deviennent généralement plus précis à mesure qu’ils évoluent, et nombreux sont ceux qui s’attendent à ce que cette tendance se poursuive. Mark Zuckerberg a récemment déclaré que la prochaine génération de Meta's Llama nécessiterait 10 fois plus de puissance de calcul, ce qui la soumettrait au SB 1047.

Plus particulièrement, le projet de loi ne permet plus au procureur général de Californie de poursuivre les sociétés de renseignement sur l’IA pour négligence dans les mesures de sécurité avant qu’une catastrophe ne se produise. C’est ce que suggère Anthropic.

Au lieu de cela, le procureur général de Californie peut demander une injonction, obligeant une entreprise à arrêter une opération qu'elle juge dangereuse, et pourrait toujours poursuivre les développeurs d'IA si un modèle d'IA provoque un événement catastrophique.

2. Qui mettra en œuvre le projet de loi ? Comment exécuter ?

Le nouveau projet de loi californien sur l’IA a annoncé qu’il n’y aurait plus d’agence Frontier Model Department (FMD). Cependant, le projet de loi crée toujours la Frontier Model Commission – le noyau du FMD – et la place au sein des agences gouvernementales existantes. En fait, le comité est désormais plus nombreux, avec neuf personnes au lieu de cinq. Le Frontier Models Council fixera toujours des seuils de calcul pour les modèles couverts, publiera des directives de sécurité et publiera des réglementations pour les auditeurs.

L'ajustement le plus important apporté au projet de loi révisé est que le procureur général de Californie n'est plus autorisé à poursuivre les sociétés d'IA pour avoir négligé les questions de sécurité avant qu'un événement catastrophique ne se produise. Le projet de loi initial stipule que tant que les auditeurs constatent que les sociétés d'IA mènent des activités illégales dans leurs opérations quotidiennes, elles peuvent être poursuivies. Cela marque un changement dans l’orientation réglementaire du projet de loi vers les dommages réels et réduira également la pression de conformité sur les entreprises.

Enfin, le projet de loi prévoit également des protections pour les dénonciateurs d'employés d'une entreprise de mannequins s'ils tentent de divulguer des informations sur des modèles d'IA dangereux au procureur général de Californie.

La plupart des entreprises technologiques américaines et des startups d’IA opèrent en Californie et seront soumises au projet de loi. Plus précisément, ce projet de loi se concentre sur les « modèles d'IA de pointe ». Seuls les développeurs dont les coûts de puissance de calcul dépassent 100 millions de dollars dans les modèles de formation seront confrontés aux exigences réglementaires. Les modèles existants ne sont pas soumis à la supervision. À l’avenir, Llama 4 et GPT-5 pourraient être ses principales cibles réglementaires.

3. Comment punir les actes illégaux ? Des amendes à partir de 10 millions de dollars pourraient entraîner la fermeture ou la suppression du modèle.

Le projet de loi montre que les directeurs technologiques des sociétés de développement de modèles doivent soumettre des certifications annuelles au FMD qui évaluent les risques potentiels de leurs modèles d'IA, l'efficacité de leurs protocoles de sécurité et une description de la manière dont l'entreprise se conforme au SB 1047. À l'instar des notifications de violation, si un « incident de sécurité de l'IA » se produit, les développeurs doivent le signaler au FMD dans les 72 heures suivant la prise de connaissance de l'incident.

Le SB 1047 autorise le procureur général de Californie à intenter des poursuites civiles contre les développeurs s'ils ne respectent pas l'une de ces dispositions. Pour un modèle dont la formation a coûté 100 millions de dollars, l'amende pourrait atteindre 10 millions de dollars pour une première infraction et jusqu'à 30 millions de dollars pour les violations ultérieures. À mesure que les modèles d’IA deviennent plus chers, les taux de pénalité vont augmenter.

En cas d'infraction, les entreprises s'exposent à des amendes allant de 10 à 30 millions de dollars, et ce montant augmentera à mesure que le coût de la formation des modèles augmentera.

En outre, si les développeurs de modèles et les opérateurs de clusters informatiques ne respectent pas les réglementations ci-dessus et causent d'énormes dommages, s'il est déterminé qu'un comportement illégal a effectivement eu lieu, le tribunal peut imposer les sanctions suivantes :

1. Pour les actes illégaux commis en 2026 et après, les entités qui enfreignent la loi pour la première fois seront puniesinformatique en nuageL'amende est comprise dans la limite de 10 % du coût moyen du modèle dans le cadre de la formation au marché. En cas de violations ultérieures, le montant de l'amende ne doit pas dépasser 30 % de ce coût (calculé sur la base du seuil de 100 millions de dollars défini pour le modèle dans le cadre de la formation au marché). dans le projet de loi, l'amende pour la première infraction est d'au moins 10 millions de dollars).

2. Le tribunal peut également prononcer une injonction, y compris, mais sans s'y limiter, la modification, l'arrêt complet ou la suppression de tous les dérivés contrôlés par le modèle dans le cadre et ses développeurs.

Toutefois, les sanctions liées à la modification, à la fermeture et à la suppression d'un modèle concerné ne peuvent être utilisées que si cela entraîne la mort d'autrui, des blessures corporelles graves, des dommages matériels ou une menace grave pour la sécurité publique.

4. Qui s’oppose au projet de loi ? Pourquoi s'y opposer ?

Le projet de loi a été adopté relativement facilement par l’Assemblée législative de Californie, malgré la forte opposition des législateurs américains, d’éminents chercheurs en IA, des grandes entreprises technologiques et des investisseurs en capital-risque. Les amendements pourraient apaiser les opposants au SB 1047 et fournir au gouverneur Newsom un projet de loi moins controversé qu’il peut promulguer sans perdre le soutien de l’industrie de l’IA.

Aujourd’hui, de plus en plus de spécialistes de la technologie s’opposent au projet de loi californien sur l’IA.

Anthropic a déclaré qu'elle examinait les modifications apportées au SB 1047 avant de prendre une décision. Toutes les suggestions de révision précédentes de l'entreprise n'ont pas été adoptées par le sénateur Wiener.

La célèbre société de capital-risque a16z a répertorié sur son site officiel les « 6 péchés » de l’AI Safety Act de Californie :

1. Ce projet de loi aura un effet dissuasif sur les investissements et le développement de l’IA en Californie.

2. Le projet de loi pénalise les développeurs/développeurs sur la base de résultats peu clairs. Les tests pertinents n'existent pas encore.

3. Les définitions vagues du projet de loi, associées à une responsabilité juridique stricte, créent une incertitude et un risque économique importants pour les développeurs d’IA et les propriétaires d’entreprises.

4. Le projet de loi pourrait forcer la recherche sur l’IA à se cacher et, par inadvertance, rendre les systèmes d’IA moins sûrs.

5. Ce projet de loi crée un désavantage systémique pour les développeurs open source et les startups, qui sont au cœur de l’innovation et des petites entreprises en Californie.

6. Ce projet de loi entrave la recherche et l’innovation en matière d’IA aux États-Unis et offre à des pays comme la Chine la possibilité de surpasser les États-Unis en matière d’IA.

Andreessen Horowitz, partenaire fondateur d’a16z, estime que même si le projet de loi californien sur l’IA est bien intentionné, il pourrait affaiblir l’industrie technologique américaine en raison de la désinformation, alors même que l’avenir de la technologie se trouve à un carrefour critique. Les États-Unis ont besoin que les dirigeants reconnaissent que le moment est crucial pour une action réglementaire intelligente et unifiée en matière d’IA.

Li Feifei, professeur à l'Université de Stanford, a publié un article sur le site Internet du magazine Fortune expliquant en détail les raisons de son opposition. Elle estime que les principaux problèmes de ce projet de loi sont de quatre points : il punit excessivement les développeurs et pourrait étouffer l'innovation ; limiter le travail de développement open source. Détruit la communauté open source ; affaiblit la recherche sur l’IA dans le milieu universitaire et le secteur public, empêchant potentiellement les universitaires de recevoir davantage de financements et ne s’attaque pas aux dommages potentiels causés par les progrès de l’IA, tels que les biais ou les deepfakes ;

Par ailleurs, des centaines de startups soutenues par l’incubateur YC estiment conjointement que ce projet de loi pourrait avoir quatre impacts négatifs sur l’industrie et l’écosystème des développeurs :

1. Le projet de loi devrait punir les abuseurs d’outils, et non les développeurs. Il est souvent difficile pour les développeurs de prédire les applications possibles des modèles, et les développeurs peuvent aller en prison pour délit de parjure.

2. Les seuils réglementaires ne peuvent pas rendre compte de manière adéquate de la dynamique du développement technologique. Les entreprises non californiennes pourront développer plus librement la technologie de l’IA, ce qui pourrait affecter l’innovation en Californie.

3. Le « Kill Switch » (faisant référence à la capacité des développeurs à désactiver des modèles) peut interdire le développement de l'IA open source et entraver la collaboration et la transparence open source.

4. Le langage du projet de loi est vague et peut être interprété arbitrairement par les juges.

Yann LeCun, scientifique en chef de Meta et lauréat du prix Turing 2018, s'est également opposé à ce projet de loi. Il craignait que si les risques du modèle concerné n'étaient pas évalués avec précision, les clauses de responsabilité solidaire montreraient que l'open source. la plateforme devra peut-être en assumer la responsabilité.

Andrew Ng, professeur invité au Département d'informatique et au Département de génie électrique de l'Université de Stanford, a écrit que le projet de loi californien SB-1047 étoufferait le développement de grands modèles open source. Le projet de loi devrait réglementer les applications d’IA plutôt que les grands modèles eux-mêmes.

Il est toujours choqué par l'énorme préjudice causé par le projet de loi SB 1047 proposé par la Californie pour les grands modèles open source. Ce projet de loi commet une erreur grave et fondamentale. Ce qui devrait être réglementé, ce sont les produits d’IA générative développés à partir de grands modèles, et non les grands modèles open source eux-mêmes.

Ng estime également que le SB 1047 oblige les développeurs à protéger les grands modèles open source contre toute utilisation abusive, modification et développement de produits d'IA dérivés illégaux. Cependant, la manière dont les développeurs doivent protéger et définir ces comportements reste très vague et il n’existe pas de réglementation détaillée.

Par conséquent, Andrew Ng appelle fortement tout le monde à boycotter le projet de loi SB 1047. Il estime que s'il est adopté, il portera un coup dévastateur à l'innovation des grands modèles open source et, en même temps, la Californie perdra la motivation pour cela. Innovation en IA.

5. Qui soutient le projet de loi ? Pourquoi soutenir ?

Par rapport à l’opposition, certains professionnels de la technologie soutiennent actuellement le California AI Bill.

Parmi eux, bien que le gouverneur de Californie Newsom n'ait pas commenté publiquement le SB 1047, il a déjà exprimé son engagement en faveur de l'innovation en matière d'IA en Californie.

Dans le même temps, Geoffrey Hinton, lauréat du prix Turing et « parrain de l'IA », Yoshua Bengio, lauréat du prix Turing, Lawrence Lessig, professeur à la faculté de droit de Harvard, et Stuart Russell, auteur du célèbre manuel d'IA « Intelligence artificielle : une approche moderne » et professeur de l'Université de Californie à Berkeley, ont écrit conjointement à l'Assemblée législative de Californie pour exprimer leur soutien à la California AI Safety Act « Un soutien fort ».

Les quatre chercheurs ont indiqué qu’ils étaient profondément préoccupés par les risques liés à l’IA et que la loi californienne sur la sécurité de l’IA constitue l’exigence minimale pour réglementer efficacement cette technologie. "Le projet de loi ne prévoit pas de système de licence et n'exige pas que les entreprises obtiennent l'autorisation des agences gouvernementales avant de former ou de déployer des modèles. Il s'appuie sur l'auto-évaluation des risques par les entreprises et ne tient pas les entreprises strictement responsables, même en cas de catastrophe. à ce à quoi nous sommes confrontés Le risque est qu'il s'agisse d'une législation très souple. Les lois actuelles qui réglementent l'IA ne sont pas aussi strictes que celles qui réglementent les sandwicheries. Ce serait une erreur historique d'annuler les mesures fondamentales du projet de loi, un an plus tard, lorsque le projet de loi sera adopté. la prochaine génération sera plus stricte. Cette erreur deviendra plus évidente lorsque de puissants systèmes d’IA seront lancés. »

"Il y a quarante ans, quand je m'entraînais ChatGPT En ce qui concerne les premières versions des algorithmes d’IA derrière les outils, personne, moi y compris, n’aurait prédit que l’IA ferait de si grands progrès. Les systèmes d’IA puissants sont incroyablement prometteurs, mais les risques sont également très réels et doivent être pris très au sérieux. Le SB 1047 adopte une approche très intelligente pour équilibrer ces préoccupations. Je reste passionné par le potentiel de l’IA à sauver des vies en améliorant la science et la médecine, mais nous devons élaborer une législation véritablement solide pour faire face aux risques. La Californie est le point de départ de cette technologie car c'est là qu'elle a pris son essor. » dit Hinton.

Les quatre universitaires ont également souligné dans la lettre que, que ces risques soient infondés ou réels, les parties concernées doivent assumer la responsabilité d'atténuer les risques. "En tant que groupe d'experts qui comprennent le mieux ces systèmes", ils estiment que ces risques sont possibles et suffisamment importants pour que des tests de sécurité et des précautions de bon sens soient nécessaires.

Le sénateur californien Scott Wiener, l'auteur du projet de loi, a déclaré que le SB 1047 vise à tirer les leçons des échecs passés en matière de médias sociaux et de politique de confidentialité des données et à assurer la sécurité des citoyens avant qu'il ne soit trop tard.

"Notre attitude à l'égard de la technologie est d'attendre que des dommages surviennent et de ne rien faire", a déclaré Wiener. "Nous n'attendons pas que quelque chose de grave arrive. Nous voulons agir avant que cela n'arrive."

• Les développeurs n’iront pas en prison pour avoir omis de prédire les risques liés aux modèles. Premièrement, les développeurs de start-up et les universitaires n’ont pas à s’inquiéter puisque le projet de loi ne s’applique pas à eux. Deuxièmement, la clause de parjure du projet de loi n'entrera en vigueur que lorsque le développeur fait « sciemment » une fausse déclaration, et une mauvaise appréciation involontaire des capacités du modèle ne déclenchera pas la clause de parjure (cette clause a été supprimée dans l'amendement d'aujourd'hui).

• Le projet de loi ne crée pas de responsabilités entièrement nouvelles. En vertu des lois en vigueur, les développeurs de modèles et les développeurs individuels peuvent être poursuivis en justice si un modèle cause un préjudice, et cela s'applique aux modèles de toutes capacités et toutes les personnes blessées peuvent poursuivre en justice. Le nouveau projet de loi californien limite non seulement la portée de la réglementation, mais limite également le droit de poursuivre en justice à deux entités, le procureur général de Californie et la commission du travail.

• Le projet de loi n’étouffera pas l’innovation californienne. Ce projet de loi s'applique à toutes les entreprises faisant des affaires en Californie, même si elles déménagent leur siège social hors de Californie, elles doivent respecter les réglementations en vigueur (Remarque Zhixi : la Californie est la cinquième plus grande économie mondiale en termes de PIB et dispose d'un écosystème technologique complet. Technologie. Il est difficile de se dissocier de la Californie). Lorsque la Californie a adopté des lois sur la confidentialité des données et sur la protection de l’environnement, de nombreuses personnes ont affirmé que cela entraverait l’innovation, mais le fait est que la Californie reste à la pointe de l’innovation.

• Les kill switchs et les exigences en matière d’évaluation de la sécurité n’entraveront pas le développement de l’IA open source. Le projet de loi a désormais été révisé et renforcé la protection de l’IA open source. L'exigence d'arrêt d'urgence du modèle dans le projet de loi s'applique uniquement aux modèles sous le contrôle du développeur, à l'exclusion des modèles open source non contrôlés. Le projet de loi crée également un nouveau comité consultatif chargé de défendre et de soutenir les efforts de développement d’IA open source sûrs et fiables.

En vertu du projet de loi, même si une entreprise formait un modèle de 100 millions de dollars au Texas ou en France, elle serait protégée par le SB 1047 tant qu'elle exerce ses activités en Californie. Wiener a déclaré que le Congrès « n'a produit presque aucune législation sur la technologie au cours des 25 dernières années », et il pense donc que la Californie devrait créer un précédent en la matière.

Dan Hendrycks, directeur du Center for Artificial Intelligence Safety, a déclaré : « Ce projet de loi est dans l'intérêt à long terme de la Californie et de l'industrie américaine, car les incidents de sécurité majeurs pourraient constituer le plus grand obstacle au développement ultérieur. »

Plusieurs anciens employés d'OpenAI ont également soutenu le projet de loi, notamment Daniel Kokotajlo, qui a volontairement renoncé à ses options OpenAI en échange du droit de critiquer librement l'entreprise. Il estime que les affirmations des critiques du projet de loi selon lesquelles les progrès de l’IA vont stagner ne se réaliseront probablement pas.

Simon Last, le fondateur de Notion, une licorne d'IA évaluée à des dizaines de milliards de dollars, a écrit un article disant qu'il soutient le projet de loi et estime que lorsque les lois fédérales sur l'IA sont difficiles à mettre en œuvre, la Californie, en tant que centre technologique du Les États-Unis, et même le monde, portent d’importantes responsabilités. Il estime que la supervision des modèles améliorera non seulement leur sécurité, mais facilitera également les startups d'IA qui construisent des produits sur des modèles de base, ce qui réduira le fardeau des petites et moyennes entreprises.

"L'objectif du SB 1047 est - et a toujours été - d'améliorer la sécurité de l'IA tout en permettant à l'ensemble de l'écosystème d'innover", a déclaré Nathan Calvin, conseiller politique principal au Center for AI Safety Action Fund. "Les nouveaux amendements soutiendront cela. but. "

6. Comment développer ensuite ?

Le SB 1047 va maintenant être soumis à l'Assemblée de Californie pour un vote final. Si le projet de loi est adopté par l'Assemblée, il devra être renvoyé au Sénat de Californie pour un vote en raison des derniers amendements. Si le projet de loi est adopté en même temps, il sera envoyé au bureau du gouverneur de Californie Gavin Newsom, qui prendra la décision finale de signer ou non le projet de loi d'ici la fin août.

Wiener a déclaré qu'il n'avait pas parlé à Newsom du projet de loi et qu'il ne savait pas où il en était.