nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nouveau rapport de sagesse

Editeur : Tellement endormi

[Introduction à la nouvelle sagesse]Le « AI Restriction Bill » de Californie a été initialement adopté avec succès malgré la forte opposition des magnats de l’IA, des grandes entreprises technologiques, des startups et des investisseurs en capital-risque.

Comme nous le savons tous, hormis les interprétations de divers films de science-fiction, l’IA n’a tué personne dans le monde réel ni lancé de cyberattaques à grande échelle.

Cependant, certains législateurs américains espèrent toujours qu’une sécurité adéquate pourra être mise en œuvre avant que cet avenir dystopique ne devienne une réalité.

Cette semaine encore, la loi californienne Frontier Artificial Intelligence Model Security Innovation Act, SB 1047, a franchi une fois de plus une étape importante vers l’adoption d’une loi.

En termes simples, le SB 1047 empêchera les systèmes d'IA de causer des pertes massives ou de déclencher des incidents de cybersécurité coûtant plus de 500 millions de dollars en tenant les développeurs responsables.

Cependant, l’opposition du monde universitaire et de l’industrie était si forte que les législateurs californiens ont légèrement compromis en ajoutant plusieurs amendements suggérés par la startup d’IA Anthropic et d’autres opposants.

Par rapport à la proposition initiale, la version actuelle réduit le pouvoir du gouvernement californien de demander des comptes aux laboratoires d’IA.

Adresse de facturation : https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

Mais même ainsi, (presque) personne n’aime le SB 1047.

Des géants de l'IA tels que Yann LeCun, Li Feifei et Ng Enda ont exprimé à plusieurs reprises leur mécontentement face à ce projet de loi qui « étouffe l'IA open source et force la suspension, voire l'arrêt de l'innovation en matière d'IA ».

Différentes lettres communes voient également le jour les unes après les autres :

Non seulement plus de 40 chercheurs de l’Université de Californie, de l’Université de Californie du Sud, de l’Université de Stanford et du California Institute of Technology ont vivement appelé à ne pas adopter ce projet de loi.

Et huit membres du Congrès représentant divers districts de Californie ont également exhorté le gouverneur à opposer son veto au projet de loi.

LeCun a même copié le message original qu'il a utilisé lorsqu'il a appelé à un moratoire sur la recherche sur l'IA : veuillez suspendre la législation sur l'IA pendant six mois !

La question est donc : pourquoi l’article précédent utilisait-il « presque tout le monde » ?

Car, outre LeCun, les deux autres géants de Turing, Yoshua Bengio et Geoffrey Hinton, soutiennent fermement l'adoption de ce projet de loi.

J'ai même l'impression que les conditions actuelles sont un peu trop souples.

En tant que chercheurs principaux en technologies et politiques en intelligence artificielle, nous vous écrivons pour exprimer notre ferme soutien au projet de loi 1047 du Sénat de Californie. Le SB 1047 décrit les exigences de base pour une réglementation efficace de cette technologie. Il ne met pas en œuvre de système de licence, n’exige pas que les entreprises obtiennent l’autorisation des agences gouvernementales avant de former ou de déployer des modèles, s’appuie sur les entreprises pour évaluer elles-mêmes les risques et ne tient pas les entreprises strictement responsables même en cas de catastrophe. Il s’agit d’une législation relativement indulgente par rapport à l’ampleur des risques auxquels nous sommes confrontés. Annuler les mesures fondamentales du projet de loi serait une erreur historique, qui deviendra encore plus évidente dans un an, avec la sortie de la prochaine génération de systèmes d’IA plus puissants.

Aujourd’hui, le SB 1047 a été adopté relativement facilement par l’Assemblée législative de Californie, malgré la forte opposition de certains membres du Congrès américain, de chercheurs renommés en IA, de grandes entreprises technologiques et d’investisseurs en capital-risque.

Ensuite, le SB 1047 sera soumis à l'Assemblée de Californie pour un vote final. En raison de l'ajout des derniers amendements, une fois le projet de loi adopté, il devra être renvoyé au Sénat de Californie pour vote.

Si ces deux votes sont réussis, le SB 1047 sera envoyé au gouverneur pour attendre un veto final ou une signature de la loi.

Quels modèles et quelles entreprises seront contraints ?

Selon les exigences du SB 1047, les développeurs ou les entreprises qui développent des modèles doivent être responsables d'empêcher que leurs modèles d'IA ne soient utilisés pour causer un « préjudice important ».

Comme la création d’armes de destruction massive ou le lancement de cyberattaques coûtant plus de 500 millions de dollars. À propos, « l’incident mondial de l’écran bleu Windows » de CrowdStrike a causé plus de 5 milliards de dollars de pertes.

Cependant, les règles du SB 1047 ne s’appliquent qu’aux très grands modèles d’IA, c’est-à-dire des coûts de formation d’au moins 100 millions de dollars et plus de 10^26 opérations à virgule flottante. (Basé essentiellement sur le coût de formation de GPT-4)

On dit que la quantité de calcul requise par la prochaine génération de Meta Llama 4 augmentera de 10 fois et sera donc également soumise à la supervision du SB 1047.

Pour les modèles open source et leurs versions affinées, les développeurs d'origine sont responsables. A moins que le coût atteigne 3 fois le modèle original.

De ce point de vue, il n'est pas étonnant que la réaction de LeCun ait été si violente.

De plus, les développeurs doivent créer des procédures de test qui tiennent compte des risques liés aux modèles d’IA et doivent embaucher chaque année des auditeurs tiers pour évaluer leurs pratiques de sécurité en matière d’IA.

Pour les produits d'IA construits sur la base de modèles, des protocoles de sécurité correspondants doivent être développés pour éviter les abus, notamment un bouton « d'arrêt d'urgence » qui arrête l'ensemble du modèle d'IA.

etc……

Quelle est la fonction actuelle du SB 1047 ?

Aujourd'hui, le SB 1047 ne permet plus au procureur général de Californie de poursuivre les sociétés d'IA pour négligence dans les mesures de sécurité avant qu'un événement catastrophique ne se produise. (Suggestion d'Anthropic)

Au lieu de cela, le procureur général de Californie pourrait demander une injonction obligeant une entreprise à arrêter une opération qu'elle juge dangereuse, et pourrait toujours poursuivre les développeurs d'IA si leurs modèles conduisent à des événements catastrophiques.

Le SB 1047 ne crée plus la nouvelle agence gouvernementale « Frontier Modeling Division (FMD) » initialement incluse dans le projet de loi.

Cependant, le noyau du FMD, le Frontier Model Committee, était toujours établi et placé au sein de l'Agence des opérations gouvernementales existante, et sa taille a été augmentée de 5 à 9 personnes auparavant. Le comité fixera toujours des seuils de calcul pour les modèles couverts, publiera des directives de sécurité et publiera des réglementations pour les auditeurs.

Le SB 1047 a également une formulation plus souple lorsqu'il s'agit de garantir la sécurité des modèles d'IA.

Désormais, les développeurs n'ont plus qu'à fournir une « soin raisonnable » pour s'assurer que les modèles d'IA ne présentent pas de risque significatif de catastrophe, plutôt que « l'assurance raisonnable » requise auparavant.

De plus, les développeurs n'ont qu'à soumettre une « déclaration » publique décrivant leurs mesures de sécurité, et n'ont plus besoin de soumettre une certification des résultats des tests de sécurité sous peine de parjure.

Il existe également une protection distincte pour les modèles de réglage fin open source. Si quelqu’un dépense moins de 10 millions de dollars pour peaufiner un modèle, il n’est pas considéré comme un développeur et la responsabilité incombe au grand développeur initial du modèle.

Li Feifei a personnellement écrit un jour un article critiquant

L'impact du SB 1047 sur l'industrie de l'IA peut être vu dans la chronique de « AI Godmother » Li Feifei dans le magazine Fortune :

« S’il devient loi, le SB 1047 nuira à l’écosystème naissant de l’IA aux États-Unis, en particulier aux parties déjà défavorisées : le secteur public, le monde universitaire et les petites entreprises technologiques. Le SB 1047 pénalisera inutilement les développeurs, étouffera la communauté open source et limitera le monde universitaire. la recherche ne parvient pas non plus à résoudre le vrai problème.

Premièrement, le SB 1047 punirait indûment les développeurs et étoufferait l’innovation.

Dans les cas où un modèle d'IA est utilisé à mauvais escient, le SB 1047 rejette la faute sur la partie responsable et le développeur original du modèle. Pour chaque développeur d’IA, en particulier les programmeurs et entrepreneurs en herbe, il est impossible de prédire toutes les utilisations possibles de leurs modèles. Le SB 1047 obligera les développeurs à prendre des mesures défensives – ce qui doit être évité à tout prix.

Deuxièmement, le SB 1047 restreindra le développement open source.

Le SB 1047 exige que tous les modèles dépassant un certain seuil incluent un « bouton d'arrêt d'urgence », un mécanisme permettant d'arrêter le programme à tout moment. Si les développeurs craignent que les programmes qu’ils téléchargent et créent soient supprimés, ils hésiteront davantage à coder ou à collaborer. Ce bouton d'arrêt d'urgence aura de graves conséquences sur la communauté open source, non seulement dans le domaine de l'IA, mais aussi dans d'innombrables sources d'innovation dans des domaines aussi divers que le GPS, l'IRM et Internet lui-même.

Troisièmement, le SB 1047 paralysera la recherche sur l’IA dans le secteur public et le monde universitaire.

Le développement open source est important dans le secteur privé, mais plus encore dans le monde universitaire, qui ne peut progresser sans collaboration et sans accès aux données modèles. Comment les chercheurs peuvent-ils former la prochaine génération de leaders en IA s’ils n’ont pas accès aux modèles et aux données appropriés ? Un bouton d’arrêt d’urgence affaiblirait encore davantage le monde universitaire, qui est déjà désavantagé en matière de données et d’informatique. Le SB 1047 portera un coup fatal à l’IA universitaire à un moment où nous devrions investir davantage dans l’IA du secteur public.

Plus inquiétant encore, le SB 1047 ne traite pas des risques potentiels liés aux progrès de l’IA, notamment les biais et les deepfakes. Au lieu de cela, il fixe un seuil très arbitraire : une certaine quantité de puissance de calcul ou un modèle dont la formation coûte 100 millions de dollars. Non seulement cette mesure ne parvient pas à assurer une protection, mais elle limitera l’innovation dans divers domaines, notamment le monde universitaire.

Li Feifei a déclaré qu'elle n'était pas opposée à la gouvernance de l'IA. La législation est essentielle au développement sûr et efficace de l’IA. Cependant, la politique en matière d’IA doit soutenir le développement de l’open source, établir des règles uniformes et raisonnables et renforcer la confiance des consommateurs.

De toute évidence, le SB 1047 ne répond pas à ces normes.

Références :

https://techcrunch.com/2024/08/15/california-weakens-bill-to-prevent-ai-disasters-before-final-vote-taking-advice-from-anthropic/

https://techcrunch.com/2024/08/15/california-ai-bill-sb-1047-aims-to-prevent-ai-disasters-but-silicon-valley-warns-it-will-cause-one/

https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/