nouvelles

rapport sur le cœur de la machine

editeur : zhang qian

l’intention initiale est bonne, mais l’approche reste sujette à caution.

tout à l'heure, le sb 1047, discuté depuis plus de six mois, a finalement pris fin : le gouverneur de californie, gavin newsom, a opposé son veto au projet de loi.

le nom complet du sb 1047 est « safe and secure innovation for frontier artificial intelligence act », qui vise à établir des normes de sécurité claires pour les modèles d'ia à haut risque afin d'éviter qu'ils ne soient abusés ou ne provoquent une catastrophe.

plus précisément, le projet de loi vise à réglementer l'intelligence artificielle au niveau du modèle, en s'appliquant aux modèles entraînés au-dessus de certains seuils de calcul et de coût. cependant, s'ils sont calculés strictement selon les seuils de calcul et de coût prescrits, tous les modèles à grande échelle courants sur le marché seront considérés comme « potentiellement dangereux ». de plus, le projet de loi exige que la société de développement à l'origine du modèle assume la responsabilité légale de l'utilisation ou de la modification en aval de son modèle, ce qui aurait un « effet dissuasif » sur la publication de modèles open source.

lien vers le projet de loi : https://leginfo.legislature.ca.gov/faces/billtextclient.xhtml?bill_id=202320240sb1047

le projet de loi a été adopté en février de cette annéesénata été proposée et a été controversée depuis. li feifei, yann lecun,andrew ngtous s’y opposent. il y a quelque temps, li feifei a personnellement écrit un article expliquant les nombreux effets négatifs que pourrait entraîner le projet de loi. des dizaines d'enseignants et d'étudiants de l'université de californie ont également signé une lettre commune pour s'opposer à ce projet de loi (voir « li feifei a personnellement écrit un article, et des dizaines de scientifiques ont signé une lettre commune pour s'opposer au projet de loi californien sur la restriction de l'ia »). cependant, de nombreuses personnes soutiennent également le projet de loi, comme musk, hinton et bengio. avant que le projet de loi ne soit soumis au gouverneur de californie, de nombreux débats houleux ont eu lieu entre les deux parties.

maintenant, tout est réglé. dans sa déclaration de veto, le gouverneur newsom a cité plusieurs facteurs qui ont influencé sa décision, notamment l'impact que le projet de loi aurait suriala charge qui pèse sur les entreprises, le leadership de la californie dans le domaine et les critiques selon lesquelles le projet de loi pourrait être trop large.

après la nouvelle, yann lecun a exprimé sa gratitude au gouverneur de californie au nom de la communauté open source.

ng a souligné les efforts de yann lecun pour expliquer au public les lacunes du projet de loi.

cependant, certaines personnes sont heureuses et d'autres s'inquiètent : le sénateur californien scott wiener, parrain du projet de loi, s'est dit très déçu des résultats. il a écrit dans un article que le veto "est un revers pour quiconque croit en la surveillance des grandes entreprises qui prennent des décisions critiques qui ont un impact sur la sécurité et le bien-être publics ainsi que sur "l'avenir de notre planète".

il convient de noter que le rejet du sb 1047 ne signifie pas que la californie ferme les yeux sur les problèmes de sécurité de l’ia, comme l’a mentionné le gouverneur newsom dans sa déclaration. dans le même temps, il a également annoncé que li feifei et d'autres aideraient la californie à formuler des mesures de protection responsables pour le déploiement de l'intelligence artificielle générative.

gouverneur de californie : le sb 1047 a de nombreux problèmes

concernant le sb 1047, le gouverneur de californie newsom a le dernier mot. pourquoi opposerait-il son veto au projet de loi ? une déclaration a fourni la réponse.

lien vers la déclaration : https://www.gov.ca.gov/wp-content/uploads/2024/09/sb-1047-veto-message.pdf

un extrait de la déclaration est le suivant :

la californie abrite 32 des 50 plus grandes sociétés d'aluminium au monde, pionnières d'avancées technologiques importantes dans l'histoire moderne. nous sommes un leader dans ce domaine en raison de nos établissements de recherche et d’enseignement, de notre main-d’œuvre diversifiée et motivée et de notre culture libre d’idées libres. en tant que futur manager et innovateur, je prends au sérieux ma responsabilité de réglementer cette industrie.

le sb 1047 exagère le débat sur les menaces possibles posées par le déploiement d'al. la clé du débat est de savoir si le seuil de réglementation doit être basé sur le coût et le nombre de calculs nécessaires pour développer un modèle al, ou si le risque réel du système doit être évalué sans prendre en compte ces facteurs. cette discussion mondiale survient alors que les capacités d’al continuent de croître à un rythme alarmant. dans le même temps, les stratégies et les solutions visant à faire face aux risques de catastrophes évoluent rapidement.

en se concentrant uniquement sur les modèles les plus chers et les plus grands, le sb 1047 crée un cadre réglementaire qui pourrait donner au public un faux sentiment de sécurité quant au contrôle de cette technologie en évolution rapide. les modèles plus petits et spécialisés peuvent être tout aussi dangereux, voire plus dangereux, que les modèles ciblés par le sb 1047.

l’adaptabilité est cruciale alors que nous courons contre la montre pour réglementer une technologie qui en est encore à ses balbutiements. cela nécessite un équilibre délicat. bien que le sb 1047 ait de bonnes intentions, il ne tient pas compte du fait que les systèmes d'ia sont déployés dans des environnements à haut risque, impliquent des décisions critiques ou utilisent des données sensibles. au lieu de cela, le projet de loi impose des normes strictes, même sur les fonctions les plus élémentaires, à condition qu'elles soient déployées dans de grands systèmes. je ne pense pas que ce soit le meilleur moyen de protéger le public contre les menaces réelles de cette technologie.

je suis d'accord avec l'auteur sur le fait que nous ne pouvons pas attendre qu'une catastrophe majeure survienne pour prendre des mesures visant à protéger le public. la californie n’abdiquera pas ses responsabilités. des protocoles de sécurité doivent être adoptés. des garanties proactives doivent être mises en œuvre, et il doit y avoir des conséquences claires et exécutoires pour les mauvais acteurs. ce avec quoi je ne suis pas d’accord, cependant, c’est que pour assurer la sécurité du public, nous devons nous contenter d’une solution sans analyse empirique de la trajectoire des systèmes et des capacités de l’ia. en fin de compte, tout cadre qui réglemente efficacement l’ia doit suivre le rythme de la technologie elle-même.

à ceux qui disent que nous ne résolvons pas le problème ou que la californie n’a aucun rôle dans la réglementation de l’impact potentiel de cette technologie sur la sécurité nationale, je ne suis pas d’accord. adopter cette approche uniquement en californie peut avoir du sens, surtout en l’absence d’action fédérale de la part du congrès, mais elle doit être fondée sur des preuves empiriques et scientifiques.

l'ai safety institute des états-unis, qui fait partie de l'institut national des sciences et technologies, élabore actuellement des lignes directrices sur les risques pour la sécurité nationale, basées sur des méthodes fondées sur des preuves, pour se protéger contre les risques évidents pour la sécurité publique.

conformément à un décret que j’ai publié en septembre 2023, les agences de mon administration mènent des analyses de risques sur les menaces et vulnérabilités potentielles liées à l’utilisation de l’ia dans les infrastructures critiques de californie.

ce ne sont là que quelques exemples du travail que nous effectuons, dirigé par des experts, pour présenter aux décideurs politiques des pratiques de gestion des risques liées à l’ia qui sont ancrées dans la science et les faits.

grâce à ces efforts, j’ai signé plus d’une douzaine de projets de loi au cours des 30 derniers jours pour réglementer les risques spécifiques et connus posés par l’ia.

plus d’une douzaine de projets de loi signés en 30 jours, l’initiative californienne intensive de sécurité de l’ia

dans le communiqué, newsom a mentionné qu'il avait signé plus d'une douzaine de factures en 30 jours. ces projets de loi couvrent un large éventail de sujets, notamment la répression des contenus explicites deepfake, l'exigence de l'ajout de filigranes au contenu généré par l'ia, la protection des portraits numériques des artistes interprètes ou exécutants, le droit d'auteur des voix ou des ressemblances de personnages décédés, la vie privée des consommateurs et l'exploration de la l’impact de l’intégration de l’intelligence artificielle dans l’enseignement et bien d’autres aspects.

lien vers la liste des factures : https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/

en réponse au manque d'analyse scientifique dans l'évaluation des risques liés à l'ia effectuée par le sb 1047, le gouverneur a annoncé qu'il avait demandé aux plus grands experts mondiaux en ia générative d'aider la californie à développer des garde-fous réalisables pour le déploiement de l'ia générative.

outre li feifei, tino cuéllar, membre du comité de l'académie nationale des sciences sur l'impact social et éthique de la recherche informatique, et jennifer tour chayes, doyenne de la school of computing, data science and society de l'université de californie, berkeley, sont également membres du programme.

leurs travaux se concentrent sur l’analyse de trajectoire empirique et scientifique de modèles de pointe, ainsi que sur leurs capacités et les risques qui en découlent. ce travail a un long chemin à parcourir.

lire la suite :https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/