noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nuevo informe de sabiduría

Editor: Qué sueño

[Introducción a la Nueva Sabiduría]El “Proyecto de Ley de Restricción de la IA” de California se aprobó inicialmente con éxito en medio de una fuerte oposición de los magnates de la IA, las principales empresas de tecnología, las nuevas empresas y los capitalistas de riesgo.

Como todos sabemos, aparte de las interpretaciones en varias películas de ciencia ficción, la IA no ha matado a nadie en el mundo real ni ha lanzado ciberataques a gran escala.

Sin embargo, algunos legisladores estadounidenses todavía esperan que se pueda implementar una seguridad adecuada antes de que este futuro distópico se convierta en realidad.

Esta misma semana, la Ley de Innovación en Seguridad del Modelo de Inteligencia Artificial Fronteriza de California, SB 1047, una vez más dio un paso importante para convertirse en ley.

En pocas palabras, la SB 1047 evitará que los sistemas de inteligencia artificial causen víctimas masivas o desencadenen incidentes de ciberseguridad que cuesten más de 500 millones de dólares al responsabilizar a los desarrolladores.

Sin embargo, la oposición de la academia y la industria fue tan fuerte que los legisladores de California se comprometieron ligeramente al agregar varias enmiendas sugeridas por la startup de IA Anthropic y otros oponentes.

En comparación con la propuesta original, la versión actual reduce el poder del gobierno de California para responsabilizar a los laboratorios de IA.

Dirección del proyecto de ley: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

Pero aun así, a (casi) a nadie le gusta la SB 1047.

Gigantes de la IA como Yann LeCun, Li Feifei y Ng Enda han expresado repetidamente su descontento con este proyecto de ley que "sofoca la IA de código abierto y obliga a suspender o incluso detener la innovación en IA".

También van surgiendo, una tras otra, varias cartas conjuntas:

No sólo más de 40 investigadores de la Universidad de California, la Universidad del Sur de California, la Universidad de Stanford y el Instituto de Tecnología de California hicieron un fuerte llamamiento para que no se aprobara este proyecto de ley.

Y ocho miembros del Congreso que representan a varios distritos de California también instaron al gobernador a vetar el proyecto de ley.

LeCun incluso copió el mensaje original que utilizó cuando pidió una moratoria sobre la investigación de la IA: ¡suspenda la legislación sobre la IA durante seis meses!

Entonces la pregunta es, ¿por qué el artículo anterior usó "casi todos"?

Porque, además de LeCun, los otros dos gigantes de Turing, Yoshua Bengio y Geoffrey Hinton, apoyan firmemente la aprobación de este proyecto de ley.

Incluso creo que las condiciones actuales son demasiado laxas.

Como investigadores senior de políticas y tecnología de inteligencia artificial, escribimos para expresar nuestro firme apoyo al Proyecto de Ley 1047 del Senado de California. La SB 1047 describe los requisitos básicos para una regulación efectiva de esta tecnología. No implementa un sistema de licencias, no exige que las empresas obtengan permiso de las agencias gubernamentales antes de capacitar o implementar modelos, depende de que las empresas evalúen los riesgos por sí mismas y no las responsabiliza estrictamente ni siquiera en caso de un desastre. Se trata de una legislación relativamente indulgente en relación con la magnitud de los riesgos que enfrentamos. Deshacer las medidas básicas del proyecto de ley sería un error histórico, uno que se hará aún más evidente dentro de un año cuando se lance la próxima generación de sistemas de inteligencia artificial más potentes.

Hoy, la SB 1047 fue aprobada con relativa facilidad en la Legislatura de California, a pesar de la fuerte oposición de algunos congresistas estadounidenses, conocidos investigadores de inteligencia artificial, grandes empresas de tecnología y capitalistas de riesgo.

A continuación, la SB 1047 irá a la Asamblea de California para una votación final. Debido a la adición de las últimas enmiendas, una vez que se apruebe el proyecto de ley, será necesario enviarlo nuevamente al Senado de California para su votación.

Si ambas votaciones son aprobadas, la SB 1047 se enviará al gobernador a la espera de un veto final o su firma como ley.

¿Qué modelos y empresas se verán limitados?

Según los requisitos de la SB 1047, los desarrolladores o las empresas que desarrollan modelos deben ser responsables de evitar que sus modelos de IA se utilicen para causar "daño significativo".

Como crear armas de destrucción masiva o lanzar ataques cibernéticos que cuestan más de 500 millones de dólares. Por cierto, el “Incidente global de pantalla azul de Windows” de CrowdStrike causó pérdidas por más de 5 mil millones de dólares.

Sin embargo, las reglas de la SB 1047 solo se aplican a modelos de IA muy grandes, es decir, costos de capacitación de al menos $100 millones y más de 10^26 operaciones de punto flotante. (Básicamente basado en el costo de capacitación de GPT-4)

Se dice que la cantidad de cálculo requerida por la próxima generación Llama 4 de Meta aumentará 10 veces y, por lo tanto, también estará sujeta a la supervisión de la SB 1047.

Para los modelos de código abierto y sus versiones mejoradas, los desarrolladores originales son responsables. A menos que el costo llegue a 3 veces el modelo original.

Desde este punto de vista, no es de extrañar que la reacción de LeCun fuera tan violenta.

Además, los desarrolladores deben crear procedimientos de prueba que aborden los riesgos del modelo de IA y deben contratar auditores externos anualmente para evaluar sus prácticas de seguridad de IA.

Para aquellos productos de IA creados a partir de modelos, es necesario desarrollar los protocolos de seguridad correspondientes para evitar abusos, incluido un botón de "parada de emergencia" que apague todo el modelo de IA.

etc……

¿Cuál es la función actual de la SB 1047?

Hoy, la SB 1047 ya no permite al Fiscal General de California demandar a las empresas de inteligencia artificial por medidas de seguridad negligentes antes de que ocurra un evento catastrófico. (Sugerencia de Anthropic)

En cambio, el fiscal general de California podría solicitar una orden judicial que obligue a una empresa a detener una operación que considere peligrosa, y aún podría demandar a los desarrolladores de IA si sus modelos conducen a eventos catastróficos.

La SB 1047 ya no establece la nueva agencia gubernamental "Frontier Modeling Division (FMD)" incluida originalmente en el proyecto de ley.

Sin embargo, el núcleo de FMD, el Comité Modelo Fronterizo, todavía estaba establecido y ubicado dentro de la Agencia de Operaciones Gubernamentales existente, y su tamaño se amplió de las 5 personas anteriores a 9. El comité seguirá estableciendo umbrales computacionales para los modelos cubiertos, emitirá directrices de seguridad y emitirá regulaciones para los auditores.

La SB 1047 también tiene una redacción más flexible cuando se trata de garantizar la seguridad de los modelos de IA.

Ahora, los desarrolladores sólo necesitan brindar "cuidados razonables" para garantizar que los modelos de IA no representen un riesgo significativo de desastre, en lugar de la "seguridad razonable" que se requería anteriormente.

Además, los desarrolladores sólo necesitan presentar una "declaración" pública que describa sus medidas de seguridad y ya no necesitan presentar una certificación de los resultados de las pruebas de seguridad bajo pena de perjurio.

También hay una protección separada para los modelos de ajuste fino de código abierto. Si alguien gasta menos de 10 millones de dólares perfeccionando un modelo, no se le considera desarrollador y la responsabilidad sigue siendo del gran desarrollador original del modelo.

Li Feifei escribió una vez personalmente un artículo criticando

El impacto de la SB 1047 en la industria de la IA se puede ver en la columna de "AI Godmother" Li Feifei en la revista Fortune:

“Si se convierte en ley, la SB 1047 dañará el naciente ecosistema de IA de Estados Unidos, especialmente aquellas partes que ya están en desventaja: el sector público, la academia y las pequeñas empresas de tecnología. La SB 1047 penalizará innecesariamente a los desarrolladores, sofocará a la comunidad de código abierto y limitará a los académicos. La investigación tampoco logra resolver el problema real”.

En primer lugar, la SB 1047 castigaría indebidamente a los desarrolladores y sofocaría la innovación.

En los casos en que se hace un mal uso de un modelo de IA, la SB 1047 culpa a la parte responsable y al desarrollador original del modelo. Para todos los desarrolladores de IA, especialmente para los programadores y emprendedores en ciernes, es imposible predecir todos los usos posibles de sus modelos. La SB 1047 obligará a los promotores a tomar medidas defensivas, algo que debería evitarse a toda costa.

En segundo lugar, la SB 1047 restringirá el desarrollo de código abierto.

La SB 1047 requiere que todos los modelos que excedan un cierto umbral incluyan un "botón de parada de emergencia", un mecanismo que puede cerrar el programa en cualquier momento. Si a los desarrolladores les preocupa que los programas que descargan y crean se eliminen, dudarán más a la hora de codificar o colaborar. Este botón de parada de emergencia tendrá un grave impacto en la comunidad de código abierto, no sólo en la IA, sino en innumerables fuentes de innovación en campos tan diversos como el GPS, la resonancia magnética y la propia Internet.

En tercer lugar, la SB 1047 paralizará la investigación de la IA en el sector público y el mundo académico.

El desarrollo de código abierto es importante en el sector privado, pero aún más en el mundo académico, que no puede avanzar sin colaboración y acceso a datos de modelos. ¿Cómo pueden los investigadores formar a la próxima generación de líderes en IA si no tienen acceso a modelos y datos adecuados? Un botón de parada de emergencia debilitaría aún más el mundo académico, que ya se encuentra en desventaja en materia de datos e informática. La SB 1047 asestará un golpe fatal a la IA académica en un momento en el que deberíamos invertir más en la IA del sector público.

Lo más preocupante es que la SB 1047 no aborda los riesgos potenciales de los avances de la IA, incluidos los sesgos y las falsificaciones profundas. En cambio, establece un umbral muy arbitrario: una cierta cantidad de potencia informática o un modelo cuyo entrenamiento cuesta 100 millones de dólares. Esta medida no sólo no brinda protección, sino que restringirá la innovación en diversos campos, incluido el académico.

Li Feifei dijo que no se opone a la gobernanza de la IA. La legislación es fundamental para el desarrollo seguro y eficaz de la IA. Sin embargo, la política de IA debe apoyar el desarrollo de código abierto, establecer reglas uniformes y razonables y generar confianza en los consumidores.

Claramente, la SB 1047 no cumple con estos estándares.

Referencias:

https://techcrunch.com/2024/08/15/california-weakens-bill-to-prevent-ai-disasters-before-final-vote- Taking-advice-from-anthropic/

https://techcrunch.com/2024/08/15/california-ai-bill-sb-1047-aims-to-prevent-ai-disasters-but-silicon-valley-warns-it-will-cause-one/

https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/