noticias

(Fuente de la imagen: imagen generada por IA)

El 16 de agosto, hora de Beijing, la controvertida Ley de Innovación en Seguridad del Modelo Frontier AI de California (más tarde conocida como Ley de Seguridad de la IA de California SB 1047) finalmente pasó la revisión del Comité de Asignaciones de la Cámara de Representantes de California después de debilitar significativamente las disposiciones pertinentes.

El equipo del senador Wiener de California le dijo a TechCrunch que el proyecto de ley agregó varias enmiendas propuestas por la empresa de inteligencia artificial Anthropic y otros opositores, y finalmente fue aprobado por el Comité de Asignaciones de California, dando un paso importante para convertirse en ley, que incluía varios cambios clave.

"Aceptamos el conjunto propuesto de enmiendas muy razonables y creo que hemos abordado las principales preocupaciones expresadas por Anthropic y muchos otros en la industria", dijo el senador Wiener en un comunicado. "Estas enmiendas se basan en mis cambios significativos anteriores a la SB 1047 para adaptarse a las necesidades únicas de la comunidad de código abierto, que es una fuente importante de innovación".

La SB 1047 todavía tiene como objetivo prevenir incidentes de ciberseguridad en los que sistemas de inteligencia artificial a gran escala matan a un gran número de personas o causan pérdidas superiores a 500 millones de dólares al responsabilizar a los desarrolladores. Sin embargo, el proyecto de ley ahora otorga al gobierno de California menos poder para responsabilizar a los laboratorios de IA. En el dilema de las dificultades regulatorias a nivel nacional, esto se ha convertido en un paso importante en la regulación de la IA en Estados Unidos.

Sin embargo, algunas personas en la industria de la IA, como Li Feifei y Yang Likun, creen que esto eventualmente dañará la posición de liderazgo de California e incluso de Estados Unidos en el campo de la IA. Cientos de empresarios firmaron una carta de oposición escrita por la incubadora YC, y más de 100 académicos de California también emitieron una carta oponiéndose al proyecto de ley. La institución de capital riesgo a16z creó un sitio web específicamente para detallar los seis pecados del proyecto de ley. Actualmente, se están discutiendo muchos proyectos de ley sobre IA en todo Estados Unidos, pero la Ley de Innovación en Seguridad del Modelo de Inteligencia Artificial Frontier de California se ha convertido en una de las más controvertidas.

Para las empresas nacionales, el proyecto de ley exige que los proveedores de servicios en la nube recopilen información de los clientes, direcciones IP, métodos de pago y otra información, lo que facilita el trabajo de trazabilidad de las autoridades reguladoras. Si los controles posteriores se endurecen aún más, esto puede convertirse en un riesgo regulatorio que enfrentan algunas empresas chinas de inteligencia artificial que utilizan potencia informática extranjera para capacitación.

Entonces, ahora que se aprobó el proyecto de ley de IA de California, ¿qué impacto tendrá en las industrias de IA de China y Estados Unidos? Medios de titanioAGIResuelva seis preguntas y respuestas para explicar este proyecto de ley y parte de la información detrás de él.

1. ¿Cuáles son las nuevas limitaciones de la Ley de IA de California? ¿Cuál es su función principal?

El proyecto de ley de IA de California, SB 1047, busca evitar que se utilicen grandes modelos de IA para causar “daños graves” a los humanos.

El proyecto de ley enumera ejemplos de "daños graves". Por ejemplo, los malos actores utilizaron modelos de IA para construir armas que causaron bajas masivas, o instruyeron a modelos de IA para orquestar ataques cibernéticos que causaron daños por más de 500 millones de dólares (en comparación conGolpe de masas Se estimó que la interrupción costó más de 5 mil millones de dólares). El proyecto de ley exige que los desarrolladores (es decir, las empresas que desarrollan modelos) implementen protocolos de seguridad adecuados para evitar tales consecuencias.

Las reglas de la SB 1047 solo se aplican a los modelos de IA más grandes del mundo: modelos que cuestan al menos $100 millones y usan 10^26 FLOPS durante el entrenamiento; eso es una enorme cantidad de computación, pero IA abierta El director ejecutivo, Sam Altman, dijo que entrenar GPT-4 costaría aproximadamente esa cantidad. Estos umbrales pueden elevarse según sea necesario.

Actualmente, pocas empresas han desarrollado productos públicos de IA lo suficientemente grandes como para cumplir con estos requisitos, pero gigantes tecnológicos como OpenAI, Google y Microsoft podrían hacerlo pronto. Los modelos de IA (esencialmente grandes motores estadísticos que identifican y predicen patrones en los datos) generalmente se vuelven más precisos a medida que crecen, y muchos esperan que esta tendencia continúe. Mark Zuckerberg dijo recientemente que la próxima generación de Meta's Llama requerirá 10 veces más potencia informática, lo que la haría sujeta a la SB 1047.

En particular, el proyecto de ley ya no permite al Fiscal General de California demandar a las empresas de inteligencia artificial por medidas de seguridad negligentes antes de que ocurra un desastre. Esto es lo que sugiere Anthropic.

En cambio, el fiscal general de California puede solicitar medidas cautelares, exigiendo a una empresa que detenga una operación que considere peligrosa, y aún podría demandar a los desarrolladores de IA si un modelo de IA causa un evento catastrófico.

2. ¿Quién implementará el proyecto de ley? ¿Cómo ejecutar?

El nuevo proyecto de ley de IA de California ha anunciado que ya no habrá una agencia del Departamento de Modelos Fronterizos (FMD). Sin embargo, el proyecto de ley aún establece la Comisión Modelo Fronteriza (el núcleo de FMD) y la ubica dentro de las agencias operativas gubernamentales existentes. De hecho, el comité ahora es más grande, con nueve personas en lugar de cinco. El Frontier Models Council seguirá estableciendo umbrales computacionales para los modelos cubiertos, emitirá directrices de seguridad y emitirá regulaciones para los auditores.

El mayor ajuste al proyecto de ley revisado es que el Fiscal General de California ya no puede demandar a las empresas de inteligencia artificial por descuidar las cuestiones de seguridad antes de que ocurra un evento catastrófico. El proyecto de ley original estipula que siempre que los auditores descubran que las empresas de inteligencia artificial realizan actividades ilegales en sus operaciones diarias, las empresas podrán ser procesadas. Esto marca un cambio en el enfoque regulatorio del proyecto de ley hacia el daño real y también reducirá la presión de cumplimiento sobre las empresas.

Finalmente, el proyecto de ley también brinda protección a los empleados de una empresa de modelos que denuncien irregularidades si intentan revelar información sobre modelos de IA inseguros al Fiscal General de California.

La mayoría de las empresas de tecnología y nuevas empresas de inteligencia artificial de EE. UU. operan en California y estarán sujetas al proyecto de ley. Específicamente, este proyecto de ley se centra en "modelos de IA de vanguardia". Sólo los desarrolladores cuyos costos de potencia informática excedan los 100 millones de dólares en modelos de capacitación enfrentarán requisitos regulatorios. En el futuro, Llama 4 y GPT-5 pueden ser sus principales objetivos regulatorios.

3. ¿Cómo sancionar los actos ilícitos? Multas a partir de 10 millones de dólares pueden provocar el cierre o la eliminación del modelo

El proyecto de ley muestra que los directores de tecnología de las empresas de desarrollo de modelos deben presentar certificaciones anuales a la FMD que evalúen los riesgos potenciales de sus modelos de IA, la efectividad de sus protocolos de seguridad y una descripción de cómo la empresa cumple con la SB 1047. De manera similar a las notificaciones de violaciones, si ocurre un "incidente de seguridad de IA", los desarrolladores deben informarlo a la FMD dentro de las 72 horas posteriores a tener conocimiento del incidente.

La SB 1047 permite al Fiscal General de California presentar demandas civiles contra desarrolladores si no cumplen con cualquiera de estas disposiciones. Para un modelo cuyo entrenamiento costó 100 millones de dólares, la multa podría ascender a 10 millones de dólares por una primera infracción y hasta 30 millones de dólares por infracciones posteriores. A medida que los modelos de IA se vuelvan más caros, las tasas de penalización aumentarán.

Una vez que se producen las infracciones, las empresas pueden enfrentar multas que oscilan entre 10 y 30 millones de dólares estadounidenses, y esta cantidad aumentará a medida que aumente el costo de la capacitación del modelo.

Además, si los desarrolladores de modelos y los operadores de clústeres informáticos no cumplen con las regulaciones anteriores y causan un daño enorme, si se determina que efectivamente se ha producido una conducta ilegal, el tribunal puede imponer las siguientes sanciones:

1. Por actos ilegales en 2026 y posteriores, las entidades que violen la ley por primera vez serán sancionadascomputación en la nubeLa multa está dentro del 10% del costo promedio del modelo dentro del alcance de la capacitación del mercado. Para infracciones posteriores, el monto de la multa no excederá el 30% de este costo (calculado con base en el umbral de 100 millones de dólares estadounidenses definido para el modelo dentro del alcance). en el proyecto de ley, la multa por la primera infracción es de al menos 10 millones de dólares).

2. El tribunal también podrá declarar una orden judicial, que incluye, entre otras, modificar, cerrar por completo o eliminar todos los derivados controlados por el modelo dentro del alcance y sus desarrolladores.

Sin embargo, las sanciones por modificar, cerrar y eliminar un modelo dentro del alcance solo se pueden utilizar si causa la muerte de otra persona, lesiones personales graves, daños a la propiedad o una amenaza grave a la seguridad pública.

4. ¿Quién se opone al proyecto de ley? ¿Por qué oponerse?

El proyecto de ley fue aprobado por la Legislatura de California con relativa facilidad, a pesar de la fuerte oposición de legisladores estadounidenses, destacados investigadores de inteligencia artificial, grandes empresas tecnológicas y capitalistas de riesgo. Las enmiendas podrían apaciguar a los oponentes de la SB 1047 y proporcionar al gobernador Newsom un proyecto de ley menos controvertido que pueda promulgar sin perder el apoyo de la industria de la IA.

Hoy en día, cada vez más expertos en tecnología se oponen al proyecto de ley de IA de California.

Anthropic dijo que está revisando los cambios a la SB 1047 antes de tomar una decisión. No todas las sugerencias de revisión anteriores de la empresa fueron adoptadas por el senador Wiener.

La conocida firma de capital riesgo a16z enumeró en su sitio web oficial los “6 pecados” de la Ley de Seguridad de la IA de California:

1. Este proyecto de ley tendrá un efecto paralizador sobre la inversión y el desarrollo de la IA en California.

2. El proyecto de ley penaliza a los promotores/desarrolladores en función de resultados poco claros. Aún no existen pruebas relevantes.

3. Las vagas definiciones del proyecto de ley, junto con la responsabilidad legal estricta, crean una incertidumbre y un riesgo económico significativos para los desarrolladores de IA y los propietarios de empresas.

4. El proyecto de ley podría obligar a la investigación de IA a ser clandestina y, sin darse cuenta, hacer que los sistemas de IA sean menos seguros.

5. Este proyecto de ley crea una desventaja sistémica para los desarrolladores de código abierto y de nuevas empresas, que están en el corazón de la innovación y las pequeñas empresas en California.

6. Este proyecto de ley inhibe la investigación y la innovación en IA en los Estados Unidos y brinda oportunidades para que países como China superen a los Estados Unidos en IA.

Andreessen Horowitz, socio fundador de a16z, cree que aunque el proyecto de ley de IA de California tiene buenas intenciones, puede debilitar a la industria tecnológica estadounidense debido a la desinformación, justo cuando el futuro de la tecnología se encuentra en una encrucijada crítica. Estados Unidos necesita que los líderes reconozcan que ahora es un momento crítico para una acción regulatoria inteligente y unificada en materia de IA.

Li Feifei, profesora de la Universidad de Stanford, publicó un artículo en el sitio web de la revista Fortune explicando detalladamente los motivos de su oposición. Cree que los principales problemas de este proyecto de ley son cuatro puntos: castiga excesivamente a los desarrolladores y puede sofocar la innovación; limita el trabajo de desarrollo de código abierto; destruye la comunidad de código abierto; debilita la investigación sobre IA en el mundo académico y el sector público, lo que podría impedir que los académicos reciban más financiación y no aborda los posibles daños causados ​​por los avances de la IA, como los sesgos o las falsificaciones profundas;

Además, cientos de startups apoyadas por la incubadora de YC creen conjuntamente que este proyecto de ley puede tener cuatro impactos negativos en la industria y el ecosistema de desarrolladores:

1. El proyecto de ley debería castigar a quienes abusan de las herramientas, no a los desarrolladores. A menudo resulta difícil para los desarrolladores predecir las posibles aplicaciones de los modelos, y los desarrolladores pueden ir a la cárcel por el delito de perjurio.

2. Los umbrales regulatorios no pueden captar adecuadamente la dinámica del desarrollo tecnológico. Las empresas fuera de California podrán desarrollar tecnología de inteligencia artificial con mayor libertad, lo que puede afectar la innovación en California.

3. El "Kill Switch" (que se refiere a la capacidad de los desarrolladores para apagar modelos) puede prohibir el desarrollo de IA de código abierto e inhibir la colaboración y la transparencia de código abierto.

4. El lenguaje del proyecto de ley es vago y los jueces pueden interpretarlo arbitrariamente.

Yann LeCun, científico jefe de Meta y ganador del Premio Turing 2018, también se opuso a este proyecto de ley. Le preocupaba que si los riesgos del modelo dentro del alcance no se evaluaban con precisión, las cláusulas de responsabilidad solidaria habrían demostrado que el código abierto. Es posible que la plataforma deba asumir la responsabilidad.

Andrew Ng, profesor visitante del Departamento de Ciencias de la Computación y del Departamento de Ingeniería Eléctrica de la Universidad de Stanford, escribió que el proyecto de ley SB-1047 de California sofocará el desarrollo de grandes modelos de código abierto. El proyecto de ley debería regular las aplicaciones de IA en lugar de los grandes modelos en sí.

Todavía está consternado por el enorme daño causado por el proyecto de ley SB 1047 propuesto por California para abrir modelos de código abierto de gran tamaño. Este proyecto de ley comete un error grave y fundamental. Lo que deberían regularse son los productos de IA generativa desarrollados a través de grandes modelos, no los grandes modelos de código abierto en sí.

Ng también cree que la SB 1047 exige que los desarrolladores protejan los grandes modelos de código abierto del mal uso, la modificación y el desarrollo de productos derivados ilegales de IA. Sin embargo, la forma en que los desarrolladores deben proteger y definir estos comportamientos aún es muy vaga y no existe una regulación detallada.

Por lo tanto, Andrew Ng llama firmemente a todos a boicotear el proyecto de ley SB 1047. Cree que si se aprueba, supondrá un golpe devastador para la innovación de los modelos grandes de código abierto y, al mismo tiempo, California perderá la motivación. Innovación en IA.

5. ¿Quién apoya el proyecto de ley? ¿Por qué apoyar?

En comparación con la oposición, actualmente hay algunos profesionales de la tecnología que apoyan el proyecto de ley de IA de California.

Entre ellos, aunque el gobernador de California, Newsom, no ha comentado públicamente sobre la SB 1047, ha expresado anteriormente su compromiso con la innovación en IA en California.

Al mismo tiempo, el ganador del Premio Turing y "Padrino de la IA" Geoffrey Hinton, el ganador del Premio Turing Yoshua Bengio, el profesor de la Facultad de Derecho de Harvard Lawrence Lessig) y Stuart Russell, autor del popular libro de texto sobre IA "Inteligencia artificial: un enfoque moderno" y profesor de la Universidad de California, Berkeley, escribieron conjuntamente a la Legislatura de California para expresar su apoyo a la Ley de Seguridad de la IA de California "Fuerte apoyo".

Los cuatro académicos señalaron que están profundamente preocupados por los riesgos de la IA y que la Ley de Seguridad de la IA de California es el requisito mínimo para regular eficazmente la tecnología. "El proyecto de ley no tiene un sistema de licencias y no requiere que las empresas obtengan permiso de las agencias gubernamentales antes de entrenar o implementar modelos. Se basa en la autoevaluación de riesgos de las empresas y no las responsabiliza estrictamente ni siquiera en caso de un desastre. Relativo a lo que nos enfrentamos El riesgo es que se trata de una legislación muy laxa. Las leyes actuales que regulan la IA no son tan estrictas como las que regulan las tiendas de sándwiches. Sería un error histórico cancelar las medidas básicas del proyecto de ley, un año después, cuando se aprobó. La próxima generación será más estricta. Este error se hará más evidente cuando se lancen potentes sistemas de IA".

"Hace cuarenta años, cuando entrenaba ChatGPT Cuando se trataba de las primeras versiones de los algoritmos de IA detrás de las herramientas, nadie, incluido yo mismo, habría predicho que la IA lograría avances tan grandes. Los potentes sistemas de IA son increíblemente prometedores, pero los riesgos también son muy reales y deben tomarse muy en serio. La SB 1047 adopta un enfoque muy inteligente para equilibrar estas preocupaciones. Sigo apasionado por el potencial de la IA para salvar vidas mejorando la ciencia y la medicina, pero debemos desarrollar una legislación verdaderamente sólida para abordar los riesgos. California es el punto de partida de esta tecnología porque es donde despegó. dijo Hinton.

Los cuatro académicos también enfatizaron en la carta que independientemente de si estos riesgos son infundados o reales, las partes relevantes deben asumir la responsabilidad de mitigarlos. "Como el grupo de expertos que mejor entiende estos sistemas", creen que estos riesgos son posibles y lo suficientemente importantes como para que sean necesarias pruebas de seguridad y precauciones de sentido común.

El senador de California Scott Wiener, autor del proyecto de ley, dijo que la SB 1047 tiene como objetivo aprender de las fallas pasadas de las políticas de privacidad de datos y redes sociales y mantener a los ciudadanos seguros antes de que sea demasiado tarde.

"Nuestra actitud hacia la tecnología es esperar a que ocurra algún daño y luego no hacer nada al respecto", dijo Wiener. "No esperamos a que suceda algo malo. Queremos actuar antes de que suceda".

• Los desarrolladores no irán a la cárcel por no predecir los riesgos del modelo. En primer lugar, los desarrolladores de nuevas empresas y los académicos no deben preocuparse, ya que el proyecto de ley no se aplica a ellos. En segundo lugar, la cláusula de perjurio del proyecto de ley sólo entrará en vigor cuando el desarrollador "a sabiendas" haga una declaración falsa, y un juicio erróneo involuntario de las capacidades del modelo no activará la cláusula de perjurio (esta cláusula ha sido eliminada en la enmienda de hoy).

• El proyecto de ley no crea responsabilidades completamente nuevas. Según las leyes existentes, tanto los desarrolladores de modelos como los desarrolladores individuales pueden ser demandados si un modelo causa daño, y se aplica a modelos de todas las capacidades y todas las personas lesionadas pueden demandar. El nuevo proyecto de ley de California no sólo limita el alcance de la regulación, sino que también limita el derecho de demandar a dos entidades: el fiscal general de California y la junta laboral.

• El proyecto de ley no reprimirá la innovación de California. Este proyecto de ley se aplica a todas las empresas que hacen negocios en California. Incluso si trasladan su sede fuera de California, deben cumplir con las regulaciones pertinentes (Nota de Zhixi: California es la quinta economía más grande del mundo según el PIB y tiene un ecosistema tecnológico completo. Tecnología. empresas Es difícil desvincularse de California). Cuando California aprobó leyes de privacidad de datos y leyes de protección ambiental, muchas personas afirmaron que esto obstaculizaría la innovación, pero el hecho es que California sigue liderando la innovación.

• Los interruptores de apagado y los requisitos de evaluación de seguridad no obstaculizarán el desarrollo de la IA de código abierto. El proyecto de ley ahora ha sido revisado y fortalecido la protección de la IA de código abierto. El requisito de apagado de emergencia del modelo en el proyecto de ley solo se aplica a los modelos bajo el control del desarrollador, excluyendo los modelos de código abierto no controlados. El proyecto de ley también establece un nuevo comité asesor para defender y apoyar los esfuerzos de desarrollo de IA de código abierto seguros y confiables.

Según el proyecto de ley, incluso si una empresa capacitara un modelo de $100 millones en Texas o Francia, estaría protegida por la SB 1047 siempre que haga negocios en California. Wiener dijo que el Congreso "casi no ha producido legislación sobre tecnología en los últimos 25 años", por lo que cree que California debería sentar el precedente aquí.

Dan Hendrycks, director del Centro para la Seguridad de la Inteligencia Artificial, dijo: "Este proyecto de ley redunda en interés a largo plazo de California y de la industria estadounidense, porque los incidentes de seguridad importantes pueden ser el mayor obstáculo para un mayor desarrollo".

Varios ex empleados de OpenAI también apoyaron el proyecto de ley, incluido Daniel Kokotajlo, quien renunció voluntariamente a sus opciones de OpenAI a cambio del derecho a criticar libremente a la empresa. Él cree que las afirmaciones de los críticos del proyecto de ley de que el progreso de la IA se estancará probablemente no se harán realidad.

Simon Last, fundador de Notion, un unicornio de IA valorado en decenas de miles de millones de dólares, escribió un artículo diciendo que apoya el proyecto de ley y cree que cuando las leyes de IA a nivel federal son difíciles de implementar, California, como centro tecnológico en el Estados Unidos e incluso el mundo tienen importantes responsabilidades. Él cree que la supervisión de los modelos no sólo mejorará su seguridad sino que también facilitará la creación de nuevas empresas de IA que desarrollen productos sobre modelos básicos, lo que reducirá la carga para las pequeñas y medianas empresas.

"El objetivo de la SB 1047 es, y siempre ha sido, mejorar la seguridad de la IA y al mismo tiempo permitir que todo el ecosistema innove", dijo Nathan Calvin, asesor principal de políticas del Center for AI Safety Action Fund. "Las nuevas enmiendas respaldarán eso. meta. "

6. ¿Cómo desarrollar a continuación?

La SB 1047 pasará ahora a la Asamblea de California para una votación final. Si el proyecto de ley es aprobado por la Asamblea, deberá regresar al Senado de California para su votación debido a las últimas enmiendas. Si el proyecto de ley se aprueba al mismo tiempo, se enviará al escritorio del gobernador de California, Gavin Newsom, quien tomará una decisión final sobre si firma el proyecto de ley a finales de agosto.

Wiener dijo que no ha hablado con Newsom sobre el proyecto de ley y no sabe cuál es su posición.