noticias

informe del corazón de la máquina

editor: zhang qian

la intención original es buena, pero el enfoque aún es cuestionable.

justo ahora, la sb 1047, que se ha debatido durante más de medio año, finalmente llegó a su fin: el gobernador de california, gavin newsom, vetó el proyecto de ley.

el nombre completo de la sb 1047 es "ley de innovación segura para la inteligencia artificial fronteriza", que tiene como objetivo establecer estándares de seguridad claros para los modelos de ia de alto riesgo para evitar que se abuse de ellos o causen catástrofes.

específicamente, el proyecto de ley busca regular la inteligencia artificial a nivel de modelo, aplicándose a modelos entrenados por encima de ciertos umbrales computacionales y de costos. sin embargo, si se calcula estrictamente de acuerdo con el cálculo prescrito y los umbrales de costos, todos los modelos convencionales a gran escala en el mercado se considerarán "potencialmente peligrosos". además, el proyecto de ley exige que la empresa de desarrollo detrás del modelo asuma la responsabilidad legal por el uso posterior o la modificación de su modelo, lo que se cree que tiene un "efecto paralizador" en el lanzamiento de modelos de código abierto.

enlace al proyecto de ley: https://leginfo.legislature.ca.gov/faces/billtextclient.xhtml?bill_id=202320240sb1047

el proyecto de ley fue promulgado en febrero de este año.senadofue propuesto y ha sido controvertido desde entonces. li feifei, yann lecun,andrés ngtodos se oponen. hace algún tiempo, li feifei escribió personalmente un artículo explicando los numerosos efectos adversos que podría traer el proyecto de ley. docenas de profesores y estudiantes de la universidad de california también firmaron una carta conjunta para oponerse a este proyecto de ley (ver "li feifei escribió personalmente un artículo y docenas de científicos firmaron una carta conjunta para oponerse al proyecto de ley de restricción de la ia de california"). sin embargo, también hay muchas personas que apoyan el proyecto de ley, como musk, hinton y bengio. antes de que el proyecto de ley fuera presentado al gobernador de california, hubo muchos debates acalorados entre los dos partidos.

ahora todo se ha arreglado. en su declaración de veto, el gobernador newsom citó múltiples factores que influyeron en su decisión, incluido el impacto que tendría el proyecto de ley enaila carga para las empresas, el liderazgo de california en este campo y las críticas de que el proyecto de ley puede ser demasiado amplio.

después de que se publicó la noticia, yann lecun expresó su gratitud al gobernador de california en nombre de la comunidad de código abierto.

ng afirmó los esfuerzos de yann lecun por explicar al público las deficiencias del proyecto de ley.

sin embargo, algunas personas están contentas y otras preocupadas: el senador de california scott wiener, patrocinador del proyecto de ley, dijo que estaba muy decepcionado con los resultados. escribió en una publicación que el veto "es un revés para cualquiera que crea que habrá supervisión de las grandes corporaciones que están tomando decisiones críticas que impactan la seguridad y el bienestar públicos y el 'futuro de nuestro planeta'".

cabe señalar que el rechazo de la sb 1047 no significa que california esté haciendo la vista gorda ante los problemas de seguridad de la ia, como mencionó el gobernador newsom en su comunicado. al mismo tiempo, también anunció que li feifei y otros ayudarán a california a formular medidas de protección responsables para el despliegue de inteligencia artificial generativa.

gobernador de california: sb 1047 tiene muchos problemas

respecto a la sb 1047, el gobernador de california newsom tiene la última palabra. ¿por qué vetaría el proyecto de ley? un comunicado dio la respuesta.

enlace de declaración: https://www.gov.ca.gov/wp-content/uploads/2024/09/sb-1047-veto-message.pdf

un extracto del comunicado es el siguiente:

california alberga 32 de las 50 empresas de al más importantes del mundo, pioneras de importantes avances tecnológicos en la historia moderna. somos líderes en este campo debido a nuestras instituciones de investigación y educación, nuestra fuerza laboral diversa y motivada y nuestro cultivo de ideas libres y de espíritu libre. como futuro directivo e innovador, me tomo en serio mi responsabilidad de regular esta industria.

la sb 1047 exagera la discusión sobre las posibles amenazas que plantea el despliegue de al. el quid del debate es si el umbral de regulación debería basarse en el coste y el número de cálculos necesarios para desarrollar un modelo de al, o si el riesgo real del sistema debería evaluarse sin tener en cuenta estos factores. esta discusión global se produce mientras las capacidades de al continúan expandiéndose a un ritmo alarmante. al mismo tiempo, las estrategias y soluciones para abordar el riesgo de desastres están evolucionando rápidamente.

al centrarse sólo en los modelos más caros y grandes, la sb 1047 crea un marco regulatorio que podría dar al público una falsa sensación de seguridad sobre el control de esta tecnología en rápida evolución. los modelos más pequeños y especializados pueden ser tan peligrosos, o incluso más, que los modelos a los que se dirige la sb 1047.

la adaptabilidad es crucial mientras corremos contra el tiempo para regular una tecnología que aún está en su infancia. esto requiere un delicado equilibrio. si bien la sb 1047 tiene buenas intenciones, no tiene en cuenta si los sistemas de ia se implementan en entornos de alto riesgo, implican decisiones críticas o utilizan datos confidenciales. en cambio, el proyecto de ley impone estándares estrictos incluso en las funciones más básicas, siempre y cuando se implementen en sistemas grandes. no creo que esta sea la mejor manera de proteger al público de las amenazas reales de esta tecnología.

estoy de acuerdo con el autor en que no podemos esperar hasta que ocurra un desastre importante para tomar medidas para proteger al público. california no abdicará de sus responsabilidades. se deben adoptar protocolos de seguridad. se deben implementar salvaguardias proactivas y debe haber consecuencias claras y ejecutables para los malos actores. sin embargo, con lo que no estoy de acuerdo es que para mantener al público seguro, debemos conformarnos con una solución sin un análisis empírico de la trayectoria de los sistemas y capacidades de ia. en última instancia, cualquier marco que regule eficazmente la ia debe seguir el ritmo de la tecnología misma.

para aquellos que dicen que no estamos resolviendo el problema, o que california no tiene ningún papel en la regulación del impacto potencial de esta tecnología en la seguridad nacional, no estoy de acuerdo. adoptar este enfoque sólo en california puede tener sentido, especialmente en ausencia de una acción federal por parte del congreso, pero debe basarse en evidencia empírica y científica.

el instituto de seguridad de ia de ee. uu., parte del instituto nacional de ciencia y tecnología, está desarrollando una guía de riesgos de seguridad nacional basada en métodos basados ​​en evidencia para proteger contra riesgos claros para la seguridad pública.

de conformidad con una orden ejecutiva que emití en septiembre de 2023, las agencias de mi administración están realizando análisis de riesgos de posibles amenazas y vulnerabilidades al uso de la ia en la infraestructura crítica de california.

estos son solo algunos ejemplos del trabajo que estamos realizando, dirigidos por expertos, para presentar a los formuladores de políticas prácticas de gestión de riesgos de ia basadas en la ciencia y los hechos.

gracias a estos esfuerzos, he firmado más de una docena de proyectos de ley en los últimos 30 días para regular los riesgos específicos y conocidos que plantea la ia.

más de una docena de proyectos de ley firmados en 30 días, la iniciativa intensiva de seguridad de la ia de california

en el comunicado, newsom mencionó que firmó más de una docena de proyectos de ley en 30 días. estos proyectos de ley cubren una amplia gama de temas, incluida la lucha contra el contenido explícito deepfake, la exigencia de la adición de marcas de agua al contenido generado por ia, la protección de retratos digitales de artistas, los derechos de autor de voces o imágenes de figuras fallecidas, la privacidad del consumidor y la exploración de la impacto de la incorporación de la inteligencia artificial a la enseñanza y muchos otros aspectos.

enlace a la lista de proyectos de ley: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/

en respuesta a la falta de análisis científico en la evaluación de los riesgos de la ia de la sb 1047, el gobernador anunció que ha pedido a los principales expertos en ia generativa del mundo que ayuden a california a desarrollar barreras de seguridad factibles para implementar la ia generativa.

además de li feifei, tino cuéllar, miembro del comité de la academia nacional de ciencias sobre el impacto social y ético de la investigación en computación, y jennifer tour chayes, decana de la escuela de computación, ciencia de datos y sociedad de la universidad de california, berkeley, también son miembros del programa.

su trabajo se centra en el análisis de trayectoria empírico y basado en la ciencia de modelos de vanguardia, sus capacidades y los riesgos que conlleva. este trabajo tiene un largo camino por recorrer.

más información: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/