notícias

(Fonte da imagem: imagem gerada por IA)

Em 16 de agosto, horário de Pequim, a controversa Lei de Inovação de Segurança de Modelos de IA da Fronteira da Califórnia (mais tarde conhecida como Lei de Segurança de IA da Califórnia SB 1047) finalmente foi aprovada na revisão do Comitê de Apropriações da Câmara dos Representantes da Califórnia, após enfraquecer significativamente as disposições relevantes.

A equipe do senador Wiener da Califórnia disse ao TechCrunch que o projeto adicionou várias alterações propostas pela empresa de IA Anthropic e outros oponentes e finalmente foi aprovado no Comitê de Dotações da Califórnia, dando um passo importante para se tornar lei, que incluiu várias alterações importantes.

“Aceitamos o conjunto proposto de alterações muito razoáveis ​​e acredito que abordamos as principais preocupações expressas pela Anthropic e por muitos outros na indústria”, disse o senador Wiener em comunicado. “Essas alterações baseiam-se em minhas alterações significativas anteriores ao SB 1047 para acomodar as necessidades exclusivas da comunidade de código aberto, que é uma importante fonte de inovação.”

O SB 1047 ainda visa prevenir incidentes de segurança cibernética em que sistemas de IA em grande escala matam um grande número de pessoas ou causam perdas superiores a 500 milhões de dólares, responsabilizando os desenvolvedores. No entanto, o projeto de lei agora dá ao governo da Califórnia menos poder para responsabilizar os laboratórios de IA. No dilema das dificuldades regulatórias em nível nacional, este se tornou um passo importante na regulamentação da IA ​​nos Estados Unidos.

No entanto, algumas pessoas na indústria de IA, como Li Feifei e Yang Likun, acreditam que isso acabará prejudicando a Califórnia e até mesmo a posição de liderança dos Estados Unidos no campo da IA. Centenas de empresários assinaram uma carta de oposição escrita pela incubadora YC, e mais de 100 acadêmicos na Califórnia também emitiram uma carta se opondo ao projeto de lei. A instituição de capital de risco a16z criou um site especificamente para detalhar os seis pecados do projeto de lei. Atualmente, muitos projetos de lei sobre IA estão sendo discutidos nos Estados Unidos, mas a Lei de Inovação em Segurança do Modelo de Inteligência Artificial da Fronteira da Califórnia se tornou uma das mais controversas.

Para as empresas nacionais, o projeto de lei exige que os prestadores de serviços em nuvem recolham informações de clientes, endereços IP, métodos de pagamento e outras informações, o que facilita o trabalho de rastreabilidade das autoridades reguladoras. Se os controlos subsequentes forem ainda mais reforçados, isto poderá tornar-se um risco regulamentar enfrentado por algumas empresas chinesas de IA que utilizam poder computacional estrangeiro para formação.

Então, agora que o projeto de lei de IA da Califórnia foi aprovado, que impacto ele terá na indústria de IA na China e nos Estados Unidos? Mídia de titânioAGIOrganize seis perguntas e respostas para explicar este projeto de lei e algumas das informações por trás dele.

1. Quais são as novas restrições da Lei de IA da Califórnia? Qual é a sua principal função?

O projeto de lei de IA da Califórnia, SB 1047, procura impedir que grandes modelos de IA sejam usados ​​para causar “danos graves” aos seres humanos.

O projeto lista exemplos de “danos graves”. Por exemplo, maus atores usaram modelos de IA para construir armas que causaram vítimas massivas ou instruíram modelos de IA para orquestrar ataques cibernéticos que causaram mais de US$ 500 milhões em danos (em comparação comGreve de multidão A interrupção foi estimada em mais de US$ 5 bilhões). O projeto de lei exige que os desenvolvedores (ou seja, empresas que desenvolvem modelos) implementem protocolos de segurança adequados para evitar tais consequências.

As regras do SB 1047 se aplicam apenas aos maiores modelos de IA do mundo: modelos que custam pelo menos US$ 100 milhões e usam 10^26 FLOPS durante o treinamento – isso é uma enorme quantidade de computação, mas IA aberta O CEO Sam Altman disse que o GPT-4 custaria muito para treinar. Esses limites podem ser aumentados conforme necessário.

Atualmente, poucas empresas desenvolveram produtos públicos de IA grandes o suficiente para atender a esses requisitos, mas gigantes da tecnologia como OpenAI, Google e Microsoft poderão fazê-lo em breve. Os modelos de IA – essencialmente grandes motores estatísticos que identificam e prevêem padrões nos dados – geralmente tornam-se mais precisos à medida que aumentam, e muitos esperam que esta tendência continue. Mark Zuckerberg disse recentemente que a próxima geração do Llama da Meta exigirá 10 vezes mais poder de computação, o que o tornaria sujeito ao SB 1047.

Mais notavelmente, o projeto de lei não permite mais que o Procurador-Geral da Califórnia processe empresas de inteligência de IA por medidas de segurança negligentes antes que ocorra um desastre. Isso é o que Antrópico sugere.

Em vez disso, o procurador-geral da Califórnia pode solicitar uma medida cautelar, exigindo que uma empresa interrompa uma operação que considere perigosa, e ainda pode processar os desenvolvedores de IA se um modelo de IA causar um evento catastrófico.

2. Quem implementará o projeto de lei? Como executar?

O novo projeto de lei de IA da Califórnia anunciou que não haverá mais uma agência do Frontier Model Department (FMD). No entanto, o projecto de lei ainda estabelece a Comissão Modelo de Fronteira – o núcleo da febre aftosa – e coloca-a dentro das agências operacionais governamentais existentes. Na verdade, o comité é agora maior, com nove pessoas em vez de cinco. O Frontier Models Council ainda definirá limites computacionais para os modelos cobertos, emitirá orientações de segurança e emitirá regulamentos para auditores.

O maior ajuste ao projeto de lei revisado é que o Procurador-Geral da Califórnia não está mais autorizado a processar empresas de IA por negligenciarem questões de segurança antes que ocorra um evento catastrófico. O projeto de lei original estipula que, enquanto os auditores descobrirem que as empresas de IA realizam atividades ilegais nas operações diárias, as empresas poderão ser processadas. Isto marca uma mudança no foco regulatório do projeto de lei para danos reais e também reduzirá a pressão de conformidade sobre as empresas.

Finalmente, o projeto de lei também fornece proteção a denunciantes para funcionários de uma empresa de modelos, caso eles tentem divulgar informações sobre modelos de IA inseguros ao Procurador-Geral da Califórnia.

A maioria das empresas de tecnologia e startups de IA dos EUA operam na Califórnia e estarão sujeitas ao projeto de lei. Especificamente, este projeto de lei concentra-se em “modelos de IA de ponta”. Somente os desenvolvedores cujos custos de capacidade de computação excedem US$ 100 milhões em modelos de treinamento enfrentarão requisitos regulatórios. No futuro, o Llama 4 e o GPT-5 poderão ser os seus principais alvos regulatórios.

3. Como punir atos ilícitos? Multas a partir de US$ 10 milhões podem levar ao fechamento ou exclusão do modelo

O projeto de lei mostra que os diretores de tecnologia das empresas de desenvolvimento de modelos devem apresentar certificações anuais ao FMD que avaliam os riscos potenciais dos seus modelos de IA, a eficácia dos seus protocolos de segurança e uma descrição de como a empresa cumpre o SB 1047. Semelhante às notificações de violação, se ocorrer um “incidente de segurança de IA”, os desenvolvedores devem relatá-lo ao FMD dentro de 72 horas após tomarem conhecimento do incidente.

O SB 1047 permite que o Procurador Geral da Califórnia instaure ações civis contra desenvolvedores se eles não cumprirem qualquer uma dessas disposições. Para um modelo cujo treinamento custou US$ 100 milhões, a multa pode chegar a US$ 10 milhões para uma primeira violação e até US$ 30 milhões para violações subsequentes. À medida que os modelos de IA se tornam mais caros, as taxas de penalização aumentarão.

Quando ocorrerem violações, as empresas poderão enfrentar multas que variam de US$ 10 milhões a US$ 30 milhões, e esse valor aumentará à medida que o custo do treinamento de modelos aumentar.

Além disso, se os criadores de modelos e os operadores de clusters informáticos não cumprirem os regulamentos acima e causarem danos enormes, e se for determinado que ocorreu de facto uma conduta ilegal, o tribunal pode impor as seguintes sanções:

1. Para atos ilícitos a partir de 2026, as entidades que violarem a lei pela primeira vez serão punidascomputação em nuvemA multa fica dentro de 10% do custo médio do modelo no âmbito de treinamento de mercado. Para infrações posteriores, o valor da multa não poderá ultrapassar 30% desse custo (calculado com base no limite de US$ 100 milhões definido para o modelo no escopo). no projeto, a multa para a primeira infração é de no mínimo US$ 10 milhões).

2. O tribunal também pode declarar uma liminar, incluindo, mas não se limitando a modificar, encerrar completamente ou excluir todos os derivativos controlados pelo modelo dentro do escopo e seus desenvolvedores.

No entanto, as penalidades por modificação, encerramento e exclusão de um modelo dentro do escopo só podem ser aplicadas se causarem a morte de outra pessoa, lesões pessoais graves, danos materiais ou uma ameaça grave à segurança pública.

4. Quem se opõe ao projeto? Por que objetar?

O projeto de lei foi aprovado pelo Legislativo da Califórnia com relativa facilidade, apesar da forte oposição dos legisladores dos EUA, proeminentes pesquisadores de IA, grandes empresas de tecnologia e capitalistas de risco. As emendas poderiam apaziguar os oponentes do SB 1047 e fornecer ao Governador Newsom um projeto de lei menos controverso que ele poderia sancionar sem perder o apoio da indústria de IA.

Hoje, mais e mais pessoas da tecnologia estão se opondo ao projeto de lei de IA da Califórnia.

A Antthropic disse que está revisando as alterações no SB 1047 antes de tomar uma decisão. Nem todas as sugestões de revisão anteriores da empresa foram adotadas pelo senador Wiener.

A conhecida empresa de capital de risco a16z listou em seu site oficial os “6 pecados” da Lei de Segurança de IA da Califórnia:

1. Este projeto de lei terá um efeito inibidor sobre o investimento e desenvolvimento em IA na Califórnia.

2. O projeto penaliza desenvolvedores/desenvolvedores com base em resultados pouco claros. Testes relevantes ainda não existem.

3. As definições vagas do projeto de lei, juntamente com a responsabilidade legal estrita, criam incerteza e riscos económicos significativos para os criadores de IA e proprietários de empresas.

4. O projeto de lei poderia forçar a pesquisa de IA para a clandestinidade e, inadvertidamente, tornar os sistemas de IA menos seguros.

5. Este projeto de lei cria uma desvantagem sistêmica para desenvolvedores de código aberto e startups, que estão no centro da inovação e das pequenas empresas na Califórnia.

6. Este projeto de lei inibe a pesquisa e inovação em IA nos Estados Unidos e oferece oportunidades para países como a China ultrapassarem os Estados Unidos em IA.

Andreessen Horowitz, sócio fundador da a16z, acredita que, embora o projecto de lei da IA ​​da Califórnia seja bem intencionado, pode enfraquecer a indústria tecnológica dos EUA devido à desinformação, justamente quando o futuro da tecnologia se encontra numa encruzilhada crítica. Os Estados Unidos precisam que os líderes reconheçam que este é um momento crítico para uma ação regulatória inteligente e unificada em matéria de IA.

A professora da Universidade de Stanford, Li Feifei, publicou um artigo no site da revista Fortune explicando detalhadamente as razões de sua oposição. Ela acredita que os principais problemas deste projeto de lei são quatro pontos: ele pune excessivamente os desenvolvedores e pode sufocar a inovação; restringe o trabalho de desenvolvimento de código aberto. Destrói a comunidade de código aberto; enfraquece a investigação em IA no meio académico e no setor público, impedindo potencialmente os académicos de receberem mais financiamento e não aborda os potenciais danos causados ​​pelos avanços da IA, como preconceitos ou deepfakes;

Além disso, centenas de startups apoiadas pela incubadora YC acreditam conjuntamente que este projeto de lei pode ter quatro impactos negativos na indústria e no ecossistema de desenvolvedores:

1. O projeto de lei deveria punir os abusadores de ferramentas, não os desenvolvedores. Muitas vezes é difícil para os desenvolvedores prever as possíveis aplicações dos modelos, e os desenvolvedores podem ir para a prisão devido ao crime de perjúrio.

2. Os limiares regulamentares não conseguem captar adequadamente a dinâmica do desenvolvimento tecnológico. As empresas fora da Califórnia poderão desenvolver tecnologia de IA com mais liberdade, o que pode afetar a inovação na Califórnia.

3. O "Kill Switch" (referindo-se à capacidade dos desenvolvedores de desligar modelos) pode proibir o desenvolvimento de IA de código aberto e inibir a colaboração e a transparência de código aberto.

4. A linguagem do projeto de lei é vaga e pode ser interpretada arbitrariamente pelos juízes.

Yann LeCun, cientista-chefe da Meta e vencedor do Prêmio Turing 2018, também se opôs a esse projeto. Ele estava preocupado que, se os riscos do modelo dentro do escopo não fossem avaliados com precisão, as cláusulas de responsabilidade solidária nele contidas mostrassem que o. plataforma de código aberto pode precisar assumir a responsabilidade.

Andrew Ng, professor visitante do Departamento de Ciência da Computação e do Departamento de Engenharia Elétrica da Universidade de Stanford, escreveu que o projeto de lei SB-1047 da Califórnia sufocará o desenvolvimento de grandes modelos de código aberto. O projeto de lei deveria regular as aplicações de IA, e não os próprios grandes modelos.

Ele ainda está chocado com o enorme dano causado pela proposta de lei SB 1047 da Califórnia para modelos grandes de código aberto. Este projeto de lei comete um erro grave e fundamental. O que deveria ser regulamentado são os produtos generativos de IA desenvolvidos através de grandes modelos, e não os próprios grandes modelos de código aberto.

Ng também acredita que o SB 1047 exige que os desenvolvedores protejam grandes modelos de código aberto contra uso indevido, modificação e desenvolvimento de produtos derivados ilegais de IA. No entanto, a forma como os desenvolvedores devem proteger e definir esses comportamentos ainda é muito vaga e não existe uma regulamentação detalhada.

Portanto, Andrew Ng apela veementemente a todos que boicotem o projeto de lei SB 1047. Ele acredita que, se for aprovado, terá um golpe devastador na inovação de grandes modelos de código aberto, e a Califórnia também perderá a motivação para a inovação em IA.

5. Quem apoia o projeto? Por que apoiar?

Em comparação com a oposição, existem atualmente alguns profissionais de tecnologia que apoiam o projeto de lei de IA da Califórnia.

Entre eles, embora o governador da Califórnia, Newsom, não tenha comentado publicamente o SB 1047, ele já expressou anteriormente seu compromisso com a inovação em IA na Califórnia.

Ao mesmo tempo, o vencedor do Prêmio Turing e "Padrinho da IA" Geoffrey Hinton, o vencedor do Prêmio Turing Yoshua Bengio, o professor da Faculdade de Direito de Harvard Lawrence Lessig) e Stuart Russell, autor do popular livro de IA "Inteligência Artificial: Uma Abordagem Moderna" e professor da Universidade da Califórnia, Berkeley, escreveram conjuntamente ao Legislativo da Califórnia para expressar seu apoio à Lei de Segurança de IA da Califórnia "Forte apoio".

Os quatro estudiosos observaram que estão profundamente preocupados com os riscos da IA ​​e que a Lei de Segurança de IA da Califórnia é o requisito mínimo para regular eficazmente a tecnologia. “O projeto de lei não tem sistema de licenciamento e não exige que as empresas obtenham permissão de órgãos governamentais antes de treinar ou implantar modelos. Ele se baseia na autoavaliação de risco das empresas e não responsabiliza estritamente as empresas, mesmo em caso de desastre. ao que enfrentamos O risco é que esta seja uma legislação muito flexível. As leis actuais que regem a IA não são tão rigorosas como as que regulamentam as lanchonetes. Seria um erro histórico cancelar as medidas básicas do projecto de lei - daqui a um ano. , quando a próxima geração for mais rigorosa. Este erro se tornará mais aparente quando sistemas poderosos de IA forem lançados."

“Quarenta anos atrás, quando eu estava treinando Bate-papoGPT Quando se tratava das primeiras versões dos algoritmos de IA por trás das ferramentas, ninguém, inclusive eu, teria previsto que a IA faria um progresso tão grande. Sistemas poderosos de IA são incrivelmente promissores, mas os riscos também são muito reais e devem ser levados muito a sério. O SB 1047 adota uma abordagem muito inteligente para equilibrar essas preocupações. Continuo entusiasmado com o potencial da IA ​​para salvar vidas através da melhoria da ciência e da medicina, mas temos de desenvolver uma legislação verdadeiramente forte para fazer face aos riscos. A Califórnia é o ponto de partida para esta tecnologia porque foi onde ela decolou. Hinton disse.

Os quatro académicos também enfatizaram na carta que, independentemente de estes riscos serem infundados ou reais, as partes relevantes devem assumir a responsabilidade de mitigar os riscos. “Como o grupo de especialistas que melhor conhece estes sistemas”, eles acreditam que estes riscos são possíveis e significativos o suficiente para que sejam necessários testes de segurança e precauções de bom senso.

O senador da Califórnia, Scott Wiener, autor do projeto de lei, disse que o SB 1047 visa aprender com as falhas anteriores nas mídias sociais e nas políticas de privacidade de dados e manter os cidadãos seguros antes que seja tarde demais.

“Nossa atitude em relação à tecnologia é esperar que o mal aconteça e depois não fazer nada a respeito”, disse Wiener. "Não esperamos que algo ruim aconteça. Queremos agir antes que aconteça."

• Os desenvolvedores não irão para a prisão por não conseguirem prever os riscos do modelo. Primeiro, os desenvolvedores e acadêmicos de start-ups não precisam se preocupar, pois o projeto de lei não se aplica a eles. Em segundo lugar, a cláusula de perjúrio no projeto de lei só entrará em vigor quando o desenvolvedor fizer "conscientemente" uma declaração falsa, e um erro de julgamento não intencional das capacidades do modelo não acionará a cláusula de perjúrio (esta cláusula foi excluída na alteração de hoje).

• O projeto de lei não cria responsabilidades inteiramente novas. De acordo com a lei existente, tanto os desenvolvedores de modelos como os desenvolvedores individuais podem ser processados ​​se um modelo causar danos, e isso se aplica a modelos de todas as habilidades e todos os indivíduos feridos podem processar. O novo projecto de lei da Califórnia não só limita o âmbito da regulamentação, mas também limita o direito de processar a duas entidades, o procurador-geral da Califórnia e o conselho laboral.

• O projeto de lei não sufocará a inovação na Califórnia. Este projeto de lei se aplica a todas as empresas que fazem negócios na Califórnia. Mesmo que mudem sua sede para fora da Califórnia, elas devem cumprir os regulamentos relevantes (Nota Zhixi: A Califórnia é a quinta maior economia do mundo com base no PIB e possui um ecossistema tecnológico completo. Tecnologia). empresas É difícil dissociar-se da Califórnia). Quando a Califórnia aprovou leis de privacidade de dados e leis de proteção ambiental, muitas pessoas alegaram que isso prejudicaria a inovação, mas o facto é que a Califórnia ainda lidera a inovação.

• Os interruptores de interrupção e os requisitos de avaliação de segurança não impedirão o desenvolvimento da IA ​​de código aberto. O projeto de lei foi agora revisado e fortaleceu a proteção da IA ​​de código aberto. O requisito de desligamento de emergência do modelo no projeto de lei se aplica apenas a modelos sob o controle do desenvolvedor, excluindo modelos de código aberto não controlados. O projeto de lei também estabelece um novo comitê consultivo para defender e apoiar esforços seguros e confiáveis ​​de desenvolvimento de IA de código aberto.

Segundo o projeto de lei, mesmo que uma empresa treinasse um modelo de US$ 100 milhões no Texas ou na França, ela estaria protegida pelo SB 1047, desde que fizesse negócios na Califórnia. Wiener disse que o Congresso “quase não produziu legislação sobre tecnologia nos últimos 25 anos”, então ele acha que a Califórnia deveria estabelecer o precedente aqui.

Dan Hendrycks, diretor do Centro de Segurança de Inteligência Artificial, disse: “Este projeto de lei é do interesse de longo prazo da Califórnia e da indústria dos EUA, porque grandes incidentes de segurança podem ser o maior obstáculo para um maior desenvolvimento”.

Vários ex-funcionários da OpenAI também apoiaram o projeto, incluindo Daniel Kokotajlo, que voluntariamente desistiu de suas opções OpenAI em troca do direito de criticar livremente a empresa. Ele acredita que as alegações dos críticos do projeto de lei de que o progresso da IA ​​irá estagnar provavelmente não acontecerão.

Simon Last, o fundador do Notion, um unicórnio de IA avaliado em dezenas de bilhões de dólares, escreveu um artigo dizendo que apoia o projeto e acredita que quando as leis federais de IA são difíceis de implementar, a Califórnia, como centro de tecnologia nos Estados Unidos e até mesmo o mundo, está sobrecarregado com responsabilidades importantes. Ele acredita que a supervisão dos modelos não só melhorará a sua segurança, mas também facilitará as startups de IA que constroem produtos em modelos básicos, o que reduzirá a carga sobre as pequenas e médias empresas.

“O objetivo do SB 1047 é – e sempre foi – melhorar a segurança da IA ​​e ao mesmo tempo permitir que todo o ecossistema inove”, disse Nathan Calvin, consultor político sênior do Center for AI Safety Action Fund. meta. "

6. Como desenvolver a seguir?

O SB 1047 irá agora para a Assembleia da Califórnia para votação final. Se o projeto for aprovado na Assembleia, ele precisará voltar ao Senado da Califórnia para votação devido às últimas emendas. Se o projeto for aprovado ao mesmo tempo, ele será enviado à mesa do governador da Califórnia, Gavin Newsom, que tomará a decisão final sobre a assinatura do projeto até o final de agosto.

Wiener disse que não falou com Newsom sobre o projeto de lei e não sabe qual é a sua posição.