notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Novo Relatório de Sabedoria

Editor: Tão sonolento

[Introdução à Nova Sabedoria]A “Lei de Restrição de IA” da Califórnia foi inicialmente aprovada com sucesso, entre forte oposição de magnatas da IA, grandes empresas tecnológicas, startups e capitalistas de risco.

Como todos sabemos, para além das interpretações em vários filmes de ficção científica, a IA não matou ninguém no mundo real, nem lançou ataques cibernéticos em grande escala.

No entanto, alguns legisladores dos EUA ainda esperam que a segurança adequada possa ser implementada antes que este futuro distópico se torne realidade.

Ainda esta semana, a Lei de Inovação em Segurança do Modelo de Inteligência Artificial da Fronteira da Califórnia, SB 1047, mais uma vez deu um passo importante para se tornar lei.

Simplificando, o SB 1047 impedirá que os sistemas de IA causem vítimas em massa ou desencadeiem incidentes de segurança cibernética que custam mais de US$ 500 milhões, responsabilizando os desenvolvedores.

No entanto, a oposição da academia e da indústria foi tão forte que os legisladores da Califórnia cederam ligeiramente ao adicionar várias alterações sugeridas pela startup de IA Antrópica e outros opositores.

Em comparação com a proposta original, a versão atual reduz o poder do governo da Califórnia de responsabilizar os laboratórios de IA.

Endereço da fatura: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

Mas mesmo assim, (quase) ninguém gosta do SB 1047.

Gigantes da IA ​​como Yann LeCun, Li Feifei e Ng Enda expressaram repetidamente a sua insatisfação com este projeto de lei que "sufoca a IA de código aberto e força a inovação da IA ​​a ser suspensa ou mesmo interrompida".

Várias cartas conjuntas também estão surgindo uma após a outra:

Não só mais de 40 investigadores da Universidade da Califórnia, da Universidade do Sul da Califórnia, da Universidade de Stanford e do Instituto de Tecnologia da Califórnia apelaram fortemente à não aprovação deste projecto de lei.

E oito membros do Congresso representando vários distritos da Califórnia também instaram o governador a vetar o projeto.

LeCun até copiou a mensagem original que usou quando pediu uma moratória na investigação da IA ​​– por favor suspenda a legislação sobre IA durante seis meses!

Então a questão é: por que o artigo anterior usou “quase todo mundo”?

Porque, além de LeCun, os outros dois gigantes de Turing, Yoshua Bengio e Geoffrey Hinton, apoiam fortemente a aprovação deste projeto de lei.

Eu até sinto que os termos atuais são um pouco vagos.

Como pesquisadores seniores de tecnologia e política de inteligência artificial, escrevemos para expressar nosso forte apoio ao Projeto de Lei 1047 do Senado da Califórnia. SB 1047 descreve os requisitos básicos para uma regulamentação eficaz desta tecnologia. Não implementa um sistema de licenciamento, não exige que as empresas obtenham permissão de agências governamentais antes de treinar ou implementar modelos, depende das empresas para avaliarem os riscos por si próprias e não responsabiliza estritamente as empresas, mesmo em caso de desastre. Esta é uma legislação relativamente branda relativamente à escala dos riscos que enfrentamos. Desfazer as medidas básicas do projeto de lei seria um erro histórico – um erro que se tornará ainda mais evidente dentro de um ano, à medida que a próxima geração de sistemas de IA mais poderosos for lançada.

Hoje, o SB 1047 foi aprovado com relativa facilidade na legislatura da Califórnia, apesar da forte oposição de alguns congressistas dos EUA, de conhecidos investigadores de IA, de grandes empresas tecnológicas e de capitalistas de risco.

Em seguida, o SB 1047 irá à Assembleia da Califórnia para votação final. Devido ao acréscimo das últimas emendas, após a aprovação do projeto, ele precisará ser enviado de volta ao Senado da Califórnia para votação.

Se ambas as votações forem aprovadas, o SB 1047 será enviado ao governador para aguardar o veto final ou a assinatura da lei.

Quais modelos e empresas serão restringidos?

De acordo com os requisitos do SB 1047, os desenvolvedores ou empresas que desenvolvem modelos precisam ser responsáveis ​​por evitar que seus modelos de IA sejam usados ​​para causar “danos significativos”.

Como a criação de armas de destruição em massa ou o lançamento de ataques cibernéticos que custam mais de 500 milhões de dólares. A propósito, o “Incidente Global de Tela Azul do Windows” da CrowdStrike causou mais de US$ 5 bilhões em perdas.

No entanto, as regras do SB 1047 se aplicam apenas a modelos de IA muito grandes – ou seja, custos de treinamento de pelo menos US$ 100 milhões e mais de 10^26 operações de ponto flutuante. (Basicamente com base no custo de treinamento do GPT-4)

Diz-se que a quantidade de cálculo exigida pela próxima geração do Llama 4 da Meta aumentará 10 vezes e, portanto, também estará sujeita à supervisão do SB 1047.

Para modelos de código aberto e suas versões ajustadas, os desenvolvedores originais são responsáveis. A menos que o custo chegue a 3 vezes o modelo original.

Deste ponto de vista, não é de admirar que a reação de LeCun tenha sido tão violenta.

Além disso, os desenvolvedores devem criar procedimentos de teste que abordem os riscos do modelo de IA e devem contratar auditores terceirizados anualmente para avaliar suas práticas de segurança de IA.

Para os produtos de IA construídos com base em modelos, é necessário desenvolver protocolos de segurança correspondentes para evitar abusos, incluindo um botão de “parada de emergência” que desliga todo o modelo de IA.

etc......

Qual é a função atual do SB 1047?

Hoje, o SB 1047 não permite mais que o Procurador-Geral da Califórnia processe empresas de IA por medidas de segurança negligentes antes que ocorra um evento catastrófico. (Sugestão da Antrópica)

Em vez disso, o procurador-geral da Califórnia poderia solicitar uma liminar exigindo que uma empresa interrompa uma operação que considere perigosa, e ainda poderia processar os desenvolvedores de IA se os seus modelos levarem a eventos catastróficos.

O SB 1047 não estabelece mais a nova agência governamental "Frontier Modeling Division (FMD)" originalmente incluída no projeto.

No entanto, o núcleo da FMD, o Comité Modelo de Fronteira, ainda foi estabelecido e colocado dentro da Agência de Operações Governamentais existente, e o seu tamanho foi ampliado das anteriores 5 para 9 pessoas. O comitê ainda definirá limites computacionais para os modelos cobertos, emitirá orientações de segurança e emitirá regulamentos para auditores.

O SB 1047 também possui uma redação mais flexível quando se trata de garantir a segurança dos modelos de IA.

Agora, os desenvolvedores só precisam fornecer “cuidados razoáveis” para garantir que os modelos de IA não representem um risco significativo de desastre, em vez da “garantia razoável” exigida anteriormente.

Além disso, os desenvolvedores só precisam enviar uma “declaração” pública descrevendo suas medidas de segurança e não precisam mais enviar a certificação dos resultados dos testes de segurança, sob pena de perjúrio.

Há também uma proteção separada para modelos de ajuste fino de código aberto. Se alguém gasta menos de US$ 10 milhões no ajuste fino de um modelo, não é considerado um desenvolvedor e a responsabilidade permanece com o grande desenvolvedor original do modelo.

Li Feifei certa vez escreveu pessoalmente um artigo criticando

O impacto do SB 1047 na indústria de IA pode ser visto na coluna de "AI Godmother" Li Feifei na revista Fortune:

“Se se tornar lei, o SB 1047 prejudicará o nascente ecossistema de IA da América, especialmente aquelas partes que já estão em desvantagem: o setor público, a academia e as pequenas empresas de tecnologia penalizarão desnecessariamente os desenvolvedores, sufocarão a comunidade de código aberto e limitarão o meio acadêmico. a pesquisa também não consegue resolver o problema real.”

Primeiro, o SB 1047 puniria indevidamente os desenvolvedores e sufocaria a inovação.

Nos casos em que um modelo de IA é utilizado indevidamente, o SB 1047 coloca a culpa na parte responsável e no desenvolvedor original do modelo. Para cada desenvolvedor de IA, especialmente programadores e empreendedores iniciantes, é impossível prever todos os usos possíveis de seus modelos. O SB 1047 forçará os desenvolvedores a tomar medidas defensivas – algo que deve ser evitado a todo custo.

Em segundo lugar, o SB 1047 restringirá o desenvolvimento de código aberto.

O SB 1047 exige que todos os modelos que excedam um determinado limite incluam um “botão de parada de emergência”, um mecanismo que pode encerrar o programa a qualquer momento. Se os desenvolvedores temem que os programas que baixam e criam sejam excluídos, eles hesitarão mais em codificar ou colaborar. Este botão de paragem de emergência terá um impacto severo na comunidade de código aberto – não apenas na IA, mas em inúmeras fontes de inovação em campos tão diversos como o GPS, a ressonância magnética e a própria Internet.

Terceiro, o SB 1047 irá paralisar a investigação em IA no sector público e no meio académico.

O desenvolvimento de código aberto é importante no sector privado, mas ainda mais no meio académico, que não pode progredir sem colaboração e acesso a dados modelo. Como podem os investigadores formar a próxima geração de líderes de IA se não têm acesso a modelos e dados apropriados? Um botão de paragem de emergência enfraqueceria ainda mais o meio académico, que já se encontra em desvantagem em termos de dados e computação. O SB 1047 desferirá um golpe fatal na IA académica numa altura em que deveríamos investir mais na IA do sector público.

O mais preocupante é que o SB 1047 não aborda os riscos potenciais dos avanços da IA, incluindo preconceitos e deepfakes. Em vez disso, estabelece um limite muito arbitrário – uma certa quantidade de poder computacional ou um modelo cujo treinamento custa US$ 100 milhões. Esta medida não só não proporciona protecção, como também restringirá a inovação em vários domínios, incluindo o meio académico.

Li Feifei disse que não se opõe à governança da IA. A legislação é fundamental para o desenvolvimento seguro e eficaz da IA. No entanto, a política de IA deve apoiar o desenvolvimento de código aberto, estabelecer regras uniformes e razoáveis ​​e construir a confiança dos consumidores.

Claramente, o SB 1047 não atende a esses padrões.

Referências:

https://techcrunch.com/2024/08/15/california-weakens-bill-to-prevent-ai-disasters-before-final-vote-take-advice-from-anthropic/

https://techcrunch.com/2024/08/15/california-ai-bill-sb-1047-aims-to-prevent-ai-disasters-but-silicon-valley-warns-it-will-cause-one/

https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/