notícias

relatório do coração da máquina

editor: zhang qian

a intenção original é boa, mas a abordagem ainda é questionável.

agora mesmo, o sb 1047, que vem sendo discutido há mais de meio ano, finalmente chegou ao fim: o governador da califórnia, gavin newsom, vetou o projeto.

o nome completo do sb 1047 é "lei de inovação segura e protegida para inteligência artificial de fronteira", que visa estabelecer padrões de segurança claros para modelos de ia de alto risco para evitar que sejam abusados ​​ou causem catástrofes.

especificamente, o projeto de lei visa regular a inteligência artificial ao nível do modelo, aplicando-se a modelos treinados acima de determinados limites computacionais e de custo. no entanto, se calculados estritamente de acordo com o cálculo prescrito e os limites de custo, todos os modelos convencionais de grande escala no mercado serão considerados “potencialmente perigosos”. além disso, o projeto de lei exige que a empresa de desenvolvimento por trás do modelo assuma a responsabilidade legal pelo uso ou modificação posterior de seu modelo, o que se acredita ter um “efeito inibidor” no lançamento de modelos de código aberto.

link do projeto de lei: https://leginfo.legislature.ca.gov/faces/billtextclient.xhtml?bill_id=202320240sb1047

o projeto foi promulgado em fevereiro deste anosenadofoi proposto e tem sido controverso desde então. li feifei, yann lecun,andré ngtodos se opõem. há algum tempo, li feifei escreveu pessoalmente um artigo explicando os muitos efeitos adversos que o projeto de lei pode trazer. dezenas de professores e estudantes da universidade da califórnia também assinaram uma carta conjunta para se opor a este projeto de lei (ver "li feifei escreveu pessoalmente um artigo e dezenas de cientistas assinaram uma carta conjunta para se opor ao projeto de lei de restrição de ia da califórnia"). no entanto, também há muitas pessoas que apoiam o projeto, como musk, hinton e bengio. antes de o projeto ser apresentado ao governador da califórnia, houve muitos debates acalorados entre os dois lados.

agora, tudo está resolvido. na sua declaração de veto, o governador newsom citou múltiplos factores que influenciaram a sua decisão, incluindo o impacto que o projecto de lei teria sobreiao fardo para as empresas, a liderança da califórnia no terreno e as críticas de que o projeto de lei pode ser demasiado amplo.

após a divulgação da notícia, yann lecun expressou sua gratidão ao governador da califórnia em nome da comunidade de código aberto.

ng afirmou os esforços de yann lecun para explicar ao público as deficiências do projeto de lei.

no entanto, algumas pessoas estão felizes e outras preocupadas – o senador da califórnia scott wiener, o patrocinador do projeto, disse estar muito decepcionado com os resultados. ele escreveu em um post que o veto “é um revés para quem acredita na supervisão de grandes corporações que estão tomando decisões críticas que impactam a segurança e o bem-estar públicos e o ‘futuro do nosso planeta’”.

deve-se notar que a rejeição do sb 1047 não significa que a califórnia esteja fechando os olhos às questões de segurança da ia, como o governador newsom mencionou em sua declaração. ao mesmo tempo, ele também anunciou que li feifei e outros ajudarão a liderar a califórnia na formulação de medidas de proteção responsáveis ​​para a implantação de inteligência artificial generativa.

governador da califórnia: sb 1047 tem muitos problemas

em relação ao sb 1047, o governador da califórnia, newsom, tem a palavra final. por que ele vetaria o projeto? uma declaração forneceu a resposta.

link da declaração: https://www.gov.ca.gov/wp-content/uploads/2024/09/sb-1047-veto-message.pdf

um trecho da declaração é o seguinte:

a califórnia abriga 32 das 50 principais empresas de ia do mundo, pioneiras em importantes avanços tecnológicos na história moderna. somos líderes neste campo devido às nossas instituições de investigação e educação, à nossa força de trabalho diversificada e motivada e ao nosso cultivo de espírito livre de ideias livres. como futuro gestor e inovador, assumo seriamente a minha responsabilidade de regulamentar esta indústria.

sb 1047 exagera a discussão sobre as possíveis ameaças representadas pela implantação de al. a chave para o debate é se o limiar para a regulamentação deve basear-se no custo e no número de cálculos necessários para desenvolver um modelo de al, ou se o risco real do sistema deve ser avaliado sem ter em conta estes factores. esta discussão global surge num momento em que as capacidades da al continuam a expandir-se a um ritmo alarmante. ao mesmo tempo, as estratégias e soluções para enfrentar o risco de catástrofes estão a evoluir rapidamente.

ao concentrar-se apenas nos modelos maiores e mais caros, o sb 1047 cria um quadro regulamentar que poderia dar ao público uma falsa sensação de segurança no controlo desta tecnologia em rápida evolução. modelos menores e especializados podem ser tão perigosos, ou até mais perigosos, do que os modelos visados ​​pela sb 1047.

a adaptabilidade é crucial à medida que corremos contra o tempo para regulamentar uma tecnologia que ainda está na sua infância. isto requer um equilíbrio delicado. embora o sb 1047 tenha boas intenções, não tem em conta se os sistemas de ia são implantados em ambientes de alto risco, envolvem decisões críticas ou utilizam dados sensíveis. em vez disso, o projeto de lei impõe padrões rigorosos até mesmo nas funções mais básicas – desde que sejam implementadas em grandes sistemas. não creio que esta seja a melhor forma de proteger o público das ameaças reais desta tecnologia.

concordo com o autor que não podemos esperar até que ocorra um grande desastre para tomar medidas para proteger o público. a califórnia não abdicará das suas responsabilidades. protocolos de segurança devem ser adotados. devem ser implementadas salvaguardas proativas e deve haver consequências claras e aplicáveis ​​para os maus atores. o que discordo, no entanto, é que, para manter o público seguro, devemos contentar-nos com uma solução sem análise empírica da trajetória dos sistemas e capacidades de ia. em última análise, qualquer quadro que regule eficazmente a ia precisa de acompanhar o ritmo da própria tecnologia.

discordo daqueles que dizem que não estamos a resolver o problema, ou que a califórnia não tem qualquer papel na regulação do impacto potencial desta tecnologia na segurança nacional. adotar esta abordagem apenas na califórnia pode fazer sentido, especialmente na ausência de ação federal do congresso, mas deve basear-se em evidências empíricas e na ciência.

o instituto de segurança de ia dos eua, parte do instituto nacional de ciência e tecnologia, está a desenvolver orientações sobre riscos de segurança nacional baseadas em métodos baseados em evidências para proteger contra riscos claros para a segurança pública.

de acordo com uma ordem executiva que emiti em setembro de 2023, as agências de toda a minha administração estão conduzindo análises de risco de ameaças e vulnerabilidades potenciais ao uso de ia na infraestrutura crítica da califórnia.

estes são apenas alguns exemplos do trabalho que estamos a realizar, liderado por especialistas, para apresentar práticas de gestão de riscos de ia aos decisores políticos que estão enraizadas na ciência e nos factos.

através destes esforços, assinei mais de uma dúzia de projetos de lei nos últimos 30 dias para regular riscos específicos e conhecidos colocados pela ia.

mais de uma dúzia de projetos de lei assinados em 30 dias, a iniciativa intensiva de segurança de ia da califórnia

no comunicado, newsom mencionou que assinou mais de uma dezena de projetos de lei em 30 dias. esses projetos de lei cobrem uma ampla gama de tópicos, incluindo a repressão ao conteúdo deepfake explícito, a exigência da adição de marcas d'água ao conteúdo gerado por ia, a proteção de retratos digitais de artistas, os direitos autorais de vozes ou imagens de figuras falecidas, a privacidade do consumidor e a exploração do impacto da incorporação da inteligência artificial no ensino e muitos outros aspectos.

link para a lista de projetos de lei: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/

em resposta à falta de análise científica na avaliação dos riscos de ia do sb 1047, o governador anunciou que pediu aos principais especialistas mundiais em ia generativa que ajudassem a califórnia a desenvolver protecções viáveis ​​para a implantação de ia generativa.

além de li feifei, tino cuéllar, membro do comitê da academia nacional de ciências sobre o impacto social e ético da pesquisa em computação, e jennifer tour chayes, reitora da escola de computação, ciência de dados e sociedade da universidade da califórnia, berkeley, também são membros do programa.

seu trabalho se concentra na análise de trajetória empírica e baseada na ciência de modelos de ponta e suas capacidades e riscos associados. este trabalho ainda tem um longo caminho a percorrer.

acesse: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/