소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

새로운 지혜 보고서

편집자: 너무 졸려

[새 지혜 소개]캘리포니아의 “AI 제한 법안”은 AI 거물, 주요 기술 회사, 스타트업 및 벤처 캐피탈리스트의 강력한 반대 속에서 처음에 성공적으로 통과되었습니다.

우리 모두 알고 있듯이, 각종 공상과학 영화의 해석을 제외하면 AI는 현실 세계에서 사람을 죽인 적도 없고, 대규모 사이버 공격을 가한 적도 없습니다.

그러나 일부 미국 국회의원들은 이러한 디스토피아적인 미래가 현실이 되기 전에 적절한 보안이 구현될 수 있기를 여전히 바라고 있습니다.

이번 주에 캘리포니아의 최첨단 인공 지능 모델 보안 혁신법(SB 1047)이 다시 한번 법 제정을 향한 중요한 발걸음을 내디뎠습니다.

간단히 말해서, SB 1047은 개발자에게 책임을 물어 AI 시스템이 대량 사상자를 일으키거나 5억 달러 이상의 비용이 드는 사이버 보안 사고를 유발하는 것을 방지합니다.

그러나 학계와 업계의 반대가 너무 강해서 캘리포니아 의원들은 AI 스타트업인 앤트로픽(Anthropic)과 다른 반대자들이 제안한 몇 가지 수정안을 추가하여 약간 타협했습니다.

원래 제안과 비교하여 현재 버전은 AI 실험실에 책임을 묻는 캘리포니아 정부의 권한을 줄입니다.

청구서 주소: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

하지만 그럼에도 불구하고 (거의) 누구도 SB 1047을 좋아하지 않습니다.

Yann LeCun, Li Feifei, Ng Enda와 같은 AI 거대 기업들은 "오픈 소스 AI를 억누르고 AI 혁신을 중단하거나 심지어 중단하도록 강요하는" 이 법안에 대해 반복적으로 불만을 표명했습니다.

다양한 공동 편지도 속속 등장하고 있습니다.

뿐만 아니라 캘리포니아대학교, 서던캘리포니아대학교, 스탠포드대학교, 캘리포니아공과대학 소속 연구자 40여 명이 이 법안을 통과시키지 말라고 강력히 호소했습니다.

그리고 캘리포니아의 다양한 지역구를 대표하는 8명의 의회 의원도 주지사에게 법안을 거부할 것을 촉구했습니다.

르쿤은 AI 연구 중단을 요구할 때 사용한 원본 메시지까지 복사했습니다. AI 입법을 6개월 동안 중단해 주세요!

그렇다면 질문은 이전 기사에서 "거의 모든 사람"을 사용한 이유는 무엇입니까?

왜냐하면 르쿤 외에도 다른 두 명의 튜링 거인인 요슈아 벤지오(Yoshua Bengio)와 제프리 힌튼(Geoffrey Hinton)이 이 법안의 통과를 강력히 지지하기 때문입니다.

심지어 현행 용어가 좀 너무 느슨하다는 느낌도 듭니다.

수석 인공 지능 기술 및 정책 연구원으로서 우리는 캘리포니아 상원 법안 1047에 대한 강력한 지지를 표명하기 위해 글을 씁니다. SB 1047은 이 기술의 효과적인 규제를 위한 기본 요구 사항을 설명합니다. 라이선스 시스템을 구현하지 않고, 기업이 모델을 훈련하거나 배포하기 전에 정부 기관의 허가를 받도록 요구하지 않으며, 기업이 스스로 위험을 평가하도록 의존하고, 재해 발생 시에도 기업에 엄격한 책임을 묻지 않습니다. 이는 우리가 직면한 위험의 규모에 비해 비교적 관대한 법안입니다. 법안의 기본 조치를 취소하는 것은 역사적인 실수가 될 것입니다. 이 실수는 더욱 강력한 차세대 AI 시스템이 출시되는 1년 후에 더욱 명백해질 것입니다.

오늘날 SB 1047은 일부 미국 의원, 유명 AI 연구자, 대규모 기술 기업 및 벤처 캐피탈리스트의 강력한 반대에도 불구하고 캘리포니아 주의회에서 비교적 쉽게 통과되었습니다.

다음으로 SB 1047은 최종 투표를 위해 캘리포니아 의회로 갈 것입니다. 최신 수정 사항이 추가됨에 따라 법안이 통과된 후 투표를 위해 캘리포니아 상원으로 다시 보내야 합니다.

이 두 표가 모두 통과되면 SB 1047이 주지사에게 보내져 최종 거부권이나 법률 서명을 기다리게 됩니다.

어떤 모델과 회사가 제약을 받게 될까요?

SB 1047의 요구 사항에 따르면 모델을 개발하는 개발자나 회사는 AI 모델이 "상당한 피해"를 유발하는 데 사용되는 것을 방지할 책임이 있습니다.

대량 살상 무기를 만들거나 5억 달러 이상의 비용이 드는 사이버 공격을 시작하는 등의 작업이 가능합니다. 그런데 CrowdStrike의 "글로벌 Windows 블루 스크린 사건"으로 인해 50억 달러 이상의 손실이 발생했습니다.

그러나 SB 1047의 규칙은 매우 큰 AI 모델에만 적용됩니다. 즉, 훈련 비용이 최소 1억 달러이고 부동 소수점 연산이 10^26개 이상입니다. (기본적으로 GPT-4의 훈련 비용 기준)

메타의 차세대 라마 4에 필요한 연산량이 10배 증가해 SB 1047 감독도 받게 된다고 한다.

오픈 소스 모델과 미세 조정된 버전의 경우 원본 개발자가 책임을 집니다. 비용이 원래 모델의 3배에 도달하지 않는 한.

이런 관점에서 볼 때 르쿤의 반응이 그토록 격렬했던 것은 당연하다.

또한 개발자는 AI 모델 위험을 해결하는 테스트 절차를 작성해야 하며 매년 제3자 감사자를 고용하여 AI 보안 관행을 평가해야 합니다.

모델을 기반으로 구축된 AI 제품의 경우 전체 AI 모델을 종료하는 '비상 중지' 버튼을 포함하여 남용을 방지하기 위해 해당 보안 프로토콜을 개발해야 합니다.

등……

SB 1047의 현재 기능은 무엇입니까?

현재 SB 1047은 더 이상 캘리포니아 법무장관이 재난이 발생하기 전에 부주의한 안전 조치를 이유로 AI 회사를 고소하는 것을 허용하지 않습니다. (Anthropic의 제안)

대신 캘리포니아 법무장관은 회사가 위험하다고 간주하는 작업을 중단하도록 요구하는 금지 명령을 구할 수 있으며, AI 모델이 재앙적인 사건으로 이어질 경우 AI 개발자를 고소할 수도 있습니다.

SB 1047은 원래 법안에 포함되었던 새로운 정부 기관 "Frontier Modeling Division(FMD)"을 더 이상 설립하지 않습니다.

그러나 FMD의 핵심인 프론티어모형위원회는 여전히 기존 정부운영청 내에 설치·배치되었으며, 그 규모도 기존 5명에서 9명으로 확대됐다. 위원회는 해당 모델에 대한 계산 임계값을 설정하고, 안전 지침을 발행하고, 감사자를 위한 규정을 발행할 것입니다.

SB 1047은 또한 AI 모델의 안전을 보장하는 것과 관련하여 좀 더 느슨한 표현을 사용합니다.

이제 개발자는 이전에 요구했던 "합리적인 보증"이 아닌 AI 모델이 심각한 재난 위험을 초래하지 않도록 "합리적인 관리"만 제공하면 됩니다.

또한 개발자는 보안 조치를 간략하게 설명하는 공개 "성명서"만 제출하면 되며, 위증 시 처벌을 받는다는 조건 하에 더 이상 보안 테스트 결과 인증을 제출할 필요가 없습니다.

오픈 소스 미세 조정 모델에 대한 별도의 보호도 있습니다. 누군가가 모델을 미세 조정하는 데 1천만 달러 미만을 지출한 경우 해당 사람은 개발자로 간주되지 않으며 책임은 해당 모델의 원래 대규모 개발자에게 있습니다.

Li Feifei는 한때 개인적으로 비판하는 기사를 썼습니다.

SB 1047이 AI 산업에 미친 영향은 Fortune지의 "AI 대모" Li Feifei의 칼럼에서 확인할 수 있습니다.

“법률이 되면 SB 1047은 미국의 초기 AI 생태계, 특히 공공 부문, 학계, 소규모 기술 기업 등 이미 불리한 부분에 해를 끼칠 것입니다. SB 1047은 개발자를 불필요하게 처벌하고 오픈 소스 커뮤니티를 억압하며 학계를 제한할 것입니다. 연구 역시 실제 문제를 해결하지 못합니다.”

첫째, SB 1047은 개발자를 부당하게 처벌하고 혁신을 억제할 것입니다.

AI 모델이 오용되는 경우 SB 1047은 책임 있는 당사자와 모델의 원래 개발자에게 책임을 돌립니다. 모든 AI 개발자, 특히 신진 프로그래머와 기업가의 경우 모델의 가능한 모든 용도를 예측하는 것은 불가능합니다. SB 1047은 개발자가 방어 조치를 취하도록 강제합니다. 이는 어떤 대가를 치르더라도 피해야 하는 조치입니다.

둘째, SB 1047은 오픈 소스 개발을 제한합니다.

SB 1047은 특정 임계값을 초과하는 모든 모델에 언제든지 프로그램을 종료할 수 있는 메커니즘인 "비상 정지 버튼"을 포함하도록 요구합니다. 개발자가 자신이 다운로드하고 구축한 프로그램이 삭제될까 봐 걱정한다면 코딩이나 협업을 더욱 주저하게 될 것입니다. 이 비상 정지 버튼은 AI뿐만 아니라 GPS, MRI, 인터넷 자체와 같은 다양한 분야의 수많은 혁신 소스에서 오픈 소스 커뮤니티에 심각한 영향을 미칠 것입니다.

셋째, SB 1047은 공공 부문과 학계의 AI 연구를 무력화시킬 것입니다.

오픈소스 개발은 민간 부문에서 중요하지만, 협업과 모델 데이터에 대한 액세스 없이는 진전을 이룰 수 없는 학계에서는 더욱 중요합니다. 연구자들이 적절한 모델과 데이터에 접근할 수 없다면 차세대 AI 리더를 어떻게 교육할 수 있습니까? 비상 정지 버튼은 이미 데이터와 컴퓨팅에 불리한 입장에 있는 학계를 더욱 약화시킬 것입니다. SB 1047은 공공 부문 AI에 더 많은 투자를 해야 하는 시점에 학술 AI에 치명적인 타격을 줄 것이다.

가장 걱정스러운 점은 SB 1047이 편견과 딥페이크를 포함한 AI 발전의 잠재적인 위험을 다루지 않는다는 것입니다. 대신 일정량의 컴퓨팅 성능이나 훈련에 1억 달러가 드는 모델 등 매우 임의적인 임계값을 설정합니다. 이 조치는 보호를 제공하지 못할 뿐만 아니라 학계를 포함한 다양한 분야의 혁신을 제한할 것입니다.

Li Feifei는 AI 거버넌스에 반대하지 않는다고 말했습니다. AI의 안전하고 효과적인 개발을 위해서는 법률이 매우 중요합니다. 그러나 AI 정책은 오픈 소스 개발을 지원하고 통일되고 합리적인 규칙을 설정하며 소비자 신뢰를 구축해야 합니다.

분명히 SB 1047은 이러한 표준을 충족하지 않습니다.

참고자료:

https://techcrunch.com/2024/08/15/california-weakens-bill-to-prevent-ai-disasters-before-final-vote-take-advice-from-anthropic/

https://techcrunch.com/2024/08/15/california-ai-bill-sb-1047-aims-to-prevent-ai-disasters-but-silicon-valley-warns-it-will-cause-one/

https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/