2024-08-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
(이미지 출처: AI 생성 이미지)
베이징 시간으로 8월 16일, 논란이 되고 있는 캘리포니아의 프론티어 AI 모델 안전 혁신법(이후 캘리포니아 AI 안전법 SB 1047로 알려짐)이 관련 조항을 크게 약화시킨 뒤 마침내 캘리포니아 하원 세출위원회의 검토를 통과했습니다.
캘리포니아 상원의원 Wiener 팀은 TechCrunch에 이 법안이 AI 회사 Anthropic 및 기타 반대자들이 제안한 몇 가지 수정 사항을 추가했으며 마침내 캘리포니아 세출 위원회를 통과하여 몇 가지 주요 변경 사항이 포함된 법이 되기 위한 중요한 단계를 밟았다고 말했습니다.
Wiener 상원의원은 성명을 통해 "우리는 제안된 매우 합리적인 수정안을 받아들였으며 Anthropic과 업계의 많은 다른 사람들이 표현한 핵심 우려 사항을 해결했다고 믿습니다"라고 말했습니다. "이 개정안은 혁신의 중요한 원천인 오픈 소스 커뮤니티의 고유한 요구 사항을 수용하기 위해 SB 1047에 대한 이전의 중요한 변경 사항을 기반으로 합니다."
SB 1047은 대규모 AI 시스템으로 인해 많은 사람이 사망하거나 5억 달러가 넘는 손실이 발생하는 사이버 보안 사고를 개발자에게 책임을 묻는 방식으로 방지하는 것을 여전히 목표로 하고 있습니다. 그러나 이 법안은 이제 캘리포니아 정부가 AI 연구소에 책임을 물을 수 있는 권한을 줄였습니다. 국가 차원의 규제 어려움이라는 딜레마에서 이는 미국 AI 규제의 중요한 단계가 되었습니다.
그러나 리페이페이(Li Feifei), 양리쿤(Yang Likun) 등 AI 업계 일부 사람들은 이것이 결국 캘리포니아주뿐 아니라 AI 분야에서 미국의 주도적 지위에도 타격을 줄 것이라고 믿고 있다. 수백 명의 기업가들이 인큐베이터 YC가 작성한 반대 서한에 서명했고, 캘리포니아의 100명 이상의 학자들도 이 법안에 반대하는 서한을 발행했습니다. 벤처 캐피털 기관인 a16z는 이 법안의 6가지 죄악을 구체적으로 설명하는 웹사이트를 개설했습니다. 현재 미국 전역에서 많은 AI 법안이 논의되고 있지만 캘리포니아주의 프론티어 인공지능 모델 안전혁신법(Frontier Artificial Intelligence Model Safety Innovation Act)은 가장 논란이 많은 법안 중 하나가 됐다.
국내 기업의 경우 이 법안은 클라우드 서비스 제공업체가 고객 정보, IP 주소, 결제 방법 및 기타 정보를 수집하도록 요구하여 규제 당국의 추적 작업을 용이하게 합니다. 후속 통제가 더욱 강화되면 이는 훈련을 위해 해외 컴퓨팅 성능을 사용하는 일부 중국 AI 회사가 직면한 규제 위험이 될 수 있습니다.
그렇다면 이제 캘리포니아 AI 법안이 통과되었는데, 중국과 미국 AI 산업에 어떤 영향을 미칠까요? 티타늄 미디어AGI이 법안과 그 뒤에 숨겨진 일부 정보를 설명하기 위해 6가지 질문과 답변을 정리하세요.
캘리포니아의 AI 법안인 SB 1047은 대규모 AI 모델이 인간에게 "심각한 피해"를 입히는 데 사용되는 것을 방지하려고 합니다.
법안에는 "심각한 피해"의 사례가 나열되어 있습니다. 예를 들어, 악의적인 행위자는 AI 모델을 사용하여 대규모 사상자를 발생시키는 무기를 만들거나 AI 모델에 5억 달러 이상의 피해를 입힌 사이버 공격을 조율하도록 지시했습니다.크라우드스트라이크 이로 인해 발생한 비용은 50억 달러 이상인 것으로 추산됩니다.) 이 법안은 개발자(즉, 모델을 개발하는 회사)가 그러한 결과를 방지하기 위해 적절한 보안 프로토콜을 구현하도록 요구합니다.
SB 1047의 규칙은 세계 최대 AI 모델에만 적용됩니다. 즉, 비용이 최소 1억 달러 이상이고 훈련 중에 10^26 FLOPS를 사용하는 모델입니다. 이는 엄청난 양의 컴퓨팅이지만 오픈AI CEO인 샘 알트만(Sam Altman)은 GPT-4를 훈련시키는 데 그 정도의 비용이 들 것이라고 말했습니다. 필요에 따라 이러한 임계값을 높일 수 있습니다.
현재 이러한 요구 사항을 충족할 만큼 큰 공공 AI 제품을 개발한 기업은 거의 없지만 OpenAI, Google, Microsoft와 같은 거대 기술 기업은 곧 그렇게 할 수도 있습니다. AI 모델(기본적으로 데이터의 패턴을 식별하고 예측하는 대규모 통계 엔진)은 일반적으로 확장됨에 따라 더욱 정확해지며 많은 사람들은 이러한 추세가 계속될 것으로 예상합니다. Mark Zuckerberg는 최근 Meta의 차세대 Llama에는 10배 더 많은 컴퓨팅 성능이 필요하므로 SB 1047의 적용을 받게 될 것이라고 말했습니다.
가장 주목할 만한 점은 이 법안은 더 이상 캘리포니아 법무장관이 재난이 발생하기 전에 부주의한 안전 조치를 이유로 AI 정보 회사를 고소하는 것을 허용하지 않는다는 것입니다. 이것이 Anthropic이 제안하는 것입니다.
대신 캘리포니아 법무장관은 회사가 위험하다고 간주하는 작업을 중단하도록 요구하는 금지명령구제를 구할 수 있으며, AI 모델이 재앙적인 사건을 야기하는 경우 AI 개발자를 고소할 수도 있습니다.
새로운 캘리포니아 AI 법안에서는 FMD(Frontier Model Department) 기관이 더 이상 존재하지 않을 것이라고 발표했습니다. 그러나 이 법안은 여전히 FMD의 핵심인 프론티어 모델 위원회(Frontier Model Commission)를 설립하고 이를 기존 정부 운영 기관 내에 배치합니다. 실제로 위원회는 이제 5명이 아닌 9명으로 더 커졌습니다. Frontier Models Council은 해당 모델에 대한 계산 임계값을 계속 설정하고 안전 지침을 발행하며 감사자를 위한 규정을 발행할 것입니다.
개정 법안의 가장 큰 조정 사항은 캘리포니아 법무장관이 더 이상 재앙이 발생하기 전에 안전 문제를 무시한 AI 기업을 고소할 수 없다는 점이다. 원래 법안에는 감사관이 AI 기업이 일상 업무에서 불법적인 활동을 한다는 사실을 발견하는 한 해당 기업을 기소할 수 있다고 명시되어 있습니다. 이는 법안의 규제 초점이 실제 피해로 전환되었음을 의미하며 기업에 대한 규정 준수 압력도 줄어들 것입니다.
마지막으로, 이 법안은 또한 모델링 회사 내 직원이 안전하지 않은 AI 모델에 대한 정보를 캘리포니아 법무장관에게 공개하려고 시도하는 경우 내부 고발자 보호를 제공합니다.
대부분의 미국 기술 기업과 AI 스타트업은 캘리포니아에서 운영되며 법안의 적용을 받게 됩니다. 특히 이 법안은 "최첨단 AI 모델"에 중점을 두고 있으며, 훈련 모델에 대한 컴퓨팅 성능 비용이 1억 달러를 초과하는 개발자만 규제 요건을 충족해야 합니다. 앞으로는 Llama 4와 GPT-5가 주요 규제 대상이 될 수 있습니다.
이 법안에 따르면 모델 개발 회사의 최고 기술 책임자(CTO)는 AI 모델의 잠재적 위험, 보안 프로토콜의 효율성, 회사가 SB 1047을 준수하는 방법에 대한 설명을 평가하는 연간 인증서를 FMD에 제출해야 합니다. 위반 알림과 마찬가지로 'AI 보안 사고'가 발생하면 개발자는 사고를 인지한 후 72시간 이내에 이를 FMD에 보고해야 합니다.
SB 1047은 개발자가 이러한 조항을 준수하지 않는 경우 캘리포니아 법무장관이 개발자를 상대로 민사 소송을 제기할 수 있도록 허용합니다. 학습 비용이 1억 달러인 모델의 경우 벌금은 첫 번째 위반의 경우 최대 1,000만 달러, 후속 위반의 경우 최대 3,000만 달러에 이를 수 있습니다. AI 모델의 가격이 높아질수록 벌금 비율도 높아집니다.
위반이 발생하면 기업은 미화 1,000만 달러에서 3,000만 달러에 이르는 벌금을 물게 될 수 있으며, 이 금액은 모델 훈련 비용이 증가함에 따라 증가합니다.
또한, 모델개발자 및 컴퓨팅클러스터 운영자가 위 규정을 준수하지 아니하여 막대한 피해를 끼친 경우, 실제로 위법행위가 발생하였다고 판단되면 법원은 다음과 같은 처벌을 부과할 수 있다.
1. 2026년 이후 불법행위의 경우, 최초로 법을 위반한 업체를 처벌클라우드 컴퓨팅벌금은 시장 훈련 범위 내 모델 평균 비용의 10% 이내입니다. 후속 위반의 경우 벌금 금액은 이 비용의 30%를 초과할 수 없습니다(범위 내 모델에 대해 정의된 미화 1억 달러 기준을 기준으로 계산). 법안에 따르면 첫 번째 위반에 대한 벌금은 최소 미화 1천만 달러입니다.
2. 법원은 해당 범위 내에서 모델과 해당 개발자가 통제하는 모든 파생 상품을 수정, 완전히 종료 또는 삭제하는 것을 포함하되 이에 국한되지 않는 금지 명령을 선언할 수도 있습니다.
그러나 범위 내 모델의 수정, 폐쇄, 삭제에 대한 처벌은 다른 사람의 사망, 심각한 신체 부상, 재산 피해 또는 공공 안전에 심각한 위협을 초래하는 경우에만 적용될 수 있습니다.
이 법안은 미국 국회의원, 저명한 AI 연구자, 거대 기술 기업, 벤처 캐피탈리스트의 강력한 반대에도 불구하고 상대적으로 쉽게 캘리포니아 주의회를 통과했습니다. 이 개정안은 SB 1047 반대자들을 달래고 뉴섬 주지사에게 AI 업계의 지지를 잃지 않고 법안에 서명할 수 있는 논란의 여지가 적은 법안을 제공할 수 있습니다.
오늘날 점점 더 많은 기술 전문가들이 캘리포니아 AI 법안에 반대하고 있습니다.
Anthropic은 결정을 내리기 전에 SB 1047의 변경 사항을 검토하고 있다고 말했습니다. 회사의 이전 개정 제안 중 일부가 Wiener 상원의원에 의해 채택된 것은 아닙니다.
잘 알려진 벤처 캐피탈 회사인 a16z는 공식 웹사이트에 캘리포니아 AI 안전법의 "6가지 죄악"을 나열했습니다.
이 법안은 캘리포니아의 AI 투자 및 개발에 냉각 효과를 미칠 것입니다.
이 법안은 불분명한 결과에 따라 개발자/개발자를 처벌합니다. 관련 테스트가 아직 존재하지 않습니다.
이 법안의 모호한 정의와 엄격한 법적 책임은 AI 개발자와 사업주에게 상당한 불확실성과 경제적 위험을 초래합니다.
이 법안은 AI 연구를 지하로 강제하고 의도치 않게 AI 시스템을 덜 안전하게 만들 수 있습니다.
이 법안은 캘리포니아의 혁신과 중소기업의 중심에 있는 오픈 소스 및 스타트업 개발자에게 시스템적 불이익을 초래합니다.
이 법안은 미국의 AI 연구와 혁신을 방해하고 중국 등 국가가 AI 분야에서 미국을 능가할 수 있는 기회를 제공한다.
a16z의 창립 파트너인 Andreessen Horowitz는 캘리포니아의 AI 법안이 좋은 의도로 만들어졌지만, 기술의 미래가 중대한 갈림길에 섰을 때 잘못된 정보로 인해 미국 기술 산업이 약화될 수 있다고 믿습니다. 미국은 지도자들이 지금이 AI에 대한 스마트하고 통합된 규제 조치가 필요한 중요한 순간이라는 점을 인식해야 합니다.
스탠포드 대학의 Li Feifei 교수는 Fortune지 웹사이트에 반대 이유를 자세히 설명하는 기사를 게재했습니다. 그녀는 이 법안의 주요 문제점은 다음과 같은 4가지 사항이라고 생각합니다. 이 법안은 개발자를 과도하게 처벌하고 "킬 스위치"를 억제할 수 있습니다. 오픈 소스 개발 작업을 제한하고, 학계와 공공 부문의 AI 연구를 약화시켜 잠재적으로 학계가 더 많은 자금을 받지 못하게 하고 편견이나 딥페이크와 같은 AI 발전으로 인한 잠재적 피해를 해결하지 않습니다.
또한 YC 인큐베이터가 지원하는 수백 개의 스타트업은 이 법안이 업계 및 개발자 생태계에 네 가지 부정적인 영향을 미칠 수 있다고 공동으로 믿고 있습니다.
이 법안은 개발자가 아닌 도구 남용자를 처벌해야 합니다. 개발자가 모델의 적용 가능성을 예측하기 어려운 경우가 많으며, 위증죄로 인해 개발자가 감옥에 갈 수도 있습니다.
규제 임계값은 기술 개발의 역학을 적절하게 포착할 수 없습니다. 캘리포니아 외 기업은 AI 기술을 보다 자유롭게 개발할 수 있게 되며 이는 캘리포니아의 혁신에 영향을 미칠 수 있습니다.
"킬 스위치"(개발자가 모델을 끌 수 있는 능력을 의미)는 오픈 소스 AI 개발을 금지하고 오픈 소스 협업 및 투명성을 저해할 수 있습니다.
법안의 언어가 모호해 판사가 임의로 해석할 수도 있다.
Meta의 수석 과학자이자 2018년 Turing Award를 수상한 Yann LeCun도 이 법안에 반대했습니다. 그는 해당 범위 내 모델의 위험이 정확하게 평가되지 않으면 공동 및 여러 책임 조항에서 오픈 소스가 플랫폼이 책임을 져야 할 수도 있습니다.
스탠포드 대학교 컴퓨터 공학과 및 전기 공학과의 방문 교수인 Andrew Ng는 캘리포니아 SB-1047 법안이 오픈 소스 대형 모델의 개발을 방해할 것이라고 썼습니다. 법안은 대형 모델 자체보다는 AI 애플리케이션을 규제해야 합니다.
그는 캘리포니아가 대형 모델 오픈 소스에 대해 제안한 SB 1047 법안이 초래한 엄청난 피해에 여전히 충격을 받았습니다. 이 법안은 심각하고 근본적인 실수를 범하고 있다. 규제해야 할 것은 오픈소스 대형 모델 자체가 아니라 대형 모델을 통해 개발된 생성 AI 제품이다.
Ng는 또한 SB 1047이 개발자에게 오픈 소스 대형 모델을 오용, 수정 및 불법 파생 AI 제품 개발로부터 보호하도록 요구한다고 믿습니다. 그러나 개발자가 이러한 동작을 어떻게 보호하고 정의해야 하는지는 여전히 매우 모호하며 자세한 규정도 없습니다.
따라서 Andrew Ng는 모든 사람에게 SB 1047 법안을 보이콧할 것을 강력히 촉구합니다. 그는 이 법안이 통과되면 오픈 소스 대형 모델의 혁신에 엄청난 타격을 줄 것이며 동시에 캘리포니아는 SB 1047 법안에 대한 의욕을 잃게 될 것이라고 믿습니다. AI 혁신.
야당에 비해 현재 캘리포니아 AI 법안을 지지하는 일부 기술 전문가가 있습니다.
그중 뉴섬 캘리포니아 주지사는 SB 1047에 대해 공개적으로 언급한 바는 없지만, 이전에 캘리포니아의 AI 혁신에 대한 의지를 표명한 바 있다.
동시에 튜링상 수상자이자 'AI의 대부'인 제프리 힌튼(Geoffrey Hinton), 튜링상 수상자 요슈아 벤지오(Yoshua Bengio), 하버드 로스쿨 교수 로렌스 레식(Lawrence Lessig), 인기 AI 교과서 '인공지능: 현대적 접근법(Artificial Intelligence: A Modern Approach)'의 저자이자 교수인 스튜어트 러셀(Stuart Russell) 캘리포니아 대학교 버클리 캠퍼스에서는 캘리포니아 AI 안전법에 대한 지지를 표명하기 위해 캘리포니아 의회에 공동으로 편지를 보냈습니다.
네 명의 학자들은 AI의 위험성에 대해 깊이 우려하고 있으며, 캘리포니아의 AI 안전법은 AI 기술을 효과적으로 규제하기 위한 최소한의 요건이라고 지적했다. "이 법안에는 라이선스 시스템이 없으며 기업이 모델을 훈련하거나 배포하기 전에 정부 기관의 허가를 받도록 요구하지 않습니다. 이는 기업의 자체 위험 평가에 의존하며 재해 발생 시에도 기업에 엄격한 책임을 묻지 않습니다. 위험은 이것이 매우 느슨한 법안이라는 것입니다. AI를 규제하는 현행법은 샌드위치 가게를 규제하는 것만큼 엄격하지 않습니다. 차세대에서는 더욱 엄격해질 것입니다. 강력한 AI 시스템이 출시되면 이 오류는 더욱 분명해질 것입니다."
"40년 전 내가 훈련할 때 채팅GPT 도구 뒤에 숨겨진 AI 알고리즘의 첫 번째 버전이 나왔을 때, 나 자신을 포함해 그 누구도 AI가 이렇게 큰 발전을 이룰 것이라고 예상하지 못했을 것입니다. 강력한 AI 시스템은 놀라운 가능성을 가지고 있지만 위험도 매우 현실적이므로 매우 심각하게 받아들여야 합니다. SB 1047은 이러한 문제의 균형을 맞추기 위해 매우 현명한 접근 방식을 취합니다. 저는 과학과 의학을 개선하여 생명을 구할 수 있는 AI의 잠재력에 여전히 열정을 갖고 있지만, 위험을 해결하기 위해서는 진정으로 강력한 법안을 개발해야 합니다. 캘리포니아는 이 기술이 시작된 곳이기 때문에 이 기술의 출발점입니다. 힌튼이 말했다.
네 명의 학자들은 서신에서 이러한 위험이 근거가 없거나 실제인지 여부에 관계없이 관련 당사자가 위험을 완화할 책임을 져야 한다고 강조했습니다. "이 시스템을 가장 잘 이해하는 전문가 그룹"으로서 그들은 이러한 위험이 가능하고 보안 테스트와 상식적인 예방 조치가 필요할 만큼 중요하다고 믿습니다.
이 법안의 작성자인 캘리포니아 상원의원 Scott Wiener는 SB 1047이 과거의 소셜 미디어 및 데이터 개인 정보 보호 정책 실패로부터 교훈을 얻고 너무 늦기 전에 시민을 안전하게 보호하는 것을 목표로 한다고 말했습니다.
"기술에 대한 우리의 태도는 피해가 발생할 때까지 기다렸다가 그것에 대해 아무것도 하지 않는 것입니다."라고 Wiener는 말했습니다. "우리는 나쁜 일이 일어나기를 기다리지 않습니다. 우리는 그런 일이 일어나기 전에 행동하고 싶습니다."
개발자는 모델 위험을 예측하지 못했다고 감옥에 가지 않을 것입니다. 첫째, 스타트업 개발자와 학계는 해당 법안이 적용되지 않으므로 걱정할 필요가 없습니다. 둘째, 법안의 위증 조항은 개발자가 "고의로" 허위 진술을 한 경우에만 효력이 발생하며, 모델의 능력에 대한 의도하지 않은 오판은 위증 조항을 유발하지 않습니다(오늘 개정안에서는 이 조항이 삭제되었습니다).
이 법안은 완전히 새로운 책임을 창출하지 않습니다. 현행법에 따르면 모델이 피해를 입힐 경우 모델 개발자와 개인 개발자 모두 고소할 수 있으며, 이는 모든 능력을 갖춘 모델에 적용되며 부상을 입은 모든 개인이 고소할 수 있습니다. 캘리포니아의 새 법안은 규제 범위를 제한할 뿐만 아니라 캘리포니아 법무장관과 노동위원회라는 두 주체에 대한 소송 권리도 제한합니다.
이 법안은 캘리포니아의 혁신을 방해하지 않을 것입니다. 이 법안은 캘리포니아에서 사업을 하는 모든 기업에 적용됩니다. 본사를 캘리포니아 밖으로 이전하더라도 관련 규정을 준수해야 합니다. (Zhixi 참고: 캘리포니아는 GDP 기준으로 세계 5위의 경제 대국이며 완전한 기술 생태계를 갖추고 있습니다. 기술 캘리포니아에서 분리하기가 어렵습니다). 캘리포니아가 데이터 개인 정보 보호법과 환경 보호법을 통과시켰을 때 많은 사람들은 이것이 혁신을 방해할 것이라고 주장했지만 사실은 캘리포니아가 여전히 혁신을 주도하고 있다는 것입니다.
킬 스위치 및 보안 평가 요구 사항은 오픈 소스 AI 개발을 방해하지 않습니다. 이제 법안이 개정되어 오픈소스 AI 보호가 강화되었습니다. 법안의 모델 긴급 중단 요건은 통제되지 않는 오픈 소스 모델을 제외하고 개발자가 통제할 수 있는 모델에만 적용됩니다. 이 법안은 또한 안전하고 신뢰할 수 있는 오픈 소스 AI 개발 노력을 옹호하고 지원하기 위한 새로운 자문 위원회를 설립합니다.
법안에 따르면 회사가 텍사스나 프랑스에서 1억 달러 규모의 모델을 교육했더라도 캘리포니아에서 사업을 하는 한 SB 1047에 의해 보호됩니다. Wiener는 의회가 "지난 25년 동안 기술에 관한 법안을 거의 제정하지 않았다"고 말하면서 캘리포니아가 여기서 선례를 세워야 한다고 생각합니다.
인공지능안전센터(Centre for Artificial Intelligence Safety) 소장인 댄 헨드릭스(Dan Hendrycks)는 "이 법안은 캘리포니아주와 미국 산업계에 장기적으로 이익이 되는 것"이라며 "중요한 안전사고가 향후 발전에 가장 큰 장애물이 될 수 있기 때문"이라고 말했다.
회사를 자유롭게 비판할 수 있는 권리를 대가로 OpenAI 옵션을 자발적으로 포기한 Daniel Kokotajlo를 포함하여 몇몇 전직 OpenAI 직원도 이 법안을 지지했습니다. 그는 AI 발전이 정체될 것이라는 법안에 대한 비판자들의 주장이 아마도 일어나지 않을 것이라고 믿습니다.
수백억 달러 가치의 AI 유니콘인 노션(Notion)의 창업자인 사이먼 라스트(Simon Last)는 이 법안을 지지하며 연방 차원의 AI 법률이 시행하기 어려울 때 캘리포니아를 기술 중심지로 믿는다는 기사를 썼다. 미국은 물론 전 세계가 막중한 책임을 지고 있습니다. 그는 모델 감독이 보안을 강화할 뿐만 아니라 기본 모델을 바탕으로 제품을 만드는 AI 스타트업을 활성화해 중소기업의 부담을 줄일 수 있다고 믿는다.
AI 안전 행동 기금 센터(Center for AI Safety Action Fund)의 수석 정책 고문인 Nathan Calvin은 "SB 1047의 목표는 AI 안전을 향상시키는 동시에 전체 생태계를 혁신하는 것입니다."라고 말했습니다. 목표. "
SB 1047은 이제 최종 투표를 위해 캘리포니아 의회로 이동합니다. 해당 법안이 하원을 통과하면 최신 수정안으로 인해 캘리포니아 상원으로 돌아가 표결을 거쳐야 합니다. 법안이 동시에 통과되면 개빈 뉴섬 캘리포니아 주지사에게 전달돼 8월 말까지 법안 서명 여부를 최종 결정하게 된다.
Wiener는 법안에 관해 Newsom과 이야기한 적이 없으며 자신이 어디에 있는지 모른다고 말했습니다.
