소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

똑똑한 것들
저자 첸 쥔다
편집판켄

Zhidongxi는 8월 16일에 캘리포니아주에서 논란이 되고 있는 '프론티어 AI 모델 안전 혁신법'(나중에 캘리포니아 AI 안전법으로 알려짐)이 발표되었다고 보도했습니다.크게 약화됨이후 캘리포니아 하원 세출위원회의 검토를 성공적으로 통과했습니다.국가 차원의 법적 어려움 규제딜레마 속에서 이는 미국이 AI를 규제하는 중요한 단계가 되었습니다. 그러나 기술계의 일부 사람들은 이것이라고 믿습니다.이는 궁극적으로 캘리포니아주뿐 아니라 AI 분야에서 미국의 선도적 지위에도 해를 끼칠 것입니다.

개정안의 가장 큰 변화는더 이상 허용되지 않음캘리포니아주 법무장관은 치명적인 사건이 발생하기 전에 안전 문제를 무시한 AI 회사를 고소했습니다. 원래 법안에는 감사관이 AI 기업이 일상 업무에서 불법적인 활동을 한다는 사실을 발견하는 한 해당 기업을 기소할 수 있다고 명시되어 있습니다. 이는 청구서의 내용을 표시합니다.규제의 초점이 실제 피해로 이동, 또한 그럴 것이다기업에 대한 규정 준수 압력을 줄입니다.

대부분의 미국 기술 기업과 AI 스타트업은 캘리포니아에서 사업을 운영하고 있습니다.법의 적용을 받게 됩니다.특히, 이 법안은 주로 "최첨단 AI 모델"모델 훈련을 위한 컴퓨팅 성능 비용이 1억 달러를 초과하는 개발자만이 규제 요구 사항에 직면하게 됩니다. 기존 모델은 감독 범위에 속하지 않습니다. 앞으로는Llama 4와 GPT-5가 주요 규제 대상일 수 있습니다.

국내 기업의 경우, 오픈소스를 기반으로 미세 조정 및 기타 작업만 수행하는 경우에는 감독 범위에 포함되지 않을 가능성이 높습니다. 그러나 법안은 클라우드 서비스 제공업체가 규제 당국의 추적 작업을 용이하게 하기 위해 고객 정보, IP 주소, 결제 방법 및 기타 정보를 수집하도록 요구합니다. 규제가 더 강화되면 이런 일이 일어날 수도 있다.훈련을 위해 해외 컴퓨팅 성능을 사용하는 일부 중국 AI 회사가 직면한 규제 위험.

감독 범위 내의 기업은적극적인 조치를 취하다모델 남용을 방지하려면 다음 사항도 필요합니다.비상 정지 모델능력. 또한 보안 관행을 설명하는 공개 성명서를 제출해야 합니다. 법안에는 "연간검사” 시스템에서 개발자는 매년 규정 준수 여부를 평가하기 위해 독립적인 감사인을 고용해야 합니다.

불법 행위가 발생하면 기업은 다음과 같은 어려움을 겪을 수 있습니다.1000만 달러에서 3000만 달러에 이른다.이 금액은 모델 학습 비용이 증가함에 따라 증가합니다.

AI 서클은 두 개의 진영으로 나뉘어 치열한 논쟁이 벌어졌다.

2018년 튜링상 수상자제프리 힌튼(제프리 힌튼)조슈아 벤지오(요슈아 벤지오)는 캘리포니아 AI 안전법이 AI 기술에 대한 효과적인 규제라고 믿고 지지를 표명했습니다.최소 요구 사항”。

수백 명의 기업가가 서명했습니다.인큐베이터 YC캘리포니아의 100명이 넘는 학자들도 반대 편지를 썼습니다.벤처캐피탈 기관 a16z스탠포드 대학교 교수는 이 법의 6가지 범죄를 자세히 설명하는 웹사이트를 특별히 만들었습니다.리 페이페이비난하기 위해 특별히 트윗한 요점은 이 법안이 캘리포니아의 AI 투자와 개발을 방해할 것이라는 점입니다.오픈소스 생태계에 심각한 해를 끼치는 행위, AI로 인해 발생하는 실질적인 위험을 다루지 않습니다.

그러나 캘리포니아 AI 규제 법안의 작성자인 캘리포니아주 상원의원 스캇 위너(Scott Wiener)는 a16z와 YC가 이 법안에 대한 일부 비판을 반박했다.고의로 사실을 왜곡하다, 이 법안은 기존 법적 프레임워크 내에서의 최적화이며, 감독의 타당성을 개선하고, 많은 개발자를 감옥에 가두지 않으며, 혁신과 오픈 소스 AI에 해를 끼치지 않을 것입니다.

Zhixixi는 많은 양의 정보를 수집하고 이 법안의 구체적인 내용과 관련 논의를 다음 5가지 질문과 답변으로 요약했습니다.

1. 적용 범위는 무엇입니까? 대부분의 기존 모델은 해당되지 않으며, 라마 4, GPT-5 등도 감리 범위에 포함될 수 있음

효과적인 감독을 달성하기 위해 이 법안은 당초 관련 규정을 시행하는 '프론티어 모델 부서(FMD)'를 창설할 계획이었습니다. 오늘의 개정으로 이 부서는 AI 산업, 오픈 소스 커뮤니티, 학계의 대표를 포함하고 캘리포니아 주지사와 의회가 임명하는 캘리포니아 정부 기관 내 9명으로 구성된 위원회로 전환됩니다. Frontier Models Council은 해당 모델에 대한 계산 임계값을 계속 설정하고 안전 지침을 발행하며 감사자를 위한 규정을 발행할 것입니다.

캘리포니아는 미국은 물론 전 세계 AI 개발의 중심지 중 하나로 수많은 AI 기업을 유치했다. 2024년 포브스(Forbes) 매거진이 선정한 상위 50개 AI 기업 중 30개 이상이 캘리포니아에서 운영되고 있다. 이 법안에 따르면 이들 모두는 캘리포니아 AI 안전법의 관련 조항을 준수해야 합니다. 그러나 이 법의 실제 적용 범위는 모델의 역량에 따라 크게 제한됩니다.아마도 향후 몇 년간은 대형 모델 공간의 주요 업체들만이 이 법안의 규제를 받게 될 것입니다.

▲캘리포니아 AI 규제 법안 일부 스크린샷 (출처: 캘리포니아 상원 공식 홈페이지)

본 법안은 모델 훈련에 사용되는 컴퓨팅 파워와 컴퓨팅 파워 비용을 기준으로 모델이 규제 범위에 포함되어야 하는지, 즉 ''로 분류되는지 여부를 평가합니다.해당 모델” 관련 규정은 다음 두 가지로 요약할 수 있습니다.

1. 2027년 1월 1일 이전 사용10^26및 더 많은 정수 또는 부동 소수점 연산(컴퓨팅 성능의 평균 시장 가격을 기준으로 1억 달러) 또는 사용3*10^25범위 내 모델을 컴퓨팅 성능으로 미세 조정한 후 얻은 모델이 범위 내 모델로 나열됩니다.

2. 2027년 1월 1일 이후, 위 기준은 캘리포니아주에서 시행됩니다.최첨단 모델 레귤레이터평가해 보세요. 부서에서 컴퓨팅 성능 임계값을 수정하는 경우 새 표준이 우선하며, 부서에서 수정이 필요하지 않다고 결정하면 원래 표준이 계속 사용됩니다. 또한 2026년 이후에는 기존 기준의 1억 달러를인플레이션을 고려하여 적절하게 조정하십시오.

그렇다면 현재 출시된 모델 중 어떤 모델이 이 제품군에 포함될까요? OpenAI가 한 논문에서 대략적으로 추정한 모델 훈련에 사용되는 컴퓨팅 성능을 계산하는 방법은 여러 가지가 있습니다.

플롭=6번째

(여기서 N은 매개변수 수이고 D는 토큰 수입니다)

이 계산 방법과 오픈 소스 모델 데이터를 사용하여 현재 모델에서 사용되는 컴퓨팅 성능 수준을 대략적으로 추정할 수 있습니다.

라마 3 70B

700억 개의 매개변수가 있고 훈련 중에 15T 토큰 훈련 데이터를 사용하므로 사용되는 컴퓨팅 성능은 대략 다음과 같습니다.

6*70B*15T= 6.3*10^24 플롭

라마 3.1 405B

4,050억 개의 매개변수가 있고 훈련 중에 15.6T 토큰 훈련 데이터를 사용하므로 사용되는 컴퓨팅 성능은 대략 다음과 같습니다.

6*405B*15.6T=3.79*10^25 플롭

▲Llama 3.1 405B 관련 정보 (출처: Hugging Face)

이 계산 방법은 상대적으로 대략적이며 실제 상황과 크게 다를 수 있지만 여전히 참고적인 의미가 있습니다. 이 결과에 따르면,오픈소스 모델의 왕인 라마 3.1 405B는 현재 법안 범위 내 모델로 등재되지 않는다., 모델이 Llama 3.1 405B의 컴퓨팅 성능을 2.6배 완전히 사용하는 경우에만 범위 내 모델로 나열됩니다.

이 데이터는 이 법안의 저자인 캘리포니아 주 상원의원인 윌리엄 윌슨(William Wilson)이 이 법안에 대한 논란에 대해 공개 서한을 통해 밝힌 내용으로도 뒷받침될 수 있습니다.10^26 FLOP의 컴퓨팅 성능 임계값에 도달한 모델은 없습니다.”。

앞으로도 오랫동안 대다수의 중소 ​​모델 개발업체와 독립 개발자들은 이 법안의 감독에 대해 걱정할 필요가 없을 수도 있습니다. 법안의 컴퓨팅 능력 기준 및 자본 기준에 따르면 주요 규제 대상은 다음과 같습니다.OpenAI、Meta、Google이런 AI 분야의 주요 플레이어들과대규모 투자를 받은 대표적인 스타트업입니다.

OpenAI CEO인 Sam Altman의 공개 성명에 따르면 GPT-4의 훈련 비용은 약 1억 달러에 달합니다. 이 비용에 컴퓨팅 성능 이외의 투자가 포함되어 있는지 여부는 불분명합니다. GPT-5 또는 기타 후속 OpenAI 모델이 출시되는 경우 이 법안의 규제를 받을 수 있습니다. Meta CEO인 Mark Zuckerburg는 Llama 4에 Llama 3.1보다 약 10배의 컴퓨팅 성능이 필요할 것으로 추정했습니다.Llama 4는 향후 제품군 모델로 등재될 몇 안 되는 오픈 소스 모델 중 하나여야 합니다.

2. 기업의 책임은 무엇입니까? 개발자는 '연간 점검'을 실시하고 남용을 적극적으로 방지하며 '킬 스위치'를 장착해야 합니다.

이 법의 관련 조항에 따르면,제품군 모델 개발자주로 다음과 같은 업무를 담당합니다.

1. 구현경영, 기술 및 물리학범위 내 모델과 개발자가 제어하는 ​​범위 내 모델의 파생물을 방지하는 세 가지 보안 보호무단 액세스, 오용 또는 교육 후 수정。

2、적시에 모델을 완전히 종료하는 기능을 달성합니다.

3. 원래 법안에는 모델 개발자가 다음을 보장하기 위해 독립적인 보안 계약에 서명해야 한다고 명시되어 있습니다.심각한 피해(미화 5억 달러 이상의 손실을 초래하는 사이버 공격, 사망 또는 중상을 초래하는 등)를 초래할 위험이 있는 모델 및 파생물은 개발되지 않습니다.계약 내용에 허위 내용이 있는 경우, 위증죄로 처벌을 받습니다.

개정안이는 본 계약의 법적 효과를 크게 약화시킵니다. 현재 모델 개발자는 보안 관행을 간략히 설명하는 공개 성명만 제출하면 됩니다.그러나 이 조항은 더 이상 어떠한 형사적 책임도 부과하지 않으며 관련 기관은 심각한 피해가 발생한 후에만 기소됩니다.

4. 해당 범위 내의 모델 및 그 파생물이 심각한 피해를 야기하거나 조장할 수 있는 경우, 개발자는 이를 단독으로 상업적 또는 공공의 목적으로 사용할 수 없으며, 타인에게 상업적 또는 공공의 이용을 위해 제공할 수 없습니다.

5. 2028년 1월 1일부터 해당 범위 내 모델 개발자는 다음을 수행해야 합니다.매년 1명의 제3자 감사인을 고용합니다., 개발자의 법 요구 사항 준수 여부에 대한 상세하고 객관적인 평가를 수행하고 위반 사항 및 개정 제안을 보고합니다.

6、개정된 법안은 오픈 소스 모델을 미세 조정하기 위한 보호 기능을 추가합니다.법안은 개발자가 범위 내 모델을 미세 조정하는 데 돈을 지출하는 경우 다음과 같이 명시적으로 규정합니다.미화 1천만 달러 미만, 미세 조정 모델의 개발자로 인정되지 않으며, 그 책임은 여전히 ​​원본 모델의 개발자에게 있습니다.

또한, 이 법안은 Amazon Cloud Services(AWS) 및 Microsoft Azure와 같은 클라우드 서비스가클라우드 서비스 제공자의 의무. 고객에게 범위 내 모델을 교육하기에 충분한 컴퓨팅 성능을 제공할 때 클라우드 서비스 제공업체는 다음을 준비해야 합니다.

1. 다음을 포함하여 고객의 기본 신원 정보 및 비즈니스 목적을 얻습니다.고객 신원, IP 주소, 결제 방법 및 출처등. 관련 규정 준수 업무에 대한 흔적을 남기고 기록을 7년 동안 보관해야 합니다.

2. 고객이 실제로 컴퓨팅 성능을 사용하여 범위 내 모델을 교육할 계획인지 평가합니다.

3、모델을 훈련하거나 운영할 때 사용자가 사용하는 컴퓨팅 리소스를 종료하는 기능입니다.

범위 내 모델의 개발자와 클라우드 서비스 제공업체는 또한 다음을 제공해야 합니다.투명하고 통합된 공개 가격표, 가격 책정 및 액세스 프로세스 중에 다음을 확인하세요.차별이나 반경쟁적 행위 금지. 하지만공공 기관, 학술 기관 및 비상업적 연구원무료 또는 할인된 사용 권한을 누릴 수 있습니다. 일부 클라우드 서비스 제공업체는 특정 AI 개발 회사를 유치하거나 지원하기 위해 가격 할인을 사용할 예정입니다. 법안이 공식적으로 발효된 후에는 이러한 행동을 피할 수 없을 수도 있습니다.

법안은 개발자가 모델에서 보안 사고가 발생했다는 사실을 알게 되면,관련 사건은 72시간 이내에 규제 당국에 보고되어야 합니다.. 또한 개발자는 모델이나 그 파생물이 상업적 또는 공공 목적으로 사용되도록 해야 합니다.30일 이내, 이 모델에 대한 준수 선언을 제출하세요. 또한, 부정행위를 신고한 자'내부고발자'는 법의 보호를 받습니다, 회사나 조직은 위법 행위를 폭로한 직원을 예방하거나 보복할 수 없습니다.

3. 불법행위를 어떻게 처벌할 것인가? 미화 1,000만 달러부터 시작하는 벌금으로 인해 모델이 폐쇄되거나 삭제될 수 있습니다.

모델 개발자와 컴퓨팅 클러스터 운영자가 위 규정을 준수하지 않아 큰 피해를 입힐 경우 캘리포니아 법무장관과 노동위원회는 관련 기관을 기소할 권한을 갖습니다. 불법 행위가 발생했다고 판단되면 법원은 다음과 같은 처벌을 부과할 수 있습니다.

1. 2026년 이후 위반의 경우 처음으로 법을 위반한 주체는 클라우드 컴퓨팅 시장의 교육 범위 내에서 모델 평균 비용의 10% 범위 내에서 벌금이 부과됩니다. 이후 위반의 경우 벌금 금액은 부과되지 않습니다. 이 비용의 30%를 초과합니다(범위 내 모델에 대한 청구서에 정의된 1억 달러 기준 계산을 기준으로 함).첫 번째 위반의 벌금은 최소 1천만 달러입니다.）。

2. 법원은 다음과 같은 금지 명령을 내릴 수도 있습니다.범위 내 모델과 해당 개발자가 제어하는 ​​모든 파생 상품을 수정, 완전히 종료 또는 삭제하는 것을 포함하되 이에 국한되지 않습니다.

그러나 범위 내 모델의 수정, 종료 및 삭제에 대한 처벌은 다음과 같은 경우에만 적용됩니다.타인의 사망, 심각한 개인 부상, 재산 피해 또는 공공 안전에 대한 심각한 위협경우에만 사용할 수 있습니다.

4. 법안에 반대하는 사람은 누구입니까? a16z와 YC가 앞장서 홍보 공세를 펼쳤고, 리페이페이와 양리쿤이 트윗으로 질문을 던졌다.

실리콘 밸리의 거대 기술 기업, 수많은 스타트업 및 투자 기관은 캘리포니아의 AI 안전 법안에 대해 강한 의구심과 불만을 표명했습니다.가장 큰 목소리를 내는 곳 중 하나는 실리콘밸리의 유명 벤처캐피탈 회사인 a16z입니다.a16z는 OpenAI, Mistral AI 등 성숙한 선두 AI 기업은 물론, 스탠포드 대학교 리 페이페이(Li Feifei) 교수가 새롭게 설립한 World Labs 등 떠오르는 스타까지 AI 분야의 풍부한 투자 포트폴리오를 보유하고 있습니다. 이들 기업은 규모와 자금조달 규모가 더 크고,그들이 개발하고 미세 조정한 모델은 규제 범위에 포함될 수 있습니다.

▲a16z의 반론 일부 (출처:stopsb1047.com)

a16z는 먼저 비용을 지불하고 웹사이트를 구축하고 방문자에게 웹사이트에서 간단히 편집하여 직접 보낼 수 있는 이의서용 템플릿을 제공했습니다. a16z는 또한 이 웹사이트에 캘리포니아 AI 안전법에 대한 "6가지 죄악"을 나열했습니다.

1. 이 법안은 캘리포니아의 AI 투자 및 개발에 냉각 효과를 미칠 것입니다.

2. 이 법안은 불분명한 결과에 따라 개발자/개발자를 처벌합니다. 관련 테스트가 아직 존재하지 않습니다.

3. 법안의 모호한 정의와 엄격한 법적 책임은 AI 개발자와 사업주에게 큰 불확실성과 경제적 위험을 가져왔습니다.

4. 이 법안은 AI 연구를 지하로 강제하고 AI 시스템의 보안을 의도치 않게 저하시킬 수 있습니다.

5. 이 법안은 캘리포니아의 혁신과 중소기업의 중심에 있는 오픈 소스 및 스타트업 개발자에게 시스템적 불이익을 초래합니다.

6. 이 법안은 미국의 AI 연구 및 혁신을 억제하고 중국 등 국가가 AI 분야에서 미국을 능가할 수 있는 기회를 제공합니다.

많은 a16z 투자 기업의 창업자들도 캘리포니아 AI 안전법에 반대 의사를 표명했습니다. Li Feifei는 이 법안에 네 가지 주요 문제가 있다고 믿고 반대 이유를 자세히 설명하는 기사를 Fortune 잡지 웹사이트에 게재했습니다.

1. 개발자를 과도하게 처벌하면 혁신이 저해될 수 있습니다.

2. "킬 스위치"는 오픈 소스 개발 작업을 제한하고 오픈 소스 커뮤니티를 파괴합니다.

3. 학계와 공공 부문의 AI 연구를 약화시키고, 학계가 더 많은 자금을 받지 못하게 될 수도 있습니다.

4. 편견이나 딥페이크 등 AI의 발전으로 인해 발생할 수 있는 잠재적 피해를 다루지 않습니다.

▲Li Feifei는 캘리포니아 AI 안전 법안에 반대합니다. (출처: X Platform)

그러나 댓글 영역의 많은 네티즌들은 이 발언에 동의하지 않았습니다. 그들은 리 페이페이에게 a16z와의 이해 관계를 공개할 것을 촉구했습니다.

▲ 일부 네티즌들은 리페이페이의 중립성에 의문을 제기했다. (출처: X Platform)

YC는 미국에서 가장 유명하고 영향력 있는 인큐베이터로서 많은 AI 스타트업의 요람입니다.현재 주요 운영 위치는 캘리포니아에 있습니다.2024년 YC 겨울 배치의 260개 스타트업 중 절반 이상이 AI와 관련되어 있습니다. YC는 또한 이 법안이 업계와 개발자 생태계에 부정적인 영향을 미칠 수 있다고 믿습니다.

1、이 법안은 개발자가 아닌 도구 남용자를 처벌해야 합니다.개발자가 모델의 적용 가능성을 예측하기 어려운 경우가 많으며 개발자는 위증죄로 감옥에 갈 수도 있습니다.

2. 규제 임계값은 기술 개발의 역학을 완전히 포착할 수 없습니다. 캘리포니아 외 기업은 AI 기술을 보다 자유롭게 개발할 수 있게 되며 이는 캘리포니아의 혁신에 영향을 미칠 수 있습니다.

3. “킬 스위치(개발자가 모델을 끌 수 있는 능력을 의미)”는 오픈소스 AI 개발을 금지하고 오픈소스 협업 및 투명성을 저해할 수 있습니다.

4. 법안의 표현이 비교적 모호하다.판사 마음대로 해석될 가능성이 크다.。

YC의 성명서는 수백 개의 스타트업으로부터 공동 지지를 받았다. YC는 캘리포니아에서도 AI 규제 관련 컨퍼런스를 다수 개최해 양측이 소통할 수 있도록 했다.

Meta의 수석 과학자이자 2018년 Turing Award를 수상한 Yann LeCun도 이 법안에 반대했습니다.공동 및 여러 책임 조항.그는 오픈 소스 플랫폼이 범위 내 모델의 위험을 정확하게 평가하지 못하면 책임을 질 수 있다고 우려합니다.

오늘날 오픈 소스 AI 모델 분야에서 가장 중요한 역할을 하는 Meta Corporation은 반대 편지에서 이 법안이 모델 보안을 보장하기 위한 요구 사항이 비현실적이기 때문에 오픈 소스 개발자가 오픈 소스일 때 큰 법적 위험을 감수하도록 강요한다고 썼습니다. . 그들은 캘리포니아 의원들이 다른 국가와 지역의 관련 법률을 참조할 것을 권고합니다.EU AI법의 투명성 및 "레드팀 테스트" 요구사항 등. 마이크로소프트(Microsoft), 구글(Google), 오픈AI(OpenAI)도 이 법안에 대해 부정적인 입장을 밝혔다.

독특한 'B사 구조'를 지닌 AI 스타트업 앤트로픽은 이 법안에 반대하는 많은 목소리 중 하나다. 하지만 다른 기업들과 달리 법안 통과를 막으려 하지 않고 법안 개정에 동참한다. , 입법부는 개선을 위한 제안을 자세히 설명하는 편지를 썼습니다. 전반적으로 Anthropic은 다음과 같이 믿습니다.법안은 '피해 전 집행'에서 '결과 기반 억제'로 바뀌어야 한다.. 그들은 또한 규제가 더욱 엄격해지고, 최첨단 AI 안전에 초점을 맞추고, 연방 요구 사항의 중복을 피하기를 원합니다.

5. 법안을 지지하는 사람은 누구입니까? Hinton Bengio가 지지 편지를 썼고, 상원의원은 a16z가 루머를 퍼뜨렸다고 비난했습니다.

캘리포니아 AI 안전법안은 제안되자마자 논란에 직면했지만, 많은 학자와 업계 관계자는 이러한 규제를 지지한다. 8월 7일, 이 법안이 다시 한번 비난의 물결에 직면한 가운데, 튜링상 수상자이자 'AI의 대부'가 된 인물.제프리 힌튼(제프리 힌튼), 저명한 AI 학자, 튜링상 수상자조슈아 벤지오(Yoshua Bengio), 사이버 공간 법률 전문가, 하버드 로스쿨 교수로렌스 레식(로렌스 레시그), 인기 AI 교과서 "인공지능: 현대적 접근법"의 저자이자 버클리 캘리포니아대학교 교수스튜어트 러셀(스튜어트 러셀)은 캘리포니아 주 의회에 공동으로 편지를 보내 캘리포니아 AI 안전법에 대한 "강력한 지지"를 표명했습니다.

▲저명 학자 4명이 캘리포니아 AI 안전법을 지지하는 서한을 썼다 (출처: safesecureai)

4명의 학자들은 AI의 위험에 대해 깊은 우려를 표하며 캘리포니아의 AI 안전법은 AI 기술을 효과적으로 규제하기 위한 최소한의 요구 사항이라고 말했습니다.

이 법안에는 라이선스 시스템이 없으며 기업이 모델을 교육하거나 배포하기 전에 정부 기관으로부터 허가를 받도록 요구하지 않습니다. 이는 기업의 자체 위험 평가에 의존하며, 재해 발생 시에도 기업에 엄격한 책임을 묻지 않습니다.

우리가 직면한 위험과 관련하여,이것은 매우 느슨한 법안이다.. 현재 AI에 적용되는 법률은 샌드위치 가게를 규제하는 법률만큼 엄격하지 않으며, 이 근본적인 조치를 제거하는 것은역사적 실수——1년 후, 보다 강력한 차세대 AI 시스템이 출시되면 이 오류는 더욱 명백해질 것입니다.

그들은 또한 다음과 같이 강조했다.이러한 위험이 근거가 없거나 실제인지 여부와 관계없이, 모든 관련 당사자는 위험을 완화할 책임을 져야 합니다. "이러한 시스템을 가장 잘 아는 전문가 그룹"으로서 그들은 이러한 위험이 가능하고 우리가 이를 해결해야 할 만큼 중요하다고 믿습니다.안전 테스트 및 상식 예방 조치。

4명의 전문가도 보잉의 최근 안전 스캔들을 언급했다. 그들은 항공기, 의료 및 기타 복잡한 기술이 매우 안전하고 신뢰할 수 있게 되었다고 믿습니다. 이는 업계와 정부의 공동 노력의 결과입니다.규제기관이 규칙을 완화하고 자율 규제를 허용하는 경우, 보잉과 같은 문제가 발생하는데 이는 대중과 업계에 매우 무서운 일입니다.

이번 응원 편지는 많은 네티즌들의 지지를 받았지만 일각에서는 힌튼과 벤지오가 더 이상 일선 활동에 참여하지 않는다고 믿었다.따라서 그들은 관련 문제에 대해 발언권이 없습니다.

회사를 자유롭게 비판할 수 있는 권리를 대가로 OpenAI 옵션을 자발적으로 포기한 Daniel Kokotajlo를 포함하여 몇몇 전직 OpenAI 직원도 이 법안을 지지했습니다. 그는 AI 발전이 정체될 것이라는 법안에 대한 비판자들의 주장이 아마도 일어나지 않을 것이라고 믿습니다.

▲코코타욜로 관련 발언 (출처: X Platform)

수백억 달러 가치의 AI 생산성 도구 유니콘인 노션(Notion)의 창업자인 사이먼 라스트(Simon Last)는산업캘리포니아의 AI 안전 법안을 지지하는 몇몇 사람들. 그는 캘리포니아에서 가장 영향력 있는 지역 언론 중 하나인 로스앤젤레스 타임스에 법안을 지지하는 글을 기고하며, 연방 수준의 AI 법률을 시행하기 어려울 때,미국은 물론 전 세계의 기술 중심지로서 캘리포니아는 중요한 책임을 지고 있습니다.. 그는 모델 감독이 보안을 향상시킬 뿐만 아니라 기본 모델을 기반으로 제품을 만드는 AI 스타트업을 촉진한다고 믿습니다.이를 통해 중소기업의 부담을 줄일 수 있다.。

아울러 “규제는 기반 기술보다는 AI의 유해한 활용과 사용자의 부적절한 행동에 초점을 맞춰야 한다”고 강조하는 것도 잘못됐다고 본다. 전자는 법에 따라 모든 수준에서 불법으로 분류되었기 때문에 캘리포니아의 새 법안은 다음과 같은 목적을 제공합니다.이전 규정의 누락된 측면: 잠재적인 피해를 방지합니다.

YC와 a16z가 홍보 캠페인을 시작한 후 캘리포니아 AI 안전법의 주요 작성자인 웨이 샹가오(Wei Shangao) 캘리포니아 주 상원의원은 관련 불만 사항에 대해 장문의 서한을 발행했습니다. AI 안전법은 부정확했고 일부 주장은 모델 위험을 정확하게 예측하지 못한 개발자를 감옥에 보내거나 오픈 소스 릴리스를 금지하는 법안과 같은 "사실에 대한 도발적인 왜곡"입니다.

▲ YC와 a16z에 대한 웨이샹가오의 반응 (출처: safesecureai)

2023년 초, Wei Shangao는 YC에 연락하기 시작했지만 YC로부터 법안 개선 방법에 대한 자세한 피드백을 아직 받지 못했다고 말했습니다. a16z는 입법 과정 후반부에 참여했으며 아직까지 실질적인 개정안을 제안하지 않았습니다.

이 서신에서 Wei Shangao는 법안 반대자들의 몇 가지 핵심 우려 사항에 대해 답변했습니다.

1、개발자는 모델 위험을 예측하지 못했다고 감옥에 가지 않을 것입니다.첫째, 스타트업 개발자와 학계는 해당 법안이 적용되지 않으므로 걱정할 필요가 없습니다. 둘째, 법안의 위증 조항은 개발자에게만 적용됩니다."고의로"허위 진술이 이루어진 경우에만 효력이 발생하며, 모델의 능력에 대한 부주의한 오판은 위증 조항(오늘 수정안에서 삭제됨)을 유발하지 않습니다.

2、이 법안은 완전히 새로운 책임을 창출하지 않습니다.현행법상 모델이 피해를 입힐 경우 모델 개발자와 개인 개발자 모두 고소할 수 있으며, 이는 모든 능력을 갖춘 모델에 적용되며 부상을 입은 모든 개인이 고소할 수 있다. 캘리포니아의 새로운 법안은 뿐만 아니라감독 범위를 제한합니다., 또한 다음과 같이 소송을 제기할 권리를 제한합니다.캘리포니아 법무장관그리고노동위원회두 엔터티 모두에서.

3、이 법안은 캘리포니아의 혁신을 방해하지 않을 것입니다.이 법안은 캘리포니아에서 사업을 하는 모든 기업에 적용됩니다. 본사를 캘리포니아 밖으로 이전하더라도 관련 규정을 준수해야 합니다. (Zhixi 참고: 캘리포니아는 GDP 기준으로 세계 5위의 경제 대국이며 완전한 기술 생태계를 갖추고 있습니다. 기술 캘리포니아에서 분리하기가 어렵습니다). 캘리포니아가 데이터 개인 정보 보호법과 환경 보호법을 통과시켰을 때 많은 사람들은 이것이 혁신을 방해할 것이라고 주장했지만 사실은 캘리포니아가 여전히 혁신을 주도하고 있다는 것입니다.

4、킬 스위치 및 보안 평가 요구 사항은 오픈 소스 AI 개발을 방해하지 않습니다.이제 법안이 개정되어 오픈소스 AI 보호가 강화되었습니다. 법안의 모델 긴급 중단 요건은 통제되지 않는 오픈 소스 모델을 제외하고 개발자가 통제할 수 있는 모델에만 적용됩니다. 이 법안은 또한 안전하고 신뢰할 수 있는 오픈 소스 AI 개발 노력을 옹호하고 지원하기 위한 새로운 자문 위원회를 설립합니다.

웨이상가오(Wei Shangao)도 이 법안에 대해 우려하는 사람들을 위해 법안의 6가지 핵심 사항을 요약한 '게으른 패키지'를 제공했다(아래 그림 참조).
▲법안 핵심 포인트 (출처: safesecureai)

결론: 캘리포니아는 중요한 조치를 취했으며 법안의 미래는 불분명합니다.

캘리포니아 AI 안전 법안은 많은 업계 내부자들에 의해 반대되고 있지만, 일부 여론 조사 기관의 결과에 따르면 캘리포니아 주민들은 일반적으로 이 법안에 대해 긍정적인 태도를 갖고 있는 것으로 나타났습니다.

공식적으로 성공하면 a16z와 같은 단호한 상대로부터 법정 도전에 직면할 수도 있습니다. 그러면 미국 대법원이 판결할 때까지 법안이 보류될 것입니다.

최근 미국 대법원은 40년 가까이 지속된 '쉐브론 독트린'을 뒤집고 규제기관의 목소리를 지지했다. 이 원칙은 법 조항이 불명확할 경우 판사가 법 조항에 대한 정부 규제 기관의 해석을 따르도록 요구합니다. 이 원칙의 폐지는 기술 규제에 대한 현 미국 대법원의 전반적인 보수적 태도를 반영합니다.