소식

기계 심장 보고서

편집자: 장첸

원래 의도는 좋지만 접근 방식은 여전히 ​​의문의 여지가 있습니다.

반년 넘게 논의된 sb 1047이 이제 막 끝났습니다. 개빈 뉴섬 캘리포니아 주지사가 법안을 거부했습니다.

sb 1047의 정식 명칭은 '프론티어 인공지능법(frontier artificial intelligence act)을 위한 안전하고 안전한 혁신법'으로, 고위험 ai 모델이 남용되거나 결과적으로 재앙을 초래하는 것을 방지하기 위해 명확한 보안 표준을 확립하는 것을 목표로 합니다.

특히, 이 법안은 특정 계산 및 비용 임계값 이상으로 훈련된 모델에 적용하여 모델 수준에서 인공 지능을 규제하려고 합니다. 그러나 규정된 계산 및 비용 기준에 따라 엄격하게 계산하면 시중에 나와 있는 모든 주류 대형 모델은 "잠재적으로 위험"한 것으로 간주됩니다. 게다가 이 법안은 모델을 개발한 회사가 해당 모델의 다운스트림 사용이나 수정에 대해 법적 책임을 지도록 요구하는데, 이는 오픈 소스 모델 출시에 '위축 효과'가 있는 것으로 여겨집니다.

법안 링크: https://leginfo.legislature.ca.gov/faces/billtextclient.xhtml?bill_id=202320240sb1047

해당 법안은 올해 2월 제정됐다.상원제안됐고 그 이후로 계속 논란이 됐다. 리 페이페이, 얀 르쿤,앤드류 응모두 반대합니다. 얼마 전 li feifei는 이 법안이 가져올 수 있는 많은 부작용을 설명하는 기사를 직접 썼습니다. 캘리포니아 대학의 수십 명의 교사와 학생도 이 법안에 반대하는 공동 서한에 서명했습니다("li feifei가 개인적으로 기사를 썼고 수십 명의 과학자가 캘리포니아의 ai 제한 법안에 반대하는 공동 서한에 서명했습니다" 참조). 하지만 머스크, 힌튼, 벤지오 등 법안을 지지하는 이들도 많다. 법안이 캘리포니아 주지사에게 제출되기 전에 두 정당 간에 많은 열띤 논쟁이 벌어졌습니다.

이제 모든 것이 해결되었습니다. 거부권 성명에서 newsom 주지사는 법안이 다음과 같은 상황에 미칠 영향을 포함하여 자신의 결정에 영향을 미친 여러 요인을 언급했습니다.일체 포함기업에 대한 부담, 해당 분야에서의 캘리포니아의 리더십, 법안이 너무 광범위할 수 있다는 비판.

이 소식이 공개된 후 yann lecun은 오픈 소스 커뮤니티를 대표하여 캘리포니아 주지사에게 감사를 표했습니다.

ng는 법안의 단점을 대중에게 설명하려는 yann lecun의 노력을 확인했습니다.

그러나 어떤 사람들은 기뻐하고 어떤 사람들은 걱정하고 있습니다. 이 법안의 발의자인 캘리포니아 상원의원 scott wiener는 결과에 매우 실망했다고 말했습니다. 그는 게시물에서 거부권은 "공공의 안전과 복지, 그리고 '지구의 미래'에 영향을 미치는 중요한 결정을 내리는 대기업에 대한 감독이 있을 것이라고 믿는 모든 사람에게 좌절입니다"라고 썼습니다.

newsom 주지사가 성명서에서 언급한 것처럼 sb 1047의 거부는 캘리포니아가 ai 안전 문제에 눈을 감고 있다는 것을 의미하지 않는다는 점에 유의해야 합니다. 동시에 그는 li feifei 등이 캘리포니아가 생성 인공 지능 배포를 위한 책임 있는 보호 조치를 마련하는 데 도움을 줄 것이라고 발표했습니다.

캘리포니아 주지사: sb 1047에는 많은 문제가 있습니다

sb 1047에 관해 최종 결정권은 뉴섬 캘리포니아 주지사에게 있습니다. 그는 왜 법안을 거부했을까요? 성명서를 통해 답변이 제공되었습니다.

성명서 링크: https://www.gov.ca.gov/wp-content/uploads/2024/09/sb-1047-veto-message.pdf

성명서에서 발췌한 내용은 다음과 같습니다.

캘리포니아에는 현대 역사에서 중요한 기술 발전의 선구자인 세계 50대 ai 기업 중 32개가 소재하고 있습니다. 우리는 연구 및 교육 기관, 다양하고 의욕적인 인력, 자유분방한 자유로운 아이디어 배양 덕분에 이 분야의 선두주자입니다. 미래의 관리자이자 혁신가로서 저는 이 산업을 규제하는 책임을 진지하게 받아들입니다.

sb 1047은 ai 배치로 인해 발생할 수 있는 위협에 대한 논의를 과장합니다. 논쟁의 핵심은 규제 임계값이 ai 모델을 개발하는 데 필요한 비용과 계산 수를 기반으로 해야 하는지, 아니면 이러한 요소를 고려하지 않고 시스템의 실제 위험을 평가해야 하는지 여부입니다. 이러한 글로벌 논의는 ai의 역량이 놀라운 속도로 계속 확장되면서 이루어졌습니다. 동시에, 치명적인 위험의 위험을 해결하기 위한 전략과 솔루션이 빠르게 발전하고 있습니다.

sb 1047은 가장 비싸고 가장 큰 모델에만 초점을 맞춤으로써 빠르게 진화하는 이 기술을 제어하는 ​​데 대해 대중에게 잘못된 보안 감각을 줄 수 있는 규제 프레임워크를 만듭니다. 더 작고 특수화된 모델은 sb 1047이 목표로 하는 모델보다 위험할 수도 있고 훨씬 더 위험할 수도 있습니다.

아직 초기 단계에 있는 기술을 규제하기 위해 시간을 다투는 만큼 적응성은 매우 중요합니다. 이를 위해서는 섬세한 균형이 필요합니다. sb 1047은 좋은 의도를 가지고 있지만 ai 시스템이 고위험 환경에 배포되는지, 중요한 결정이 관련되는지, 민감한 데이터를 사용하는지 여부는 고려하지 않습니다. 대신 법안은 대규모 시스템에 배포되는 한 가장 기본적인 기능에도 엄격한 표준을 부과합니다. 나는 이것이 이 기술의 실제 위협으로부터 대중을 보호하는 최선의 방법이라고 생각하지 않습니다.

나는 대중을 보호하기 위한 조치를 취하기 위해 대규모 재난이 발생할 때까지 기다릴 수 없다는 저자의 의견에 동의합니다. 캘리포니아는 책임을 포기하지 않을 것입니다. 보안 프로토콜을 채택해야 합니다. 사전 예방적 보호 장치가 구현되어야 하며, 악의적인 행위자에 대해 명확하고 집행 가능한 결과가 있어야 합니다. 그러나 내가 동의하지 않는 것은 대중의 안전을 지키기 위해서는 ai 시스템과 능력에 대한 실증적 궤적 분석 없이 해결책에 안주해야 한다는 것입니다. 궁극적으로 ai를 효과적으로 규제하는 프레임워크는 기술 자체와 보조를 맞춰야 합니다.

우리가 문제를 해결하지 못한다거나 캘리포니아가 국가 안보에 대한 이 기술의 잠재적 영향을 규제하는 역할이 없다고 말하는 사람들에게 저는 동의하지 않습니다. 캘리포니아에서만 이 접근 방식을 취하는 것이 합리적일 수 있습니다. 특히 의회의 연방 조치가 없을 경우에는 더욱 그렇습니다. 그러나 이는 경험적 증거와 과학에 기초해야 합니다.

미국 국립과학기술연구소(national institute of science and technology) 산하 미국 ai 안전 연구소(us ai safety institute)는 공공 안전에 대한 명확한 위험으로부터 보호하기 위해 증거 기반 방법을 기반으로 국가 안보 위험 지침을 개발하고 있습니다.

제가 2023년 9월에 발표한 행정 명령에 따라 행정부 전반의 기관은 캘리포니아의 중요 인프라에서 ai 사용에 대한 잠재적인 위협과 취약성에 대한 위험 분석을 수행하고 있습니다.

이는 과학과 사실에 기초한 ai 위험 관리 관행을 정책 입안자에게 소개하기 위해 전문가가 주도하는 우리 작업의 몇 가지 예에 불과합니다.

이러한 노력을 통해 저는 ai로 인해 발생하는 구체적이고 알려진 위험을 규제하기 위해 지난 30일 동안 12개 이상의 법안에 서명했습니다.

캘리포니아의 집중 ai 안전 이니셔티브, 30일 만에 12개 이상의 법안 서명

성명서에서 뉴섬은 자신이 30일 동안 12개 이상의 법안에 서명했다고 언급했습니다. 이 법안은 노골적인 딥페이크 콘텐츠 단속, ai 생성 콘텐츠에 워터마크 추가 요구, 공연자의 디지털 초상화 보호, 사망한 인물의 목소리 또는 초상 저작권, 소비자 개인정보 보호, 인공 지능을 교육 및 기타 여러 측면에 통합하는 것이 미치는 영향.

청구서 목록 링크: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/

sb 1047의 ai 위험 평가에 과학적 분석이 부족하다는 점에 대해 주지사는 캘리포니아가 생성 ai 배포를 위한 실행 가능한 가드레일을 개발할 수 있도록 세계 최고의 생성 ai 전문가에게 요청했다고 발표했습니다.

li feifei 외에도 컴퓨터 연구의 사회 및 윤리적 영향에 관한 국립 과학 아카데미 위원회 회원인 tino cuéllar와 캘리포니아 대학교 컴퓨팅, 데이터 과학 및 사회 학부장인 jennifer tour chayes가 berkeley도 이 프로그램의 회원입니다.

그들의 작업은 최첨단 모델, 해당 기능 및 그에 수반되는 위험에 대한 실증적이고 과학 기반의 궤적 분석에 중점을 두고 있습니다. 이 작품은 갈 길이 멀다.

参考链接: https://www.gov.ca.gov/2024/09/29/governor-newsom-announces-new-initiatives-to-advance-safe-and-responsible-ai-protect-californians/