소식

"폭군"이 AGI를 장악하고 있는데, OpenAI는 위험한 미래를 향해 가고 있습니까?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Tencent Technology 저자 Guo Xiaojing Hao Boyang

편집자 양수

OpenAI 인사 혼란은 계속된다, 이번에도오픈AI Sam Altaman의 충실한 지지자로 인정받고 Sam이 이사회에서 축출되었을 때 그와 함께했던 Greg Brockman 회장은 장기 휴직을 발표했습니다. 그렉 브록먼 자신도 오랜 휴가를 마치고 회사에 복귀하겠다고 밝혔지만, 많은 기술 기업의 고위 간부들은 퇴사 전 장기 휴가를 떠날 예정이다.

또한 두 명의 핵심 임원이 떠날 것으로 드러났는데, 그 중 한 명은 공동 창립자 중 한 명으로, 떠나기 전 잠시 보안 팀장을 역임했습니다. 이 팀은 이전에 OpenAI의 전 수석 과학자 Ilya Sutskever와 공동으로 이끌었습니다. 연구원 얀 레이케.

동시에 Johnson은 OpenAI의 주도도 맡았습니다.(주) 일련의 대형 모델의 Post-Training 과정은 기술 구축에 있어서 매우 중요한 수치라고 할 수 있습니다. 더욱 흥미로운 점은 Jan Leike처럼 사임 후 OpenAI의 가장 강력한 경쟁자인 Anthropic에 직접 합류했다는 점입니다.

게다가 지난해 오픈AI에 합류한 제품 관리자 피터 뎅(Peter Deng)도 공동 창업자는 아니지만 합류한 지 1년도 채 되지 않아 사임해 외부에서도 무슨 일이 일어났는지 추측하게 만든다. 오픈AI 팀.

OpenAI의 두 번째 인재 이동성 물결

현재 창업자는 3명만 남았고, 1명은 장기 휴직 중이다.

이번 변경 이후 OpenAI의 원래 공동 창립자 11명 중 Sam Altman, Wojciech Zaremba 및 Greg Brockman(역시 장기 휴가를 발표한)만이 OpenAI에 남아 있습니다. 나머지 창립멤버들은 모두 팀을 떠났습니다.

이 11명의 창립자 중 5명은 머스크가 매각을 발표한 2017년부터 2018년까지 있었으며 OpenAI에 큰 혼란을 불러일으켰습니다. Trevor Blackwell, Vicki Cheung, Durk Kingma, Pamela Vagata가 포함됩니다.또 다른 창립멤버인 안드레이 카르파티(Andrej Karpathy)도 머스크가 직접 스카우트해 테슬라의 CEO가 됐다.자동 조종 장치 주요한. 그는 2023년 2월까지 OpenAI로 돌아오지 않았습니다.

나머지 6명의 창립멤버들은 지난해 말 오픈AI 법정다툼 끝에 올해 모두 사임했다. OpenAI의 전 수석과학자인 Ilya Sutskever를 비롯해 앞서 언급한 John Schulman과 단 1년 만에 돌아온 과학자 Andrej Karpathy도 포함됩니다. 2024년은 머스크 사태 이후 OpenAI가 경험한 고위 직원의 가장 큰 변화가 될 것이라고 할 수 있습니다.

OpenAI를 떠난 직원들은 모두 어디로 갔나요?

OpenAI를 떠나는 직원들의 행방으로 판단하면 일반적으로 두 가지 경로를 택합니다. 하나는 기본적으로 Deepmind와 Anthrophic과 같은 경쟁 회사에 합류하는 것입니다. 두 번째는 자신의 사업을 시작하는 것입니다. 위에서 언급한 사직한 직원의 대다수(66%)가 새로운 기업 프로젝트에 참여하기로 선택했습니다.

이 선택은 실제로 소위 "OpenAI Mafia"를 탄생시켰습니다. 언론 보도에 따르면 올해 이전 직원 30명 가량이 오픈AI를 떠나 자신만의 AI 회사를 설립한 것으로 알려졌다. 그들 중 몇몇은 유니콘 수준에 도달했습니다. 그 중 가장 잘 알려진 회사는 Dario Amodei가 설립한 Anthrophic으로 OpenAI의 가장 강력한 경쟁자가 되었습니다.

이번 사임이 어떤 영향을 미치나요?

앞서 인포메이션이 공개한 아키텍처 다이어그램에 따르면, 이번에 인사교체를 겪는 세 사람은 모두 오픈AI의 핵심 관리자들이다. 기능적 관점에서 볼 때 Brockman과 Shulman은 모두 OpenAI의 CTO인 Mira Murati에게 보고하고(Greg는 회장 및 이사회 구성원으로서 추가 업무도 책임져야 함) 사용자 제품 VP인 Peter Deng이 그 자리에 있어야 합니다. 세 번째 수준의 보고. 그들이 담당하는 작업은 기본적으로 OpenAI의 핵심 기술 작업에 속합니다. 이러한 변화의 영향은 미미하다고 말할 수 없습니다. 아마도 핵심 임원 40명 중 3명이 교체되었을 것입니다.

하지만 실제로 담당 세 사람의 구체적인 내용을 살펴보면 현재 OpenAI의 신모델 개발 핵심과 별로 관련이 없을 수도 있다. OpenAI의 과거 공식 블로그에 따르면 Greg Brockman은 2022년부터 사장직을 맡을 예정이며, 당시 그는 OpenAI의 주력 AI 시스템 교육에 집중했습니다. 하지만 실제로는 GPT-4 이후 현 수석과학자 Jakub Pachocki가 GPT-4와 OpenAI Five 개발을 주도해 왔습니다.

Shulman은 한때 OpenAI의 사후 훈련 부분을 담당했으며 PPO(Proximal Policy Optimization) 알고리즘을 제안했습니다. 이는 대규모 언어 모델을 개선하기 위한 핵심 전략 알고리즘 세트이며, 현재까지 OpenAI에서 사용하는 주요 알고리즘 중 하나이기도 합니다. 그러나 일리야가 사임한 후 슈퍼 얼라인먼트 책임자로 바뀌었고, 현재 그가 GPT-5 프로젝트에 미치는 영향은 매우 제한적인 것으로 추정된다.

제품 담당 부사장 Peter Deng은 고객 제품을 담당하며 GPT-5의 핵심 개발 작업과 전반적인 관계가 제한되어 있습니다.

기본적으로 Bob MacGrew 연구 부사장과 Jakub Pachocku 수석 과학자가 새 모델 개발에 가장 중요한 인물이라는 것을 확인할 수 있습니다.

또한 OpenAI 내에서 기술 혁신을 추진하는 주요 인물은 더 이상 고위 임원이 아니라 일부 풀뿌리 연구원입니다. 예를 들어 전 Stability AI CEO Emad는 X에서 Alec Radford의 사임만이 OpenAI의 붕괴를 결정할 수 있다고 말했습니다.

Google에서 Scholar의 논문 인용 횟수를 검색하여 그의 체중을 확인할 수도 있습니다.

따라서 이번 사임이 OpenAI의 연구 진행에 미치는 영향은 제한적일 수 있습니다. 주요 영향은 팀의 내부 사기와 회사에 대한 외부 신뢰에 있습니다.

결국 가장 친한 친구조차 지키지 못하고 Lianchuang 회사를 모두 제거한 상사는 자신의 경영 능력에 대한 자신감을 얻기 어려울 것입니다.

충돌 키 추측

떠날 키워드 : 슈퍼 정렬

OpenAI의 Super Alignment Project는 2023년 6월에 설립되었습니다. 상위 지능 시스템과 인간의 문제를 해결하기 위해 AI 감독을 활용하여 인간 수준에 상응하는 자동 정렬 연구원을 구축하기 위해 향후 4년간 컴퓨팅 파워의 20%를 투자할 계획입니다. 목표 일관성 문제. "Super Alignment" 팀은 OpenAI 공동 창립자이자 수석 과학자인 Ilya Sutskever와 연구원 Jan Leike가 공동으로 이끌고 있습니다.

Ilya Sutskever는 OpenAI의 영혼의 인물 중 한 명이라고 할 수 있습니다. 2017년 업계에서 큰 관심을 끌었던 "Attention is all you need" 논문이 발표되었을 때 Ilya는 이를 전폭적으로 지원했습니다.변신 로봇아키텍처 방향을 잡은 후 GPT 및 Vincentian DALL-E 시리즈 모델 개발을 주도했습니다.

Ilya는 "딥 러닝의 아버지"로 알려진 Geoffrey Hinton의 학생이기도 했습니다. 그는 Hinton의 지도 아래 학부 및 대학원 과정을 마쳤으며 최종적으로 컴퓨터 공학 박사 학위를 받았습니다. 힌턴은 인공지능의 급속한 발전이 인간 지능을 넘어서는 위협을 가져올 수도 있다고 경고해 왔다.

2023년 말, 'OpenAI Palace Fight'로 알려진 사건은 Ilya의 출발과 Sam Altman의 복귀로 마침내 일시적으로 끝났습니다. 그러나 논란은 오늘날까지 계속되고 있다. 외부 세계의 가장 큰 추측은 OpenAI 내부의 차이가 있다는 것이며, 더 큰 것은 신념의 충돌입니다.

Sam Altman의 배경과 행동으로 볼 때 업계에서는 그를 e/acc(효과적인 가속주의)의 신봉자로 보는 경향이 있으며, 기술의 발전은 본질적으로 인류에게 유익하며 인류는 가능한 한 많은 자원을 투자해야 한다고 믿습니다. 기존 사회구조를 바꿔라. OpenAI가 이룩한 일에 따르면, AGI를 전속력으로 돌파하기 위해 재정과 자원을 집중시키는 것이라고 간단하고 투박하게 요약할 수 있습니다.

슈퍼 정렬과 효과적인 가속은 본질적으로 더 이상 경로의 싸움이 아니라 내부 신념의 거대한 충돌입니다. 2024년 5월 Jan Leike도 사임을 발표했습니다. 그는 소셜 미디어에 위험한 작업을 게시했지만 지난 몇 년 동안 AI 보안은 빛나는 제품에 자리를 내주었습니다. 드디어 돌아올 수 없는 지경에 이르렀습니다.”

Jan Leike의 사임으로 인해 원래 Super Alignment 팀은 본질적으로 종료되었습니다. 나머지 구성원은 Johnson Schulman이 이끄는 보안 팀에 통합되었습니다. 바로 오늘 Johnson Schulman도 탈퇴를 발표했습니다.

매우 흥미로운 점은 Jan Leike와 Johnson Schulman 모두 OpenAI와 같은 뿌리를 가지고 있다고 할 수 있는 Anthropic에 갔다는 것입니다. 앤트로픽의 창업자 역시 오픈AI 핵심 직원 출신인 다리오 아모데이(Dario Amodei)다. 다리오가 2020년 초 회사를 떠난 것도 AI 보안 문제 때문이었다고 한다.

Dario는 응답을 평가하기 위해 인간의 피드백에 의존하는 대신 명확한 행동 원칙 세트를 통해 AI 시스템의 동작을 안내하는 AI 모델을 훈련하는 방법인 Constitutional AI at Antropic를 출시했습니다. 이 접근 방식의 핵심은 AI 시스템 자체를 사용하여 다른 AI 시스템을 감독하는 데 도움을 주어 AI의 무해성과 유용성을 개선하는 동시에 감독 규모를 확대하는 것입니다.

Dario는 헌법적 AI의 주요 아이디어는 AI 시스템을 사용하여 다른 AI 시스템을 감독하는 데 도움을 줌으로써 감독 규모를 확대하고 AI의 무해성과 유용성을 향상시키는 것이라고 강조했습니다. 헌법적 AI의 과정에는 자기 비판, 교정, 지도 학습, 강화 학습 등의 단계와 AI의 행동을 제한하는 자연어 기반의 일련의 헌법 원칙이 포함됩니다.

이리야의 초정렬사상과 매우 유사합니까?

그 이후로 OpenAI와 Anthropic은 AI 분야에서 효과적인 가속주의와 초정렬주의라는 두 가지 신념을 대표하는 다른 대표자가 된 것 같습니다.

앞서 일부에서는 일리야의 이탈이 OpenAI의 기술 중 일부가 통제 불능 상태에 있다는 것을 알았기 때문일 수도 있다는 우려를 제기하기도 했다. 만약 실제로 그렇다면 다른 길을 걷고 있는 앤트로픽이 이 거대한 짐승을 억제하는 데 유리할 수도 있다. .

결국 Anthropic의 Claude 시리즈 모델은 기능 측면에서 OpenAI의 GPT 시리즈 대형 모델과 무한히 가깝습니다.

다른 종류의 갈등: “폭군” 샘 알트만과 이상주의적 거버넌스 구조

OpenAI의 창립자인 샘 알트먼(Sam Altman)이 주장하는 또 다른 핵심 인물은 효과적인 가속에 대한 믿음보다 더 어려울 수 있습니다.

먼저, 2015년 12월 11일 설립된 고고학 OpenAI입니다. 처음부터 이상주의로 가득 차 있었고, 그 비전에는 모든 인류에게 이익이 되는 일반 인공지능(AGI) 개발을 적극적으로 추진하고, 대기업이나 소수의 인공지능 독점에 맞서 싸우는 것이 포함됐다.

이 비전에 따라 Elon Musk를 비롯한 유명 기업으로부터 자금이 모금되었으며, 자금 제공자는 조직이 성장함에 따라 수십억 달러를 투자하는 것으로 보입니다. 현재 OpenAI는 귀하의 이상을 달성하는 방법에만 관심을 가질 필요가 없습니다. 생필품에 대해 걱정하십시오.

그러나 현재 세계적으로 유명한 Attention is All you need 논문이 등장한 후 OpenAI는 막대한 자원 소비가 필요한 경로인 스케일링 법칙 경로를 선택했습니다.

2019년 OpenAI는 자금 조달을 위해 하이브리드 구조로 전환했습니다. 모회사 OpenAI Inc. 아래 자회사 OpenAI Global이 설립되었으며, 이 회사에서 Microsoft의 투자는 OpenAI Global 주식의 최대 49%와 교환되었습니다.

즉, OpenAI는 원래 비영리 모회사를 유지하지만 이 모회사 아래 OpenAI Global이라는 영리 자회사가 만들어집니다. 이 자회사는 벤처캐피탈 투자자들의 자금과 직원들의 지분을 흡수할 수 있어 일반 회사처럼 자금을 조달할 수 있다는 뜻이다.

하지만 오픈AI LP는 완전히 일반 기업으로 변한 것은 아니다. '이익을 포착했다'는 특징도 있다. 즉, 수익을 낼 수는 있지만 한계가 있다는 뜻입니다. 벌어들인 돈이 이 한도를 초과하는 경우 초과 금액은 비영리 모회사에 반환됩니다. 이를 통해 OpenAI LP는 모든 인류에게 이익이 된다는 원래 목표에서 벗어나지 않습니다.

하지만 이렇게 혁신적으로 보이는 구조에는 비영리단체 오픈에이아이엘피(OpenAI LP) 이사회가 영리단체인 오픈에이아이글로벌(Open AI Global)을 통제한다는 점에서 잠재적인 위험이 있다. 비영리단체의 사명은 우물이다. - 주주의 권리와 이익이 아닌 인류 전체의 이익입니다. 마이크로소프트는 49%의 지분을 갖고 있었지만 이사회 자리나 발언권은 없었다.

더욱 극적인 것은 알트만이 이사회에서 제명된 후 직원의 98%가 사임하겠다고 협박하고 그의 복직을 요구하는 공개서한에 서명했다는 점이다. Altman은 이후 인터뷰에서 "이 사건은 모든 사람의 형평성을 파괴할 수 있으며 많은 직원에게 이것은 재산의 전부 또는 대부분입니다"라고 말했습니다.

가장 세속적인 이익을 위한 일반 직원의 "부담"은 핵심 창립자의 원대한 안전 AGI 이상을 무너뜨렸습니다.

OpenAI의 거버넌스 구조 외에도 Sam Altman의 특정 "논란의 여지가 있는" 관리 스타일도 온라인에 공개되었습니다. 예를 들어 Altman은 경고 없이 누군가를 임시적으로 처리하는 "동적" 관리라고 부르는 방법을 가지고 있습니다. 리더십 역할을 수행하고 자원을 할당합니다. 예를 들어, Altman은 갑자기 다른 인공 지능 연구원인 Jakub Pachocki를 연구 책임자로 승진시켰습니다. 당시 연구 책임자인 Ilya Sutskever는 두 명의 다른 임원에게 동시에 자원과 책임을 약속했지만, 원래 의도는 경쟁을 촉발하는 것이었습니다. , 그러나 Ilya는 이것이 더 많은 갈등을 일으킬 것이라고 생각합니다.

또한 Sam Altman의 경쟁 스타일도 다음과 같이 더욱 늑대 같고 직접적입니다.GPT-4o온라인에 진출하기 전 충분한 보안 테스트를 거치지 않은 것으로 드러났다. 경쟁사인 구글에 보다 효과적인 장벽을 제공하기 위해 시기를 선택했다는 소문이다.

OpenAI는 이러한 생성 AI 물결의 촉발자이며 항상 리더로 여겨져 왔습니다. 그러나 현재 상황은 점점 더 어려워지고 있습니다. 전 세계는 OpenAI가 얼마나 많은 혁신을 이룰지 기대하고 있는 동시에 이러한 혁신이 실제 제품으로 전환될 수 있을지도 기대하고 있습니다. 충분한 수익을 창출할 수 있는 것 - 결국 OpenAI의 제품력은 업계에서 항상 비판을 받아왔습니다.

또한 투자 기관의 예측에 따르면 OpenAI는 올해에도 계속 적자를 기록하고 더 강력한 모델을 지속적으로 훈련할 것으로 예상됩니다.

경쟁 환경은 점점 치열해지고 있습니다. 이를 둘러싼 거대 기업뿐만 아니라 최대 주주인 Microsoft도 최근 재무 보고서에서 OpenAI를 경쟁자로 나열했습니다.

샘 알트만이 돌아온 후 그는 '외로워'질 수도 있고, '빈 껍데기'가 된 듯한 이 이사회가 계속해서 OpenAI를 선도할 수 있을지 외부 세계도 걱정할 것이다.

그러나 벤처 캐피탈 분야의 한 컨설턴트는 오늘 우리에게 다음과 같은 견해를 표명했습니다. "OpenAI의 원래 경영진은 화려한 배경, 성실성 및 이상을 가진 학자 그룹이었습니다. 그러나 기술 회사는 진정으로 성장할 수 있지만 '폭군'이 필요합니다. 자의적인 '폭군'이 없으면 결정을 내리는 데 오랜 시간이 걸릴 수 있습니다."

"폭군" 알트만(Altman)이 이끄는 OpenAI, 결국 어디로 갈지 궁금하다.

OpenAI의 등장 비결: 울트라맨은 어릴 때부터 권력을 갈망했고, 인맥에 의존해 막대한 영향력을 축적했다