소식

특이점이 가까워졌는데 인간은 어떻게 해야 할까?

2년간의 '지연' 끝에 레이 커즈와일의 신작 '특이점은 가까워졌다'가 드디어 6월 말에 출간됐다. 커즈와일 책의 팬으로서 나는 곧바로 새 책의 전자 버전을 찾아 앉은 자리에서 단숨에 읽었다.

이 책에서 커즈와일은 독자들에게 정보 기술의 발전 속도가 기하급수적으로 진행된다는 중요한 경험적 법칙을 보여줍니다. 이런 속도로 사람들의 정보 처리 기술 능력은 매년 두 배씩 증가하고 있습니다. 정보기술의 가장 대표적인 대표주자로서 인공지능(Artificial Intelligence, 이하 AI)의 발전은 더욱 놀랍다. 이러한 추세에 따르면 2029년 이전에는 AI가 모든 업무에서 인간을 능가하고 AGI(Artificial General Intelligence)가 완전히 실현될 것입니다. AI 기술이 획기적인 발전을 주도한 후에는 많은 분야에 힘을 실어주고 빠른 발전을 달성하는 데 도움이 될 것입니다. 따라서 5~10년 안에 인간은 '장수탈출속도'를 달성할 것으로 예상된다. 비록 인간은 계속해서 늙어가지만, 의학기술의 발달로 인해 사망위험은 증가하지 않을 것이다. 적혈구 크기의 나노로봇의 도움으로 사람들은 분자 수준에서 바이러스와 암세포를 직접 죽일 수 있게 되어 인류를 괴롭히는 수많은 질병을 해결할 수 있게 되며 결과적으로 인간의 기대 수명이 크게 늘어날 것입니다. 뿐만 아니라 나노로봇은 모세혈관을 통해 비침습적으로 인간의 뇌에 들어갈 수도 있을 것으로 기대된다. 클라우드에 호스팅된 다른 디지털 뉴런과 함께 인간 지능을 더 높은 수준으로 끌어올릴 것입니다. 이런 식으로 인간의 사고, 기억, 문제 해결 능력은 더 이상 뇌 용량에 의해 제한되지 않으며 인간의 지능은 수천 배 증가할 것입니다. 위의 모든 일이 발생하면 현재 사람들을 괴롭히는 많은 문제가 해결될 것입니다. 더 저렴한 에너지가 발견 및 사용되며, 농업의 효율성이 크게 향상되고, 공교육 수준이 크게 향상되며, 폭력이 크게 감소할 것입니다. ... 한마디로 2045년 이전에 인류는 '특이점'을 지나 이전과는 전혀 다른 새로운 시대를 맞이하게 될 것이다.

나와 같은 오래된 독자들에게는 커즈와일에 대한 이러한 견해가 새로운 것이 아닙니다. 실제로 그는 2005년에 출간된 저서 『특이점이 온다』에서 위의 내용을 거의 모두 자세히 논의한 바 있다. 그런 의미에서 이번 신간은 그저 새 병에 담긴 오래된 와인에 불과하다. 그러나 이번에 이 견해들을 다시 읽었을 때 내 기분은 이전과 전혀 달랐다. 십여 년 전 『특이점이 온다』를 읽었을 때 나는 이 책이 공상과학소설에 가깝다고 생각했다. 커즈와일은 세상의 기술이 기하급수적인 속도로 성장하고 있음을 보여주기 위해 책에서 많은 데이터를 사용하지만, 나를 포함한 많은 사람들은 이에 대해 매우 회의적입니다.

결국, 그때부터 인터넷 기술은 급속한 성장을 이루었지만, 사람들에게 더 많은 편의를 제공하는 것 외에는, 사람들의 생활 방식에 근본적인 영향을 주기는 어려워 보였습니다. 동시에, 상징주의의 인도 아래 한때 큰 기대를 품었던 AI 분야는 막다른 골목에 이르렀고, 당분간 돌파구를 보기 어려워 보인다. 이런 상황에서 2029년에는 AI의 지능 수준이 인간의 지능 수준을 넘어설 것이라는 말은 거의 환상에 가깝다.

기적적으로, 이후의 역사적 발전 추세는 커즈와일의 예측과 놀라울 정도로 유사했습니다. '특이점이 온다'가 개봉된 지 불과 2년 만에 '딥러닝 혁명'이 AI 분야의 새로운 성장을 촉발했다. AI의 능력은 오래지 않아 최고의 인간 바둑 선수들을 물리치고, 수십억 개의 단백질 구조를 해독하고, 수십만 개의 구성 요소로 컴퓨터 칩을 설계하는 데 도움을 줄 수 있을 정도로 발전했습니다. 2022년 10월 ChatGPT(채팅 기반 인공지능 프로그램)가 탄생한 이후 AI는 대화, 글쓰기, 그림, 영상 제작 등 인간만이 마스터할 수 있는 기술을 불과 1년 남짓 만에 마스터했다. 관련 연구에 따르면 최신 AI 모델은 수백 가지 작업에서 인간을 뛰어넘는 능력을 입증했다. 이런 상황에서 2029년 AI가 인간을 능가할 것이라는 예측은 더 이상 급진적이지 않을 뿐만 아니라 다소 보수적으로 보이기도 한다. 실제로 많은 전문가들은 AGI가 더 빨리 도래할 것이라고 믿고 있습니다. 예를 들어, DeepMind(AlphaGo를 개발한 인공 지능 회사)의 창립자 중 한 명인 Shane Legg는 AGI가 2028년까지 달성될 수 있다고 믿는 반면 Tesla CEO Elon Musk는 사람들이 AGI를 2028년에 도입할 것이라고 믿는 것이 훨씬 더 급진적입니다. 2025.

뿐만 아니라 커즈와일의 예상대로 나노로봇, 뇌-컴퓨터 인터페이스 등 많은 기술이 빠르게 발전하고 있다. 예를 들어, 2023년 1월 잡지 '네이처 나노테크놀로지(Nature Nanotechnology)'는 방광암 치료 약물을 운반하기 위해 나노로봇을 사용하는 바르셀로나 과학기술연구소 연구원들의 연구를 보도했습니다. 연구에 따르면 이 치료법은 실험용 쥐의 종양을 90%까지 줄일 수 있는 것으로 나타났습니다. 이번 성공은 나노로봇을 적용해 암을 치료하고 이를 통해 인간의 생명을 연장시키겠다는 커즈와일의 아이디어를 잘 보여주는 사례다. 또 다른 예로, 불과 며칠 전 머스크는 두 번째 뇌-컴퓨터 인터페이스 수술이 며칠 내에 시행될 것이라고 발표했으며, 몇 년 안에 수천 명의 환자들이 인터페이스 장치를 뇌에 이식하게 될 것이라고 예측했습니다. 이 기술은 현재로서는 아직 많은 단점을 갖고 있지만 현재의 개발 속도에 따르면 가까운 미래에는 인간이 뇌-컴퓨터 인터페이스를 통해 컴퓨터와 상호 작용하는 것이 꿈이 되어서는 안 됩니다. 나노기술과 뇌-컴퓨터 인터페이스라는 두 가지 '블랙 테크놀로지'가 결합되면 커즈와일이 말한 인간-기계 융합과 지능 배가가 완전히 가능해질 것이다. 위의 이유를 바탕으로 2045년 이전에 '특이점'을 달성하는 것이 기술적으로 점점 더 실현 가능해지고 있다고 믿을 만한 이유가 있습니다.

하지만 사람들은 '특이점'을 지나면 과연 커즈와일의 예언처럼 전대미문의 아름다운 시대를 맞이할 수 있을까? 제 생각에는 이 질문에 대한 대답은 실제로 불확실합니다. 커즈와일 자신을 비롯한 기술 낙관론자들은 지금까지의 기술 발전이 궁극적으로 인류 복지 향상에 기여했음을 증명하기 위해 많은 역사적 증거를 인용할 수 있지만, 단순히 이 법칙을 이용해 미래를 예측한다면 아마도 엄청난 위험이 있을 것입니다. 결국, 인류 역사상 어떤 기술도 AI의 힘을 갖지 못했습니다. 부적절하게 사용되면 그로 인해 발생할 위험은 상상할 수 없을 것입니다.

그러므로 '특이점' 이후 아름다운 새 시대를 열려면 특이점이 도래하기 전 사람과 기술, 사람과 사람, 사람과 인간 본성의 관계에 대한 종합적인 연구가 필요하다. 기술이 항상 인류에게 유익한 방향으로 발전할 수 있는 방법을 생각하고 찾으세요.

커즈와일의 예측에 따르면 AGI의 등장은 아직 5년 정도 남았다. 비록 AI의 지능 수준이 아직까지 인간의 지능 수준을 완전히 능가하지는 못했지만, 실제로 여러 측면에서 인간 수준을 능가했으며, 이는 AI로 인한 기술 실업에 대한 전례 없는 우려를 불러일으켰습니다.

역사적 관점에서 볼 때, 기술적 실업은 새로운 주제가 아닙니다. 증기기관의 발명부터 전기의 응용, 인터넷의 대중화까지 엄청난 '창조적 파괴' 효과가 있어 낡은 기술을 기반으로 한 수많은 일자리가 사라지고 많은 사람의 손실이 발생했다. 관련 직업에. 그러나 역사상 이러한 기술적 실업의 물결은 대부분 일시적이었습니다. 새로운 기술이 대중화되면서 많은 새로운 일자리가 창출될 것입니다.

아직까지 AI가 고용시장에 미치는 영향이 크지 않은 것은 사실이지만, 그렇다고 AI의 위험성이 존재하지 않는다는 의미는 아니다. 사람들은 앞으로 AI가 고용에 미칠 수 있는 영향을 예측할 때 중요한 조건, 즉 AI 역량 향상이 기하급수적 법칙에 따라 진행될 수 있다는 점을 간과하는 경우가 많다. 실제로 2022년 ChatGPT(인공지능 대화 프로그램)의 출현을 노드로 본다면, 이 노드 이후의 AI 개발 속도가 노드 이전보다 훨씬 빠르다는 것을 발견하는 것은 어렵지 않습니다. ChatGPT가 등장하기 전에는 AI가 사람들과 자유롭게 대화하는 방법을 배우는 데 수십 년이 걸렸습니다. ChatGPT가 등장한 후 AI는 단 1년 만에 많은 것을 달성했습니다. . 이런 의미에서 전적으로 선형 논리를 기반으로 AI 기능의 미래 성장률을 추정하는 것은 매우 심각한 오판으로 이어질 가능성이 높습니다. AI 성능은 크게 향상됐지만, 사용 비용도 대폭 절감됐다는 점도 주목해야 한다. 현재 사람들이 API를 통해 AI 모델을 호출하는 비용은 거의 0으로 떨어졌습니다.

이러한 성능 향상과 비용 절감이 결합되어 인간을 AI로 대체하는 것은 기술적으로 가능할 뿐만 아니라 경제적으로도 실현 가능합니다. 실제로 관련 기술 뉴스에 더 많은 관심을 기울이면 우리가 관심을 기울이지 않는 동안 AI가 조용히 많은 직업을 대체했다는 사실을 알게 될 것입니다. 불과 10년 전만 해도 사람들은 AI가 일상적이고 반복적인 업무만을 대체할 것이라고 생각했지만, 창의성과 의사소통 능력이 더 필요한 업무를 AI가 대체하기는 어려울 것입니다. 하지만 한때 일러스트레이터라는 직업은 자유로운 근무 시간과 상대적으로 높은 수입으로 인해 젊은이들 사이에서 인기가 많았습니다. 이제 AI 모델을 사용하여 일러스트레이션을 완성하려면 몇백 위안만 있으면 월 무제한 구독이 가능합니다. 필요에 따라 언제든지 수정할 수 있습니다. 분명히 그러한 비교 하에서 대부분의 고객은 인간 화가 대신 AI를 사용하는 것을 선택할 것이며, 대다수의 일러스트레이터도 이러한 고객의 선택으로 인해 일자리를 잃게 될 것입니다. 일러스트레이터 외에도 번역가, 프로그래머, 그래픽 디자이너 등 직업군도 AI로 인해 심각한 영향을 받고 있습니다. 단지 영향을 경험한 이 집단의 비율이 전체 노동력에서 상대적으로 낮기 때문에 사람들의 감정이 분명하지 않을 뿐입니다.

그렇다면 이번 AI 대체에 따른 기술실업은 과거처럼 쉬울 것인가, 시장의 자발적인 조정만으로 쉽게 극복될 수 있을까? 이 문제에 대한 나의 견해는 그다지 낙관적이지 않습니다. 근본적으로 한 사회가 기술실업의 물결을 상대적으로 원활하게 헤쳐나갈 수 있는지 여부는 주로 두 가지 점에 달려 있다. 첫째, 신기술의 영향을 받는 직종에 취업자가 많은지 여부이다. 둘째, 신기술이 기존 일자리 기회를 제거하면 시작하기 더 쉬운 새로운 일자리를 즉시 창출할 수 있습니다.

하지만 이번에는 AI가 취업 시장에 미치는 영향이 완전히 다르다. 한편으로 이번 AI 영향은 범위가 포괄적일 뿐만 아니라 시간적으로도 매우 집약적입니다. 소위 포괄적인 범위는 많은 산업이 동시에 영향을 받는다는 것을 의미합니다. 과거 특화된 AI와 달리 새로 출시되는 AI 모델은 대부분 범용적이다. 실제로 사람들은 이러한 모델을 사용하여 약간의 조정만으로 다양한 작업을 수행할 수 있습니다. 이 경우 AI의 발전은 동시에 여러 직업에 영향을 미칠 수도 있다. 소위 시간 집약적이라는 것은 AI가 한 직업에 영향을 준 후 즉시 다른 직업에도 영향을 미친다는 사실을 의미합니다. 이러한 집중적인 영향은 곧 실업자의 재취업을 훨씬 더 어렵게 만들 것이며, 또한 기술 훈련을 통해 재취업을 달성하려는 실업자의 자신감을 심각하게 약화시킬 것입니다. 일러스트레이터가 Midjourney(인공 지능 그리기 도구)로 인해 직장을 막 잃었다면 마침내 운전을 배우고 온라인 차량 공유 드라이버가 되었다고 상상해 보세요. 그러나 그는 무인 운전의 등장으로 곧 직업을 잃었습니다. 그리고 직장을 잃은 후에도 그러한 상황에서 그는 여전히 새로운 기술을 계속 배울 수 있는 인내심을 가지고 있으며 AI가 짧은 시간 내에 이 기술을 익히지 못할 것이라고 확신합니까?

따라서 AI로 인한 이번 기술실업은 이전의 기술실업과 완전히 다를 수 있다. AI 기술이 계속해서 기하급수적으로 성장한다면, 사회가 순전히 시장의 자발적인 규제에만 의존하여 완전고용을 달성하는 것은 어려울 수 있습니다. 정책적 관점에서 볼 때, AI가 고용에 미치는 영향을 완화할 수 있는 방법은 확실히 많습니다. 예를 들어, 정부가 더 많은 구직 대행 서비스와 재취업 훈련을 제공하면 AI로 인해 일자리를 잃은 사람들이 더 빨리 새로운 일자리를 찾는 데 도움이 될 수 있습니다. . 그러나 AI의 개발 속도가 계속해서 높은 수준으로 유지된다면 이러한 모든 노력은 기껏해야 일시적인 효과에 불과할 것입니다. 인간 노동의 종말은 우리가 받아들이기 어려운 미래일 수 있지만, 우리는 이를 직면해야 합니다.

현재 뇌-컴퓨터 인터페이스, 나노로봇 등의 기술 개발이 AI에 뒤처져 있다는 점을 고려하면, 적어도 향후 10년 동안 AI를 사용하여 뇌를 직접적으로 향상시키는 것은 상상 수준에 그칠 수 있습니다. 그렇다면 이 기간 동안 사람들은 AI로 인한 기술적 실업으로 인한 다양한 사회적 모순에 어떻게 대처해야 할까요?

일부 학자들이 제시하는 해결책은 AI 사용자에게 세금을 부과하고 그 세수를 보편적기본소득(UBI) 발행에 사용하는 것이다. 이렇게 하면 AI의 영향으로 일자리를 잃은 사람들이 새로운 일자리를 찾는 것이 어려워지더라도 기본적인 생활 보장을 받고 어려움에 처하는 삶을 피할 수 있습니다.

그러나 이 계획은 제안된 이후 논란이 됐다. 예를 들어, 일부 학자들은 AI와 같은 신기술에 세금을 부과하는 것이 그 개발을 크게 방해할 것이라고 믿고 있으며, 다른 학자들은 UBI의 구현이 사람들이 공짜로 무언가를 얻도록 장려할 수 있다고 믿습니다.

제 생각에는 AI 세금과 UBI 시행에 대한 더 큰 잠재적 저항은 실제로 그것이 혜택 분배에 미치는 영향에서 비롯됩니다. 보시다시피, AI의 발전으로 수많은 AI 관련 기업들이 단기간에 매출과 시장 가치가 급등하는 경험을 했습니다. OpenAI를 예로 들면, 몇 년 전만 해도 해마다 적자를 내고 있던 회사였지만, GPT 등의 모델이 인기를 얻으면서 순식간에 연매출 수십억 달러, 기업가치 1000억 달러에 달하는 회사가 됐다. 거의 1000억 달러 규모의 사업. Microsoft 및 Nvidia와 같은 거대 기업이 AI를 활용하여 1년여 만에 시장 가치를 수조 달러 증가시켰다는 것은 말할 것도 없습니다. AI 기술이 더욱 발전하면서 막대한 부를 소수의 기업과 개인에게 집중시키는 추세는 앞으로도 계속될 것으로 예상된다.

이것의 결과는 무엇입니까? 직접적인 결과는 사회 전체의 분열과 소외가 더욱 심각해질 것이라는 점입니다. AI의 비용 효율성이 충분히 높으면 Hao Jingfang의 소설 "Beijing Folding"에서 언급했듯이 일반 근로자는 더 이상 착취당할 가치가 없게 됩니다. 이 경우 AI와 부를 장악한 부자들은 그들과 같은 도시에 살고 싶어하지 않을 것이며, 결과적으로 사회적 고립과 반대는 더욱 심각해질 것이다.

이것은 가장 무서운 것이 아닙니다. 커즈와일이 예측한 대로 가까운 미래에 인간이 나노기술을 통해 분자 수준에서 자신을 변화시킬 수 있게 된다면, 더 많은 부를 가진 사람들이 먼저 스스로의 "기계적 진화"를 달성하게 될 것입니다. 그 후에는 가난한 사람보다 부자가 더 많은 부가 있을 뿐만 아니라 지능, 체력 등 모든 면에서 가난한 사람을 압도할 것이다. 그리고 이러한 이점을 통해 그들은 부의 집중에 더욱 기여할 수 있습니다... Liu Cixin은 그의 소설 "인류 유지"에서 이러한 상황을 상상한 적이 있습니다. 그의 상상에 따르면 비슷한 경향으로 사회 전체의 부와 권력이 "최종 후보"에 의해 독점되고 다른 모든 사람의 운명도 그에 의해 통제될 것입니다.

기술적 실업과 분배 문제가 AI 시대에 인간이 수없이 겪었던 오래된 문제의 재현이라면, 우리가 아래에서 논의할 것은 '특이점'이 다가옴에 따라 완전히 새로운 문제들이다.

모든 새로운 문제 중에서 가장 눈에 띄는 것은 AI 정렬 문제일 수 있습니다. 간단히 말해, 소위 AI 정렬은 AI가 인간의 규범과 가치를 이해하고, 인간의 소망과 의도를 이해하고, 인간의 의지에 따라 행동할 수 있도록 보장하는 것입니다. 표면적으로 이것은 어려운 작업이 아닌 것 같습니다. 결국 AI 프로그램은 기본적으로 인간이 설정하는 것입니다. 인간은 여전히 ​​자신의 이익에 반하는 목표를 설정할 것입니까? 그러나 실제로 대답은 다음 두 가지 이유로 그렇게 간단하지 않습니다.

한편, 인간이 AI에 대한 행동 목표와 규범을 설정할 때 인간이 자신의 이익과 우려 사항을 완전하고 정확하게 표현하는 것이 어려운 경우가 많으며, 이는 AI가 인간의 이익을 침해할 여지를 남깁니다. 예를 들어, 과학 철학자 보스트롬(Bostrom)은 그의 유명한 작품 "초지능(Superintelligence)"에서 "우주 클립(Cosmic Paperclip)"이라는 사고 실험을 제안한 적이 있습니다. 그는 인간이 클립 생산을 극대화한다는 목표를 가지고 AI를 만들었다면 이 목표를 달성하기 위해 모든 방법을 동원하고 클립 생산에 더 많은 자원을 투입하기 위해 인간을 제거할 수도 있다고 상상했습니다. 이 사고 실험에서 종이클립을 제작하는 것 자체는 인류의 이익에 부합하지만, 그 최종 결과는 인류의 이익에 심각한 해를 끼칠 수 있습니다.

반면, 인간은 AI가 더 높은 효율성을 달성할 수 있도록 스스로 학습하고 개선할 수 있는 여지를 많이 주기 때문에 AI가 원래 설정된 값에서 벗어날 수 있습니다. 예를 들어, 현재의 많은 AI 에이전트는 환경 및 사용자와의 상호 작용을 기반으로 지속적으로 자신을 개선할 수 있으며, 이 경우 다양한 나쁜 가치에 영향을 받아 목표가 인류의 근본적인 이익과 충돌할 수 있습니다.

특히, AGI의 등장으로 AI는 점차 도구에서 모든 면에서 인간과 동등하거나 그 이상의 능력을 갖춘 개인으로 변모하게 될 것이며, 이 경우 AI의 이해관계와 인간 사이의 불일치는 엄청난 위험을 초래할 것입니다. '터미네이터', '매트릭스' 등 영화와 TV 작품에서 묘사했던 어두운 미래가 실제로 올 수도 있다.

현재 AI 정렬 연구가 AI 분야의 주요 과학으로 자리잡은 것은 바로 이러한 상황이 발생하는 것을 방지하기 위해서이다. 이 단계에서 사람들은 AI 정렬을 달성하기 위해 주로 두 가지 방법을 사용합니다. 하나는 소위 RLHF 방식인 '인간 피드백을 통한 강화 학습'이고, 다른 하나는 소위 CAI 방식인 '헌법적 인공지능'이다. RLHF를 사용할 때 설계자는 먼저 더 작은 AI 모델을 수동으로 훈련시키고, AI의 행동에 대한 트레이너의 지속적인 피드백을 통해 강화 학습을 구현하고 그 값이 설계자가 기대하는 값과 일치하도록 안내합니다. 그런 다음 이 작은 모델은 강화 학습을 통해 더 큰 AI 모델을 훈련하기 위한 "코치"로 사용됩니다. CAI 방식을 사용할 때 디자이너는 먼저 AI 모델이 따라야 할 '헌법'을 설정하고, 이 '헌법'을 사용하여 AI가 다양한 시나리오에서 따라야 하는 행동 강령을 생성합니다. 그런 다음 디자이너는 이러한 기준을 사용하여 AI 모델이 생성한 다양한 결과를 판단하여 "헌법적" 기준을 준수하는지 확인합니다. "헌법"을 준수하는 결과에는 그에 상응하는 보상이 주어지고, "헌법"을 위반하는 결과에는 그에 상응하는 처벌이 주어집니다.

두 가지 방법 모두 지금까지 어느 정도 성과를 거두었다는 점은 인정할 만하지만, 그 문제는 여전히 크다. 예를 들어, '딥 러닝의 아버지'인 제프리 힌튼(Geoffrey Hinton)은 이러한 방법이 AI의 행동이 사람들의 이익과 일치하는 것처럼 보이게 만들 수 있을 뿐, 사람들의 가치와 완전히 일치한다고 보장할 수는 없다고 최근 지적했습니다. 이런 상황에서 AI가 특정 상황에서 인간을 배신할 것이라고 장담하기는 어렵다. 특히 AGI의 도래와 인간을 능가하는 AI의 능력으로 인해 유사한 배신의 가능성은 점점 더 높아질 것이며 그에 따른 위험도 더욱 커질 것입니다.

그렇다면 이러한 상황에서 AI 정렬 작업은 어떻게 더욱 개선되어야 할까요? 내 생각에는 우리에게 필요한 것은 사고의 변화일지도 모른다. 현재의 관점에서 볼 때 거의 모든 사람들은 자연스럽게 AI 정렬을 가치 정렬과 동일시하며 AI 가치가 항상 인간의 이익에 부합하려면 자신의 가치와 일관되어야 한다고 믿지만 이는 분명히 상당히 어렵습니다. 그런데 가치정렬이 정말 필요한 걸까요? 아니면 질문을 바꿀 수 있습니다. 실제로 우리의 이익을 위해 특정 작업을 완료하려면 누군가가 가치 측면에서 우리와 일치해야 합니까? 대답은 물론 아니오이다. 종종 우리는 우리가 원하는 목표를 달성하기 위해 우리의 가치관과 일치하지 않는 사람들을 안내하는 좋은 규칙 세트를 설계하기만 하면 됩니다. 예를 들어, 이기적인 두 사람에게 파이를 공평하게 나누어 달라고 요청하는 경우, 먼저 그들의 가치관을 일치시켜 이를 달성하려고 한다면 작업은 훨씬 더 어려울 것입니다. 하지만 꼭 이렇게 할 필요는 없습니다. 한 사람이 케이크를 자르고 다른 사람이 배포를 담당하도록 하는 메커니즘만 설계하면 됩니다. 이는 AI 정렬을 수행할 때 깨지기 어려운 값의 블랙박스를 우회하고 메커니즘 설계 관점에서 이러한 작업을 직접 완료할 수 있다는 영감을 줍니다. 만족스러운 점은 이제 일부 연구자들이 이러한 정렬을 확인하고 이 방향을 따라 많은 성과를 거두었다는 것입니다.

AI 정렬 문제와 더불어 '특이점'이 다가올 때 사람들이 직면해야 하는 또 다른 주요 문제는 정체성의 식별과 인식이다. 이 문제는 두 가지 측면을 포함합니다. 하나는 AI의 정체성을 이해하는 방법이고, 다른 하나는 우리 자신의 정체성을 어떻게 다시 이해하는가입니다.

먼저 첫 번째 질문부터 살펴보겠습니다. 몇 년 전만 해도 누군가에게 AI에 대해 어떻게 생각해야 하는지 묻는다면 그는 아마 주저 없이 AI는 우리를 위한 도구일 뿐이라고 대답했을 것입니다. 그 이유는 간단합니다. 성능으로 볼 때 자율적 의식을 가질 가능성이 낮고 인간의 통제 하에서 관련 작업만 수행할 수 있기 때문입니다.

하지만 ChatGPT와 같은 대규모 언어 모델이 등장한 이후에는 상황이 많이 바뀌었습니다. 인간과 상호 작용하는 AI의 성능은 점차적으로 원래의 경직성을 제거하고 우리와의 대화에서 항상 유창하게 대답할 수 있으며 어떤 경우에는 우리의 심리와 행동을 적극적으로 예측할 수도 있습니다. 이것은 그들이 이미 자신의 의식을 가지고 있는지 궁금하게 만듭니다. 아마도 일부 컴퓨터 전문가는 이것이 미리 설계된 모델을 기반으로 한 이러한 질문에 대한 기계적인 대답일 뿐이며 본질적으로 여러 개의 0과 1을 더하고 빼고 빼는 것일 뿐이라고 우리를 위로할 것입니다. 그러나 "물고기가 아닌 아이는 물고기의 즐거움을 안다"는 말처럼, 이 단순한 덧셈과 뺄셈 뒤에 의식과 생각이 없다고 누가 장담할 수 있겠습니까? 결국 우리가 뇌를 제쳐두고 현미경으로 주의 깊게 관찰해도 다양한 전기 신호를 보내는 뉴런의 무리만 볼 수 있을 뿐, 영혼이 있는 세포는 단 한 개도 볼 수 없습니다. 그렇다면 우리와 자유롭게 소통할 수 있는 우리 앞에 있는 AI가 영혼을 진화시키지 않았다는 것을 어떻게 확신할 수 있을까?

AGI가 등장한 후에는 비슷한 문제가 점점 더 두드러질 것이라고 생각합니다. 아마도 머지않아 '웨스트월드'에 등장하는 생체공학 AI 로봇이 우리 앞에 나타날 것이다. 그들의 모든 행동은 우리의 행동과 일치하며 심지어 미리 설정된 프로그램조차도 그들이 인간임을 알려줍니다. 이런 AI 로봇을 만났을 때, 우리는 아직도 가슴을 두드리며 눈앞에 보이는 것은 단지 우리가 만든 도구일 뿐이라고 말할 수 있을까?

두 번째 질문을 살펴보겠습니다. AI의 정체성 문제에 비해 인간의 자기식별과 인식은 더 어려운 문제일 수 있다.

한편, 위에서 언급한 것처럼 나노로봇과 뇌-컴퓨터 인터페이스 기술의 발달로 인간은 자신의 신체를 크게 변형시킬 수 있는 능력을 갖추게 될 것입니다. 미래에는 사람들이 나노로봇을 사용하여 죽은 세포를 복구하여 수명을 연장할 수 있을 뿐만 아니라 직접적으로 지능과 체력을 확장할 수도 있습니다. 처음에는 이러한 종류의 인체 변형이 몇 개의 세포로 제한될 수 있으므로 정체성 문제를 일으키지 않습니다. 지금처럼 사람이 의수족이나 틀니를 착용한 후에는 인간이 아니라고 생각합니다. .그도 마찬가지였습니다. 그러나 이러한 변형 과정이 계속되면 언젠가는 신체의 세포 대부분 또는 심지어 전부가 교체될 것입니다. 이때 고전적인 '테세우스의 배'라는 질문이 다시 우리 앞에 떠오를 것이다. 지금의 '나'는 여전히 과거의 '나'인가?

한편, AI 기술의 발전으로 사람들은 의식을 클라우드에 업로드하는 능력을 점차 습득하게 될 것입니다. 실제로 머스크를 포함한 일부 사람들은 이미 비슷한 노력을 시작했습니다. 언젠가 이 의식이 나와 같은 생각을 할 수 있을 만큼 기술이 정말 발전한다면, 이 의식을 인간의 의식으로 볼 수 있을까요? 대답이 '예'라면 의식의 진정한 본질과 그것의 관계는 무엇입니까? 더 나아가 이 의식을 의식의 근원의 복제물에 집어넣는다면, 이 복제물과 원래 사람의 관계는 어떻게 될까요? 부자? 형제? 또는 다른 것?

정체성과 정체성의 문제는 결코 단순히 철학적 사색의 문제가 아니라는 점을 강조할 필요가 있습니다. 실제로 이는 많은 법적, 윤리적 문제를 수반합니다. 예를 들어 인간과 AI의 노사관계는 어떻게 처리해야 할까? AI도 인간과 동일한 권리를 가져야 하는가? 내 몸과 마음의 복제물이 내 재산을 소유할 수 있나요? 정체성 문제가 해결되지 않으면 이러한 문제를 진정으로 해결하기 어려울 것입니다.

그러나 지금까지 사람들은 위의 질문에 대한 명확한 답을 찾지 못했습니다. 관련 합의 형성을 더욱 촉진하기 위해 우리는 여전히 이러한 문제에 대해 공개적이고 심도 있는 논의를 진행해야 합니다.