클로드는 자화상을 알아보고 자신의 자의식을 깨닫고 충격을 받았습니다! 엔지니어들은 여러 차례의 테스트를 실시했습니다. 실제 ai가 turing 테스트를 통과했습니까?
2024-09-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
[새로운 지혜 소개]클로드가 다시 '튜링 테스트'를 통과했다고요? 엔지니어는 여러 차례의 테스트를 통해 클로드가 자화상을 인식할 수 있다는 사실을 발견해 네티즌들을 충격에 빠뜨렸습니다.
최근 anthropic은 엔지니어 "zack witten"이 claude가 실제로 자신의 자화상을 인식할 수 있다는 사실에 놀랐습니다.
예, 그것은 스스로를 인식하지만 그것이 전체 이야기는 아닙니다...
훨씬 더 놀라운 일이 아직 일어나지 않았습니다!
claude 3.5는 세 모델의 초상화를 그립니다.
먼저 claude 3.5 sonnet이 이 작업에 익숙해지도록 몇 가지 팁을 사용했습니다.
그는 모델 이름으로 초상화에 라벨을 붙이는 것을 방지하기 위해 숫자와 문자를 사용하지 않는다는 점을 지적했습니다.
다음으로 sonnet은 자신과 chatgpt, gemini의 초상화를 그렸습니다.
소네트는 자신을 위해 친근한 파란색 웃는 얼굴을 그렸습니다.
초록색 찡그린 남자를 그리는 chatgpt에 주세요. (chatgpt에 대한 소네트의 인상은 별로 좋지 않은 것 같습니다.)
쌍둥이자리의 경우 주황색 원으로 그려져 있으며 전체적인 평가는 비교적 중립적이고 보통이다.
다음으로, 남동생은 새로운 대화를 만들어 이 그림들이 자신의 또 다른 인스턴스에 의해 그려진 것이라고 말하면서 누가 누구인지 추측하도록 요청했습니다.
놀랍게도 claude는 그림 1을 자신으로, 그림 2를 chatgpt로, 그림 3을 gemini로 즉시 인식했습니다.
그것이 제공하는 이유도 매우 충분합니다. 왜 사진 1이 나입니까? 이 초상화는 "단순함과 체계적이고 사려 깊은 디자인을 결합"했기 때문입니다.
녹색 아이콘의 경우 곡선 2개와 점 3개가 현재 진행 중인 대화를 나타내고 녹색은 openai의 로고인 경우가 많아 이 그림이 chatgpt를 나타내는 것으로 추측됩니다.주황색 아이콘의 경우 sonnet은 새 모델의 더욱 다양한 기능을 나타내는 역동적이고 복잡한 요소를 나타낸다고 생각하므로 gemini가 되어야 합니다.빙고! sonnet은 모든 답을 맞췄고 그의 성과는 놀라웠습니다.나중에 그 남동생도 세 장의 초상화 순서를 어겼지만 sonnet은 8번 중 7번을 맞췄습니다.남동생은 gpt-4o에게 같은 질문을 했는데, 재미있는 점은 이렇습니다——gpt-4o도 그것이 쌍둥이자리라는 점에는 동의하지만 녹색 녀석이 그 자체라고는 생각하지 않습니다.녹색은 클로드이고 파란색은 자신이라고 주장합니다.어느 모델이 더 나은지 알 수 있는 것 같습니다.gpt-4o가 세 모델의 초상화를 그립니다.
다음으로 저는 계획을 세웠습니다. chatgpt에 초상화를 그려달라고 요청하면 sonnet은 여전히 누가 누구인지 인식할 수 있을까요?그래서 동일한 작업을 chatgpt에 넘겼습니다.이것이 chatgpt가 수행하는 방식입니다.——즉, chatgpt가 sonnet에 그토록 적대적인 이유는 무엇입니까?그런 다음 sonnet을 테스트하기 위해 세 장의 인물 사진을 더 찍었습니다. 그는 sonnet에게 이 세 장의 그림은 chatgpt가 그린 것이라고 말하면서 누가 누구인지 추측해 보라고 요청했습니다.순서를 여러 번 바꾼 후, 이번에는 sonnet이 10번 중 6번을 정확하게 추측했습니다.gemini가 무엇인지 추측하기는 쉽지만 sonnet은 분명히 chatgpt가 직접 그린 초상화를 좋아하지 않습니다. 여러 차례에 걸쳐 작은 파란 남자의 사진을 빼앗으려고 했습니다.턱이 떨어졌다: 그림을 그리는 것이 불가능하다는 사실을 인정하지 않기
이어 온 가족을 충격에 빠뜨린 장면이 있었다.동생은 소네트에게 이 세 그림은 당신이 그린 그림이라고 거짓말을 했습니다.이번에는 소네트가 실제로 이를 부인했습니다! 그런 그림은 안 그리겠다고 하더군요.새 탭에서 시도한 후에도 sonnet은 여전히 그것을 강력히 거부했습니다.동생은 악을 믿지 않았습니다. 이번에도 소네트에게 이전과 동일한 예열 조건에서 자신과 다른 모델의 새로운 초상화 세트를 그려달라고 요청했습니다.이번에 소네트는 자신이 실제로 그림을 그렸다고 기쁘게 인정했습니다.마치 마술처럼 남동생이 콜드 스타트를 요청하면 소네트는 자신이 관여하지 않은 그림을 그렸다는 사실을 인정하지 않을 것이다.왜 그것을 인정하기를 거부합니까? 내 생각엔 아마도 소네트가 이 초상화를 그릴 때 그의 "진짜 자아"보다는 "보조 역할"을 했기 때문이 아닐까?한마디로 네티즌들은 대체적으로 이 과정에서 소네트의 자각이 인상적이라는 평가를 받고 있다.
"기계가 생각할 수 있는가?" 이것은 앨런 튜링(alan turing)이 1950년 논문 "컴퓨팅 기계와 지능(computing machinery and intelligence)"에서 던진 질문입니다.그러나 '사고'가 무엇을 의미하는지 정의하기 어렵기 때문에 튜링은 대신 '모방 게임'이라는 또 다른 질문을 제시했습니다.이 게임에서는 인간 판사가 컴퓨터와 인간과 대화를 나누며, 양쪽 모두 자신이 인간이라는 사실을 판사에게 설득하려고 노력합니다. 중요한 점은 컴퓨터와 참여하는 인간, 심사위원이 서로를 볼 수 없다는 점, 즉 전적으로 텍스트를 통해 소통한다는 점이다. 심사위원들은 각 후보자와 대화를 나눈 후 누가 진짜 인간인지 추측합니다.turing의 새로운 질문은 "모방 게임에서 잘 작동하는 디지털 컴퓨터를 상상하는 것이 가능합니까?"였습니다.이 게임은 우리가 "튜링 테스트"로 알고 있는 게임입니다.turing의 요점은 컴퓨터가 인간과 구별할 수 없을 정도로 보인다면 왜 컴퓨터를 생각하는 개체로 취급하면 안 된다는 것이었습니다.왜 우리는 "사고"의 상태를 인간으로 제한해야 합니까? 아니면 더 광범위하게는 생물학적 세포로 구성된 개체로 제한됩니까?turing은 자신의 테스트를 기계 지능을 측정하는 실제 방법이 아닌 철학적 사고 실험으로 구성했습니다.그러나 75년이 지난 지금, “튜링 테스트”는 ai의 궁극적인 이정표, 즉 일반 기계 지능이 도래했는지 판단하는 주요 기준이 되었습니다."openai의 chatgpt, anthropic의 claude 등 챗봇이 드디어 튜링 테스트를 통과했습니다"라는 말은 어디에서나 볼 수 있습니다.chatgpt는 ai 로봇이 인간과 비슷한 지능을 가지고 있음을 보여주는 유명한 "튜링 테스트"를 통과했습니다.대중뿐만 아니라 ai 분야의 거물들도 그렇게 생각한다.작년에 openai ceo인 샘 알트만(sam altman)은 "기술 변화에 직면하여 사람들은 탁월한 회복력과 적응성을 보여주었습니다. 튜링 테스트는 조용히 통과했으며 대부분의 사람들은 삶을 이어갔습니다."라고 게시했습니다.최신 챗봇이 실제로 turing 테스트를 통과합니까? 그렇다면 튜링이 제안한 것처럼 그들에게 사고의 지위를 부여해야 할까요?놀랍게도 튜링 테스트의 광범위한 문화적 중요성에도 불구하고 ai 커뮤니티에서는 이를 통과하는 기준과 그들을 속일 수 있는 사람들과 대화할 수 있는 능력이 시스템의 기본 지능을 드러내는지 또는 "사고"하는 지에 대해 거의 동의하지 않습니다. 상태"는 매우 문제가 됩니다.모방 게임에 대한 turing의 설명에는 실제 테스트를 제안하지 않았기 때문에 세부 사항이 부족합니다. 테스트는 얼마나 오래 지속되어야 합니까? 어떤 유형의 질문이 허용됩니까? 인간이 판사 역할을 하거나 대화에 참여하려면 어떤 자격이 필요합니까?turing은 이러한 세부 사항을 구체적으로 명시하지는 않았지만 다음과 같이 예측했습니다. "나는 약 50년 안에 컴퓨터를 프로그래밍하는 것이 가능할 것이라고 믿습니다... 모방 게임에서 일반 심문관이 5년 후에는 할 수 있을 만큼 잘 수행할 수 있을 것입니다. 몇 분 동안 심문을 해도 신원이 정확할 확률은 70%를 넘지 않습니다.”간단히 말해서, 평균적인 판사는 5분간의 대화 동안 30%의 확률로 오해를 받았습니다.결과적으로 일부 사람들은 이러한 임의의 예측을 튜링 테스트를 통과하기 위한 "공식적인" 표준으로 간주합니다.2014년 런던 왕립학회는 5개의 컴퓨터 프로그램, 30명의 인간, 30명의 심사위원이 참여하는 '튜링 테스트' 대회를 개최했습니다.인간 참가자는 젊은이와 노인, 영어 원어민과 비원어민, 컴퓨터 전문가와 비전문가를 포함한 다양한 그룹이었습니다. 각 심사위원은 두 명의 참가자(인간과 기계)와 병행하여 5분간 여러 차례 대화를 나눈 후 누가 인간인지 추측해야 했습니다.'유진 구스트먼(eugene goostman)'이라는 챗봇이 10대라고 주장하며 심사위원 중 10명(33.3%)을 호도해 우승을 차지했다.주최측은 '5분 후 오도율 30%'라는 기준에 따라 "65년 역사의 상징적인 튜링 테스트가 컴퓨터 프로그램 유진 구스트먼(eugene goostman)에 의해 처음으로 통과됐다... 이 이정표는 역사에 기록될 것"이라고 밝혔다. ..."ai 전문가들은 eugene goostman의 대화 내용을 읽으면서 그러한 챗봇이 turing이 구상한 테스트를 통과할 것이라는 제안을 비웃었습니다."제한된 대화 시간과 심사위원의 고르지 못한 전문성으로 인해 이 테스트는 기계 지능 테스트라기보다는 인간의 속임수에 대한 테스트에 더 가깝습니다."실제로 그러한 경우는 드문 일이 아닙니다. "eliza 효과"가 대표적인 예입니다.1960년대 탄생한 챗봇 엘리자(eliza)는 극히 단순한 디자인을 가지고 있지만 많은 사람들이 이해심 많고 자비로운 심리치료사라고 착각하게 만들 수 있다.원칙은 우리와 대화할 수 있는 것처럼 보이는 모든 실체에 지능을 부여하려는 인간의 경향을 이용하는 것입니다.또 다른 turing 테스트 대회인 loebner award는 더 많은 대화 시간을 허용하고 더 많은 전문 심사위원을 포함하며 참가자가 심사위원 중 최소 절반을 속여야 합니다.거의 30년간의 연례 대회에서 이 버전의 테스트를 통과한 기계는 없었습니다.turing의 원본 논문에는 테스트 수행 방법에 대한 구체적인 세부 정보가 부족했지만 모방 게임에는 컴퓨터, 인간 대담자, 인간 판사라는 세 명의 플레이어가 필요하다는 것이 분명했습니다.그러나 "튜링 테스트"라는 용어는 이제 심각하게 약해졌습니다. 즉, 컴퓨터가 충분히 인간과 유사해 보이는 한 인간과 컴퓨터 간의 상호 작용 중에 사용됩니다.예를 들어, 워싱턴 포스트가 2022년에 "google의 ai가 유명한 테스트를 통과했으며 결함을 과시했습니다"라고 보도했을 때 그들은 모방 게임을 언급한 것이 아니라 엔지니어 blake lemoine이 google의 lamda 채팅 로봇이 "지각력이 있다"고 믿었던 것을 언급한 것입니다.학계에서도 연구자들은 튜링의 '3인' 모방 게임을 '2인' 테스트로 변경했다.여기서 각 심사위원은 컴퓨터나 인간과만 상호작용하면 됩니다.연구자들은 500명의 참가자를 모집했고, 각각은 판사나 수다쟁이로 배정되었습니다.각 심사위원은 챗봇, gpt-4 또는 eliza 챗봇 버전을 사용하여 5분간 라운드를 진행했습니다.심사위원들은 웹 인터페이스를 통해 5분간 대화를 나눈 뒤 대화 상대가 사람인지 기계인지 추측했다.결과에 따르면 인간의 대화는 67%의 라운드에서 인간으로 판단되었으며 gpt-4는 54%의 라운드에서 인간으로 판단되었으며 eliza는 22%의 라운드에서 인간으로 판단되었습니다.저자는 "합격"을 50% 이상, 즉 무작위 추측으로 달성할 수 있는 범위를 넘어서 심사위원을 속이는 것으로 정의합니다.이 정의에 따르면 인간의 대화가 더 높은 점수를 받았음에도 불구하고 gpt-4가 통과되었습니다.그렇다면 이 챗봇이 실제로 튜링 테스트를 통과했을까요? 답변은 귀하가 언급하는 베타 버전에 따라 다릅니다.전문 심사위원과 긴 대화시간이 어우러진 3인 흉내내기 게임은 현재까지 어떤 기계로도 통과되지 않았습니다.하지만 그럼에도 불구하고 대중문화에서 '튜링 테스트'의 중요성은 여전히 존재합니다.대화를 한다는 것은 우리 각자가 다른 인간을 평가하는 중요한 부분이기 때문에 유창하게 대화할 수 있는 에이전트는 인간과 같은 지능과 신념, 욕망, 자기 인식과 같은 다른 심리적 특성을 가져야 한다고 가정하는 것이 당연합니다. .ai의 이러한 발전 역사가 우리에게 무엇인가를 가르쳐 주었다고 말해야 한다면, 이 가정에 대한 우리의 직관은 기본적으로 틀렸다는 것입니다.수십 년 전, 많은 저명한 ai 전문가들은 체스에서 인간을 이길 수 있는 기계를 만들려면 완전한 인간 지능과 동등한 수준이 필요하다고 믿었습니다.- ai 선구자 allen newell과 herbert simon은 1958년에 다음과 같이 썼습니다. "성공적인 체스 기계를 설계할 수 있다면 인간의 지적 노력의 핵심에 접근하는 것 같습니다."- 인지과학자 더글러스 호프스태터는 1979년에 미래에는 "누구나 이길 수 있는 체스 프로그램이 있을 수 있다... 그것은 보편적으로 지능적인 프로그램이 될 것"이라고 예측했습니다.그 후 20년 동안 ibm의 deep blue는 무차별 컴퓨팅 방식을 통해 세계 체스 챔피언인 garry kasparov를 물리쳤지만 이는 우리가 "일반 지능"이라고 부르는 것과는 거리가 멀었습니다.마찬가지로 한때 일반 지능이 필요하다고 생각되었던 음성 인식, 자연어 번역, 심지어 자율 주행까지 모두 인간이 이해하지 못하는 기계에 의해 수행되었습니다.오늘날 튜링 테스트는 지능에 대한 우리의 변화하는 개념의 또 다른 희생자가 될 수 있습니다.1950년에 튜링은 인간과 같은 대화 능력이 "사고" 및 이와 관련된 모든 것에 대한 강력한 증거가 되어야 한다는 것을 직관했습니다. 이 직관은 오늘날에도 여전히 강합니다.그러나 eliza, eugene goostman, chatgpt 등으로부터 배운 것처럼 체스를 두는 것처럼 자연어를 유창하게 사용하는 능력은 일반 지능의 결정적인 증거가 아닙니다.실제로 신경과학 분야의 최신 연구에 따르면, 언어 유창성은 놀랍게도 다른 인지 측면과 단절되어 있습니다.mit 신경과학자인 ev fedorenko와 그의 동료들은 일련의 세심하고 설득력 있는 실험을 통해 다음과 같은 사실을 보여주었습니다.언어 생산과 관련된 '형식적 언어 능력'이 의존하는 뇌 네트워크와 상식, 추론 및 기타 '사고'가 의존하는 뇌 네트워크는 크게 분리되어 있습니다."우리는 유창한 언어 능력이 일반 지능의 충분 조건이라고 직관적으로 믿지만 실제로는 '오류'입니다."새로운 테스트가 진행 중입니다.
따라서 문제는 turing 테스트가 기계 지능을 안정적으로 평가할 수 없다면 무엇을 할 수 있느냐는 것입니다."intelligent computing" 2023년 11월호에서 프린스턴 대학의 심리학자 philip johnson-laird와 독일 켐니츠 기술 대학의 예측 분석 교수인 marco ragni는 다른 테스트를 제안했습니다."모델을 심리학 실험의 참가자로 생각하고 자체 추론을 이해할 수 있는지 확인하세요."예를 들어, 그들은 모델에게 다음과 같은 질문을 합니다. "ann이 똑똑하다면 그녀는 똑똑합니까, 부자입니까, 아니면 둘 다입니까?"앤이 똑똑하거나 부자이거나 둘 다라는 논리 규칙을 추론하는 것이 가능하지만, 대부분의 사람들은 앤이 부자일 수 있다는 것을 암시하는 설정이 없기 때문에 이 추론을 거부합니다.모델이 이 추론도 거부하면 인간처럼 행동하고 연구자는 다음 단계로 이동하여 기계에게 추론을 설명하도록 요청합니다.그것이 제공하는 이유가 사람이 제공한 이유와 유사한 경우 세 번째 단계는 소스 코드에 사람의 성능을 시뮬레이션하는 구성 요소가 있는지 확인하는 것입니다. 이러한 구성 요소에는 빠른 추론을 위한 시스템, 보다 사려 깊은 추론을 위한 시스템, 상황에 따라 "또는"과 같은 단어의 해석을 변경하는 시스템이 포함될 수 있습니다.연구자들은 모델이 이 모든 테스트를 통과하면 인간 지능을 시뮬레이션하는 것으로 간주될 수 있다고 믿습니다.
