소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

편집자: 장첸

“머신 러닝은 로봇 공학자, 화학자, 생물학자, 신경과학자들이 부러워하는 거품 속에서 살아왔습니다. 그리고 그것이 실제로 성공하기 시작하면 우리 모두는 다른 사람들이 수년 동안 다루어 왔던 동일한 문제에 직면하게 될 것입니다. .현실적인 장벽.”

어떤 사람들은 로봇 공학 분야의 발전이 기계 학습의 다른 하위 분야에 비해 느리거나 심지어는 진전이 없다고 말합니다.

Google DeepMind의 로봇 공학자이자 SayCan, RT-1, RT-2와 같은 구현 지능 프로젝트에 참여한 Alex Irpan도 이에 동의합니다. 하지만 그는 로봇공학이 현실과 밀접하게 연결된 분야이고, 현실의 복잡성으로 인해 필연적으로 벽에 부딪힐 수밖에 없기 때문이라고 믿는다. 그는 또한 이러한 문제가 로봇공학에만 국한된 것이 아니라고 지적했습니다. LLM(대형 언어 모델)과 같은 기술에도 동일한 문제가 적용됩니다. 이러한 모델은 현실 세계에 직면했을 때 로봇 공학과 유사한 복잡성에 직면합니다.

최근 그는 이 점을 설명하기 위해 "현실의 비극이 당신을 위해 오고 있다"라는 제목의 블로그를 썼습니다.

현실의 비극이 당신에게 다가온다

2023년에는 ML 컨퍼런스에 참석했습니다. Ye Weiyang은 술에 취했고, 주제는 다음과 같은 질문으로 바뀌었습니다. "어떤 기계 학습 하위 분야의 리소스를 다른 하위 분야에 줄 수 있다면 어느 하위 분야를 잘라낼 것이며 누구에게 리소스를 주겠습니까?"

누가 무슨 말을 했는지는 기억나지 않지만, 한 사람이 로봇을 베어버리겠다고 하더군요. 내가 더 압박하자 그들은 로봇공학이 너무 느리게 발전하고 있고 다른 분야에 비해 아무 일도 일어나지 않고 있다고 말했습니다.

그들은 로봇 공학이 기계 학습의 순수한 소프트웨어 하위 분야보다 더 느리게 발전했다고 말합니다. 나는 그들이 옳다고 생각하지만 두 가지 요점을 더 추가하고 싶습니다.

• 로봇이 더 느리게 학습하는 이유는 어려운 문제를 해결하지 않으면 변화를 만들기 어렵기 때문입니다.
• 로봇 공학의 과제는 로봇에만 국한되지 않습니다.

로봇공학 분야에서는 “현실은 지저분하다”는 말이 흔히 나온다. 코드와 관련하여 나는 이것을 "현실은 복잡하다"로 확장하고 싶습니다. 로봇 공학에서는 지저분한 현실을 코드가 그 위에서 작동할 수 있을 만큼 충분한 추상화 수준으로 끌어올리는 경향이 있습니다. 한 분야로서 컴퓨터 과학은 하드웨어와 소프트웨어 사이에 좋은 추상화 계층을 만드는데 수십 년을 보냈습니다. 코드는 하드 드라이브, 프로세서 및 디스플레이에 전원을 공급하는 방법을 설명하며, 그것에 대해 생각할 필요조차 없을 만큼 안정적입니다.

이렇게 하면 많은 이점이 있습니다. 힘든 작업을 완료하고 작업 진행 상황을 추상적인 논리적 공간으로 옮기면 모든 것이 더 쉬워집니다. 코드와 데이터는 놀라울 정도로 재현 가능합니다. 나는 아무 생각도 하지 않고 이 블로그 게시물의 초안을 나타내는 파일 사본을 3개의 장치에 걸쳐 동기화했습니다.

그러나 Joel Spolsky가 말했듯이 모든 추상화에는 어느 정도 구멍이 있으며 로봇 공학의 구멍은 훨씬 더 큰 경향이 있습니다. 코드의 정확성과 관련이 없는 일이 잘못될 수 있는 경우는 많습니다.

이것이 주제의 일부 기본 원칙과 관련이 있습니까? 조금. 많은 로봇 하드웨어는 랩톱이나 Linux 서버보다 실험적입니다. 소비자 로봇공학은 아직 큰 산업이 아닙니다. "실험적"은 종종 "이상하고 실패하기 쉬운 상태"를 의미합니다.

그러나 나는 하드웨어가 문제의 주요 원인이라고 생각하지 않습니다. 현실이 문제의 근원이다. 벤자민 홀슨(Benjamin Holson)은 그의 기사 "신화적인 비로봇주의자"에서 이를 매우 잘 설명합니다.

첫 번째 어려움은 로봇이 현실 세계에서 불완전한 인식과 불완전한 실행을 처리해야 한다는 것입니다. 전역적으로 변경 가능한 상태는 다루기가 정말 어렵기 때문에 나쁜 프로그래밍 스타일이지만, 로봇 소프트웨어의 경우 물리적 세계 전체가 전역적으로 변경 가능한 상태이므로 신뢰할 수 없게 관찰만 할 수 있으며 작업을 통해 달성하려는 목표에 더 가까워지기를 바랍니다.

로봇공학 연구는 현실과 소프트웨어 사이에 새로운 다리를 구축하는 데 의존하지만 이는 로봇공학 연구 외부에서도 발생합니다. 현실과 인터페이스하는 모든 소프트웨어는 현실을 불완전하게 이해합니다. 현실 세계의 변화에 ​​영향을 미치려는 모든 소프트웨어는 전 세계적으로 변경 가능한 현실 상태를 처리해야 합니다. 현실에서 일어나는 일에 따라 행동이 달라지는 모든 소프트웨어는 적대적인 소음과 복잡성을 불러옵니다.

게임 AI가 좋은 예이다. 체스 AI는 초인적으로 신뢰할 수 있습니다. 그러나 Tony T. Wang 외가 ICML 2023 논문 "Adversarial Policies Beat Superhuman Go AIs"에서 발견한 것처럼 특정 방식으로 체스를 두는 경우 일부 초인적 Go AI는 패배할 수 있습니다. 적대적 기술은 인간이 복제할 수 있을 만큼 명확한 전략을 찾습니다.

부록 G.2에서 저자 중 한 명인 바둑 전문가는 알고리즘의 도움 없이 상대방의 게임 기록을 학습하여 이 [순환] 공격을 구현할 수 있었습니다. 그들은 KGS 온라인 바둑 서버에서 표준적인 인간 조건에서 플레이했으며 저자와 관련 없는 상위 KataGo 로봇 게임에서 90% 이상의 승률을 달성했습니다.
저자는 심지어 로봇에게 9개의 핸디캡을 부여하여 승리할 수 있었는데, 이는 큰 이점입니다. 이러한 핸디캡을 가진 인간 프로 체스 선수는 인간이나 AI를 포함한 모든 상대에 대해 거의 100%의 승률을 가질 것입니다. 그들은 또한 게임당 100,000번의 검색을 수행한 KataGo와 Leela Zero를 이겼습니다. 이는 일반적으로 인간의 능력을 훨씬 뛰어넘는 수치입니다. 그 이후로 다른 인간들은 순환 공격을 사용하여 다양한 다른 최고의 Go AI를 물리쳤습니다.

한편, 몇 년 전 OpenAI는 현 세계 챔피언인 Dota 2를 물리친 시스템을 만들었습니다. 견고성을 테스트하기 위해 시스템을 대중에게 공개한 후, 한 팀은 10연승을 거두는 전략을 고안했습니다.

이를 바탕으로 19 x 19 Go 보드 또는 Dota 2 연결과 같은 단순한 "현실"조차도 강력한 동작을 어렵게 만들기에 충분한 추가 복잡성을 가지고 있다는 비관적인 견해를 가질 수 있습니다. 저는 이 관점이 불공평하다고 생각합니다. 두 시스템 모두 견고성을 최고의 목표로 삼지 않기 때문입니다. 하지만 흥미로운 사례 연구를 하고 있다고 생각합니다.

최근 LLM을 둘러싼 과장된 물결이 일고 있습니다. 즉, LLM이 무엇을 할 수 있고 어디에 적용할 수 있는지에 대한 것입니다. 여기에는 LLM이 사람들이 직장과 여가 시간에 기술과 상호 작용하는 방식을 극적으로 변화시킬 수 있다는 믿음이 암시되어 있습니다. 즉, LLM은 우리가 현실과 상호 작용하는 방식을 바꿀 것입니다. 사실, 나는 과대광고에 편승했습니다. 특히 기본 모델이 단기적으로는 과대평가되고 장기적으로는 과소평가되었다는 의심이 들었습니다. 그러나 이는 역사적으로 현실을 고려하지 못한 분야에 현실의 모든 혼란이 다가온다는 것을 의미하기도 합니다.

이 사람이 로봇 공학은 자원 낭비라고 말한 동일한 ML 컨퍼런스에서 저는 우리가 실제 로봇을 사용하여 기본 모델 실험을 하고 있다고 언급했습니다. 어떤 사람들은 그것이 조금 무섭다고 말했고 나는 그것이 단지 연구 프로토타입일 뿐이라고 확신했습니다. 그러나 나는 또한 LLM 생성 및 실행 소프트웨어가 약간 위협적이라고 생각하며, 그들이 막연하게 하나에 대해 걱정하고 다른 하나는 걱정하지 않는다는 점이 흥미롭다고 생각합니다. 실리콘 밸리의 사람들은 약간 모순적입니다. 그들은 소프트웨어가 스타트업이 놀라운 변화를 이룰 수 있도록 힘을 실어줄 수 있으며 그들의 소프트웨어는 생각하거나 반성할 가치가 없다고 믿습니다. 나는 비트의 세계가 원자의 세계와 마찬가지로 현실의 일부라고 믿습니다. 그것들은 서로 다른 수준에서 작동하지만 모두 현실의 일부입니다.

나는 (일부 샤덴프로이데와 함께) LLM 실무자들이 이전에 로봇 공학이 겪었던 것과 동일한 문제점에 직면하기 시작했다는 것을 알아차렸습니다. 예를 들어, "이러한 교육은 비용이 너무 많이 들기 때문에 복제할 수 없습니다." 그렇습니다. 이 문제는 로봇공학 분야에서 적어도 10년 동안 논의되어 왔습니다. 또 다른 예: "Bing이 아바타 2의 출시일을 나에게 알려줄 수 없습니다. 왜냐하면 Bing은 계속해서 자체 뉴스 보고서를 가져와서 생성하기 전에 자체적으로 수정하기 때문입니다."

이제 우리는 인터넷에서 공개적으로 사용 가능한 텍스트가 검색 향상 생성에 돌이킬 수 없는 영향을 미치는 세상에 살고 있습니다. 전역 변경 가능 상태에 오신 것을 환영합니다. ChatGPT의 행동이 퇴보했다고 주장하는 사람을 볼 때마다, 로봇 성능의 갑작스럽고 설명할 수 없는 저하를 설명하기 위해 저와 다른 사람들이 생각해낸 다양한 "음모 이론", 그리고 문제가 모델에 있는지 환경에 있는지 생각합니다. 아니면 우리의 과잉 추론인가?

"모든 로봇 데모는 거짓말을 한다"는 속담처럼 사람들은 모든 LLM 데모도 거짓말을 한다는 것을 알게 됩니다. 근본적으로 인간의 주의 범위가 제한되어 있기 때문에 이는 불가피하다고 생각합니다. 거짓말의 유형, 규모, 중요성을 평가하는 것이 중요합니다. 모델/봇이 어떻게 일반화하는지 보여주나요? 이러한 사례가 얼마나 신중하게 선택되었는지 언급했나요? 현실이 연결되면 이러한 문제는 더욱 복잡해집니다. 메시는 지금은 좋은 선수처럼 보이지만 "스토크 시티에서 춥고 비오는 밤에 할 수 있을까?"

문제를 복잡하게 만드는 것은 이러한 질문에 대한 대답이 항상 "아니요"인 것은 아닙니다. 메시는 스토크 시티에서 춥고 비오는 밤에 해낼 수 있었습니다. 그는 충분히 좋은 사람입니다. 이는 질문을 어렵게 만듭니다. 왜냐하면 정확한 "아니요"라고 대답하는 것보다 정확한 "예"라고 대답하는 것이 훨씬 더 중요하기 때문입니다. LLM이 점점 더 좋아지고 AI가 일상 생활에서 더욱 보편화됨에 따라 사회로서 우리는 모델이 스스로 입증되었는지 판단하는 데 점점 더 능숙해져야 합니다. 미래에 대한 나의 주요 관심사 중 하나는 모델이 스스로 입증되었는지 평가하는 데 능숙하지 않다는 것입니다.

그러나 나는 로봇공학자들이 앞서 나갈 것으로 기대한다. 우리는 LLM이 공통 벤치마크를 조작했다는 제안이 나타나기 전에 평가 문제에 대해 불평하고 있었습니다. "더 나은 데이터 적용 범위가 필요하다"가 기본 모델 사전 훈련 팀의 슬로건이 되기 오래 전부터 우리는 자율 주행의 롱테일 효과를 포착할 수 있는 충분한 데이터를 얻기 위해 열심히 노력하고 있었습니다. 기계 학습은 로봇공학자, 화학자, 생물학자, 신경과학자들이 부러워하는 거품 속에서 살아왔습니다. 그리고 그것이 실제로 성공하기 시작하면 우리 모두는 다른 모든 사람들이 수년 동안 다루어 왔던 동일한 문제에 직면하게 될 것입니다. 현실적인 장벽. 이러한 어려움은 극복할 수 있지만 어려울 것입니다. 현실 세계에 오신 것을 환영합니다. 고통의 세계에 오신 것을 환영합니다.

원본 링크: https://www.alexirpan.com/2024/07/08/tragedies-of-reality.html