소식

로봇은 어렵다, "달 착륙"은 어렵다

google

그만큼

우리는 회원들이 위험을 감수하고, 빠르게 실험하고, 심지어 "실패를 축하"하도록 장려하기 위해 많은 노력을 기울입니다.실패는 우리가 설정한 목표가 매우 높다는 것을 의미할 뿐입니다.

제가 합류했을 때 연구소에서는 이미 waymo, google glass 및 공상 과학 소설처럼 들리는 기타 프로젝트를 인큐베이션하고 있었습니다. 예를 들어 성층권에 도달하여 서비스가 부족한 지역에 인터넷을 제공할 비행 에너지 풍차와 풍선과 같은 프로젝트가 있었습니다.

project x가 다른 실리콘 밸리 스타트업과 다른 점은 x 구성원이 크고 장기적인 사고를 하도록 장려된다는 것입니다. 실제로, 문샷으로 간주되는 프로젝트에 대해 x는 이를 판단하기 위한 일련의 "공식"을 가지고 있습니다.

첫째, 프로젝트는 해결되는 문제가 수억, 심지어 수십억 명의 사람들에게 영향을 미친다는 것을 입증해야 합니다. 둘째, 문제를 해결하는 새로운 방법을 제공하는 획기적인 기술이 있어야 합니다. 마지막으로, 거의 미친 것처럼 들리지만 완전히 실행 불가능하지는 않은 혁신적인 비즈니스 또는 제품 솔루션이 필요합니다.

ai에게 "몸"을 부여하세요

문자 그대로 "문샷의 선장"이라는 직함을 지닌 astro teller보다 x를 실행하는 데 더 적합한 사람을 상상하기는 어렵습니다. 3층짜리 백화점을 개조한 google x 빌딩 내부에서는 항상 그의 시그니처 롤러스케이트를 신고 있는 astro를 볼 수 있습니다.

그의 포니테일과 늘 친근한 미소, 그리고 물론 'astro'라는 이름을 더하면 hbo 시리즈 '실리콘 밸리'에 들어온 듯한 느낌을 받을 수도 있습니다.

astro와 제가 처음 google이 인수한 로봇 회사에 대해 무엇을 해야 하는지 논의하기 위해 자리에 앉았을 때 조치를 취해야 한다는 데 동의했습니다. 하지만 무엇을 해야 할까요?

지금까지 대부분의 유용한 로봇은 크고, 지능이 없고, 위험했으며, 공장과 창고에 국한되어 있었고, 사람을 위험으로부터 보호하기 위해 면밀한 감독이나 케이지가 필요했습니다.일상 환경에서 유용하면서도 안전한 로봇을 어떻게 만들 수 있을까요?이를 위해서는 새로운 접근 방식이 필요합니다.

즉, 우리는 ai에게 물리적 세계에 몸을 부여하는 것이며, 이 정도 규모의 프로젝트를 구상할 수 있는 곳이 있다면 x일 것이라고 확신합니다.

오랜 시간이 걸리고, 많은 인내심이 필요하며, 미친 아이디어를 시도하고 많은 시도에서 실패할 것입니다.ai와 로봇 공학의 획기적인 발전이 필요할 것이며 수십억 달러의 비용이 소요될 것입니다.

ai와 로봇공학의 융합은 불가피하며, 지금까지 sf에서만 존재했던 많은 것들이 곧 현실이 될 것임을 우리는 느낀다.

정말 힘들어요

매주 어머니와 전화 통화를 하는데 어머니는 항상 같은 질문으로 시작합니다. "로봇은 언제 오나요?"

그녀는 인사도 하지 않고 단지 우리 로봇이 언제 그녀를 도우러 올지 알고 싶어할 뿐입니다. 내가 "시간이 좀 걸릴 것 같아요, 엄마"라고 대답하면 어머니는 "서둘러야 해요!"라고 말씀하셨어요.

한스 피터 브론드모

우리 어머니는 노르웨이 오슬로에 살고 있는데, 그곳에서는 간병인들이 하루에 세 번씩 어머니의 아파트를 방문하여 주로 진행성 파킨슨병과 관련된 다양한 일과 집안일을 도와줍니다.

이러한 간병인 덕분에 어머니는 자신의 집에서 혼자 생활할 수 있게 되었지만, 이제는 감당하기 너무 부끄러운 작은 일들을 로봇이 도와주거나 가끔씩 기댈 수 있는 팔을 제공해주기를 원하셨습니다.

"로봇공학이 시스템적인 문제인 거 아시죠?" 제프가 궁금한 표정으로 나에게 물었다. jeff bingham은 생명공학 박사 학위를 갖고 있는 날씬하고 말도 안되는 사람입니다. 그는 농장에서 자랐고 거의 모든 것을 아는 것으로 유명했습니다.

jeff가 말하려는 중요한 점은 다음과 같습니다.로봇은 매우 복잡한 시스템이며 전체적인 성능은 가장 약한 링크만큼만 우수합니다.。

예를 들어 시각을 담당하는 하위 시스템이 직사광선 아래에서 앞에 있는 물체를 감지하는 데 어려움을 겪는 경우 로봇은 햇빛이 창문을 통해 비치면 갑자기 "맹인"이 되어 작동을 멈출 수 있습니다.

또는 내비게이션 시스템이 계단을 이해하지 못하는 경우 로봇이 계단 아래로 떨어져 부상을 입을 수 있으며 무고한 구경꾼도 부상을 입을 수 있습니다. 따라서 우리와 함께 생활하고 일할 수 있는 로봇을 만드는 것은 어렵습니다. 정말, 매우 어렵습니다.

수십 년 동안 사람들은 테이블에서 컵을 집거나 문을 여는 등의 간단한 작업도 수행하도록 다양한 형태의 로봇을 프로그래밍하려고 노력해 왔지만 이러한 프로그램은 항상 환경의 작은 변화에도 매우 취약한 결과를 낳았습니다. 실패할 것이다.

일단 모든 것에 대해 생각하기 시작하면 모든 것이 미리 설정된 고정된 위치에 있도록 잠그고 조명이 딱 적당하고 절대 바뀌지 않는 한 녹색 사과를 집는 것만으로도 충분하다는 것을 깨닫게 됩니다. 부엌 테이블 위의 유리 그릇에 넣으면 풀기 거의 불가능한 퍼즐이 됩니다. 이것이 바로 공장의 로봇이 잠겨 있고 조명부터 작업하는 항목의 배치까지 모든 것이 풀릴 수 있는 이유입니다. 사람들과 마주칠까 봐 걱정하세요.

현실 세계에는 햇빛처럼 예측 가능성이 부족합니다.그리고 우리가 살고 일하는 어수선한 공간을 통과하는 것과 같은 정말 어려운 부분은 건드리지도 않았습니다.

학습로봇을 이해하는 방법

하지만 분명히 17명의 기계 학습 전문가만 필요합니다.

적어도 그것은 래리 페이지가 나에게 말한 그의 고전적이고 이해하기 어려운 통찰력 중 하나입니다.

저는 소수의 머신러닝 연구자만으로는 하드웨어와 소프트웨어 인프라를 구축할 수 없다고 주장하려는 것입니다.

그는 못마땅하다는 듯 손을 흔들며 "17개만 있으면 된다"고 말했다.

혼란스러워요. 왜 11이 아니지? 아니면 23? 내가 뭔가를 놓쳤나 봐요.

궁극적으로 로봇공학에 ai를 적용하는 방법은 크게 두 가지가 있습니다. 첫 번째는 시스템의 여러 부분이 ai에 의해 구동되고 프로그래밍을 통해 함께 연결되는 하이브리드 접근 방식입니다.

이 접근 방식에서 비전 하위 시스템은 ai를 사용하여 자신이 보는 세계를 식별하고 분류할 수 있습니다. 로봇이 본 객체의 목록을 생성하면 로봇은 목록을 수신하고 코드의 메소드를 사용하여 이에 대한 조치를 취합니다.

예를 들어 테이블에서 사과를 집는 프로그램이 작성된 경우 ai 기반 비전 시스템은 사과를 감지하고 프로그램은 목록에서 "유형: apple"을 선택한 다음 제어 소프트웨어를 사용하여 질문합니다. 그것을 향해 손을 뻗는 로봇.

또 다른 접근 방식은 전체 작업을 학습하려고 시도하는 엔드투엔드 학습(e2e)입니다. "물건 집기"와 같은 것, 또는 "테이블 정리"와 같은 더 포괄적인 노력. 학습 프로세스는 인간이 물리적 작업을 수행하는 방법을 배우는 것과 마찬가지로 로봇을 대량의 훈련 데이터에 노출함으로써 달성됩니다.

어린 아이에게 컵을 집으라고 하면 컵이 무엇인지, 컵에 액체가 들어 있는지를 배워야 할 수도 있습니다. 그는 컵을 가지고 놀면서 반복적으로 넘어뜨리고 그 과정에서 많은 양의 우유를 흘렸습니다. 그러나 모델링, 다른 사람 모방, 많은 재미있는 연습을 통해 아이들은 단계에 대해 생각조차 하지 않고도 항상 그것을 하는 방법을 배울 수 있습니다.

점차 이해하게 되었고,로봇이 엔드투엔드 작업을 수행하는 방법을 배울 수 있다는 것을 궁극적으로 증명하지 않는 한 다른 것은 중요하지 않습니다.그래야만 혼란스럽고 예측할 수 없는 현실 세계에서 로봇이 이러한 작업을 안정적으로 수행하도록 할 수 있는 진정한 기회를 얻게 되며, 이를 통해 우리는 진정으로 월간 전문가가 될 수 있습니다.

숫자 '17'이 아니라큰 혁신에는 소규모 팀이 필요합니다, 엔지니어 군대가 아닌. 분명히 로봇은 ai 두뇌 그 이상입니다. 우리는 여전히 물리적 로봇을 설계하고 구축해야 합니다.

그러나 성공적인 종단 간 임무는 우리가 (달 착륙 프로그램의 언어로) 지구의 중력에서 벗어날 수 있다고 믿게 만들 것이라는 점은 분명합니다.

외팔 로봇

피터 패스터(peter pastor)는 서던캘리포니아대학교에서 로봇공학 박사학위를 취득한 독일의 로봇공학자입니다. 일할 필요가 없는 드문 순간에 피터는 여자친구와 카이트서핑을 따라잡으려고 노력합니다. 연구실에서 그는 14개의 독점 로봇 팔을 제어하는 ​​데 대부분의 시간을 보냈으며 나중에 7개의 산업용 kuka 로봇 팔로 교체되었습니다.

이 로봇 팔은 24시간 내내 작동하며 스펀지, 레고 블록, 작은 노란색 오리 또는 플라스틱 바나나와 같은 상자에서 물건을 꺼내려고 끊임없이 노력합니다. 처음에 그들은 집게발 모양의 그리퍼를 상자 위의 무작위 위치에서 상자 안으로 옮기고 그리퍼를 닫은 다음 위로 당겨서 무엇이든 잡는지 확인하도록 프로그래밍되었습니다. 상자 위에는 상자 안에 있는 물체, 로봇 팔의 움직임, 성공 여부를 캡처하는 카메라가 있습니다.

이 훈련은 몇 달 동안 계속되었습니다. 처음에 로봇의 성공률은 7%에 불과했습니다. 하지만 로봇이 성공할 때마다 긍정적인 강화를 받습니다. 로봇의 경우 이는 기본적으로 신경망의 소위 "가중치"가 다양한 결과에 따라 조정되어 원하는 행동을 긍정적으로 강화하고 바람직하지 않은 행동을 부정적으로 강화한다는 것을 의미합니다. 결국 팔은 70% 이상의 확률로 물체를 잡는 방법을 성공적으로 배웠습니다.

어느 날 peter는 로봇 팔이 노란색 레고 벽돌을 정확하게 잡을 뿐만 아니라 더 명확한 잡는 각도를 얻기 위해 다른 물체를 밀어내는 비디오를 보여주었습니다.

나는 이것이 진정한 전환점이라는 것을 알았습니다. 로봇 팔은 전통적인 경험적 방법을 사용하여 이 작업을 수행하도록 명시적으로 프로그래밍되지 않았습니다.그것은 학습을 통해 획득된다.。

하지만 그럼에도 불구하고 7대의 로봇이 작은 노란 오리를 잡는 방법을 배우는 데 몇 달이 걸렸나요? 이것으로는 충분하지 않습니다. 수백 대의 로봇과 수년간의 연습만으로는 처음으로 유용한 실제 작업을 수행하도록 가르치기에는 충분하지 않습니다. 그래서 우리는 클라우드 기반 시뮬레이터를 구축하고 2021년에 2억 4천만 개가 넘는 가상 로봇 인스턴스를 만들었습니다.

이 시뮬레이터를 물체의 무게나 표면 마찰을 시뮬레이션할 수 있을 만큼 현실감 넘치는 물리적 모델을 갖춘 거대한 비디오 게임이라고 생각하십시오.

수천 대의 가상 로봇이 가상 카메라 피드와 가상 몸체(실제 로봇을 모델로 함)를 사용하여 테이블에서 컵을 집는 등의 작업을 수행합니다.

그들은 동시에 실행되어 수백만 번 시도하고 실패하며 ai 알고리즘을 교육하기 위한 데이터를 수집합니다. 로봇이 시뮬레이션에서 충분히 잘 수행되면 이러한 알고리즘은 최종 실제 훈련을 위해 물리적 로봇으로 전송되어 새로 학습된 동작을 구현할 수 있습니다.

저는 항상 이 시뮬레이션 과정을 로봇이 밤새도록 꿈을 꾸다가 깨어나 새로운 것을 배우는 과정이라고 생각합니다.

바보야, 문제는 데이터야

chatgpt를 처음 접했을 때 마치 마법처럼 느껴졌습니다. ai 기반 시스템은 실제로 완전한 문단을 작성하고, 복잡한 질문에 답하고, 지속적인 대화를 형성할 수 있습니다. 그러나 동시에 우리는 근본적인 한계도 이해하고 있습니다. 이를 달성하려면 많은 데이터를 소비해야 합니다.

로봇은 이미 대규모 언어 모델을 활용하여 지침을 이해하고 시각적 모델을 활용하여 자신이 보는 내용을 이해하고 있으며, 이로 인해 youtube 데모 동영상이 놀라워집니다.

그러나 로봇이 우리와 함께 자율적으로 생활하고 일하도록 가르치는 것도 마찬가지로 거대한 데이터 문제입니다. 훈련 데이터를 생성하는 시뮬레이션 훈련과 다른 방법이 있지만,로봇이 어느 날 높은 수준의 능력을 갖고 "깨어나"는 일은 거의 없으며 대신 전체 시스템을 제어할 수 있는 기본 모델에 의존하게 될 것입니다.

우리는 로봇이 ai로 수행하도록 얼마나 복잡한 작업을 가르칠 수 있는지 아직 확신하지 못합니다. 저는 매우 좁고 잘 정의된 작업을 제외하고 로봇이 무엇이든 배우도록 하려면 수천 또는 심지어 수백만 대의 로봇이 현실 세계에서 반복적으로 작업을 수행하고 엔드투게인을 훈련하기에 충분한 데이터를 수집해야 할 수도 있다고 믿게 되었습니다. 최종 모델. 즉, 로봇이 조만간 우리의 통제를 벗어나 프로그래밍되지 않은 작업을 수행할 것이라고 기대하지 마십시오.

그들은 정말 우리와 같아야 할까요?

말은 네 발로 걷고 달릴 때 매우 효율적이지만 우리는 바퀴가 달린 자동차를 설계합니다. 인간의 두뇌는 매우 효율적인 생물학적 컴퓨터이며 칩 기반 컴퓨터는 우리 두뇌의 성능에 미치지 못합니다. 자동차에는 왜 다리가 없고, 컴퓨터는 왜 우리 생물학을 모델로 하지 않습니까?

로봇을 만드는 목적은 단지 모방하는 것이 되어서는 안 됩니다.

나는 얼마 전 everyday robots의 기술 리더들과의 회의에서 이것을 배웠습니다. 우리는 회의 테이블에 둘러앉아 로봇에 다리가 있어야 할지 바퀴가 있어야 할지 토론했습니다.

그러한 토론은 사실에 기반하거나 과학적인 토론보다는 종교적인 논쟁으로 이어지는 경향이 있습니다. 어떤 사람들은 로봇이 사람처럼 보여야 한다고 매우 주장하는데, 그 이유는 다음과 같습니다. 우리는 인간을 수용할 수 있도록 생활 및 작업 환경을 설계하고 다리가 있으므로 로봇도 다리가 있어야 할 수도 있습니다.

약 30분 후, 그 방의 수석 엔지니어링 관리자인 vincent dureau가 말했습니다. "내가 어딘가에 갈 수 있다면 로봇도 거기에 갈 수 있어야 한다고 생각했습니다." 그는 휠체어에 앉아 간단하게 말했습니다.

방은 조용해졌고 논쟁은 끝났다.

실제로 로봇 다리는 기계적으로나 전자적으로나 복잡합니다. 그것들은 매우 빠르게 움직이지 않고, 로봇을 불안정하게 만드는 경향이 있으며, 바퀴에 비해 에너지 효율이 좋지 않습니다.

오늘날 인간형 로봇, 즉 인간의 형태와 기능을 모방하려고 노력하는 로봇을 만들려는 기업을 볼 때 이것이 상상력의 한계가 아닐까 하는 생각이 들곤 합니다.

인간의 결함을 보완할 수 있는 디자인이 너무 많은데 왜 모방을 고집해야 합니까?빈센트의 말은 우리가 가장 어렵고 가장 영향력 있는 문제에 우선순위를 두어야 함을 상기시켜 줍니다.everyday robots에서는 로봇이 실제 작업을 빨리 수행할수록 귀중한 데이터를 더 빨리 수집할 수 있기 때문에 로봇을 최대한 단순하게 유지하려고 노력합니다.

로봇에 둘러싸여 있는 느낌은 어떤가요?

책상에 앉아 있는데 둥근 직사각형 머리에 외팔 로봇이 굴러와서 내 이름을 부르며 청소를 하겠냐고 물었습니다. 나는 그렇다고 대답하고 옆으로 섰다.

몇 분 후, 빈 종이컵 몇 개, 스타벅스의 투명한 아이스티 컵, 카인드 에너지 바의 플라스틱 포장지를 집어 들었습니다. 받침대에 부착된 쓰레기통에 물건을 넣은 다음 나를 돌아보며 고개를 끄덕이고 다음 책상으로 이동했습니다.

이 책상 청소 서비스는 중요한 이정표를 나타냅니다. 이는 우리가 로봇 공학 퍼즐의 미해결 조각을 해결하는 데 좋은 진전을 이루고 있음을 보여줍니다. 로봇은 ai를 안정적으로 사용하여 사람과 사물을 인식하기 시작했습니다!

벤지 홀슨(benji holson)은 서비스 개발팀을 이끄는 소프트웨어 엔지니어이자 전직 인형사입니다. 그는 항상 하이브리드 접근 방식을 옹호해 왔으며 엔드투엔드 학습 작업에 반대하지 않고 "지금 유용한 일을 하게 하라"는 태도를 선호합니다.

나는 책상 청소 같은 집안일을 하면서 돌아다니는 로봇에 익숙하다. 가끔 나는 새로운 방문객이나 방금 팀에 합류한 엔지니어들이 얼굴에 놀라움과 기쁨의 표정을 짓고 바쁜 로봇의 모습을 지켜보는 것을 볼 수 있습니다.

그들의 관점에서 나는 이 모든 것이 얼마나 참신한지 깨달았습니다. 우리 디자인 책임자인 rhys newman이 어느 날 로봇이 지나가는 것을 보고 (웨일스 억양으로) 이렇게 말했습니다. "이것이 표준이 된 것이 좀 이상하지 않나요?"

모든 것은 끝난다, 이제 시작일 뿐이다

2022년 말에도 여전히 '엔드 투 엔드'와 '하이브리드 방식'에 대한 논의가 활발하다.

peter와 그의 팀은 google brain의 동료들과 함께 강화 학습, 모방 학습, transformer 아키텍처를 여러 로봇 작업에 적용하기 위해 열심히 노력해 왔습니다. 그들은 로봇이 어떻게 일반적이고 강력하며 탄력적인 방식으로 학습할 수 있는지 보여주는 데 상당한 진전을 이루었습니다.

한편 beinji가 이끄는 애플리케이션 팀은 ai 모델을 기존 프로그래밍과 결합하여 인간 환경에 배포할 수 있는 로봇 서비스를 프로토타입하고 구축하고 있습니다.

한편, 프로젝트 스탈링(project starling)으로 알려지게 된 다중 로봇 설치물에 대한 댄서 케이티(katie)와의 협력은 이 기계에 대한 내가 느끼는 방식을 바꾸었습니다.

나는 사람들이 경이로움, 기쁨, 호기심을 가지고 이 로봇에 매력을 느낀다는 것을 알아차렸습니다. 이를 통해 우리 사이에서 움직이는 로봇과 그들이 내는 소리가 인간의 심오한 감정을 어떻게 촉발할 수 있는지 이해하게 되었습니다.

즉, 우리는 ai로 구동되는 로봇이라는 가장 큰 내기를 실현하기 직전에 있습니다. ai는 그들이 듣는 언어(말하기 및 쓰기)를 이해하고 이를 행동으로 번역하거나, 보는 것(카메라 이미지)을 이해하고 이를 조작할 수 있는 장면과 개체로 번역하는 능력을 제공합니다.

7년 이상의 작업 끝에 우리는 여러 google 건물에 로봇 함대를 배치했습니다. 동일한 유형의 로봇이 구내식당 테이블 자동 닦기, 회의실 점검, 쓰레기 분류 등 다양한 서비스를 수행하고 있습니다.

그러나 openai가 chatgpt를 출시한 지 두 달 뒤인 2023년 1월, google은 전반적인 비용 문제를 이유로 everyday robots를 종료했습니다.

확실히 비용이 많이 들고 시간이 오래 걸렸지만 여전히 관련된 모든 사람에게 충격으로 다가왔습니다. 결국 로봇과 소수의 직원은 연구를 계속하기 위해 google deepmind로 이전되었습니다.

우리가 해결해야 할 가장 큰 문제는 인구 노령화, 노동력 감소, 노동력 부족 등 세계적인 인구통계학적 변화입니다. 그리고 우리의 획기적인 기술(2016년에 우리는 그것을 알고 있었습니다)은 인공 지능이 될 것입니다. 근본적인 해결책은 일상 생활에서 발생하는 작업을 도와줄 수 있는 완전 자율 로봇입니다.

로봇은 어머니를 돕기 위해 제 시간에 나타나지 않았고 어머니는 2021년 초에 돌아가셨습니다. 그녀의 인생이 끝날 무렵 그녀와의 대화는 everyday robots의 미래 버전이 결국 도착할 것이라는 나의 믿음을 강화했습니다. 그리고, 빨리 올수록 좋습니다.

그래서 질문은 이렇습니다. 이러한 변화와 미래는 어떻게 일어날까요? 저는 이것이 걱정이기도 하고 궁금하기도 합니다.