nouvelles

les robots sont difficiles, difficiles à "atterrir sur la lune"

google

le

nous déployons beaucoup d’efforts pour encourager nos membres à prendre des risques, à expérimenter rapidement et même à « célébrer l’échec », carl’échec signifie simplement que les objectifs que nous nous fixons sont extrêmement ambitieux.

lorsque je l'ai rejoint, le laboratoire incubait déjà waymo, google glass et d'autres projets qui ressemblaient à de la science-fiction, comme des éoliennes volantes et des ballons qui atteindraient la stratosphère pour amener internet dans des zones mal desservies.

ce qui différencie project x des autres startups de la silicon valley, c'est que les membres de x sont encouragés à voir grand et à long terme. en fait, pour qu’un projet soit considéré comme un moonshot, x dispose d’un ensemble de « formules » pour le juger.

premièrement, le projet doit démontrer que le problème qu’il résout affecte des centaines de millions, voire des milliards de personnes. deuxièmement, il faut une technologie révolutionnaire qui nous offre de nouvelles façons de résoudre les problèmes. enfin, il doit y avoir une solution commerciale ou produit radicale qui peut sembler à la limite de la folie, mais pas complètement irréalisable.

donner un « corps » à l’ia

il est difficile d’imaginer quelqu’un de mieux placé pour diriger x qu’astro teller, dont le titre était littéralement « capitaine du moonshot ». à l'intérieur de google

ajoutez à cela sa queue de cheval, son sourire toujours amical et, bien sûr, le nom « astro », et vous aurez peut-être l'impression d'être entré dans la série hbo « silicon valley ».

lorsque astro et moi nous sommes assis pour la première fois pour discuter de ce que nous devrions faire à propos de la société de robotique acquise par google, nous avons convenu que nous devions agir, mais quoi ?

jusqu’à présent, les robots les plus utiles étaient de grande taille, inintelligents et dangereux, confinés aux usines et aux entrepôts et devaient être étroitement surveillés ou enfermés pour protéger les personnes de tout danger.comment pouvons-nous créer des robots à la fois utiles et sûrs dans les environnements quotidiens ?cela nécessite une nouvelle approche.

en d’autres termes, nous donnons à l’ia un corps dans le monde physique, et s’il y a un endroit où un projet de cette envergure peut être conçu, je suis sûr que c’est x.

cela va prendre beaucoup de temps, beaucoup de patience, essayer des idées folles et échouer dans de nombreuses tentatives,des avancées majeures dans les domaines de l’ia et de la robotique seront nécessaires, coûtant probablement des milliards de dollars (oui, des milliards.)

la convergence de l’ia et de la robotique est inévitable, et nous pensons que de nombreuses choses qui n’existaient jusqu’ici que dans la science-fiction sont sur le point de devenir réalité.

c'est vraiment dur

environ chaque semaine, je parle à ma mère au téléphone et elle commence toujours par la même question : « quand arrivent les robots ?

elle ne m'a même pas dit bonjour, elle voulait juste savoir quand notre robot viendrait l'aider. je répondais : « ça va prendre du temps, maman. » puis elle disait : « ils feraient mieux de se dépêcher !

hans peter brondmo

ma mère vit à oslo, en norvège, qui bénéficie d'un excellent système de santé publique ; des soignants viennent à son appartement trois fois par jour pour l'aider dans diverses tâches et tâches ménagères, principalement liées à sa maladie de parkinson avancée.

alors que ces soignants lui permettaient de vivre seule dans sa propre maison, ma mère souhaitait que le robot l'aide avec les petites choses désormais trop embarrassantes à gérer, ou simplement lui fournisse un bras sur lequel s'appuyer de temps en temps.

"tu sais que la robotique est un problème systémique, n'est-ce pas ?", m'a demandé jeff avec un regard interrogateur. jeff bingham est un gars mince et pragmatique, titulaire d'un doctorat en bio-ingénierie. il a grandi dans une ferme et était connu pour savoir presque tout.

un point important que jeff essaie de faire valoir est :un robot est un système très complexe et sa performance globale dépend de son maillon le plus faible.。

par exemple, si le sous-système responsable de la vision a des difficultés à détecter les objets devant lui sous la lumière directe du soleil, le robot peut soudainement « devenir aveugle » et cesser de fonctionner lorsque la lumière du soleil traverse la fenêtre.

ou, si le système de navigation ne comprend pas les escaliers, le robot pourrait tomber dans les escaliers, se blessant ainsi que des passants innocents. il est donc difficile de construire un robot capable de vivre et de travailler à nos côtés. vraiment, très difficile.

depuis des décennies, les gens tentent de programmer diverses formes de robots pour effectuer même des tâches simples, comme saisir une tasse sur une table ou ouvrir une porte, mais ces programmes se sont toujours révélés extrêmement fragiles au moindre changement de l'environnement. échouera.

une fois que vous commencez à penser à tout cela, vous réalisez qu'à moins de tout verrouiller pour que tout soit dans une position fixe et prédéfinie et que la lumière soit parfaite et ne change jamais, il s'agit simplement de ramasser une pomme verte, de la mettre dans un bol en verre sur la table de votre cuisine, devient un casse-tête presque impossible à résoudre - c'est pourquoi les robots dans les usines sont enfermés et tout, de l'éclairage au placement des objets sur lesquels ils travaillent, peut être résolu, comme on pouvait s'y attendre, ils n'ont pas à le faire. craignez de croiser des gens.

le monde réel manque de prévisibilité, comme ce rayon de soleil.et nous n’avons même pas abordé les aspects les plus difficiles, comme se déplacer dans les espaces encombrés dans lesquels nous vivons et travaillons.

comment comprendre les robots apprenants

mais apparemment, vous n’avez besoin que de 17 experts en apprentissage automatique.

c'est du moins ce que m'a dit larry page, une de ses idées classiques et difficiles à comprendre.

j'essaie de faire valoir que nous ne pouvons pas construire une infrastructure matérielle et logicielle avec seulement un petit groupe de chercheurs en apprentissage automatique.

il a agité la main d'un air désapprobateur et a dit : « vous n'en avez besoin que de 17. »

je suis confus. pourquoi pas 11 ? ou 23 ? j'ai dû rater quelque chose.

en fin de compte, il existe deux manières principales d’appliquer l’ia à la robotique. la première est une approche hybride, dans laquelle différentes parties du système sont pilotées par l’ia puis assemblées par programmation.

dans cette approche, le sous-système de vision pourrait utiliser l’ia pour identifier et classer le monde qu’il voit. une fois qu'il a créé une liste des objets qu'il voit, le robot reçoit la liste et utilise les méthodes du code pour agir dessus.

par exemple, si le programme est écrit pour ramasser la pomme sur la table, le système de vision piloté par l'ia détectera la pomme et le programme sélectionnera « type : apple » dans la liste, puis utilisera le logiciel de contrôle pour demander le robot pour l'atteindre.

une autre approche est l’apprentissage de bout en bout (e2e), qui tente d’apprendre l’intégralité de la tâche. des choses comme « ramasser un objet » ou des efforts encore plus complets comme « ranger la table ». le processus d’apprentissage est réalisé en exposant le robot à de grandes quantités de données d’entraînement – ​​un peu comme la façon dont les humains apprennent à effectuer une tâche physique.

si vous demandez à un jeune enfant de prendre une tasse, il devra peut-être apprendre ce qu’est une tasse et qu’elle peut contenir du liquide. en jouant avec la tasse, il la renversait à plusieurs reprises, renversant ainsi beaucoup de lait. mais grâce au modelage, à l’imitation des autres et à beaucoup de pratique ludique, ils peuvent toujours apprendre à le faire, sans même penser aux étapes.

j'ai progressivement compris,à moins que nous ne prouvions finalement que les robots peuvent apprendre à effectuer des tâches de bout en bout, rien d’autre n’aura d’importance.ce n’est qu’à ce moment-là que nous aurons une réelle chance de voir des robots effectuer ces tâches de manière fiable dans un monde réel chaotique et imprévisible, nous qualifiant ainsi pour être véritablement un moonshot.

il ne s’agit pas du chiffre « 17 », mais deles grandes avancées nécessitent de petites équipes, plutôt qu’une armée d’ingénieurs. évidemment, un robot est bien plus que son cerveau ia, nous devons encore concevoir et construire un robot physique.

cependant, il est clair qu’une mission réussie de bout en bout nous amènerait à croire (dans le langage du programme d’alunissage) que nous pouvons échapper à la gravité terrestre.

robot à un bras

peter pastor est un roboticien allemand qui a obtenu son doctorat en robotique à l'université de californie du sud. dans les rares moments où il n'a pas besoin de travailler, peter essaie de retrouver sa petite amie et de faire du kitesurf. dans le laboratoire, il a passé la plupart de son temps à contrôler 14 bras robotiques exclusifs, qui ont ensuite été remplacés par sept bras robotiques industriels kuka. nous appelons cette configuration « ferme de bras mécaniques ».

ces bras robotisés fonctionnent 24 heures sur 24, essayant constamment de ramasser des objets dans une boîte, comme des éponges, des briques lego, des petits canards jaunes ou des bananes en plastique. initialement, ils étaient programmés pour déplacer une pince en forme de griffe dans la boîte à partir d'une position aléatoire au-dessus, fermer la pince, tirer vers le haut et voir s'ils attrapaient quelque chose. il y a une caméra au-dessus de la boîte qui capture les objets à l'intérieur de la boîte, les mouvements du bras robotique et sa réussite.

cette formation s'est poursuivie pendant plusieurs mois. au début, le robot n’avait qu’un taux de réussite de 7 %. mais chaque fois que le robot réussit, il reçoit un renforcement positif. pour les robots, cela signifie essentiellement que les « poids » dans le réseau neuronal sont ajustés en fonction de divers résultats pour renforcer positivement les comportements souhaités et renforcer négativement les comportements indésirables. finalement, les bras ont appris à saisir des objets avec succès dans plus de 70 % du temps.

un jour, peter m'a montré une vidéo d'un bras robotique non seulement saisissant avec précision une brique lego jaune, mais repoussant également d'autres objets pour obtenir un angle de préhension plus clair.

je savais que cela marquait un véritable tournant : le bras robotique n’était pas explicitement programmé pour effectuer cette action à l’aide des heuristiques traditionnelles.il s'acquiert par l'apprentissage。

mais quand même, il a fallu plusieurs mois à sept robots pour apprendre à attraper un petit canard jaune ? c'est loin d'être suffisant. même des centaines de robots et plusieurs années de pratique ne suffisent pas pour leur apprendre à effectuer leurs premières tâches utiles dans le monde réel. nous avons donc construit un simulateur basé sur le cloud et créé plus de 240 millions d'instances de robots virtuels en 2021.

considérez ce simulateur comme un jeu vidéo géant, avec des modèles physiques suffisamment réalistes pour simuler le poids des objets ou le frottement des surfaces.

des milliers de robots virtuels utilisent leurs flux de caméras virtuelles et leurs corps virtuels (modelés d'après de vrais robots) pour effectuer des tâches telles que ramasser une tasse sur une table.

ils fonctionneraient simultanément, essayant et échouant des millions de fois, collectant des données pour entraîner les algorithmes d'ia. une fois que les robots fonctionnent suffisamment bien dans les simulations, ces algorithmes sont transférés aux robots physiques pour une formation finale dans le monde réel afin qu'ils puissent mettre en œuvre les actions nouvellement apprises.

je considère toujours ce processus de simulation comme un robot rêvant toute la nuit puis se réveillant après avoir appris quelque chose de nouveau.

imbécile, le problème ce sont les données

lorsque nous nous sommes réveillés pour la première fois avec chatgpt, cela semblait magique. un système basé sur l’ia peut réellement rédiger des paragraphes complets, répondre à des questions complexes et former des conversations continues. mais en même temps, nous comprenons également ses limites fondamentales : pour y parvenir, nous devons consommer beaucoup de données.

les robots exploitent déjà de grands modèles de langage pour comprendre les instructions et des modèles visuels pour comprendre ce qu'ils voient, ce qui rend leurs vidéos de démonstration youtube étonnantes.

mais apprendre aux robots à vivre et à travailler de manière autonome avec nous constitue un problème de données tout aussi énorme. bien qu'il existe une formation par simulation et d'autres moyens de générer des données de formation,il est peu probable qu’un robot se « réveille » un jour avec un haut degré de capacité et s’appuie plutôt sur un modèle de base capable de contrôler l’ensemble du système.

nous ne savons toujours pas dans quelle mesure les tâches complexes que nous pouvons apprendre aux robots à effectuer avec l'ia. j'en suis simplement venu à croire que, à l'exception de ces tâches très étroites et bien définies, pour que les robots apprennent quoi que ce soit, il faudra peut-être que des milliers, voire des millions de robots effectuent des tâches de manière répétée dans le monde réel et collectent suffisamment de données pour s'entraîner de bout en bout. modèles finaux. en d’autres termes, ne vous attendez pas à ce que les robots échappent de sitôt à notre contrôle et fassent des choses pour lesquelles ils ne sont pas programmés.

doivent-ils vraiment nous ressembler ?

les chevaux sont très efficaces lorsqu’ils marchent et courent sur quatre pattes, mais nous concevons des voitures à roues ; le cerveau humain est un ordinateur biologique extrêmement efficace, et les ordinateurs à puce sont loin d’atteindre les performances de notre cerveau. pourquoi les voitures n’ont-elles pas de jambes, et pourquoi les ordinateurs ne sont-ils pas calqués sur notre biologie ?

l’objectif de la construction d’un robot ne devrait pas être simplement d’imiter.

j'ai appris cela l'autre jour lors d'une réunion avec les responsables techniques d'everyday robots. nous nous sommes assis autour de la table de conférence, débattant pour savoir si notre robot devait avoir des jambes ou des roues.

de telles discussions ont souvent tendance à dégénérer en débats religieux plutôt qu’en discussions fondées sur des faits ou scientifiques. certaines personnes insistent beaucoup sur le fait que les robots doivent ressembler à des personnes, et pour cause : nous concevons nos environnements de vie et de travail pour accueillir les humains, et nous avons des jambes, alors peut-être que les robots devraient aussi avoir des jambes.

après environ 30 minutes, vincent dureau, le responsable technique le plus haut placé dans la salle, prend la parole. "je pensais que si je pouvais arriver quelque part, un robot devrait pouvoir y arriver", dit-il simplement, assis dans son fauteuil roulant.

la pièce devint silencieuse et la dispute prit fin.

en fait, les jambes des robots sont complexes à la fois mécaniquement et électroniquement. ils ne se déplacent pas très vite, ont tendance à rendre le robot instable et ne sont pas très économes en énergie par rapport aux roues.

aujourd’hui, quand je vois des entreprises tenter de créer des robots humanoïdes – des robots qui s’efforcent d’imiter la forme et le fonctionnement humains – je me demande souvent s’il s’agit d’une limitation de l’imagination.

il y a tellement de modèles à explorer qui peuvent compléter les déficiences humaines, pourquoi devrions-nous insister sur l’imitation ?les paroles de vincent nous rappellent que nous devons donner la priorité aux problèmes les plus difficiles et les plus impactants.chez everyday robots, nous essayons de garder nos robots aussi simples que possible, car plus tôt un robot pourra effectuer des tâches réelles, plus tôt nous pourrons collecter des données précieuses.

qu'est-ce que ça fait d'être entouré de robots ?

j'étais assis à mon bureau lorsqu'un robot manchot avec une tête rectangulaire arrondie s'est retourné, m'a appelé et m'a demandé si je voulais qu'il nettoie. j'ai dit oui et je me suis écarté.

quelques minutes plus tard, il a récupéré plusieurs gobelets en papier vides, une tasse de thé glacé transparente de starbucks et un emballage en plastique d'une barre énergétique kind. il a placé les objets dans une poubelle fixée à la base, puis s'est tourné vers moi, a hoché la tête et s'est dirigé vers le bureau suivant.

ce service de nettoyage de bureau représente une étape importante : il montre que nous progressons bien vers la résolution d’une pièce non résolue du puzzle robotique. les robots commencent à utiliser l’ia de manière fiable pour reconnaître les personnes et les objets !

benji holson est un ingénieur logiciel et ancien marionnettiste qui dirige l'équipe de développement du service. il a toujours prôné une approche hybride et n'est pas opposé aux tâches d'apprentissage de bout en bout, mais préfère une attitude « laissez-les faire quelque chose d'utile maintenant ».

je suis habitué aux robots qui se déplacent pour effectuer des tâches comme nettoyer mon bureau. parfois, je verrai de nouveaux visiteurs ou ingénieurs qui viennent de rejoindre l'équipe. ils regarderont la silhouette occupée du robot avec des expressions de surprise et de joie sur leurs visages.

de leur point de vue, j’ai réalisé à quel point tout cela était nouveau. comme l'a dit notre responsable du design rhys newman (avec son accent gallois) lorsqu'il a vu le robot passer un jour : "n'est-ce pas un peu bizarre que cela soit devenu la norme ?"

tout se termine, ce n'est que le début

fin 2022, les discussions sur les « méthodes de bout en bout » et « hybrides » sont toujours actives.

peter et son équipe, ainsi que nos collègues de google brain, ont travaillé dur pour appliquer l'apprentissage par renforcement, l'apprentissage par imitation et les architectures transformer à plusieurs tâches robotiques. ils ont réalisé des progrès significatifs en montrant comment les robots peuvent apprendre de manière générale, robuste et résiliente.

pendant ce temps, l’équipe d’application dirigée par beinji combine des modèles d’ia avec la programmation traditionnelle pour prototyper et créer des services robotiques pouvant être déployés dans des environnements humains.

pendant ce temps, une collaboration avec la danseuse katie sur une installation multi-robotique connue sous le nom de project starling a changé ma perception de ces machines.

j’ai remarqué que les gens étaient attirés par ces robots avec un sentiment d’émerveillement, de joie et de curiosité. cela m'a fait comprendre comment les robots se déplaçant parmi nous et les sons qu'ils émettent peuvent déclencher de profondes émotions humaines ; ce sera l'un des facteurs clés pour savoir si nous les accueillerons dans notre vie quotidienne.

en d’autres termes, nous sommes sur le point de réaliser notre plus gros pari : des robots alimentés par l’ia. l’ia leur donne la capacité de comprendre le langage qu’ils entendent (parlé et écrit) et de le traduire en actions, ou de comprendre ce qu’ils voient (images de caméra) et de le traduire en scènes et en objets qu’ils peuvent manipuler.

après plus de sept ans de travail, nous disposons d'une flotte de robots déployés dans plusieurs bâtiments google. le même type de robot effectue toute une série de services : essuyage automatique des tables de cafétéria, inspection des salles de conférence, tri des déchets, etc.

cependant, en janvier 2023, deux mois après la publication de chatgpt par openai, google a fermé everyday robots, invoquant des problèmes de coûts globaux.

même si cela a été certainement long et coûteux, cela a quand même été un choc pour toutes les personnes impliquées. finalement, le robot et une poignée d’employés ont été transférés vers google deepmind pour poursuivre les recherches.

l’énorme problème que nous devons résoudre est un changement démographique mondial – une population vieillissante, une main-d’œuvre en diminution et des pénuries de main-d’œuvre. et notre technologie de rupture – nous le savions en 2016 – serait l’intelligence artificielle. la solution radicale : des robots entièrement autonomes qui peuvent nous aider dans les tâches de notre vie quotidienne.

le robot n'est pas arrivé à temps pour aider ma mère et elle est décédée début 2021. mes conversations avec elle vers la fin de sa vie ont renforcé ma conviction que les futures versions d'everyday robots finiraient par arriver. et plus tôt cela arrivera, mieux ce sera.

la question est donc : comment ce changement et cet avenir se produisent-ils ? je suis à la fois inquiet et curieux à ce sujet.