nouvelles

"Vous faites Nomi, et je le briserai en morceaux dès que possible."

En 2015, le monde n’avait pas vu la technologie d’IA que beaucoup de gens associent aujourd’hui à « AGI », mais elle venait tout juste d’être fondée.NIOAu cours de sa deuxième année, Li Bin a décidé de devenir assistant IA dans la voiture :

Il doit avoir sa propre entité physique et être super intelligent et sensible.

Plus tard, cette petite boule a été "placée" dans la position centrale du cockpit de NIO et est devenue l'un des symboles les plus connus de NIO - il existe de nombreux véhicules à énergie nouvelle avec de grands écrans ou plusieurs écrans, mais il y en a un. La seule personne avec le " "La petite boule" qui vous fait un clin d'œil est peut-être NIO. Cet assistant intelligent est aussi un symbole de la forme ultime des voitures aux yeux de Li Bin.

Mais lorsqu'il a fait part de cette idée à un ingénieur automobile senior d'un constructeur traditionnel, il a d'abord reçu une réponse fâchée.

"C'est compréhensible. Cela a un impact sur l'ensemble du système automobile traditionnel auquel il est habitué.", m'a récemment dit Li Tianshu, vice-président de NIO. Il est l'employé n°001 de NIO, et c'est également la personne qui a pris la responsabilité dès le premier jour de faire de Nomi une réalité après que Li Bin ait décidé de le faire. Bien sûr, c'est aussi lui qui veut « empêcher » ces ingénieurs traditionnels de « briser Nomi ».

Li Tianshu sur NIO IN

En 2015, alors que l’introduction d’un grand écran dans une voiture était encore une nouveauté, installer un robot IA rond dans le cockpit n’était généralement pas considéré comme une bonne idée. Mais Li Tianshu a estimé que cela devait être fait. Il a rejoint l'équipe de Li Bin à la veille de la création de Weilai. Tout juste revenu d'études aux États-Unis, il est passé du statut d'ingénieur professionnel étudiant les moteurs automobiles à celui d'aujourd'hui vice-président et responsable de l'expérience produit chez NIO. Il est responsable du système de cockpit intelligent NIO, de l'expérience en matière de conception de produits, de la combinaison de logiciels et de matériel et de l'introduction de technologies d'IA telles que les derniers grands modèles.

Parmi eux, Nomi est l'un des projets les plus importants dont il a été responsable au cours des 10 dernières années chez Weilai. Du simple tour de tête à gauche et à droite pour saluer les utilisateurs au début, aux mises à jour de capacités apportées à Nomi par l'innovation technologique à grand modèle apportée par ChatGPT en 2023, la scène de compagnon d'IA que Li Tianshu envisageait pour Nomi en le passé est devenu aujourd'hui un sujet d'actualité sans précédent.

Lors de la deuxième journée de l'innovation et de la technologie de NIO IN, le 27 juillet 2024, Li Tianshu a présenté le nouveau NomiGPT, qui est la nouvelle architecture de Nomi combinée à la technologie des grands modèles. Il fait également partie du nouveau système intelligent Banyan3 de NIO. Dans son discours, il a présenté les six agents Nomi et leurs scénarios d'utilisation : Parking Assistant, Guard Summary, Service Butler, Discovery, Travel Memories et NOMI DJ.

NIO IN, qui s'est tenu pour la deuxième fois, a également été décrit par Li Bin comme l'entrée permettant au monde extérieur de vraiment comprendre NIO :

"Nous avons toujours été incompris auparavant. En fait, la technologie est le fondement de NIO."

NIO a également publié plusieurs réalisations techniques et mises à jour de produits en une seule fois. De l'enregistrement réussi du NX9031 de NIO, la première puce de conduite intelligente de 5 nanomètres au monde, à SkyOS Tianshu, le premier système d'exploitation de véhicule entièrement développé par un constructeur automobile chinois, en passant par le système intelligent Banyan3 conçu pour l'IA, et le monde de la conduite autonome Le modèle NWM contient une énorme quantité d’informations.

Nomi continue d'être le point de contact entre les technologies cachées de NIO et les utilisateurs, et il est également l'incarnation des idées de produits et de technologies de l'entreprise, ainsi que de sa méthodologie de recherche et développement technologique.

Récemment, j'ai eu l'occasion de discuter avec Li Tianshu de son expérience chez NIO et de la philosophie technique et des pratiques techniques de NIO sur des produits tels que Nomi.

Aujourd’hui, alors que tout le monde recherche des produits phares à grande échelle et est fou de toutes sortes de matériel d’IA, les assistants IA dans les voitures semblent être un coin négligé. Li Tianshu pense que l'IA en elle est plus susceptible d'être mise en œuvre dans les voitures.

Ce qui suit est une transcription de la conversation.

Q : Comment êtes-vous devenu employé n°001 de NIO ? Qu'avez-vous fait chez NIO au cours des 10 dernières années ? Comment êtes-vous passé du statut d’ingénieur automobile à celui de responsable de l’expérience utilisateur ?

R : La première fois que frère Bin et moi nous sommes rencontrés, c'était en 2009. J'étais étudiant en deuxième année à l'Université de Beihang et j'adorais déconner. Je suis l’une des rares personnes à avoir décidé d’aller dans une université avec une formation en aviation pour étudier la technologie automobile.Parce que je pense que le moteur est le cœur de la voiture, et le moteur de l'avion est le plus génial, tout commeBMW、Rolls-Royce À l’époque, on construisait des moteurs d’avion. Je pense que cela devrait être le bon endroit où aller. Mais je ne me sentais pas satisfait à l’université et je voulais fabriquer des voitures plus complètes parce que j’aime les voitures depuis que je suis enfant. J'ai donc également eu des mineures en design industriel, en ingénierie automobile, en ingénierie automobile, etc.

Puis à la fin, j'ai été confronté à un concours particulièrement complet, dans lequel des étudiants construisaient ce genre de voiture de course de formule, c'était différent des voitures produites en série sur la route, c'était relativement clair, basé sur la vitesse, les règles, les performances. et c'était un concours permettant aux étudiants de résoudre des problèmes dans un but d'efficacité. À cette époque, frère Bin et la société ont présenté le projet Formula Student depuis l'étranger. À cette époque, j’ai participé au premier lancement en tant que représentant étudiant. Je regardais frère Bin depuis le bas de la scène.

Notre groupe était considéré comme le premier groupe d'« étudiants construisant des voitures » en Chine. Avant que les nouvelles forces ne construisent des voitures, il y avait encore un groupe d'étudiants à qui on demandait de construire des voitures (rires).

A cette époque, je me suis porté volontaire et j'ai commencé à collectionner des jeux. Invitez tous les étudiants diplômés à travailler ensemble et je serai le capitaine. J'ai travaillé en tant que junior pendant un an, au cours duquel j'ai parrainé et réalisé le développement de moteurs, y compris les tests de commandes électroniques, tous effectués par des personnes de différentes disciplines et départements.

Q : Les étudiants construisent réellement des voitures. Votre projet ressemble à une entreprise de mini-voitures.

R : Oui, il s’agit en fait d’une société de mini-voitures. Cette concurrence s'est poursuivie depuis lors, et après 2020, des technologies purement électriques et sans conducteur seront introduites, et les logiciels deviendront progressivement le cœur de la compétitivité. Vous constaterez alors qu'un grand nombre du personnel de R&D et des concepteurs de base de notre entreprise aujourd'hui, y compris ceux qui sont en première ligne, sont en fait des personnes issues du système de course Formula Student financé par Brother Bin.

Q : En 2009, Weilai était encore loin.

R : Oui. Il était encore à Yiche à l'époque et tous les financements étaient au nom de Yiche. Plus tard, en 2011, j'ai obtenu mon diplôme universitaire et je suis allé à l'Université du Michigan, à Ann Arbor, pour étudier l'ingénierie et la fabrication automobiles. J'espérais me rendre dans le berceau de la chaîne de montage automobile pour apprendre la fabrication de véhicules et l'ingénierie des systèmes. Plus tard, je suis retourné en Chine et j'ai travaillé pendant un an comme ingénieur automobile dans des constructeurs automobiles à Shanghai et à Pékin.

Mais j’ai trouvé que cela ne me suffisait pas. Je pense que c'est trop loin de la demande des consommateurs. Plusieurs fois, vous vous demanderez pourquoi faites-vous cela ? Est-il juste que tout le monde arrive à cette conclusion ? Je ne peux pas répondre.

J'avais donc prévu de démarrer une entreprise à cette époque et de réaliser un petit projet similaire à l'automobile et à Internet. Pour le dire simplement, il s’agit de voir s’il peut faire des recommandations basées sur des algorithmes aux consommateurs et recommander la voiture la plus adaptée pour vous en fonction des besoins et des préférences de chacun en matière de voiture. À ce moment-là, j'ai immédiatement pensé à frère Bin et j'ai voulu le trouver pour un financement. Il m'a écouté pendant une demi-heure et a été très patient. La conclusion finale à laquelle il est arrivé m'a également beaucoup surpris. le projet est bien, mais restez (rires).

Il m'a donné un mois pour réfléchir si je devais l'accompagner pour préparer son projet de construction automobile. Mais vous savez aussi qu’en 2014, beaucoup de gens disaient vouloir construire des voitures, mais seuls quelques-uns étaient vraiment fiables. À cette époque, j’étais vraiment partagé entre continuer à incuber des projets comme le nôtre ou travailler avec frère Bin sur quelque chose d’incertain et d’inconnu. Mais à cette époque, j’avais la ferme conviction que mon idéal dans la vie était de créer ma propre marque et de construire ma propre voiture. On peut donc dire que frère Bin a réalisé cet idéal plus tôt que prévu.

Q : En d’autres termes, votre idée entrepreneuriale était le résultat des ressources limitées dont vous disposiez à l’époque, mais le but ultime est de posséder à terme votre propre marque automobile.

R Oui, donc ce qui m'impressionne le plus, ce n'est pas réellement la construction d'une voiture par désingénierie et production. Le plus important c'est que frère Bin voulait créer une marque à cette époque, une toute nouvelle marque, je pense que ce point m'a particulièrement touché. Plus tard, nous avons eu d’autres contacts et avons finalement rejoint la première équipe de l’entreprise en 2014.

Q : La date officielle de création est septembre.

R : Je suis allé lui parler en août.

Q : Donc, vous l'avez rencontré par hasard. À cette époque, Li Bin envisageait de devenir lui-même Weilai.

R : Oui, juste ce pas, c’est considéré comme le front de cette vague. C'est probablement une coïncidence.

Q : Votre expérience ici est l'histoire d'une personne obsédée par les voitures depuis longtemps, mais comment en êtes-vous arrivé à aujourd'hui et êtes-vous devenu responsable de l'expérience produit et avez-vous parlé d'IA ?

A : Cela ne semble absolument pas lié, n'est-ce pas ?

Q : Oui.

R : En fait, dès le premier jour où nous avons rejoint l’entreprise, frère Bin et moi avions un objectif très clair : combiner produits et technologie.

Je pense que pour résoudre les problèmes d’ingénierie automobile et d’innovation logicielle, nous devons en fin de compte savoir comment définir les produits et identifier les besoins des utilisateurs. Je pense que c’est une chose très importante.

La première chose de fin 2014 à début 2015 a donc été de se concentrer sur la définition et le design de notre premier produit ES8. A cette époque, nous avons également suivi Brother Bin pour rassembler toute l'équipe, c'est-à-dire qu'en utilisant la puissance de toute l'équipe de start-up, tout le monde a travaillé ensemble pour définir le produit que nous avions initialement imaginé.

Ma tâche consiste principalement à étudier et à comprendre les scénarios d’utilisation de nos utilisateurs, et à les transformer en consensus. Par exemple, j'ai collaboré avec des leaders du design et de l'ingénierie tels que Roger Markeson et Chris Thomas au début pour établir un consensus de chacun sur les idées et les exigences des produits.

Q : Qu'avez-vous fait ?

R : Il y a eu quelques petites histoires de cette époque. À cette époque, nous avions besoin d'innover dans la voiture. Au premier semestre 2015, je suis retourné à Pékin pour faire cette étude des utilisateurs. Je suis juste allé au viaduc de Pékin et j'ai pris des photos de diverses voitures avec mon appareil photo, j'ai pris plus de 3 000 photos, puis j'ai compilé des statistiques sur les modèles ici. J'ai spécifiquement trouvé cet après-midi le samedi parce que c'était le moment où les gens étaient fatigués après leur retour d'une visite autonome, et c'était aussi le moment le plus agréable, donc à ce moment-là on pouvait voir tout le monde être le plus détendu et naturel . État. A cette époque, j’ai découvert plusieurs modèles. Parce que ma femme et moi n'étions pas mariés à l'époque, nous étions très, très préoccupés par les sentiments subtils de chacun.

Q : Ce statut a été étendu à votre observation utilisateur.

R : Oui, donc il se peut qu'il y ait certaines choses qui ne peuvent être discernées qu'à un certain âge de la vie.

À ce moment-là, j'ai accordé une attention particulière à la personne dans le copilote et j'ai découvert que de nombreuses personnes dans le copilote avaient les pieds sur le tableau de bord, et beaucoup d'entre elles étaient des filles. Alors pourquoi les gens font-ils cela ? En fait, c’est logique : le copilote n’a pas besoin de conduire. En toute logique, vous n'avez pas besoin de punir nos passagers copilotes du même geste que le conducteur principal, n'est-ce pas ?

Je pense donc que l'espace passagers devrait être asymétrique par rapport à celui du conducteur principal.

Jusqu'à aujourd'hui, les modèles SUV de NIO ont toujours adopté une conception de cabine avant aussi asymétrique. Lorsque nous l'avons nommé pour la première fois, nous l'avons appelé le Queen's Co-pilot. Nous avons fait pas mal de choses comme ça à cette époque.

Le deuxième cas consiste en fait à travailler avec Brother Bin pour définir l'avenir de l'interaction homme-machine dans les voitures. Nous attachons une grande importance à l'interaction homme-machine.

En 2014 et 2015, Weilai avait un facteur de valeur, initialement au nombre de quatre. Plus tard, après une discussion très intense, nous avons ajouté un cinquième facteur, axé sur la conception. Nous pensons que cette entreprise doit avoir une force motrice importante, axée sur le design.

Q : Quels sont les quatre précédents ?

R : Le premier concerne les avantages pour l'utilisateur, le deuxième est une expérience complète qui dépasse les attentes, le troisième est appelé innovation continue et le quatrième est appelé efficacité du système.

Q : Le seul qui comporte le mot pilote parmi ces éléments est le pilote de conception. Je pensais que les quatre premiers pourraient être des pilotes technologiques.

R : Oui. Nous examinons certaines des plus grandes entreprises mondiales motivées par le design. En fait, ce n'est pas seulement le style du design qui est motivé, mais aussi la recherche de la perfection. Elles sont toutes basées sur la beauté et la perfection et partent de la perfection de l'utilisateur. sentiment.

Qu’est-ce qui détermine ces choses ? NIO est une marque naturellement chaleureuse, humaine et émotionnelle. C'est donc ce que nous faisons principalement en 2015 : définir la vision et les objectifs originaux de l'entreprise et avoir un aperçu de certaines demandes des utilisateurs de très bas niveau. En même temps, je verrai également une partie de l’imagination de frère Bin concernant le remplacement des batteries et l’alimentation. Son point culminant est donc notre produit de première génération, ES8.

Puis 2017 à 2019 fut ma deuxième étape au NIO. À cette époque, nous voulions vendre la voiture et nous avons commencé à mettre en place une équipe de marketing produit en 2017, notamment en lançant le Nio Day en 2017. Fondamentalement, j'étais le directeur produit pour les lancements de produits ces dernières années. En 2019, qui a également été la période la plus difficile pour l'entreprise, nous avons décidé de revenir et de suivre la plateforme de deuxième génération de l'entreprise pour réaliser l'ensemble de son travail de planification et de définition.

Fin 2018, je suis allé dans la Silicon Valley aux États-Unis avec Brother Bin. C'était la première fois que je proposais notre nouvelle architecture, un contrôle central, et le concept de contrôle total avec Qiyan (leader technique Ethernet ring). Mais le plus grand défi ici n'est pas le matériel, mais le logiciel et le système d'exploitation. Ce système d'exploitation fait référence à notre système d'exploitation global de niveau inférieur au niveau du véhicule.

À cette époque, il a été décidé de réserver et de prévisualiser lentement la plate-forme NT2.0 de deuxième génération et de laisser SkyOS l'utiliser localement. Lorsque la plate-forme NT3.0 de nouvelle génération sera entièrement livrée, ce sera le système d'exploitation SkyOS à l'échelle du véhicule qui sera entièrement livré par Letao aujourd'hui et ET9 l'année prochaine. Tout le monde travaillait en étroite collaboration à cette époque.

À partir de 2020, je concentrerai toute mon énergie sur l'ensemble du système PD (conception de produits). À mon avis, c'est toujours une position sacrée. Dans de nombreuses entreprises technologiques Apple, la conception et le développement de produits sont en fait très critiques, car ils connectent les utilisateurs. valeur et valeur technique. Cela ne peut pas devenir le plafond de la technologie, ni l’asservissement de la technologie. C’est très critique. Je pense donc que l’équipe produit est une équipe et un système très importants que l’entreprise doit ensuite construire.

Puis de 2020 à 2022, il a fallu deux ans et demi pour planifier et concevoir un total de 8 voitures. Couplé au pré-développement et à la pré-recherche du NT3 d'ET9, ce fut en fait une expérience à très haute densité. Nous avons décidé de définir, planifier et gérer ensemble l'ensemble du produit logiciel et matériel. Ce n'est qu'ainsi que les gènes de l'expérience produit pourront être cohérents. Je pense que ce que nous fabriquons en termes de produits et de technologies dépend en fin de compte des sentiments des gens.

Q : Vous avez mentionné qu’en 2018 et 2019, vous avez en fait occupé quatre emplois en même temps. Je m'occupe du développement de produits, du marketing et des ventes, et je suis également responsable du produit Nomi. Alors je peux t'appeler "Père de Nomi", n'est-ce pas ?

R : D’un point de vue technique, oui, mais d’un point de vue stratégique, il s’agit définitivement de frère Bin. Mais il n'y a pas lieu de s'inquiéter de savoir qui est le père et qui est la mère hahaha. Bien sûr, c’est frère Bin qui l’a proposé le premier.

Q : Sur Nio IN, Li Bin a diffusé une vidéo de la première version conceptuelle de Nomi en 2017. J'ai imaginé le futur. Il peut interagir avec vous et vous aider à contrôler certains comportements de la voiture. À cette époque, c’était complètement une imagination du futur.

R : J’étais également le réalisateur de cette vidéo et j’ai écrit le scénario moi-même.

Q : Avec le recul, Nomi est un peu comme un produit qui a été envisagé très tôt, et aujourd'hui, il a finalement inauguré la vague technologique qui l'a rendu possible. Comment se déroule le processus ?

UN : droite. La raison pour laquelle frère Bin m'a demandé d'assumer le rôle de chef de produit Nomi à cette époque remonte en fait au moment où cette idée a été proposée en 2015. D'un point de vue traditionnel de l'automobile et du design automobile, vous trouverez cette chose très étrange.

Q : Faites-vous partie de ceux qui trouvent ça bizarre ?

R : Je ne pense pas que ce soit bizarre.

Mais je vous dis que plus de 90 % des gens le sont. A cette époque, il y avait une phrase qui m'avait profondément impressionné. Il s'agissait d'un collègue qui était en fait une personne très haut placée dans l'industrie automobile traditionnelle. Il a dit que si cette chose était faite,La première chose qu’il voulait faire était de le mettre en pièces et de le battre à mort.

Q : Comment avez-vous décrit cette chose à l'époque comme donnant aux gens l'impression qu'ils voulaient la frapper à mort ?

UN :J'ai été particulièrement impressionné par notre description initiale. La première chose à laquelle frère Bin a pensé était qu'il devait être capable de bouger.

Parce qu’à cette époque, beaucoup de gens imaginaient qu’il y avait une IA dans l’écran de la voiture, non ? Vous créez une petite image sur l'écran, une petite boule avec de petits yeux. Tout cela peut être fait. Mais nous voulons vraiment être une entité.

Cette chose a du sens, car s’il s’agit d’une entité, elle peut former une synesthésie avec la voiture, et les gens reconnaîtront que c’est la même chose. Mais s’il s’agit d’un avatar virtuel, les gens le considéreront toujours uniquement comme la chose derrière l’écran qui peut se trouver dans le cloud, ce qui est très différent. Nous espérons que la voiture deviendra un partenaire émotionnel, car NIO est une entreprise qui offre une expérience utilisateur tout au long du cycle de vie. Les entités devraient donc voyager avec des entités, plutôt qu'avec une seule entité et un seul corps virtuel. C'est la première chose que nous disons.

Ensuite, la deuxième chose, nous avons aussi une idée à long terme, c'est parce que nous sommes des gens relativement émotifs et pouvons faire preuve d'empathie au point que les gens veulent finalement être accompagnés.

Les gens disent qu’ils ont besoin d’être seuls et tranquilles, mais en fait, c’est peut-être parce qu’ils n’ont pas assez de compagnie. Nous pensons que la camaraderie et la connexion, même si vous êtes là tranquillement sans rien dire, cela reste une sorte de camaraderie, tout comme beaucoup de gens gardent des animaux de compagnie de nos jours, n'est-ce pas ?

Le sentiment de camaraderie était donc une valeur sur laquelle nous souhaitions nous concentrer à cette époque. À le regarder aujourd'hui, même s'il ne parle pas, c'est bel et bien une existence très forte. Ce n’est que lorsqu’il deviendra une entité qu’il pourra être suffisamment dur et suffisamment fort. Sinon, si vous dites simplement à l'écran, coupez le son.

Q : C’est vraiment parti.

R : Oui, s’il disparaît, alors il n’existe plus. C’est donc une question philosophique, une question existentielle à laquelle il faut répondre. (Rires) Nous devons donc le laisser exister, et ensuite nous lui donnons un sens.

Le plus grand défi à cette époque était donc de convaincre tout le monde de la valeur et de l’importance de cette chose. Ensuite, il faut résister à beaucoup d’incompréhension, car ce n’est que si vous le lui laissez voir qu’il le croira. Le deuxième défi est la technologie. Il est vrai qu'à cette époque, toutes les commandes vocales étaient interactives. En fait, il n'avait pas ce genre de conversation aujourd'hui.

Q : Il n’existe pas d’interaction en langage naturel de ce type.

R : Oui, il n’y a pas encore d’interaction. Comment pouvons-nous faire croire cela à tout le monde ? Un autre défi plus important est la technologie du véhicule lui-même. Comment pouvez-vous contrôler ces éléments dans le véhicule ? L'inverse est également très important.

J'ai fait un reportage à ce moment-là, mais certaines voitures peuvent ne plus le faire. Mais il y a une expérience avec la voiture de première génération, c'est-à-dire que lorsque votre main est proche de l'écran de commande central, Normi ​​​​vous regardera, car nous avons un capteur de proximité dès que votre doigt s'approche. Nomi, il baissera la tête, ce qui signifie qu'il peut contrôler cet espace de ce champ, donc vous le reconnaîtrez comme vivant. Pour un autre exemple, dès que nous ouvrons la portière de la voiture, elle doit se retourner et vous dire bonjour. Ce genre d'expérience a en fait été réalisé en très peu de temps avant notre sortie en 2017.

Q : J’ai enfin réussi.

R : Oui, je suis très impressionné. C'était la conférence de presse de décembre 2017. Le 6 décembre, toute notre équipe a pu pour la première fois connecter complètement l'expérience logicielle et matérielle de Nomi, à partir d'une vingtaine ou d'une trentaine de cas. Ce sont des petites fonctions très spécifiques. Par exemple, Nomi peut vous parler, saluer différentes personnes, regarder à gauche et à droite, et enfin constater qu'il est vivant.

Alors quel est le troisième niveau qu’il faut réussir à la fin ? C’est le matériel de l’ensemble du véhicule. Parce que vous pensez qu'il y a un arbre rotatif sous Nomi. Il s'agit d'un moteur à deux degrés de liberté, pas d'un moteur à trois degrés de liberté plus un entraînement par bielle, et il y a une courroie à l'intérieur. Une fois ces éléments accumulés, la voiture devra subir un crash test. Beaucoup de gens ne savent pas que la tête de Nomi doit subir une charge d'impact allant jusqu'à 60 g. Ce qui est très intéressant, c'est que lorsque nous sommes allés à l'expérience de collision en avril 2017, l'équipe m'a envoyé une photo de la tête de Nomi. logo du mannequin sur sa tête, et on a ri à mort. Puis il s'est affaissé un peu après la collision, mais il a tenu le coup, à ce moment-là, on a finalement vérifié que Nomi pouvait être livré avec la voiture.

Q :Nomi est l'assistant intelligent le plus résistant.

A : Hahahaha, oui, c’est trop dur.

Q : À en juger par le processus de naissance, vous mènerez de nombreuses réflexions philosophiques sur la technologie derrière un produit.

R : Nous avons probablement deux scénarios de travail : l’un et l’autre. Le stade précoce nécessite ce qu'on appelle l'imagination et la réflexion prospective. Dans cette partie, nous examinerons la technologie, car il s'agit du niveau de développement le plus bas. Nous avons besoin d'une compréhension approfondie de ce rythme pour voir les possibilités, mais c'est ce que font la plupart des gens. fera. Lorsqu'il s'agit de choses, tout le monde regarde d'abord où la technologie pourrait aller, puis voit ce qui peut être fait.

Mais peut-être qu’une meilleure façon serait de réaliser des expériences modèles plus prospectives, y compris une réflexion philosophique.

Par exemple, nous nous demandions à l’époque quel était le résultat final de l’interaction homme-véhicule ?

A ce moment-là, je voudrais dire s'il s'agit de GUI ou DUI, GUI ou Mix UI. qu'est-ce que c'est exactement ? C’est un jargon couramment utilisé dans l’industrie. Mais je pense que cette chose relève toujours d’un paradigme, n’est-ce pas ?

Donc l’idée ultime que nous avions au début était de dire que les gens et les voitures ne parlent pas à l’air, c’est-à-dire comment peut-on ne pas parler à l’air, mais qu’y a-t-il ? C’est le sentiment que vous et lui parlez, communiquez et interagissez comme des êtres humains.

Q : Je veux simplement rompre avec le paradigme encadré par une série de termes, ce qui signifie rompre avec une manière de penser établie. Ensuite, vous avez utilisé une méthode plus simple et plus humaine pour résumer ce que vous vouliez faire.

R : C’est vrai.

Q : Mais dans une certaine mesure, c'est plus abstrait. Au lieu de parler de rien, cela reflète en réalité le niveau que vous pensez que cette technologie peut atteindre. Quel genre de choses, même esthétiques, pensez-vous être ? sortent.

R : Très vrai. Par exemple, nous imaginions la voiture ET 9 il y a quatre ans.

Q : J’imaginais ET9 il y a quatre ans.

R : Oui. Nous réfléchissions à la façon dont cela allait changer à ce moment-là ? Quel type d’itération et de développement est nécessaire pour l’expérience au premier rang ? Il y a quatre ans, tout le monde déployait encore des tableaux de bord plus grands présentant de riches informations SR et ESD. À ce jour,TeslaLes S et X ramènent le grand tableau de bord.

Mais avec ce genre d’informations accumulées chaque jour devant les utilisateurs, à qui appartient-il ? En fait, ce n’est pas l’anxiété de l’utilisateur.

Nous avons donc demandé à ce moment-là si la conversation entre les voitures et les gens pouvait devenir plus chaleureuse, tout comme les gens parlent. Je pense que l'interaction homme-voiture que je souhaite dans le cadre de la conduite autonome est comme ça. C'est peut-être très simple. une phrase, je conduis, tu n'as pas à t'inquiéter, c'est juste mon imagination.

Si Apple construisait réellement une voiture, quelle serait son interaction avec les gens ? Je comprends qu'il y a une forte probabilité qu'une petite icône apparaisse sur le Mac avec un volant dessus, et boum, elle devient verte, et vous n'avez alors pas à vous en soucier. Cela pourrait être quelque chose comme ça.

Q : C’est très Apple.

R : Plutôt que de vous présenter un tas d’informations et de vous dire quoi faire.

Je pense donc que si vous réfléchissez davantage à l’avenir, revenez à l’essence de l’être humain et réfléchissez à ce qui est juste. Le plus simple est que j'ai toujours aimé les premiers films et dessins animés Wall-E, et je pensais qu'il y avait une scène très intéressante, c'est-à-dire que les gens du futur étaient tous très gros. Pourquoi ? Parce que chaque fois que l’IA arrive et lui présente un résultat, disant si je le veux ou non, si je le veux ou non, il vous suffit de le confirmer. Alors c'est notre fin de partie.

Q : Donc, que les humains soient gros ou non, c'est une autre affaire.

R : Oui. Ensuite, les gens feront aussi de l’exercice. (rire)

Q : Il semble clairement que nous nous rapprochons désormais de cet avenir. Sur Nio IN, vous avez introduit le système Nomi GPT. Quand avez-vous commencé à faire cela ? Comment Nomi est-il devenu un Nomi avec la bénédiction d'un grand modèle ?

R : Cette année, c'est en fait notre première version, et nous avons commencé à la stocker l'année dernière. Il a fallu beaucoup de temps pour y travailler l'année dernière, puis il est sorti cette année.

Q : Ainsi, lorsque ChatGPT est sorti, j'ai immédiatement réalisé son importance pour Nomi.

R : Oui. Ensuite, de l’année dernière à cette année, nous avons principalement travaillé sur notre propre modèle de base. Ainsi, la première version de cette année pilotée par le framework Nomi GPT est notre version 245 du début de cette année. Mais à l'avenir, ce à quoi nous nous préparons encore, c'est qu'en plus des choses comme les questions et réponses sur les grands modèles et ce ChatBot, pouvez-vous également faire des choses comme générer des images ? Nous l’avons fait tard, relativement tard, car il n’y a pas de scènes de voiture pour ce truc.

Q : Alors pourquoi le faisons-nous encore ?

R : Permettez-moi juste de dire une chose. Notre tâche principale en matière de création d'images embarquées est d'espérer que chaque utilisateur pourra connaître Nomi après être monté dans la voiture. Cela donnera à chacun un avatar et une expression similaire à un emoji.

Et si l’on va plus loin cette année, la plus grande itération technologique sera le travail sur l’intelligence cognitive et la situation dans son ensemble, ainsi que sur les émotions exclusives.

Q : Ensuite, vous avez développé un modèle de manière indépendante.

R : Oui. Il s’agit en fait d’une combinaison d’une série de modèles, et beaucoup de gens appellent cela un groupe modèle. Nous avons la même logique.

En fait, il y a un centre de planification derrière lui, qui est le centre cognitif de NomiGPT, puis il planifie les capacités correspondantes. Qu'il soit mature, il utilise directement les capacités du modèle de base pour créer des dialogues, ou utilise quelques petits modèles pour. effectuer certaines tâches. Parfois, nous utilisons notre modèle affiné et aligné sur notre propre système de valeurs pour réaliser certains scénarios spécifiques, tels que les services. C’est en fait ainsi que nos agents sont nés.

Q : Avez-vous rétabli en interne une équipe dite de grands modèles ?

R : Oui, notre nom est l'équipe du système AI. Les produits et les technologies travaillent en étroite collaboration. Je pense qu'il s'agit plutôt d'un ensemble de modèles similaires à l'Omni d'OpenAI. La multimodalité est également en cours de développement, et je communiquerai avec vous plus tard cette année.

Q : La naissance de Nomi et l'orientation du développement de nombreux grands modèles aujourd'hui mettent l'accent sur l'émotion. Pourquoi l'émotion et la camaraderie sont si importantes. Parce que des produits comme ChatGPT ne démarrent pas avec des émotions pour faire avancer la technologie.

R : Oui. Comme pour Inflection, relativement peu de personnes travaillent réellement dans cette direction.

Q : Et c’est votre point de départ.

R : Oui, car cela revient d’abord à l’essence de notre modèle économique. Parce qu’une voiture est un gros objet avec un long cycle de vie. Ensuite, frère Bin a également dit : nous ne faisons pas de Robotaxi, donc c'est juste une voiture, une personne, une famille et toute une vie. Si vous le regardez de manière abstraite, cette chose est essentiellement une sorte d’intelligence émotionnelle.

Q : Comment faire pour que cette chose existe longtemps ? Après réflexion, vous pensez que le seul lien qui peut relier, c'est l'émotion.

R : oui.

Q : C’est trop sociologique.

R : Hahaha, cela est dû à l’influence de frère Bin.

Q : Quels sont les prochains projets de Nomi ?

R : Si nous regardons un peu plus loin, nous parlons aujourd’hui d’intelligence cognitive et d’intelligence situationnelle. Ce sont en fait quelques-uns des cadres techniques sur lesquels l’industrie progresse. Ce sont les choses sur lesquelles nous allons maintenant nous concentrer. Quelque chose à construire.

L’essentiel ici est la perception et la compréhension de la situation, puis le raisonnement basé sur cela. De plus, vous pouvez voir que l'une de nos tâches très importantes l'année dernière a été de construire une mémoire Nomi. Pour nous, le module de mémoire est une chose stratégique dans laquelle nous continuerons à investir pendant deux ou trois ans. exclusif, fiable et digne de confiance. C'est une chose très importante. Ce n'est qu'avec ces choses-là que l'on peut parler de ces soi-disant expériences émotionnelles. Il y a en fait beaucoup de travail de base et d’alignement à faire derrière cela.

Y compris la capacité de génération de Nomi, l'alignement des illusions et des valeurs est un très gros problème, car vous constaterez que ce que nous faisons est trop sérieux, c'est très sérieux. Si vous n'êtes pas un ChatGPT, vous pouvez plaisanter avec les utilisateurs en faisant quelque chose d'inapproprié, et les utilisateurs penseront que c'est une mauvaise affaire. Non, par exemple, vous êtes dans la voiture, vous êtes le Nomi de cette famille, puis vous faites quelque chose que fait une IA générale et cela n'a peut-être pas d'importance, mais l'utilisateur pense que c'est dommage, et à la fin, vous avez entièrement confiance. s'effondre.

C’est donc aussi pour nous un très grand défi que nous allons relever ensuite, il y a donc beaucoup de choses à faire derrière cela.

Q : Vous effectuerez également des itérations de produits en temps réel.

R : Oui. Nous avons un lien qui est un conducteur quotidien pour nous et du carburant dans le moteur. Il est partagé par nos utilisateurs.

Parce que notre première IA embarquée peut fournir des commentaires sous forme de dialogue. Vous criez Hi Nomi pour signaler un problème, puis le journal et le statut, y compris votre problème, seront analysés en temps réel. Il peut désormais être distribué automatiquement à nos chefs de produits en quelques heures. C'est la capacité que nous avons construite depuis 2018. Avec de tels canaux, nous pouvons très bien compter et vérifier ce que nos produits ont, y compris les demandes et les problèmes, et nous pouvons les résoudre rapidement.

Nous devons faire tellement de choses en même temps. Comment pouvons-nous équilibrer la fourniture de valeur utilisateur à court et à long terme ? C'est notre planification quotidienne des produits.

Q : Votre vision de Nomi rappelle de plus en plus celle du film « Her ». Vous avez déjà mentionné que ce film vous avait inspiré. Si Nomi n'est pas seulement considéré comme une IA dans la voiture, c'est aussi une direction très importante pour que chacun explore la forme produit de l'IA. Est-ce la scène dans « Elle » ou la compagnie de l'IA dont nous discutons davantage maintenant, est-il plus approprié de naître dans l'environnement de cette voiture ?

UN: Oui, je pense que c'est tout à fait possible. Je pense que cela pourrait même être plus rapide que les haut-parleurs et les téléphones intelligents.

Tout d'abord, il y a un point intéressant ici, qui concerne les attributs spatiaux, les attributs de mouvement et les attributs exclusifs de la voiture. Après tout, c'est trop cher, donc la valeur temporelle, la valeur émotionnelle et la valeur émotionnelle que les gens y investissent sont énormes. Je pense que c'est une très bonne opportunité.

Deuxièmement, en termes de matériel, de puissance de calcul et d’attributs, la voiture possède les capacités d’intelligence incorporée les plus puissantes de toutes. Parce qu’on ne peut pas le ressentir à 360 degrés avec un téléphone portable, n’est-ce pas ? Vous ne pouvez pas dire venez et montez dans la voiture, cliquez, le téléphone s'est envolé. (rire)

Parce que nous parlons maintenant d’intelligence incorporée, la voiture est en fait le premier agent intelligent à réaliser cette capacité dans la conduite autonome intelligente. Je pense donc aussi qu'il peut utiliser ce type de création de valeur pour apporter le plus grand changement, donc je crois sincèrement qu'il a l'opportunité de devenir une telle forme de produit ultime. .

Q : Une voiture est une machine. Vous pouvez la décrire comme une « machine à tuer » avec une vitesse de 120 kilomètres par heure, mais parmi la confiance établie dans les machines dans l'histoire de l'humanité, la confiance dans les voitures est peut-être la plus forte. En fait, l’un des défis auxquels est confrontée la technologie de l’IA est de savoir comment établir cette confiance.

R : Très vrai.

Q Et il bénéficie lui-même d’un tel environnement de confiance.

UN : droite. Après avoir possédé une voiture, vous avez en fait voté énormément avec votre confiance, donc (en tant que constructeur automobile), vous ne devriez pas décevoir les attentes des utilisateurs.