soundnet publie un nouveau livre « understanding real-time interaction » pour enregistrer le passé, le présent et l'avenir de rte
2024-09-06
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
en tant qu'infrastructure de la vie numérique du futur, l'interaction en temps réel de rte a pleinement pénétré tous les aspects de l'interaction sociale, du divertissement, du travail, du shopping, etc., et a tiré parti de la croissance de la valeur dans tous les horizons. même dans l’engouement actuel pour l’aigc, l’interaction en temps réel joue un rôle important, favorisant la mise à niveau de l’interaction entre les humains et l’ia du texte à l’audio et la vidéo multimodaux.
mais qu’est-ce que l’interaction en temps réel ? comment a-t-elle évolué à partir de l’audio et de la vidéo en temps réel ? quel est le principe technique qui la sous-tend ? combien de scénarios d’application rte a-t-il été mis en œuvre jusqu’à présent ? le dialogue vocal temporel dans les grands modèles à l'avenir des difficultés techniques ?
publié par machinery industry press le 27 aoûtinstitut de recherche de shengwangle livre industriel interactif en temps réel « comprendre l'interaction en temps réel » compilé par le groupe est officiellement en vente. il s'agit également du premier livre scientifique technique de vulgarisation de l'industrie qui introduit systématiquement l'interaction en temps réel.
jixun foo, associé directeur principal de granite asia, jiang tao, fondateur et président du csdn, liu qin, associé fondateur de wuyuan capital, liu chengcheng, fondateur et président de 36kr, li donghong, professeur à l'université tsinghua, ma siwei, professeur à l'université de pékin, xie lei, professeur à l'université polytechnique du nord-ouest, idc chine. le vice-président et analyste en chef wu lianfeng et d'autres l'ont recommandé conjointement.
pour comprendre l'interaction en temps réel, ce livre suffit
le livre « comprendre l'interaction en temps réel » présente en détail le passé, le présent et l'avenir du développement de l'interaction en temps réel.couvre l'historique du développement, l'analyse des concepts, les principes techniques, les scénarios d'application et l'observation big data de l'interaction en temps réel.etc., est principalement divisé en cinq parties.
· chapitre 1 : regarder en arrière et mieux comprendre le passé, le présent et l'avenir de l'interaction en temps réel
depuis la naissance du premier téléphone voip au monde capable de passer des appels en 1996 jusqu'à maintenant que les humains peuvent réaliser des conversations vocales en temps réel avec l'ia, quelles évolutions des scénarios, des mises à niveau technologiques et des innovations d'entreprise ont été vécues au cours de cette période depuis le meurtre des loups-garous ? et connexion de diffusion en direct de mai, l'éducation en ligne, les podcasts interactifs, yuanverse, au populaire aigc de cette année, shengwang analysera les mises à niveau technologiques et les changements de l'industrie de l'interaction en temps réel du point de vue d'un fournisseur de services audio et vidéo de bas niveau.
par exemple, comment l’interaction en temps réel est-elle devenue une fonctionnalité standard des applications de divertissement ? avec la prise en charge des fonctions rtc, comment les appareils iot peuvent-ils tout rendre interactif ? depuis la première apparition du concept de vidéoconférence en 1964 jusqu'à aujourd'hui, les développeurs peuvent intégrer des fonctions de vidéoconférence dans n'importe quelle application. comment la vidéoconférence est-elle passée d'un outil de communication unique à une capacité universelle.
· chapitre 2 : interaction en temps réel et analyse des concepts associés
on parle toujours de rtc et de rte, mais comprenez-vous vraiment la différence entre les deux ? attendez, il y a aussi le paas, le saas, l'iaas et l'apaas. vous vous creusez encore la tête parce que vous n'arrivez pas à distinguer ces concepts ?
je pense qu'après avoir lu ce chapitre, vous aurez une compréhension de plus en plus claire de ces concepts.
· chapitre 3 : analyse du processus technologique audio et vidéo en temps réel
l'événement principal est ici. en tant que débutant dans l'industrie, ce chapitre est votre meilleur choix pour comprendre la technologie audio et vidéo en temps réel. de la collecte audio et vidéo, au prétraitement, à l'encodage, à la transmission, jusqu'au post-traitement audio et vidéo, nous nous sommes associés à de nombreux experts techniques d'agora pour les couvrir un par un dans un espace plus long et avec plus de mots.
dans ce chapitre, vous pouvez voir les meilleures pratiques du traitement audio 3a et du bel canto dans le prétraitement audio et vidéo ; comment réaliser l'embellissement dans des scénarios tels que la diffusion en direct et les appels vidéo ; 264, h.265 et av1, etc. quelles sont les différences dans l'application des normes de codec vidéo dans rtc wait ?
· chapitre 4 : aller plus loinanalyser les récents200 scénarios d'application interactifs en temps réel
à l'heure actuelle, l'industrie de l'aigc se développe à plein régime. grâce à l'interaction en temps réel, l'interaction homme-ia est également passée du texte à l'audio et à la vidéo multimodaux. de nombreux scénarios d'ia conversationnelle ont également vu le jour, tels que la voix de l'ia. assistants, professeurs parlés d'ia, pnj de jeu ai, amateurs virtuels d'ia, etc. en prenant l'assistant vocal ia comme exemple, grâce au grand modèle multimodal + rtc, les utilisateurs peuvent avoir un dialogue vocal 1v1 en temps réel avec l'assistant ia. définissez des paramètres personnels riches pour l'assistant via prompt (commande ai ou mot d'invite ai) et coopérez avec la transmission à latence ultra-faible de rtc pour permettre à l'ia d'interagir et de fournir de l'aide comme un véritable assistant.
dans ce type de scénario d'ia conversationnelle, il existe de nombreuses difficultés techniques. par exemple, le dialogue vocal de l'ia a généralement un délai élevé, ce qui affecte grandement l'expérience de dialogue. il teste également la faible latence de la transmission rtc. habituellement, le délai doit être inférieur à 1. -2s. l'expérience de la conversation téléphonique sera naturelle et fluide. dans le même temps, lors des conversations en streaming, les voix humaines et le bruit environnants peuvent facilement interférer avec les conversations homme-machine. des fonctions audio telles que aivad, agc et ains sont nécessaires pour supprimer efficacement les interférences du bruit ambiant et mieux identifier la parole de l'utilisateur. la sémantique complète rend la reconnaissance vocale plus complète et plus précise.
en plus des nouveaux scénarios d'ia conversationnelle émergents et des scénarios familiers tels que les émissions en direct, les salons de discussion et le karaoké en ligne, le livre présente également de nombreux scénarios iot dont vous n'avez jamais entendu parler, tels que la course au cloud dans le domaine du contrôle parallèle, cloud racing basé sur le cloud computing et l'intelligence artificielle, il est principalement utilisé pour les compétitions de course à distance entre passionnés et coureurs professionnels. grâce au contrôle de la plateforme cloud, les conducteurs peuvent participer à des compétitions de course à distance depuis chez eux.
dans ce type de scénario, les difficultés techniques se concentrent principalement sur le retard et la transmission. par exemple, les voitures de course sont rapides et ont des exigences de latence élevées. elles doivent également répondre à la faible latence et à la stabilité de transmission des images en temps réel. plusieurs liaisons haute définition.
· chapitre 5 : observation interactive du big data en temps réel
les utilisateurs du monde entier interagissent-ils en temps réel ? je pense qu'en tant qu'opérateur d'app ou collègue attentif à cette industrie, pour le big data audio et vidéo en temps réel, par exemple, la liste des modèles d'utilisation rtc dans les populaires régions du monde, la proportion de réseaux couramment utilisés pour les modèles et l'impact des différents modèles sur les données telles que la proportion d'utilisation audio et vidéo, l'utilisation du rtc dans les zones populaires, etc. sont tous concernés. de plus, quel impact le taux de gel audio et vidéo a-t-il sur la durée d'utilisation et la rétention des utilisateurs. comment l'optimiser ? ces contenus ne doivent manquer à aucun praticien de l'industrie rtc ?
ce livre prépare également des ressources de soutien riches et pratiques, y compris des documents électroniques tels que des graphiques, des cartes, des rapports de développement industriel et des livres blancs liés à l'interaction en temps réel, il regorge d'informations utiles et d'un excellent rapport qualité-prix. la manière spécifique de l'obtenir est de scanner le code qr présent sur le site. couverture arrière pour accéder au disque cloud exclusif de ce livre et le télécharger.
d’où vient « comprendre l’interaction en temps réel » ?
dans le contexte de l'évolution rapide de l'environnement industriel interactif en temps réel et de la diversification des scénarios d'utilisation, shengwang a constaté qu'il n'existe aucun livre dans l'industrie qui présente systématiquement l'interaction en temps réel du point de vue de l'historique du développement, des scénarios d'application, des techniques. architecture, etc., et seuls quelques livres couvrent les aspects techniques de l'interaction en temps réel lors de l'introduction de webrtc au niveau architectural, de nombreuses personnes ne connaissent pas la relation et la différence entre l'audio et la vidéo en temps réel rtc et le temps réel rte. interaction. par conséquent, une compréhension globale et une vulgarisation de l’interaction en temps réel sont désormais particulièrement importantes.
cette année marque le 10e anniversaire de la création de shengwang. en tant que pionnier de l'industrie mondiale du cloud interactif en temps réel, shengwang a toujours été.“aider les gens à interagir en temps réel à distance, par exemple en se réunissant”en tant que mission, nous nous engageons à améliorer de manière globale l'expérience interactive en temps réel des gens grâce à des services technologiques audio et vidéo en temps réel de haute qualité, en renforçant les secteurs sociaux, éducatifs, financiers, médicaux et autres, et en promouvant le développement économique et social. shengwang a la responsabilité et l'obligation de promouvoir la vulgarisation de l'interaction en temps réel.
à cet égard, shengwang a lancé le livre « comprendre l'interaction en temps réel : interprétation approfondie de la technologie audio et vidéo, des scénarios et des données » à l'occasion de son 10e anniversaire. ce livre commence à partir dehistorique de développement, principes techniques, scénarios d'application, observation du big data et autres dimensionsune explication complète et systématique de l’interaction en temps réel. nous espérons qu'en lisant ce livre, les lecteurs pourront avoir une compréhension approfondie de l'interaction en temps réel et maîtriser les connaissances liées à l'interaction en temps réel, et encourager davantage de personnes à rejoindre cette industrie et à promouvoir conjointement le progrès de l'industrie.
à l'heure actuelle,« comprendre l'interaction en temps réel » a été lancé sur les principales plateformes de commerce électronique et dans les librairies physiques telles que jd.com et dangdang, alors restez à l'écoute.
