soundnet が rte の過去、現在、未来を記録する新しい本「understanding real-time interaction」をリリース
2024-09-06
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
rte リアルタイム インタラクションは、将来のデジタル ライフのインフラストラクチャとして、人々の社会的交流、エンターテイメント、仕事、ショッピングなどのあらゆる側面に完全に浸透し、あらゆる階層の価値成長を活用しています。現在の aigc の流行においても、リアルタイム インタラクションは重要な役割を果たしており、人間と ai の間のインタラクションのテキストからマルチモーダル オーディオおよびビデオへのアップグレードを促進しています。
しかし、リアルタイム インタラクションとは一体何でしょうか? rtc のリアルタイム オーディオとビデオからどのように進化したのでしょうか? これまでに rte を実現するためのアプリケーション シナリオがいくつありましたか?将来的には大型モデルで音声対話が可能になるでしょうか?
8月27日に機械産業新聞社より発行されました。聖王研究所同グループが編纂したリアルタイムインタラクティブ業界書籍「understanding real-time interaction」が正式に発売されました。これは、リアルタイムインタラクションを体系的に紹介した業界初の技術ポピュラーサイエンス書籍でもあります。
granite asia シニアマネージングパートナー jixun foo、csdn 創設者兼会長 jiang tao、wuyuan capital 創設パートナー liu qin、36kr 創設者兼会長 liu chengcheng、清華大学教授 li donghong、北京大学教授 ma siwei、ノースウェスタン工科大学教授 xie lei、idc china副社長兼首席アナリストの呉連峰氏らが共同で推奨した。
リアルタイムのインタラクションを理解するには、この本で十分です
『understanding real-time interaction』という本では、リアルタイム インタラクション開発の過去、現在、未来が詳しく紹介されています。リアルタイムインタラクションの開発履歴、概念分析、技術原理、アプリケーションシナリオ、ビッグデータ観察をカバーします。など、主に5つのパートに分かれています。
· 第 1 章: リアルタイム インタラクションの過去、現在、未来を振り返り、洞察を得る
1996 年の世界初の通話可能な voip 電話の誕生から、人間と ai によるリアルタイム音声会話が実現するまで、この期間に狼男殺害からどのようなシナリオの進化、テクノロジーのアップグレード、企業の革新が起こったのでしょうか? mai、オンライン教育、インタラクティブ ポッドキャスト、yuanverse から、今年人気の aigc まで、shengwang は、リアルタイム インタラクションの技術アップグレードと業界の変化を、ボトムレベルのオーディオおよびビデオ サービス プロバイダーの観点から分析します。
たとえば、rtc 機能のサポートにより、リアルタイム インタラクションがどのようにして汎エンターテイメント アプリケーションの標準機能になったのでしょうか? 1964 年にビデオ会議の概念が初めて登場してから現在に至るまで、開発者はあらゆる app にビデオ会議機能を組み込むことができます。ビデオ会議は、単一のコミュニケーション ツールからユニバーサルな機能にどのようにアップグレードされてきましたか。
· 第 2 章: リアルタイムの対話と関連概念の分析
私たちはいつも rtc と rte について話しますが、この 2 つの違いを本当に理解していますか?
この章を読むと、これらの概念がより明確に理解できるようになると思います。
· 第 3 章: リアルタイム オーディオおよびビデオ テクノロジ プロセスの分析
メインイベントはここです。業界の初心者として、この章はリアルタイム オーディオおよびビデオ テクノロジを理解するのに最適です。オーディオとビデオの収集、前処理、エンコード、送信から、オーディオとビデオの後処理に至るまで、私たちは agora の多くの技術専門家と協力して、より長いスペースとより多くの言葉で 1 つずつ取り上げました。
この章では、オーディオとビデオの前処理におけるオーディオ 3a 処理とベルカントのベスト プラクティス、ライブ ブロードキャストやビデオ通話などのシナリオで美化を実現する方法、vp8、vp9、h の違いについて説明します。 264、h.265、av1 など。rtc におけるビデオ コーデック規格の適用の違いは何ですか?
· 第 4 章: さらに深くなる最近のことを分析する200 のリアルタイム インタラクティブ アプリケーション シナリオ
現在、aigc 業界は本格的に発展しており、リアルタイム インタラクションのおかげで、人間と ai のインタラクションもテキストからマルチモーダルな音声やビデオにアップグレードされ、ai 音声などの多くの会話型 ai シナリオも登場しています。アシスタント、ai 音声教師、ai ゲーム npc、ai 仮想恋人など。 ai音声アシスタントを例にとると、マルチモーダル大型モデル+rtcを通じて、ユーザーはaiアシスタントと1対1のリアルタイム音声対話を行うことができます。プロンプト（ai コマンドまたは ai プロンプトワード）を通じてアシスタントの豊富な個人設定を設定し、rtc の超低遅延送信と連携して、ai が実際のアシスタントのように対話してヘルプを提供できるようにします。
この種の対話型 ai シナリオでは、多くの技術的な問題が発生します。たとえば、ai の音声対話には遅延が大きく、rtc 送信の低遅延もテストされます。通常、遅延は 1 以内である必要があります。 -2s. 電話での会話が自然でスムーズになります。同時に、ストリーミング会話では、周囲の人間の声やノイズが人間とマシンの会話に簡単に干渉する可能性があり、周囲のノイズの干渉を効果的に抑制し、ユーザーの音声をより適切に識別するには、aivad、agc、ains などのオーディオ機能が必要です。完全なセマンティクスにより、音声認識がより完全かつ正確になります。
本書では、新たに出現した会話型aiのシナリオや、ライブ、チャットルーム、通信カラオケなどのおなじみのシナリオに加え、並列制御分野のクラウドレーシング、クラウドレーシング クラウドコンピューティングと人工知能に基づいており、主に愛好家とプロレーサーの間のリモートドライビングレース競技に使用されます。クラウド プラットフォームの制御を通じて、ドライバーは自宅からリモート レース競技に参加できます。
このタイプのシナリオでは、技術的な問題は主に遅延と送信に焦点が当てられます。たとえば、レーシング カーは高速であり、リアルタイム画像の低遅延と送信の安定性を満たす必要があります。複数の高解像度バックホールの技術的能力。
· 第5章: リアルタイムのインタラクティブなビッグデータ観測
app オペレーターまたはこの業界に注目している同僚として、世界中のユーザーがリアルタイムで対話していると思います。たとえば、人気のある rtc 使用モデルのリストです。世界中のエリア、モデルで一般的に使用されるネットワークの割合、オーディオとビデオの使用割合、人気のあるエリアでの rtc の使用など、さまざまなモデルがデータに与える影響がすべて懸念されます。さらに、オーディオとビデオのフリーズ率はユーザーの使用時間とリテンションにどのような影響を与えますか? これらの内容は、rtc 業界の専門家にとって見逃せないものです。
この本には、豊富で実践的なサポート リソースも用意されています。、チャート、地図、業界開発レポート、リアルタイム インタラクションに関連するホワイト ペーパーなどの電子ドキュメントを含む、有益な情報が満載で、非常にお得な情報が含まれています。具体的な入手方法は、 の qr コードをスキャンすることです。裏表紙からこの本の専用クラウドディスクに入ってダウンロードしてください。
「リアルタイム インタラクションの理解」はどこから来たのでしょうか?
リアルタイム インタラクティブな産業環境の急速な進化と使用シナリオの多様化を背景に、shengwang 氏は、開発の歴史、アプリケーション シナリオ、技術的な観点からリアルタイム インタラクションを体系的に紹介する書籍が業界に存在しないことに気づきました。 webrtc をアーキテクチャ レベルで導入する場合、多くの人は rtc リアルタイム オーディオおよびビデオと rte リアルタイムの関係と違いを知りません。したがって、リアルタイム インタラクションの包括的な理解と普及が現在特に重要です。
shengwang は、世界的なリアルタイム インタラクティブ クラウド業界のパイオニアとして、今年で設立 10 周年を迎えます。“人々が集まるなど、距離を超えてリアルタイムに交流できるようにする”当社はその使命として、高品質のリアルタイム オーディオおよびビデオ技術サービスを通じて人々のリアルタイム インタラクティブ エクスペリエンスを包括的に向上させ、社会、教育、金融、医療およびその他の産業に力を与え、経済および社会の発展を促進することに取り組んでいます。 shengwang には、リアルタイム インタラクションの普及を促進する責任と義務があります。
これに関連して、shengwang は 10 周年を記念して、書籍『understanding real-time interaction: in- depth interpretation of audio and video technology, scenarios and data』を出版しました。この本はから始まります開発の歴史、技術原理、応用シナリオ、ビッグデータ観測などリアルタイム インタラクションについて包括的かつ体系的に説明します。この本を読むことで、読者がリアルタイム インタラクションを深く理解し、リアルタイム インタラクションに関する知識を習得し、より多くの人がこの業界に参加し、一緒に業界の進歩を促進できることを願っています。
現在のところ、「understanding real-time interaction」は、jd.com や dangdang などの主要な電子商取引プラットフォームおよび物理書店で開始されていますので、ご期待ください。
