soundnet lança novo livro "understanding real-time interaction" para registrar o passado, presente e futuro da rte
2024-09-06
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
como infraestrutura para a vida digital futura, a interação em tempo real da rte penetrou totalmente em todos os aspectos da interação social, entretenimento, trabalho, compras, etc. das pessoas, e alavancou o crescimento de valor em todas as esferas da vida. mesmo na atual mania do aigc, a interação em tempo real está desempenhando um papel importante, promovendo a atualização da interação entre humanos e ia, de texto para áudio e vídeo multimodais.
no entanto, o que exatamente é a interação em tempo real? como ela evoluiu do áudio e vídeo em tempo real do rtc. qual é o princípio técnico por trás dela? quantos cenários de aplicação o rte foi implementado até agora? tempo de diálogo de voz em grandes modelos no futuro?
publicado pela machinery industry press em 27 de agosto,instituto de pesquisa shengwango livro da indústria de interação em tempo real "compreendendo a interação em tempo real" compilado pelo grupo está oficialmente à venda. este também é o primeiro livro técnico científico popular da indústria que apresenta sistematicamente a interação em tempo real.
jixun foo, sócio-gerente sênior da granite asia, jiang tao, fundador e presidente da csdn, liu qin, sócio fundador da wuyuan capital, liu chengcheng, fundador e presidente da 36kr, li donghong, professor da universidade de tsinghua, ma siwei, professor da universidade de pequim, xie lei, professor da northwestern polytechnical university, idc china o vice-presidente e analista-chefe wu lianfeng e outros recomendaram-no em conjunto.
para entender a interação em tempo real, este livro é suficiente
o livro "compreendendo a interação em tempo real" apresenta detalhadamente o passado, o presente e o futuro do desenvolvimento da interação em tempo real.abrange o histórico de desenvolvimento, análise de conceito, princípios técnicos, cenários de aplicação e observação de big data de interação em tempo realetc., está dividido principalmente em cinco partes.
· capítulo 1: olhando para trás e obtendo insights sobre o passado, o presente e o futuro da interação em tempo real
desde o nascimento do primeiro telefone voip do mundo que pode fazer chamadas em 1996 até agora que os humanos podem realizar conversas de voz em tempo real com ia, que evoluções de cenários, atualizações tecnológicas e inovações corporativas foram experimentadas durante este período? e conexão de transmissão ao vivo de mai, educação online, podcasts interativos, yuanverse, ao popular aigc deste ano, shengwang analisará as atualizações tecnológicas e mudanças da indústria de interação em tempo real a partir da perspectiva de um provedor de serviços de áudio e vídeo de nível inferior.
por exemplo, como a interação em tempo real se tornou um recurso padrão dos aplicativos pan-entretenimento? com o suporte das funções rtc, como os dispositivos iot podem tornar tudo interativo? desde a primeira aparição do conceito de videoconferência em 1964 até agora, os desenvolvedores podem incorporar funções de videoconferência em qualquer app. como a videoconferência foi atualizada de uma única ferramenta de comunicação para um recurso universal.
· capítulo 2: interação em tempo real e análise de conceitos relacionados
sempre falamos sobre rtc e rte, mas você realmente entende a diferença entre os dois? espere, também existem paas, saas, iaas e apaas. você ainda está quebrando a cabeça para distinguir esses conceitos?
acredito que depois de ler este capítulo, você terá uma compreensão cada vez mais clara desses conceitos.
· capítulo 3: análise do processo de tecnologia de áudio e vídeo em tempo real
o evento principal está aqui. como iniciante no setor, este capítulo é sua melhor escolha para entender a tecnologia de áudio e vídeo em tempo real. desde a coleta de áudio e vídeo, pré-processamento, codificação, transmissão até o pós-processamento de áudio e vídeo, nos unimos a muitos especialistas técnicos da agora para abordá-los um por um em um espaço mais longo e com mais palavras.
neste capítulo, você pode ver as melhores práticas de processamento de áudio 3a e bel canto no pré-processamento de áudio e vídeo; como obter embelezamento em cenários como transmissão ao vivo e chamadas de vídeo; 264, h.265 e av1, etc. quais são as diferenças na aplicação dos padrões de codec de vídeo no rtc?
· capítulo 4: indo mais fundoanalise o recente200 cenários de aplicativos interativos em tempo real
atualmente, a indústria aigc está se desenvolvendo a todo vapor. com a bênção da interação em tempo real, a interação humano-ia também passou de texto para áudio e vídeo multimodal. muitos cenários de ia conversacional também surgiram, como voz de ia. assistentes, professores falados de ia, npcs de jogos de ia, amantes virtuais de ia, etc. tomando o assistente de voz de ia como exemplo, por meio de modelo grande multimodal + rtc, os usuários podem ter diálogo de voz 1v1 em tempo real com o assistente de ia. defina configurações pessoais avançadas para o assistente por meio de prompt (comando ai ou palavra de prompt ai) e coopere com a transmissão de latência ultrabaixa do rtc para permitir que a ia interaja e forneça ajuda como um verdadeiro assistente.
neste tipo de cenário de ia conversacional, existem muitas dificuldades técnicas. por exemplo, o diálogo de voz de ia geralmente tem um atraso alto, o que afeta muito a experiência de diálogo. também testa a baixa latência da transmissão rtc. -2s. a experiência da conversa telefônica será natural e suave. ao mesmo tempo, em conversas por streaming, as vozes humanas e o ruído circundante podem interferir facilmente nas conversas homem-máquina. funções de áudio como aivad, agc e ains são necessárias para suprimir eficazmente a interferência do ruído ambiente e identificar melhor a fala do usuário. a semântica completa torna o reconhecimento de fala mais completo e preciso.
além dos cenários de ia de conversação emergentes e dos cenários familiares, como shows ao vivo, salas de bate-papo e karaokê online, o livro também apresenta muitos cenários de iot que você nunca conheceu, como corridas na nuvem no campo de controle paralelo, corrida em nuvem baseado em computação em nuvem e inteligência artificial, é usado principalmente para competições de corrida remota entre entusiastas e pilotos profissionais. através do controle da plataforma em nuvem, os pilotos podem participar de competições remotas em casa.
neste tipo de cenário, as dificuldades técnicas concentram-se principalmente no atraso e na transmissão. por exemplo, os carros de corrida são rápidos e têm requisitos de alta latência. eles precisam atender à baixa latência e estabilidade de transmissão de imagens em tempo real. múltiplos backhauls de alta definição.
· capítulo 5: observação interativa de big data em tempo real
os usuários de todo o mundo estão interagindo em tempo real, acredito que, como operador de app, ou colega que presta atenção a esse setor, para big data de áudio e vídeo em tempo real, por exemplo, a lista de modelos de uso rtc populares? áreas ao redor do mundo, a proporção de redes comumente usadas para modelos e o impacto de diferentes modelos nos dados, como a proporção de uso de áudio e vídeo, uso de rtc em áreas populares, etc. além disso, qual o impacto da taxa de congelamento de áudio e vídeo no tempo de uso e retenção do usuário. como otimizá-lo? esses conteúdos não devem ser perdidos por nenhum profissional da indústria de rtc?
este livro também prepara recursos de apoio ricos e práticos, incluindo documentos eletrônicos como gráficos, mapas, relatórios de desenvolvimento da indústria e white papers relacionados à interação em tempo real, é absolutamente repleto de informações úteis e com ótima relação custo-benefício. a forma específica de obtê-los é digitalizando o código qr no. contracapa para entrar no disco em nuvem exclusivo deste livro e baixá-lo.
de onde vem "compreender a interação em tempo real"?
no contexto da rápida evolução do ambiente industrial interativo em tempo real e da diversificação dos cenários de uso, shengwang descobriu que não existe nenhum livro na indústria que introduza sistematicamente a interação em tempo real a partir das perspectivas do histórico de desenvolvimento, cenários de aplicação, técnicas arquitetura, etc., e apenas alguns livros cobrem os aspectos técnicos da interação em tempo real. ao introduzir o webrtc no nível de arquitetura, muitas pessoas não sabem a relação e a diferença entre áudio e vídeo em tempo real rtc e rte em tempo real. interação portanto, uma compreensão abrangente e popularização da interação em tempo real é particularmente importante agora.
este ano marca o 10º aniversário do estabelecimento da shengwang como pioneira na indústria global de nuvem interativa em tempo real, a shengwang sempre foi.“ajude as pessoas a interagir em tempo real através de distâncias, como reuniões”como missão, estamos empenhados em melhorar de forma abrangente a experiência interactiva em tempo real das pessoas através de serviços de tecnologia de áudio e vídeo em tempo real de alta qualidade, capacitando as indústrias sociais, educacionais, financeiras, médicas e outras, e promovendo o desenvolvimento económico e social. shengwang tem a responsabilidade e a obrigação de promover a popularização da interação em tempo real.
nesse sentido, shengwang lançou o livro "compreendendo a interação em tempo real: interpretação aprofundada de tecnologia, cenários e dados de áudio e vídeo" por ocasião do seu 10º aniversário. este livro começa a partirhistórico de desenvolvimento, princípios técnicos, cenários de aplicação, observação de big data e outras dimensõesuma explicação abrangente e sistemática da interação em tempo real. esperamos que, ao ler este livro, os leitores possam ter uma compreensão profunda da interação em tempo real e dominar o conhecimento relacionado à interação em tempo real, e incentivar mais pessoas a ingressar nesta indústria e promover juntos o progresso da indústria.
atualmente,"compreendendo a interação em tempo real" foi lançado nas principais plataformas de comércio eletrônico e livrarias físicas, como jd.com e dangdang, portanto, fique atento.
