notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

A humanidade está a dar início a uma atualização explosiva no campo da inteligência artificial. Cada passo na expansão da tecnologia para o desconhecido atraiu uma atenção surpreendente.

No processo de expansão das fronteiras da inteligência artificial, inovação e divergência coexistem nas rotas técnicas de pistas importantes. O julgamento e as escolhas dos pioneiros da tecnologia influenciam os passos de muitos seguidores.

No ano passado, Heart of the Machine assumiu exclusivamente a liderança na apresentação de empresas excepcionais como Dark Side of the Moon, Shengshu Technology, Aishi Technology e Wuwen Core Dome para todos, deixando-os com o primeiro "roteiro de entrevista de 10.000 palavras "no mundo da Internet. . Numa fase em que as rotas tecnológicas ainda não convergiram, vemos a liderança de empreendedores de IA que realmente têm fé, coragem e cognição sistemática.

Portanto, lançamos a coluna "Pioneiros da IA", na esperança de continuar a encontrar e registrar empreendedores com qualidades de liderança em diversas subdivisões da inteligência artificial na era AGI, apresentar as startups mais destacadas e de alto potencial na área de IA e compartilhar suas conquistas no campo da IA. Percepções distintas e de ponta.

Autor: Jiang Jingling

Relatório do coração da máquina

Depois de deixar Kuaishou para iniciar um negócio, “Li Yan” recebeu discretamente US$ 32 milhões em financiamento inicial do cofundador de Kuaishou, Su Hua, Redpoint Ventures e Matrix Partners.

Como figura central do sistema inicial de IA de Kuaishou, Li Yan certa vez construiu o primeiro departamento de aprendizagem profunda dentro de Kuaishou e mais tarde ajudou Kuaishou a construir o sistema de tecnologia Multi-Media Understanding.

Um de seus investidores concluiu que entre os três retratos empreendedores da AGI de professores e acadêmicos, praticantes de Internet móvel e gênios acadêmicos, a Yuanshi Technology é a única que tem a capacidade de integrar os três "multimodal, pesquisa e recomendação" A. equipe com uma grande pilha de tecnologia central.

No entanto, desde que Li Yan confirmou oficialmente que estava começando um negócio no início de 2023, ele quase desapareceu por mais de um ano.

No ano passado, enviámos vários convites para entrevistas à equipa de Li Yan, na esperança de falar com ele sobre as suas ideias empreendedoras, mas todos fomos recusados ​​com “o produto ainda não está pronto (disponível publicamente)”.

Não muito tempo atrás, o produto “Ask Xiaobai” da Yuanshi Technology foi lançado oficialmente e o teste interno de inicialização a frio foi iniciado. Esta é também a primeira vez que a equipe de Li Yan divulga seu progresso empreendedor. Então encontramos Li Yan novamente, na esperança de conversar com ele sobre seu plano empreendedor.

Nesta entrevista exclusiva, o inesperado é que a escolha de Li Yan não é uma empresa puramente modelo, nem sequer parte do aspecto multimodal.

No produto “Ask Xiaobai”, os usuários podem ver o conteúdo AIGC gerado pela IA no “feed” assim que abrem a tela e são personalizados de acordo com os interesses do usuário, podendo usar a função “chat” e IA para fazer mais conteúdo baseado em conteúdo a qualquer momento.

Pode-se entender que este é um produto de comunidade de conteúdo generativo baseado em um modelo LLM autodesenvolvido. Em comparação com produtos de comunidade de conteúdo anteriores, a ação de Li Yan reside na "recomendação generativa".

Este é um campo de pesquisa tecnológica de ponta e, até agora, apenas Meta e CMU apresentam alguns resultados práticos. Ele me disse que, em comparação com algoritmos de recomendação anteriores, os algoritmos de recomendação generativos não serão mais baseados em sistemas de recomendação de filtragem colaborativa e as recomendações se tornarão mais inteligentes, desde os atuais "milhares de pessoas com dez faces" até o verdadeiro sentido de "milhares de pessoas com dez faces". As pessoas têm milhares de faces."

Ao explorar as necessidades mais profundas dos usuários, a eficiência da recomendação é melhorada e os usuários podem obter informações mais adequadas para eles. Além disso, a infusão de uma grande quantidade de corpus de alta qualidade em grandes modelos fornece “valores” ao algoritmo de recomendação generativo. Você não pode mais apenas “agradar” os usuários, mas orientá-los a prestar atenção às informações de alta qualidade que realmente precisam de atenção.

Atualmente, a equipe de Li Yan é a primeira empresa iniciante na China a usar algoritmos de recomendação generativa orientados por LLM como o núcleo de sua direção de produto e desenvolvimento.

Um investidor em Yuanshi acredita que,A otimização de custos e eficiência que este novo mecanismo tecnológico traz para a indústria de conteúdo é basicamente consistente com o caminho do sucesso da Toutião.No caminho para criar produtos de algoritmos de recomendação generativos, “vimos que a única equipe com três experiências: multimodal, pesquisa e recomendação é Li Yan”.

Visão:

Faça um algoritmo de recomendação de dimensão superior

Coração da Máquina: Vamos primeiro apresentar o que a Yuanshi Technology espera fazer?

Li Yan: Esperamos que, através da inovação tecnológica e da recolha de inteligência, possamos ajudar os utilizadores a entrar num estado de fluxo e a lutar contra a fadiga mental. (Da teoria do “fluxo” de Mihaly Csikszentmihalyi)

Machine Heart: É um pouco abstrato, você pode explicar melhor?

Li Yan:Sentimos que a era atual é uma era de explosão de informação. Existem muitos canais para receber informações, mas faltam os canais que podem realmente obter as informações que nos interessam.

Por exemplo, no WAIC recente, você pode ver relatórios esmagadores, mas cada relatório contém apenas algumas palavras, mas você não conseguirá obter as informações que realmente lhe interessam. Neste momento, você cairá em uma espécie de ansiedade.

Entendemos que isso é uma forma de "entropia espiritual", Este conceito foi proposto por um psicólogo, Mihaly Csikszentmihalyi, e corresponde muito bem ao que queremos fazer. O que queremos fazer é ajudar todos a melhorarem sua felicidade e sensação de ganho depois de verem as informações. Este estado será diferente daquele “mais ansioso, mais cansado e mais feliz” que sentimos após o uso intenso de alguns produtos de informação.

Coração de Máquina: Que tipo de informação fará as pessoas se sentirem mais felizes e gratificantes, em vez de mais ansiosas e cansadas?

Li Yan:Existe um conceito de “fluxo” aqui, o que significa que somente quando as pessoas virem as informações que realmente desejam ver, elas entrarão em um estado de fluxo e sentirão felicidade, em vez de verem muitas coisas que não estão relacionadas a elas mesmas. são irrelevantes ou desinteressantes.

Isso também é resultado de pesquisas psicológicas. Para dar um exemplo específico, por exemplo, os pais pedem aos filhos que façam o dever de casa. Embora seja finalmente implementado, a criança é passiva e muito dolorosa. Ele se sentirá feliz. Portanto, esperamos ajudar os usuários a entrar em um estado de fluxo e a lutar contra a entropia mental.

Heart of the Machine: Na verdade, os sistemas de recomendação subjacentes da maioria das comunidades sociais esperam agora essencialmente atingir este objectivo (recomendar aos utilizadores o que eles realmente querem ver)?

Li Yan: Há uma diferença. Se olharmos dez anos depois, em 2034, e olharmos para os actuais sistemas de recomendação, incluindo os produtos e a tecnologia por detrás deles, veremos que são, na verdade, muito atrasados. O que o produto atual faz, na verdade, não está em perfeito estado.

Coração da Máquina: Como entender o nível atual e o nível “melhor”?

Li Yan:Posso fazer uma analogia. A atual distribuição de informações é mais parecida com a reação instintiva dos humanos primitivos. Na fase em que o espírito não é muito rico, talvez o instinto humano seja “Quero comer”, “Quero chorar”. “Quero rir” ”, isso é muito direto.

O reflexo no sistema de recomendação pode ser que, por exemplo, se você gosta de caras bonitos, eles sempre recomendarão caras bonitos para você - o sistema de recomendação não tem um pensamento muito aprofundado. O que nossos produtos esperam alcançar não é agradar a reação instintiva do usuário, mas recomendar com maior sabedoria, cuidado e amor.

Coração da Máquina: Isso soa como uma dimensão estética mais elevada, um pouco como “educar os usuários”.

Li Yan: Não educação, para ser mais preciso. Muitas coisas não podem ser vistas claramente se as observarmos num período de tempo relativamente curto. Mas, por exemplo, se olharmos para toda a história do desenvolvimento humano, descobriremos que cada avanço da civilização humana será acompanhado de crítica, reflexão e até mesmo de derrubada e reconstrução. Algumas coisas podem parecer boas agora, mas no futuro talvez. existem limitações. O mesmo acontece no mundo online. Esperamos trazer elementos mais civilizados e ideias avançadas acumuladas pela humanidade para a distribuição de conteúdo.

Caminho de implementação técnica:

Escolha dados de maior qualidade para treinar o modelo para que ele tenha valores

Heart of the Machine: Acabei de dizer que espero criar um produto de conteúdo que ajude os usuários a obter um fluxo melhor.

Li Yan: Acreditamos que o LLM é um nó muito importante que leva à AGI. Modelos de linguagem grande podem entender melhor os usuários e o conteúdo e saber o que os usuários gostam, gostam e não gostam. Todos os interesses e hobbies pessoais do usuário podem ser tokenizados e os modelos grandes podem entendê-los muito bem.

O sistema de recomendação anterior não conseguiu atingir esse nível de compreensão. Ele só conseguia rotular o usuário com muitos rótulos discretos e tentar caracterizar e compreender o usuário por meio disso. Agora, grandes modelos podem não apenas compreender melhor os interesses existentes dos usuários, mas também melhorar a mineração dos interesses dos usuários e inferir os interesses e hobbies implícitos dos usuários.

Com o modelo grande, podemos compactar o corpus da mais alta qualidade em toda a Internet, compactar a civilização humana contida no texto, usar essas civilizações e aplicar ainda mais esses recursos a recomendações generativas, terá seus valores, visão de mundo e, portanto, um sistema de valores recomendados de dimensão superior.

O modelo grande, na verdade, desempenha o papel de uma ponte, ligando essas cognições mais avançadas ao seu consumo de informações e melhorando ainda mais o seu nível de consumo de conteúdo.

Machine Heart: Esses conteúdos “avançados” referem-se a artigos? Inclui tanto as ciências sociais como as ciências naturais, ou está mais centrado numa delas?

Li Yan:O grande modelo irá ler toda a civilização avançada e informações acumuladas pelos humanos em toda a Internet e pode ser avançado em todos os aspectos.

Coração da Máquina: Como o grande modelo determina o que é “civilização avançada”?

Li Yan:Na verdade, nós, humanos, já fizemos julgamentos sobre este assunto, não por grandes modelos. Por exemplo, nossos artigos, periódicos e livros oficiais escritos por estudiosos renomados não são definidos por grandes modelos, mas por informações de alta qualidade estabelecidas pelos próprios humanos. durante um longo período de tempo.

Machine Heart: Bem, o que exatamente é essa parte dos dados de alta qualidade? fonte?

Li Yan: Valorizamos a construção de capacidades de modelos baseados em dados. Em nosso modelo, usamos algoritmos para aumentar a quantidade de dados de alta qualidade disponíveis em mais de uma ordem de magnitude. Além disso, em termos de seleção de dados, usamos livros, teorias e artigos mais clássicos para treinar nossos grandes modelos, para que nossos modelos tenham a capacidade de compreender os usuários mais profundamente, quando se trata de recomendação de conteúdo. não permitirá cegamente que os usuários permaneçam no prazer de curto prazo. Em vez disso, existe a felicidade a longo prazo de acumular informações de alta qualidade.

Machine Heart: Acabei de mencionar que algoritmos de recomendação generativos podem melhorar a compreensão dos usuários. Existe algum padrão quantitativo para comparar a compreensão dos usuários por diferentes algoritmos de recomendação?

Li Yan: Como os objetivos perseguidos por diferentes empresas são diferentes, os objetivos de otimização também são diferentes. De modo geral, pode ser duração, taxa de cliques e retenção. Como nossos princípios técnicos e direcionamento de negócios são áreas novas, atualmente contamos com um sistema interno de dados muito complexo para avaliar esse assunto.

Coração da Máquina: No LLM, quais são as vantagens da tecnologia Yuanshi atualmente?

Li Yan: A partir do primeiro dia de constituição da empresa, ou seja, por volta de abril de 2023, a primeira versão do grande modelo foi baseada na arquitetura MoE. A seleção geral de rotas técnicas no mercado é muito voltada para o futuro. De abril de 2023 até agora, há mais de um ano, nosso modelo iterou quatro versões. Em muitos conjuntos de testes públicos, nossos resultados são melhores do que muitos outros modelos.

Além disso, nosso corpus de alta qualidade torna a qualidade das respostas muito alta e o modelo tem a capacidade de pensar profundamente. Terceiro, a velocidade do nosso grande modelo também é muito competitiva, com latência extremamente baixa. Fizemos otimizações extremas no treinamento e inferência de modelos, o que reduziu bastante o custo de treinamento de modelos grandes. Agora somos gratuitos e não precisamos pagar pelo uso durante os períodos de pico.

Machine Heart: Por que você acha que o MoE é um caminho superior?

Li Yan: Acreditamos que, para fabricar os nossos próprios produtos, precisamos de ter a capacidade de integrar as ligações subjacentes do modelo. Na era dos grandes modelos, o efeito do modelo é melhor, o que muitas vezes significa que os seus parâmetros são maiores. Mas como um produto TO C, se o custo da inferência do modelo for alto, não funcionará comercialmente. Portanto, precisamos de um grande número de parâmetros e de baixo custo de inferência. Como pré-requisito para a viabilidade comercial, no final só podemos escolher o MoE. Pensamos claramente nesse problema desde o primeiro dia, e a primeira linha de código que escrevemos foi MoE.

Heart of the Machine: Como a Yuanshi se posiciona como uma empresa de aplicativos, você já pensou em usar alguns modelos de código aberto durante o processo de pesquisa e desenvolvimento, que podem ser mais econômicos?

Li Yan:Nosso objetivo não é ser uma empresa de modelo, mas a razão pela qual ainda optamos por desenvolver nossos próprios grandes modelos é que acreditamos que os modelos de outras pessoas não atendem aos nossos objetivos. Somos um produto impulsionado por nossos próprios grandes modelos. empresa.

Não fizemos nenhuma tentativa de modelo de negócios no nível do modelo. Isso está relacionado ao meu conhecimento pessoal. Algumas pessoas pensam que modelos grandes são água e eletricidade, o que significa que, uma vez que eu faça um bom modelo grande, vocês não precisam fazer isso e todos podem usar minhas habilidades. Mas acreditamos que a maior importância do modelo grande reside na sua capacidade de servir os utilizadores ao extremo e nas suas capacidades baseadas em cenários. Serve melhor os utilizadores num cenário fixo e proporciona uma experiência que antes estava completamente indisponível.

Além disso, a capacidade de ajustar as alterações revelou-se limitada. Como somos bastante inovadores ao fazer isso, precisamos fazer grandes mudanças na arquitetura do modelo subjacente. Também usaremos nossos modelos desenvolvidos internamente para comparar com modelos de código aberto. Os fatos provaram que os resultados de nossos modelos internos desenvolvidos são muito melhores do que os dos modelos de código aberto. Como este modelo foi totalmente construído para o meu cenário, muito trabalho foi feito desde a construção dos dados de treinamento até o design do algoritmo.

Machine Heart: Você também é um dos primeiros exploradores da multimodalidade na China. Você tem um cronograma para a multimodalidade?

Li Yan: Atualmente, o modelo de texto grande ainda é o núcleo do núcleo. É a base da inteligência.

valor do produto:

Capacidade de prestar mais atenção às necessidades individuais dos usuários

Coração da máquina: A forma do produto da Yuanshi Technology é, na verdade, diferente de quase todos os produtos C-end de grande porte no mercado.

Li Yan: Não somos um produto direcionado a um grupo específico de pessoas, temos como alvo uma ampla gama de pessoas e não somos uma comunidade de conteúdo vertical. Acreditamos que, com a melhoria das capacidades de geração e distribuição de IA, os limites das futuras categorias de conteúdo na era da IA ​​se tornarão cada vez mais confusos.

No nível do produto, nosso produto atualmente possui duas funções, uma é Feed e a outra é Chat. Chamamos isso de "Pergunte a Xiaobai". Um aspecto é que os usuários podem fazer qualquer pergunta a ele em suas vidas. Por outro lado, Xiaobai “pergunta”. Com base nas perguntas que os usuários fazem à IA, Xiaobai também tomará a iniciativa de se preocupar com os usuários e empurrá-las ativamente para os usuários. O nome é Xiaobai, esperando que os usuários tenham uma sensação de segurança e intimidade, abandonem a IA fria ou a IA violenta e possam ter contato próximo com os usuários.

Machine Heart: Então pode ser entendido como um produto de conteúdo com funções de IA?

Li Yan:Sim, além disso, é também um amigo online em tempo real que entende suas preferências. Como usuário, você pode organizá-lo para fazer algo se tiver algo para fazer. Se nada acontecer, ele poderá observá-lo e fazer isso de forma proativa. algo para ver no que isso pode ajudá-lo.

Coração da Máquina: Todo o conteúdo do feed stream é da AIGC? Como garantir a qualidade deste conteúdo?

Li Yan: Se um modelo grande for usado para produzir conteúdo, primeiro ele precisa saber que tipo de conteúdo os usuários gostam e, em seguida, gerar e organizar conteúdo de artigos de alta qualidade com base nesses tópicos. Esses dois níveis são a capacidade de compreensão, por um lado, e a capacidade de geração, por outro. Olhando agora, ainda há muito espaço para melhorias em grandes modelos de habilidades nesses dois aspectos. Esta é também a razão pela qual iniciamos um negócio, porque acreditamos que temos capacidade para melhorar muito esta questão.

Coração da Máquina: O produto se parece um pouco com a versão AI de Zhihu, Xiaohongshu e Toutiao Comparado com estes, quais são as diferenças e vantagens?

Li Yan: Primeiro, prestamos mais atenção às necessidades personalizadas dos usuários. Para todos os produtos que você acabou de falar na geração anterior, o princípio mais básico de seu sistema de recomendação é a filtragem colaborativa. Ou seja, se um usuário gosta de A e B e outro usuário gosta de A e C, então B e C. também são semelhantes. Então recomendaremos B e C para você, respectivamente. Há um problema muito óbvio nesse método de filtragem colaborativa, ou seja, ele sempre recomenda algumas categorias vertebrais para você.

por que? É porque se você gosta de algum assunto, há uma grande probabilidade de que você, assim como outras pessoas que gostam desse assunto, esteja mais inclinado a gostar de mulheres bonitas e de homens bonitos, e todos eles tendem a gostar de entretenimento. Assim, o sistema acabará por determinar que você realmente gosta de entretenimento e gosta de caras bonitos e mulheres bonitas.

Este método tem seus benefícios: pode aumentar rapidamente o tempo do usuário e continuar a crescer. Mas o problema é que oculta os interesses pessoais e de nicho dos usuários, dificultando a compreensão detalhada dos usuários.

E fazemos isso com base em modelos grandes. Em primeiro lugar, esperamos cuidar dos seus interesses personalizados, em vez de recomendar-lhe rapazes bonitos, belezas ou conteúdo de entretenimento. Neste caso, este sistema de recomendação não é um sistema de recomendação verdadeiramente personalizado.

Portanto, um sistema de recomendação suficientemente inteligente deveria, teoricamente, ser capaz de atender a todos os interesses dos usuários. Quer sejam seus interesses gerais ou interesses personalizados de nicho. Não foi feito o suficiente até agora.

Machine Heart: Por que você escolheu essa direção ao iniciar um negócio, em vez do chatbot atualmente comum ou da forma de produto complementar emocional?

Li Yan: Acreditamos que a integração do LLM com recomendações tem a oportunidade de definir um novo tipo de interação, uma experiência tranquila que não requer interação “ativa”. Atualmente, as interações puras do tipo chat ainda têm certos limites de uso para os usuários, e os usuários precisam iniciar perguntas ativamente. Até certo ponto, também limita a penetração e utilização de uma gama mais ampla de utilizadores. Assim como todos os produtos recomendados que usamos hoje, embora os usuários os utilizem muito, ainda vemos usuários desinstalando-os repetidamente. Fingir repetidamente significa que ele não pode viver sem isso, mas adiar repetidamente significa que ele não está 100% satisfeito. Esse é um ponto que nos faz pensar que os produtos recomendados ainda apresentam grandes oportunidades.

Com base nisso, acreditamos que a experiência de nossa equipe é muito adequada para fazer isso. Eu pessoalmente e a equipe temos profunda experiência em pesquisa, pesquisa de IA e implementação de produtos em larga escala.

Machine Heart: No entanto, os produtos baseados em conteúdo geralmente enfrentam o dilema de caminhos de comercialização pouco claros e não têm muito sucesso.

Li Yan: Ainda estamos na fase em que precisamos demonstrar de forma mais completa o valor dos nossos usuários. Só faz sentido falar sobre valor comercial baseado no grande valor para o usuário. Muitos produtos forneceram exemplos muito bem-sucedidos das fortes capacidades de monetização de produtos de conteúdo de grande volume, como o Kuaishou.

Machine Heart: Olhando para trás, para o produto, qual é o valor de uma melhor capacidade de resposta ao produto?

Li Yan: Eu acho que há dois. A primeira é que quanto melhores forem suas respostas, maior será a aderência do usuário. Nesse caso, você poderá conhecer mais sinais do usuário e entendê-los melhor. Em última análise, o sistema pode usá-los para criar conteúdo para os usuários que eles gostam e realmente precisam. Forme continuamente uma experiência positiva e um ciclo de dados.

Machine Heart: Pensando com otimismo, que impacto a maturidade gradual dos algoritmos de recomendação generativos pode ter na indústria de conteúdo? Na sua imaginação, como seria um "Pergunte ao Novato" maduro?

Li Yan:As recomendações generativas injetam uma nova vitalidade na faixa de conteúdo, tornando possível fazer grandes mudanças neste setor, em vez de melhorias elaboradas.

Atualmente, grandes modelos e outras tecnologias relacionadas estão avançando a passos largos, mas há um gargalo óbvio na comunicação entre humanos e IA. Temos a capacidade de fazer melhor em ambos os aspectos. Pergunte a Xiaobai, pergunta Xiaobai, esperamos promover grandemente a inclusão da tecnologia de IA e permitir que usuários comuns que precisam mais de IA sintam o poder da IA.