noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

La humanidad está marcando el comienzo de una actualización explosiva en el campo de la inteligencia artificial. Cada paso en la expansión de la tecnología hacia lo desconocido ha atraído una atención asombrosa.

En el proceso de ampliación de los límites de la inteligencia artificial, la innovación y el desacuerdo coexisten en las rutas técnicas de pistas importantes. El juicio y las elecciones de los pioneros de la tecnología influyen en los pasos de muchos seguidores.

El año pasado, Heart of the Machine tomó la iniciativa exclusivamente en presentar empresas destacadas como Dark Side of the Moon, Shengshu Technology, Aishi Technology y Wuwen Core Dome a todos, dejándolos con el primer "guión de entrevista de 10,000 palabras". " en el mundo de Internet. . En una etapa en la que las rutas tecnológicas aún no han convergido, vemos el liderazgo de emprendedores de IA que realmente tienen fe, coraje y cognición sistemática.

Por lo tanto, lanzamos la columna "Pioneros de la IA", con la esperanza de continuar encontrando y registrando emprendedores con cualidades de liderazgo en varias subdivisiones de la inteligencia artificial en la era AGI, presentando las startups más destacadas y de mayor potencial en el campo de la IA. y compartir sus logros en el campo de la IA, percepciones distintas y de vanguardia.

Autor: Jiang Jingling

Informe del corazón de la máquina

Después de dejar Kuaishou para iniciar un negocio, “Li Yan” recibió silenciosamente 32 millones de dólares en financiación inicial del cofundador de Kuaishou, Su Hua, Redpoint Ventures y Matrix Partners.

Como figura central del sistema de inteligencia artificial inicial de Kuaishou, Li Yan una vez construyó el primer departamento de aprendizaje profundo dentro de Kuaishou y luego ayudó a Kuaishou a construir el sistema de tecnología de comprensión multimedia.

Uno de sus inversores concluyó que entre los tres retratos empresariales de AGI de profesores y académicos, hacedores de Internet móvil y genios académicos, Yuanshi Technology es el único que tiene la capacidad de integrar los tres "multimodales, de búsqueda y de recomendación". equipo con una gran pila de tecnología central.

Sin embargo, desde que Li Yan confirmó oficialmente que iba a iniciar un negocio a principios de 2023, casi ha desaparecido durante más de un año.

El año pasado, enviamos múltiples invitaciones a entrevistas al equipo de Li Yan, con la esperanza de hablar con él sobre sus ideas empresariales, pero todas fuimos rechazadas porque "el producto aún no está listo (disponible públicamente)".

No hace mucho, se lanzó oficialmente el producto de Yuanshi Technology "Ask Xiaobai" y comenzó la prueba interna de arranque en frío. Esta es también la primera vez que el equipo de Li Yan revela su progreso empresarial. Así que volvimos a encontrarnos con Li Yan, con la esperanza de hablar con él sobre su plan empresarial.

En esta entrevista exclusiva, lo inesperado es que la elección de Li Yan no es una empresa modelo pura, ni siquiera parte del aspecto multimodal.

En el producto "Pregúntale a Xiaobai", los usuarios pueden ver el contenido AIGC generado por IA en el "feed" tan pronto como abren la pantalla y se personalizan según los intereses del usuario, y pueden usar la función "chat" y la IA para hacer más. contenido basado en contenido en cualquier momento.

Se puede entender que este es un producto comunitario de contenido generativo basado en un modelo LLM de desarrollo propio. En comparación con los productos comunitarios de contenido anteriores, la acción de Li Yan radica en la "recomendación generativa".

Este es un campo de investigación de tecnología de vanguardia y hasta ahora solo Meta y CMU han obtenido algunos resultados prácticos. Me dijo que, en comparación con los algoritmos de recomendación anteriores, los algoritmos de recomendación generativos ya no se basarán en sistemas de recomendación de filtrado colaborativo y las recomendaciones se volverán más inteligentes, desde los actuales "miles de personas con diez caras" hasta el verdadero sentido de "miles de gente con diez caras". La gente tiene miles de caras."

Al explorar las necesidades más profundas de los usuarios, la eficiencia de las recomendaciones mejora aún más y los usuarios pueden obtener información que sea más adecuada para ellos. Además, la infusión de una gran cantidad de corpus de alta calidad en modelos grandes proporciona "valores" al algoritmo de recomendación generativa. Ya no se puede simplemente "complacer" a los usuarios, sino guiarlos para que presten atención a información de alta calidad que realmente necesita atención.

En la actualidad, el equipo de Li Yan es la primera empresa emergente en China que utiliza algoritmos de recomendación generativa impulsados ​​por LLM como núcleo de su dirección de desarrollo y producto.

Un inversor en Yuanshi cree que,La optimización de costos y eficiencia que este nuevo motor tecnológico aporta a la industria de contenidos es básicamente consistente con el camino hacia el éxito de Toutiao.En el camino hacia la creación de productos de algoritmos de recomendación generativos, "hemos visto que el único equipo con tres antecedentes: multimodal, búsqueda y recomendación es Li Yan".

Visión:

Hacer un algoritmo de recomendación de dimensiones superiores

Heart of the Machine: Primero, presentemos lo que Yuanshi Technology espera hacer.

Li Yan: Esperamos que a través de la innovación tecnológica y la recopilación de inteligencia, podamos ayudar a los usuarios a entrar en un estado de fluidez y luchar contra la fatiga mental. (De la teoría del “flujo” de Mihaly Csikszentmihalyi)

Machine Heart: Es un poco abstracto, ¿puedes explicarlo más?

Li Yan:Creemos que la era actual es una era de explosión de información. Hay muchos canales para recibir información, pero faltan los canales que realmente pueden obtener la información que nos importa.

Por ejemplo, en el reciente WAIC, es posible que vea informes abrumadores, pero cada informe solo contiene unas pocas palabras, pero no puede obtener la información que realmente le interesa. En este momento, caerá en una especie de ansiedad.

Entendemos que esto es una forma de "entropía espiritual". Este concepto fue propuesto por el psicólogo Mihaly Csikszentmihalyi y coincide muy exactamente con lo que queremos hacer. Lo que queremos hacer es ayudar a todos a mejorar su felicidad y su sensación de ganancia después de ver la información. Este estado será diferente del "más ansioso, más cansado y más feliz" que sentimos después del uso intensivo de algunos productos de información.

Machine Heart: ¿Qué tipo de información hará que las personas se sientan más felices y gratificantes, en lugar de más ansiosas y cansadas?

Li Yan:Aquí existe un concepto de "flujo", lo que significa que solo cuando las personas vean la información que realmente quieren ver, entrarán en un estado de flujo y sentirán felicidad, en lugar de ver muchas cosas que no están relacionadas con ellos mismos. son irrelevantes o poco interesantes.

Esto también es el resultado de una investigación psicológica. Por ejemplo, los padres piden a sus hijos que hagan los deberes. Aunque finalmente se implementan, el niño es pasivo y muy doloroso. Se sentirá feliz. Por eso esperamos ayudar a los usuarios a entrar en un estado de fluidez y luchar contra la entropía mental.

Corazón de la máquina: De hecho, los sistemas de recomendación subyacentes de la mayoría de las comunidades sociales ahora esencialmente esperan lograr este objetivo (recomendar a los usuarios lo que realmente quieren ver).

Li Yan: Hay una diferencia. Si nos paramos diez años después, en 2034, y observamos los sistemas de recomendación actuales, incluidos los productos y la tecnología detrás de ellos, en realidad están muy atrasados. Lo que hace el producto actual en realidad no está en perfecto estado.

Heart of the Machine: ¿Cómo entender el nivel actual y el nivel "mejor"?

Li Yan:Puedo hacer una analogía. La distribución de información actual se parece más a la reacción instintiva de los humanos primitivos. En la etapa en que el espíritu no es demasiado rico, tal vez el instinto humano sea "quiero comer", "quiero llorar". “Quiero reír””, esto es muy directo.

El reflejo en el sistema de recomendación puede ser que, por ejemplo, si te gustan los chicos guapos, siempre te recomendarán chicos guapos; el sistema de recomendación no tiene un pensamiento demasiado profundo. Lo que nuestros productos esperan lograr no es complacer la reacción instintiva del usuario, sino recomendarlos con mayor sabiduría, cuidado y amor.

Heart of the Machine: Esto suena como una dimensión estética superior, un poco como "educar a los usuarios".

Li Yan: No educación, para ser precisos. Muchas cosas no se pueden ver con claridad si las miramos en un período de tiempo relativamente corto. Pero, por ejemplo, si miramos toda la historia del desarrollo humano, encontraremos que cada avance de la civilización humana irá acompañado de crítica, reflexión e incluso derrocamiento y reconstrucción. Algunas cosas pueden parecer buenas ahora, pero tal vez en el futuro. hay limitaciones. Lo mismo ocurre en el mundo en línea. Esperamos incorporar elementos más civilizados e ideas avanzadas acumuladas por la humanidad a la distribución de contenidos.

Ruta de implementación técnica:

Elija datos de mayor calidad para entrenar el modelo para que tenga valores.

Heart of the Machine: Acabo de decir que espero crear un producto de contenido que ayude a los usuarios a lograr un mejor flujo. ¿Por qué empezar por crear un mejor LLM?

Li Yan: Creemos que LLM es un nodo muy importante que conduce a AGI. Los modelos de lenguaje grandes pueden comprender mejor a los usuarios y el contenido, y saber qué les importa, qué les gusta y qué no les gusta. Todos los intereses y pasatiempos personales del usuario se pueden tokenizar, y los modelos grandes pueden comprenderlos muy bien.

El sistema de recomendación anterior no podía alcanzar este nivel de comprensión. Solo podía etiquetar al usuario con muchas etiquetas discretas e intentar caracterizarlo y comprenderlo a través de esto. Ahora, los modelos grandes no solo pueden comprender mejor los intereses existentes de los usuarios, sino también mejorar la extracción de intereses de los usuarios e inferir los intereses y pasatiempos implícitos de los usuarios.

Con el modelo grande, podemos comprimir el corpus de la más alta calidad en todo Internet, comprimir la civilización humana contenida en el texto, usar estas civilizaciones y aplicar aún más estas capacidades a recomendaciones generativas, tendrá sus valores, su visión del mundo y, por lo tanto, una sistema de valores recomendados de dimensiones superiores.

El modelo grande en realidad desempeña el papel de un puente, vinculando estas cogniciones más avanzadas con su consumo de información y luego mejorando aún más su nivel de consumo de contenido.

Machine Heart: ¿Estos contenidos “avanzados” se refieren a artículos? ¿Incluye tanto las ciencias sociales como las ciencias naturales, o se centra más en una de ellas?

Li Yan:El modelo grande leerá toda la civilización avanzada y la información acumulada por los humanos en todo Internet, y podrá avanzar en todos los aspectos.

Heart of the Machine: ¿Cómo determina el modelo grande qué es una "civilización avanzada"?

Li Yan:De hecho, los humanos ya hemos emitido juicios sobre este asunto, no grandes modelos. Por ejemplo, nuestros artículos, revistas y libros autorizados escritos por académicos de renombre no están definidos por grandes modelos, sino por información de alta calidad establecida por los propios humanos. por un largo periodo de tiempo. .

Machine Heart: Bueno, ¿qué es exactamente esta parte de los datos de alta calidad? ¿fuente?

Li Yan: Valoramos la creación de capacidades de modelos basados ​​en datos. En nuestro modelo, utilizamos algoritmos para aumentar la cantidad de datos de alta calidad disponibles en más de un orden de magnitud. Además, en términos de selección de datos, utilizamos libros, teorías y artículos más clásicos para entrenar nuestros modelos grandes, de modo que nuestros modelos tengan la capacidad de comprender a los usuarios más profundamente. Más específicamente, cuando se trata de recomendación de contenido, nosotros. No permitirá que los usuarios permanezcan ciegamente en el placer a corto plazo. En cambio, existe la felicidad a largo plazo de acumular información de alta calidad.

Machine Heart: Acabo de mencionar que los algoritmos de recomendación generativos pueden mejorar la comprensión de los usuarios. ¿Existe algún estándar cuantitativo para comparar la comprensión de los usuarios mediante diferentes algoritmos de recomendación?

Li Yan: Dado que los objetivos que persiguen las diferentes empresas son diferentes, los objetivos de optimización también lo son. En términos generales, puede ser la duración, la tasa de clics y la retención. Dado que nuestros principios técnicos y dirección comercial son áreas nuevas, actualmente contamos con un sistema de datos interno muy complejo para evaluar este asunto.

Heart of the Machine: En LLM, ¿cuáles son las ventajas de la tecnología Yuanshi actualmente?

Li Yan: A partir del primer día de creación de la empresa, es decir, alrededor de abril de 2023, la primera versión del modelo grande se basó en la arquitectura MoE. La selección técnica general de rutas en el mercado tiene mucha visión de futuro. Desde abril de 2023 hasta ahora durante más de un año, nuestro modelo ha iterado cuatro versiones. En muchos equipos de prueba públicos, nuestros resultados son mejores que los de muchos otros modelos.

Además, nuestro corpus de alta calidad hace que la calidad de las respuestas sea muy alta y el modelo tiene la capacidad de pensar en profundidad. En tercer lugar, la velocidad de nuestro modelo grande también es muy competitiva, con una latencia extremadamente baja. Hemos realizado optimizaciones extremas en el entrenamiento y la inferencia de modelos, lo que ha reducido en gran medida el costo de entrenar modelos grandes. Ahora somos gratuitos y no necesitamos pagar por su uso durante los períodos pico.

Machine Heart: ¿Por qué crees que MoE es una ruta superior?

Li Yan: Creemos que para fabricar nuestros propios productos, debemos tener la capacidad de integrar los vínculos subyacentes del modelo. En la era de los modelos grandes, el efecto del modelo es mejor, lo que a menudo significa que sus parámetros son mayores. Pero como producto TO C, si el costo de la inferencia del modelo es alto, no funcionará comercialmente. Por lo tanto, necesitamos una gran cantidad de parámetros y un bajo costo de inferencia. Como requisito previo para la viabilidad comercial, al final solo podemos elegir MoE. Pensamos claramente en este problema desde el primer día y la primera línea de código que escribimos fue MoE.

Heart of the Machine: Dado que Yuanshi se posiciona como una empresa de aplicaciones, ¿ha considerado utilizar algunos modelos de código abierto durante el proceso de investigación y desarrollo que puedan resultar más económicos?

Li Yan:Nuestro objetivo no es ser una empresa a nivel de modelo, pero la razón por la que todavía elegimos desarrollar nuestros propios modelos grandes es que creemos que los modelos de otras personas no cumplen con nuestros objetivos. Somos un producto impulsado por nuestros propios modelos grandes. compañía.

No hemos realizado ningún intento de modelo de negocio a nivel de modelo. Esto está relacionado con mi conocimiento personal. Algunas personas piensan que los modelos grandes son agua y electricidad, lo que significa que una vez que hago un buen modelo grande, no es necesario que lo hagas y todos podéis usar mis habilidades. Pero creemos que la mayor importancia del modelo grande radica en su capacidad para servir a los usuarios al extremo y sus capacidades basadas en escenarios. Sirve mejor a los usuarios en un escenario fijo y proporciona una experiencia que antes no estaba disponible en absoluto.

Además, la capacidad de ajustar los cambios resultó limitada. Debido a que somos bastante innovadores al hacer esto, necesitamos realizar cambios importantes en la arquitectura del modelo subyacente. También utilizaremos nuestros modelos de desarrollo propio internamente para compararlos con los modelos de código abierto. Los hechos han demostrado que los resultados de nuestros modelos de desarrollo propio internos son mucho mejores que los de los modelos de código abierto. Debido a que este modelo está completamente diseñado para mi escenario, se ha trabajado mucho desde la construcción de los datos de entrenamiento hasta el diseño del algoritmo.

Machine Heart: También es uno de los primeros exploradores de la multimodalidad en China. ¿Tiene un cronograma para la multimodalidad?

Li Yan: En la actualidad, el modelo de texto grande sigue siendo el núcleo del núcleo. Es la base de la inteligencia.

valor del producto:

Capacidad de prestar más atención a las necesidades individuales de los usuarios.

Corazón de la máquina: la forma del producto de Yuanshi Technology es en realidad diferente de casi todos los productos de gama C de modelos grandes del mercado.

Li Yan: No somos un producto dirigido a un grupo específico de personas, nos dirigimos a una amplia gama de personas y no somos una comunidad de contenido vertical. Creemos que con la mejora de las capacidades de generación y distribución de IA, los límites de las categorías de contenido futuras en la era de la IA se volverán cada vez más borrosos.

A nivel de producto, nuestro producto actualmente tiene dos funciones, una es Feed y la otra es Chat. Lo llamamos "Pregúntale a Xiaobai". Un aspecto es que los usuarios pueden hacerle cualquier pregunta en sus vidas. Por otro lado, Xiaobai "pregunta". Según las preguntas que los usuarios le hacen a la IA, Xiaobai también tomará la iniciativa de preocuparse por los usuarios y empujarlos activamente hacia los usuarios. El nombre es Xiaobai, con la esperanza de que los usuarios tengan una sensación de seguridad e intimidad, abandonen la IA fría o la IA violenta y puedan tener un contacto cercano con los usuarios.

Machine Heart: Entonces, ¿puede entenderse como un producto de contenidos con funciones de IA?

Li Yan:Sí, además de esto, también es un amigo en línea en tiempo real que comprende sus preferencias como usuario, puede organizarlo para que haga algo si no sucede nada y puede observarlo y hacerlo de manera proactiva. algo para ver en qué te puede ayudar.

Corazón de la máquina: ¿Todos los contenidos del flujo de alimentación provienen de AIGC? ¿Cómo garantizar la calidad de este contenido?

Li Yan: Si se utiliza un modelo grande para producir contenido, primero necesita saber qué tipo de contenido les gusta a los usuarios y luego generar y organizar contenido de artículos de alta calidad basado en estos temas. Estos dos niveles son la capacidad de comprensión por un lado y la capacidad de generación por el otro. Mirándolo ahora, todavía hay mucho margen de mejora en los modelos grandes de habilidades en estos dos aspectos. Esta es también la razón por la que iniciamos un negocio, porque creemos que tenemos la capacidad de mejorar enormemente este asunto.

Heart of the Machine: el producto se parece un poco a la versión AI de Zhihu, Xiaohongshu y Toutiao. En comparación con estos, ¿cuáles son las diferencias y ventajas?

Li Yan: Primero prestamos más atención a las necesidades personalizadas de los usuarios. Para todos los productos de los que acaba de hablar en la generación anterior, el principio más básico de su sistema de recomendación es el filtrado colaborativo, es decir, si a un usuario le gustan A y B, y a otro usuario le gustan A y C, entonces B y C. también son similares. Entonces le recomendaremos B y C respectivamente. Hay un problema muy obvio con este método de filtrado colaborativo, es decir, siempre te recomienda algunas categorías vertebrales.

¿por qué? Es porque si te gusta algún tema, existe una alta probabilidad de que a ti, como a otras personas a las que les gusta este tema, te gusten más las mujeres hermosas y los hombres guapos, y a todos les suele gustar el entretenimiento. Entonces, el sistema eventualmente determinará que realmente te gusta el entretenimiento y que te gustan los chicos guapos y las mujeres hermosas.

Este método tiene sus ventajas: puede aumentar rápidamente el tiempo del usuario y seguir creciendo. Pero su problema es que oculta los intereses personales y específicos de los usuarios, lo que dificulta comprenderlos en detalle.

Y lo hacemos basándonos en modelos grandes. En primer lugar, esperamos ocuparnos de sus intereses personalizados, en lugar de recomendarle chicos guapos, bellezas o contenido de entretenimiento. En este caso, este sistema de recomendación no es un sistema de recomendación verdaderamente personalizado.

Por lo tanto, en teoría, un sistema de recomendación suficientemente inteligente debería poder atender todos los intereses de los usuarios. Ya sean sus intereses generales o intereses personalizados específicos. Hasta ahora no se ha hecho lo suficiente.

Machine Heart: ¿Por qué eligieron esta dirección al iniciar un negocio, en lugar del chatbot o producto de acompañamiento emocional actualmente común?

Li Yan: Creemos que la integración de LLM con las recomendaciones tiene la oportunidad de definir un nuevo tipo de interacción, una experiencia fluida que no requiere interacción "activa". En la actualidad, las interacciones puramente de tipo chat todavía tienen ciertos umbrales de uso para los usuarios, y los usuarios deben iniciar preguntas activamente. Hasta cierto punto, también limita la penetración y el uso de una gama más amplia de usuarios. Además de todos los productos recomendados que utilizamos hoy en día, aunque los usuarios los utilizan mucho, todavía vemos que los desinstalan repetidamente. Fingir repetidamente significa que no puede vivir sin ello, pero posponerlo repetidamente significa que no está 100% satisfecho. Este es un punto que nos hace pensar que los productos recomendados en realidad todavía tienen grandes oportunidades.

Sobre esta base, creemos que la experiencia de nuestro equipo es muy adecuada para hacer esto. Yo personalmente y el equipo tenemos una profunda experiencia en búsqueda, investigación de inteligencia artificial e implementación de productos a gran escala.

Machine Heart: Sin embargo, actualmente los productos basados ​​en contenidos suelen encontrarse con el dilema de caminos de comercialización poco claros y no tienen mucho éxito.

Li Yan: Todavía estamos en la etapa en la que necesitamos demostrar más plenamente el valor de nuestros usuarios. Sólo tiene sentido hablar de valor comercial basado en un gran valor para el usuario. Muchos productos han proporcionado ejemplos muy exitosos de las sólidas capacidades de monetización de productos de contenido de gran volumen, como Kuaishou.

Machine Heart: Mirando retrospectivamente el producto, ¿cuál es el valor de una mejor capacidad de respuesta al producto?

Li Yan: Creo que hay dos. La primera es que cuanto mejores sean sus respuestas, mayor será la adherencia del usuario. En este caso, podrá conocer más señales de los usuarios y comprenderlos mejor. En última instancia, el sistema puede utilizarlos para crear contenido para los usuarios que les guste y que realmente necesiten. Forme continuamente una experiencia positiva y un ciclo de datos.

Machine Heart: Pensando con optimismo, ¿qué impacto puede tener la madurez gradual de los algoritmos de recomendación generativos en la industria de contenidos? En tu imaginación, ¿cómo sería un "Pregúntale al novato" maduro?

Li Yan:Las recomendaciones generativas inyectan nueva vitalidad a la pista de contenido, lo que permite realizar grandes cambios en este sector en lugar de elaboradas mejoras.

En la actualidad, los grandes modelos y otras tecnologías relacionadas avanzan a pasos agigantados, pero existe un cuello de botella evidente en la comunicación entre humanos y la IA. Tenemos la capacidad de hacerlo mejor en ambos aspectos. Pregúntele a Xiaobai, pregunta Xiaobai, esperamos promover en gran medida la inclusión de la tecnología de IA y permitir que los usuarios comunes que necesitan IA sientan más el poder de la IA.