Mi informacion de contacto
Correo[email protected]
2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
El viento del oeste de Jin Lei se origina en el templo de Aofei
Qubits | Cuenta pública QbitAI
Mejor estudiante en la clase de Yao en la Universidad de TsinghuaYao Shunyu, anunció oficialmente que se ha unido a OpenAI.
Pero un mensaje tan breve ha atraído la atención y las bendiciones de todos en el círculo. Ven y siente este sentimiento:
Entre ellos, hay muchos como el director de investigación de vanguardia de OpenAI y el entrenador estadounidense de IOI.Marca Chen, así como profesores, inversores, etc. en el campo de la IA.
Entonces, ¿por qué Yao Shunyu atrae tanta atención?
A juzgar por su currículum anterior, podemos extraer las siguientes palabras clave:
△Yao Shunyu, fuente de la foto: página de inicio personal
Pero además de su currículum relativamente brillante, son sus numerosos logros en investigación científica los que realmente llevaron a Yao Shunyu a la atención del público:
No es exagerado decir que casi todas las investigaciones han causado considerables conmociones en el círculo y es muy obvio que todas ellas están profundamente circundantes;modelo grandeY desplegar.
Esto también puede corresponder a una frase del anuncio oficial de Yao Shunyu:
Es hora de hacer realidad la visión de la investigación.
En cuanto a esta “visión de investigación”, sigamos examinándola más de cerca.
Si miras la página de inicio de Yao Shunyu, especialmente la sección de investigación de tesis, no es difícil encontrar una frase que aparece con mucha frecuencia——Agentes de lenguaje。
En el perfil incluido en su página de inicio de X, la primera frase también es Agentes lingüísticos:
Y este es también el título de su tesis doctoral:Agentes del lenguaje: de la predicción del próximo token a la automatización digital。
Agentes lingüísticos, en concretoagente de idiomas, fue Yao Shunyu quien propuso un nuevo tipo de agente.
A diferencia de los agentes tradicionales, este método utiliza modelos de lenguaje para el razonamiento y las acciones de los agentes, enfocándose en hacer que se den cuenta.automatización digital(Automatización digital).
En cuanto a los métodos de implementación específicos, existen tres tecnologías clave (todas con artículos independientes), que son:
Tomando ReAct como ejemplo, la investigación tiene como objetivo expandir el espacio de acción del modelo de lenguaje a la unión del conjunto de acciones y el espacio del lenguaje.
Las acciones (es decir, trayectorias de pensamiento o razonamiento) en el espacio del lenguaje no afectan el entorno externo, pero pueden actualizar el contexto a través del razonamiento sobre el contexto actual y pueden respaldar razonamientos o acciones futuras.
Por ejemplo, en el diálogo que se muestra en la figura siguiente, el método ReAct se puede utilizar para guiar al agente a través del proceso de "generar ideas → tomar medidas → observar resultados".
De esta forma, se puede combinar la trayectoria y el funcionamiento del razonamiento, permitiendo que el modelo realice un razonamiento dinámico, mejorando la toma de decisiones y los resultados finales del agente.
Si el método ReAct se reduce a permitir que el agente“razón para actuar”, entonces el siguiente método esárbol de pensamiento, entonces el objetivo es dejar que el agente“Razón para planificar”。
El árbol de pensamiento representa el problema como una búsqueda en la estructura del árbol. Cada nodo es un estado, que representa una solución parcial, y las ramas corresponden a operaciones que modifican el estado.
Se trata principalmente de cuatro cuestiones:
Al aplicar el árbol de pensamiento al juego de "24 puntos", en comparación con la cadena de pensamiento (CoT) anterior, la tasa de precisión ha mejorado significativamente.
En cuanto a la última tecnología clave en agentes lingüísticos, es decirCoALA, es un marco conceptual para organizar y diseñar agentes lingüísticos.
A juzgar por el diagrama de estructura a continuación, se divide aproximadamente en tres módulos: almacenamiento de información, espacio de acción y toma de decisiones.
El almacenamiento de información significa que el agente lingüístico almacena información en múltiples módulos de memoria, incluida la memoria de trabajo a corto plazo y la memoria a largo plazo (como la memoria semántica, la memoria episódica y la memoria procedimental).
Estos módulos de memoria se utilizan para almacenar diferentes tipos de información, como información sensorial, conocimiento, experiencia, etc., y desempeñan un papel en el proceso de toma de decisiones del agente.
Además, CoALA divide el espacio de acción del agente en acciones externas y acciones internas que implican interacciones con el entorno externo, como controlar robots, comunicarse con humanos o realizar operaciones en entornos digitales.
Las acciones internas interactúan con el estado interno y la memoria del agente, incluidas operaciones como el razonamiento, la recuperación y el aprendizaje.
En última instancia, el agente lingüístico elegirá la acción a realizar a través del proceso de toma de decisiones y este proceso también encontrará la solución óptima en función de diversos factores y comentarios;
Además, existen trabajos como programadores de IA de código abierto.Agente SWEetc., también está muy difundido en el círculo.
Pero a partir de los numerosos temas de investigación científica de Yao Shunyu, además de los agentes del lenguaje, también podemos ver otra palabra clave que persigue:pensamiento computacional。
En realidad, esto se reveló cuando era estudiante.
Antes de ir a la Universidad de Princeton para estudiar un doctorado en informática, Yao Shunyu, como estudiante de último año de la promoción de 2015, compartió su experiencia de aprendizaje y crecimiento en la Universidad de Tsinghua con los candidatos al reexamen en la ceremonia de apertura de los diversos tipos de 2019 de Tsinghua. de reexámenes de selección independientes.
El contenido relevante está registrado en un artículo que escribió titulado "¿Qué aprendiste en la clase de Yao en la Universidad de Tsinghua? Yao Shunyu: suficiente para cambiar el mundo".
En ese momento, se centró en compartir el pensamiento computacional desde aspectos tanto teóricos como prácticos, y reveló que sentía que después de cuatro años,La mayor ganancia es el pensamiento computacional.：
Ahora estamos viendo muchas cosas que son teóricamente imposibles. La llamada teoría guía la práctica, creo que significa más que tenemos que comprender los límites de las capacidades de un sistema y la dificultad de las cosas desde un alto nivel, y luego elegir qué se puede hacer y qué es significativo.
Encerrado en la etiqueta de un chico alegre y alegre, Yao Shunyu también compartió su experiencia de ir a Argentina para el Programa de Infiltración del Sur de Tsinghua:
Conocí a un grupo de niños argentinos... El inglés no se habla universalmente, los argentinos hablan español. Una vez intenté aprender español, pero lo dejé porque estudié informática y saqué Google Translate. Les hablé de la Ciudad Prohibida y la Gran Muralla de Beijing...
△Fuente: Cuenta oficial de admisiones de Tsinghua
En su opinión, en esta era, la informática se puede combinar con cualquier disciplina, el mundo es un lugar grande y puedes hacer lo que quieras en Tsinghua.
Después de hablar de Yao Shunyu, ¿quién más en la clase de Yao está trabajando en modelos grandes?
Lo que tengo que mencionar sonMa TengyuyChen Dan Qi。
Los dos eran compañeros de clase en ese momento, ex alumnos de la Clase Tsinghua Yao en 2008, y ambos ganaron más tarde el Premio Sloan, conocido como el "Premio Nobel Trend Vane".
El Dr. Ma Tengyu estudió en la Universidad de Princeton, donde su mentor fue el profesor Sanjeev Arora, un informático teórico y dos veces ganador del Premio Gödel.
Después de graduarse del doctorado, las mejores universidades como MIT, Harvard y Stanford le ofrecieron ofertas como profesor asistente, y Ma Tengyu finalmente eligió Stanford.
A finales del año pasado, Ma Tengyu también anunció oficialmente la fundación de Voyage AI, una startup de modelos a gran escala. Reveló que lideraría un equipo para construir el mejor modelo integrado actualmente y también proporcionaría modelos personalizados que se centren en un. determinado campo o empresa.
Tres profesores, entre ellos Christopher Manning, director del Laboratorio de Inteligencia Artificial de Stanford, y Li Feifei, un famoso erudito chino en el campo de la IA, actúan como asesores académicos de Voyage AI.
Para Chen Danqi, después de completar sus estudios universitarios en Tsinghua Yao Ban, obtuvo un doctorado en la Universidad de Stanford en 2018, centrándose en PNL. Finalmente se convirtió en profesor asistente en el Departamento de Ciencias de la Computación de la Universidad de Princeton y subdirector de Princeton Language. e Intelligence Project, codirector del grupo de PNL de Princeton.
Su página de inicio personal muestra que “hoy en día me atrae principalmente desarrollar modelos grandes” y los temas que está investigando incluyen:
El trabajo de modelos a gran escala y los qubits del equipo de Chen Danqi también siguen prestando atención.
Por ejemplo, el algoritmo de selección de datos LESS, un método de reducción de costos propuesto para modelos grandes, solo selecciona el 5% de los datos más relevantes para la tarea para el ajuste de instrucciones, lo cual es mejor que usar todo el conjunto de datos.
El ajuste de las instrucciones es un paso clave para que el modelo básico se convierta en un modelo de asistente ChatGPT.
Propuso el popular método de "corte de alpaca": el método de poda de modelos grandes LLM-Shearing, que utiliza solo el 3% de la cantidad de cálculo y el 5% del costo para obtener SOTA, dominando la escala 1B-3B de modelos grandes de código abierto.
Además de estos dos, hay muchos alumnos de Yao Class que trabajan en modelos a gran escala en la industria y el mundo académico.
La aplicación nativa modelo grande que fue popular en Internet fue "¡Terminada!" "Estoy rodeado de grandes modelos" y su secuela "Rompí a los grandes modelos" fueron desarrollados por un equipo dirigido por los mejores estudiantes de Yao Class.
autor del juegoFan Haoqiang , Empleado Megvii No. 6. En ese momento, fue aclamado como un chico genio por sus hazañas legendarias, como la medalla de oro IOI, ser recomendado a la clase de Tsinghua Yao y practicar como estudiante de segundo año en la escuela secundaria. Ahora es director general de investigación en Megvii Technology y líder de la industria con índice h 32 de Google Scholar.
El primer resultado de la investigación de xAI de Musk, Tensor Programs VI, también incluye a alumnos de la clase Yao en el trabajo conjunto.
Tensor Programs VI es una continuación de la serie de trabajos anterior Tensor Programs de Greg Yang, miembro fundador de xAI y discípulo de Shing-tung Yau, y el artículo se centra en "cómo entrenar redes infinitamente profundas".
Se dice que los resultados relacionados con los programas tensoriales se han aplicado en GPT-4. Para interpretar el documento, el propio Yang también realizó una transmisión en vivo en X.
Trabajar juntosDingli Yu, se graduó de la Clase Yao de la Universidad de Tsinghua con una licenciatura. Actualmente, Dingli Yu está a punto de graduarse con un doctorado en el Departamento de Ciencias de la Computación de Princeton.
Hay muchos, muchos más....
Hablando del reclutamiento de Yao Shunyu para OpenAI esta vez, los esfuerzos de reclutamiento de OpenAI aún continúan.
La ingeniera de OpenAI, Karina Nguyen, publicó la última publicación de reclutamiento:
- ¡El equipo de comportamiento del modelo OpenAI está contratando! Este es un puesto de ensueño que combina ingeniería de diseño e investigación posterior a la capacitación, y es el trabajo más raro del mundo❤️
- Utilizamos métodos de alineación como RLHF/RLAIF para definir comportamientos centrales del modelo para reflejar los valores básicos y mejorar la inteligencia creativa de AGI. A través de estos resultados, trabajamos con los equipos de diseño e ingeniería de producto + modelo para crear nuevos modelos de interfaces e interacciones de IA que impactarán a millones de usuarios...
Lo interesante es que Karina Nguyen era en realidad investigadora de Anthropic AI (el equipo de Claude) antes. En mayo del año pasado, también participó en un duelo de palabras en X (anteriormente Twitter) con Jason Wei de OpenAI, el autor de Think Chain. Documento de Fundación”.
No esperaba que Karina Nguyen cambiara a OpenAI tan rápido...
Por cierto, ayer se conoció la noticia de que el investigador de Google DeepMind, Thibault Sottiaux, también fue contratado para OpenAI.
Ya sabes, Thibault Sottiaux fue un colaborador principal en artículos como el Gemini original y el Gemini 1.5.
Esto muestra cuán popular es actualmente la pista de modelos grandes. Las empresas compiten por la pista y la gente compite por personas.
¡Hubo otros dos Yao Shunyu que se graduaron de la Universidad de Tsinghua el mismo año que Yao Shunyu!
Cuando los tres estudiantes de Yao Shunyu se graduaron en 2019, los funcionarios de la Universidad de Tsinghua publicaron una publicación en Weibo y publicaron una foto grupal de los tres.
Además de Yao Shunyu, que ahora se ha unido a OpenAI, hay otro Yao Shunyu deescuela de humanidadesUna chica que se especializa en japonés.
Otro Yao Shunyu es Yao Shun.Yu, deDepartamento de Física, es el ganador del Premio Especial de Pregrado en 2018. Durante su período universitario, publicó dos artículos como primer autor en la importante revista de física PRL (Physical Review Letters) y uno en PRB (Physical Review B).
Enlaces de referencia:
[1]https://x.com/ShunyuYao12/status/1818807946756997624
[2]https://ysymyth.github.io
[3]https://x.com/karinanguyen_/status/1819082842238079371
[4]https://weibo.com/1676317545/HCR7yuXAl?refer_flag=1001030103_
Recopile y organice la información de noticias más reciente y haga que todos puedan consultarla de forma gratuita.
Correo[email protected]