noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Los modelos grandes han recibido mucha atención en los últimos dos años, especialmente por su desempeño en la resolución de problemas aritméticos.

De hecho, ya en 2022, los investigadores del equipo de investigación de Google propusieron el mensaje de cadena de pensamiento (CoT), un método de ingeniería rápido que puede mejorar eficazmente el razonamiento matemático de modelos grandes y aprender en un contexto de unas pocas muestras. Se ha verificado su eficacia [1].

Aunque el método rápidamente se volvió ampliamente utilizado, los investigadores en este campo todavía saben poco sobre cómo estimula el razonamiento aritmético en modelos grandes.

Anteriormente, las exploraciones relacionadas se han centrado principalmente en observar experimentalmente el impacto de diferentes componentes en la declaración rápida de CoT sobre el efecto del razonamiento aritmético de modelos grandes.

Específicamente, intente reemplazar o eliminar componentes en la instrucción de CoT, como eliminar la parte de razonamiento verbal de la muestra de CoT, dejando solo las fórmulas matemáticas clave y observar el modelo grande antes y después del reemplazo o eliminación en la aritmética existente. La diferencia de rendimiento en la prueba de referencia de inferencia se utiliza para determinar si la pieza de reemplazo o remoción tiene una contribución importante para estimular la capacidad de razonamiento aritmético del modelo grande.

Aunque los investigadores en este campo han descubierto varios fenómenos interesantes a partir de estos estudios, todavía no pueden explicar cómo CoT estimula la capacidad de razonamiento aritmético de modelos grandes a partir del mecanismo interno de las redes neuronales.

Al mismo tiempo, estos estudios plantean más preguntas. Por ejemplo, por qué diferentes componentes de CoT tienen diferentes impactos en el razonamiento aritmético de modelos grandes.

Para resolver los problemas anteriores, el profesor Yao Ziyu y su equipo de la Universidad George Mason en los Estados Unidos lanzaron una serie de exploraciones en el modelo Llama2 de código abierto desde la perspectiva de la "interpretabilidad del modelo" y propusieron utilizar la "activación neuronal" para explicar sistemáticamente Se ha estudiado el fenómeno observado en CoT.

Imagen 丨Miembros del equipo de investigación (fuente: equipo de investigación)

Recientemente, la Reunión Anual de la Asociación de Lingüística Computacional (ACL, Anual Encuentro de Lingüística Computacional) 2024 [2].

Daking Rai, candidato a doctorado en la Universidad George Mason, es el primer autor y Yao Ziyu es el autor correspondiente.

Figura 丨 Artículos relacionados (Fuente: ACL 2024)

En el estudio, primero se centraron en explorar si la capa de alimentación del transformador es una neurona que expresa el concepto de razonamiento aritmético.

Los conceptos relevantes incluyen los conceptos de operaciones aritméticas de suma, resta, multiplicación y división, los conceptos de vínculos lógicos en el proceso de razonamiento aritmético (como "...entonces" "...siguiente") y otros conceptos de cálculo aritmético ( como "porcentaje", "algoritmo" y "fórmula").

Por lo tanto, para descubrir el concepto representado por cada neurona, asignaron la neurona al espacio de vocabulario del modelo grande y resumieron el significado de la neurona etiquetando la proporción de conceptos en cada vocabulario después del mapeo de neuronas.

El grupo de investigación propuso utilizar GPT-4 para leer y comprender el mapeo léxico de las neuronas para automatizar el proceso de minería y etiquetado de neuronas.

Los experimentos muestran que, de hecho, hay neuronas en la capa de alimentación directa del Transformador que representan conceptos aritméticos. Cuando estas neuronas resultan dañadas, las capacidades de razonamiento aritmético del modelo grande se ven comprometidas.

Al mismo tiempo, los investigadores también observaron que la actividad de estas neuronas se correlacionaba positivamente con la capacidad de razonamiento aritmético del modelo grande. Esta correlación positiva explica por qué diferentes enunciados provocan efectos diferentes en el razonamiento aritmético de modelos grandes.

Basándose en estas neuronas, el equipo explicó sistemáticamente cuatro fenómenos relacionados con la CoT observados en estudios anteriores.

En primer lugar, cuando se eliminan las fórmulas matemáticas de la muestra CoT y solo quedan los resultados de la operación, la capacidad de razonamiento aritmético del modelo grande se verá afectada.

En segundo lugar, cuando se elimina el razonamiento verbal de la muestra de CoT y solo quedan fórmulas matemáticas, la capacidad de modelar también se ve afectada.

En tercer lugar, cuando las muestras de CoT pierden diversidad operativa, por ejemplo, cuando todas las muestras solo implican operaciones de suma, la capacidad del modelo se ve afectada.

Cuarto, cuando el resultado de la operación de la muestra CoT es incorrecto pero el proceso de inferencia es correcto, la capacidad del modelo no se ve afectada significativamente.

"Vemos que estos fenómenos se pueden explicar básicamente por el grado de activación de las neuronas. Por ejemplo, antes y después de eliminar las fórmulas matemáticas, el número de neuronas activadas disminuye, lo que explica por qué la capacidad de razonamiento aritmético del modelo se ve afectada", afirman los investigadores. camino explicado.

Desde una perspectiva de aplicación, este logro tendrá perspectivas de aplicación en dos aspectos.

Primero, la capacidad de predecir modelos grandes.

En experimentos, los investigadores han podido ver que el nivel de activación de las neuronas que representan el razonamiento aritmético se correlaciona positivamente con la capacidad de razonamiento aritmético del modelo Llama2. Esto significa que en el futuro es posible que no se necesiten puntos de referencia para predecir directamente las capacidades de modelos grandes en tareas específicas.

Al mismo tiempo, debido a que las pruebas comparativas requieren mucha mano de obra y recursos materiales, como anotaciones de conjuntos de datos y recursos informáticos, la capacidad de predecir directamente un modelo grande mediante la comprensión de sus mecanismos intrínsecos también ayuda a ahorrar costos.

Además, los profesionales en este campo esperan que modelos grandes puedan realizar tareas sobrehumanas en un futuro próximo. Pero, limitado por las capacidades humanas, no hay forma de establecer puntos de referencia para estas tareas. Este problema se puede evitar prediciendo las capacidades del modelo mediante el mecanismo inherente de los modelos grandes.

En segundo lugar, al controlar los mecanismos internos de los modelos grandes, las capacidades del modelo pueden mejorarse o debilitarse.

“Creemos que esta aplicación se convertirá en uno de los métodos importantes para mejorar la seguridad de modelos grandes en el futuro. Al mismo tiempo, también tiene el potencial de lograr un entrenamiento de modelos grandes más eficiente, como la localización de neuronas a través de datos pequeños y. y luego controlar la activación de las neuronas. El propósito del entrenamiento modelo", dijo el equipo de investigación.

De hecho, en la segunda mitad de 2023, OpenAI propuso una propuesta de "súper alineación" [3], con el objetivo de ayudar a los humanos a supervisar y controlar modelos de IA sobrehumanos fomentando la innovación en la investigación científica. Las capacidades del modelo de predicción y control son dos tareas importantes para lograr este objetivo.

"Este resultado es nuestra exploración preliminar en esta dirección. Esperamos que nosotros u otros investigadores podamos continuar explorando en esta dirección en el futuro", dijo el equipo. Esta investigación se inspiró en la "interpretabilidad del mecanismo".

Este es un subcampo de la interpretabilidad de modelos que ha surgido rápidamente y ha recibido amplia atención en los últimos años. A diferencia de los métodos interpretables anteriores, la interpretabilidad del mecanismo intenta comprender el mecanismo de comportamiento del modelo mediante ingeniería inversa de la red neuronal.

Actualmente, este tipo de método se ha aplicado para explicar el comportamiento y las funciones estructurales de modelos grandes.

"Uno de los estudios que nos ha inspirado mucho es la exploración de la capa de avance de Transformer realizada por investigadores del Instituto Allen de Inteligencia Artificial de Estados Unidos y la Universidad Bar-Ilan de Israel [4]".

Este estudio encontró que en el proceso del modelo grande que predice la siguiente unidad de vocabulario, la capa de retroalimentación Transformer del modelo construirá predicciones fortaleciendo continuamente los conceptos relacionados en el espacio de vocabulario. Este refuerzo conceptual se logra activando neuronas en la capa de alimentación directa del transformador.

“Este descubrimiento a nivel de mecanismo inspiró nuestra conjetura: la razón por la cual CoT puede estimular la capacidad de modelos grandes en razonamiento aritmético puede deberse a que puede activar efectivamente neuronas que representan conceptos de razonamiento aritmético en la capa de alimentación directa del Transformador, y estas neuronas ayudan a fortalecer la capacidad de razonamiento aritmético de los modelos grandes", dijo el equipo de investigación.

En base a esto, el grupo de investigación se preguntó si existe un mecanismo que pueda mejorar directamente las capacidades de razonamiento aritmético de los modelos grandes, especialmente los modelos grandes de pequeña escala.

El equipo señaló: "Esto es algo muy significativo porque los modelos grandes a pequeña escala disfrutan de una eficiencia computacional, eficiencia económica y seguridad únicas".

Además, durante el mismo período, también vieron algunas investigaciones para mejorar las capacidades de los modelos grandes a pequeña escala en campos o tareas específicas mediante la recopilación de datos de alta calidad o la modificación de la función objetivo de entrenamiento. Sin embargo, la aplicación de la interpretabilidad mecanicista a este respecto aún se encuentra en su etapa emergente.

A pesar de esto, el proceso de investigación científica del equipo no fue fácil, e incluso se encontraron "estancados" al principio.

Entre ellos, la mayor dificultad es que no comprenden completamente el mecanismo interno de los modelos grandes para el razonamiento aritmético y, naturalmente, no pueden lograr el control del modelo deseado.

"Por lo tanto, mi alumno Lai, el primer autor del artículo, y yo decidimos centrarnos primero en explicar el razonamiento aritmético de modelos grandes", dijo Yao Ziyu.

Pero pronto se encontraron con la siguiente dificultad.

El "razonamiento aritmético" es un concepto muy abstracto y las predicciones de modelos grandes se realizan al nivel de unidades de vocabulario específicas.

Si queremos comprender la capacidad de razonamiento aritmético de modelos grandes desde la perspectiva del "refuerzo conceptual de las neuronas en el espacio léxico", primero debemos implementar este concepto altamente abstracto en conceptos específicos a nivel léxico.

Para cerrar esta brecha, el grupo de investigación primero resumió una serie de conceptos de nivel inferior relacionados con el razonamiento aritmético, incluidos operadores aritméticos, expresiones del lenguaje lógico en el razonamiento aritmético y otros conceptos de computación aritmética.

Y utilizando GPT-4 para etiquetar y buscar de manera eficiente neuronas que expresen estos conceptos de bajo nivel. Luego, se remitieron a estudios previos para verificar estas neuronas buscadas.

"Los resultados experimentales demuestran que estas neuronas realmente desempeñan un papel importante en el modelo grande de nuestro experimento", afirmó el equipo de investigación.

Esto también les da más confianza para seguir explorando en esta dirección.

Pensaron en utilizar los estados de activación de estas neuronas para explicar de manera uniforme el efecto de CoT en la capacidad de razonamiento aritmético de modelos grandes, incluida la explicación de varios fenómenos observados en trabajos anteriores.

Los resultados básicamente verificaron su conjetura, es decir, el efecto estimulante de diferentes componentes de CoT sobre la capacidad de razonamiento aritmético de modelos grandes puede explicarse por la activación de neuronas relevantes.

Sin embargo, el estudio también señaló que la activación neuronal no explicaba todo el rendimiento del razonamiento aritmético del modelo grande. Al mismo tiempo, también es necesario verificar más a fondo si los hallazgos de los investigadores sobre Llama2 son aplicables a otros grandes grupos de modelos.

También se informa que el laboratorio de Yao Ziyu tiene actualmente una serie de plazas de doctorado con becas completas disponibles para su admisión en el otoño de 2025. Para obtener más información, consulte el sitio web del equipo https://ziyuyao.org/ y realice su consulta por correo electrónico.

Referencias:

1. Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le y Denny Zhou. La inducción de la cadena de pensamiento genera razonamiento en modelos lingüísticos de gran tamaño. Avances en sistemas de procesamiento de información neuronal 35 (2022): 24824-24837. https://doi.org/10.48550/arXiv.2201.11903

2. Daking, Rai, Ziyu, Yao, Una investigación de la activación neuronal como una lente unificada para explicar el razonamiento aritmético que genera cadenas de pensamiento de los LLM.arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3. OpenAI. Presentación de la superalineación. https://openai.com/index/introducing-superalignment/. 2023.

4. Geva, Mor, Avi Caciularu, Kevin Wang y Yoav Goldberg. Las capas de retroalimentación de transformadores generan predicciones al promover conceptos en el espacio de vocabulario. En Actas de la Conferencia de 2022 sobre métodos empíricos en el procesamiento del lenguaje natural, págs. 30-45. 2022. https://arxiv.org/abs/2203.14680

Composición tipográfica: Chu Jiashi

01/

02/

03/

04/

05/