noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Escrito por |

Desde el uso de drogas para estimular el cerebro en "Superbody" hasta el uso de interferencias electrónicas para invadir el espacio cerebral en la cultura cyberpunk, los humanos han tenido muchas fantasías sobre la posibilidad de manipulación del cerebro humano. Imaginemos,¿Qué pasaría si los humanos pudieran manipular directamente cada neurona del cerebro humano?

Para entonces, los humanos podrán comprender directamente el papel de estas neuronas en la percepción de objetos específicos y, con suerte, hacer algunas cosas muy de "ciencia ficción".

En la vida real, un experimento de este tipo es casi imposible de implementar en el cerebro humano, pero es factible en redes neuronales artificiales. Sin embargo, debido a que los modelos a menudo contienen millones de neuronas, son demasiado grandes y complejos, y requieren mucha mano de obra para comprenderlos, lo que hace que comprender modelos a gran escala sea una tarea muy desafiante.

Con este fin, un equipo de investigación del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (MIT CSAIL) lanzó un sistema que utiliza modelos neuronales para realizar automáticamente tareas de comprensión de modelos: MAIA, o "Agentes interpretables automáticos multimodales”。

MAIA utiliza modelos de lenguaje visual previamente entrenados para automatizar la tarea de comprender modelos neuronales.El diseño modular permite a MAIAFlexibilidad para evaluar cualquier sistema y agregar fácilmente nuevas herramientas experimentales. . Además, puede automatizar experimentos complejos, utilizar métodos experimentales iterativos para probar hipótesis y actualizar hipótesis en función de resultados experimentales.

Jacob Steinhardt, profesor asistente de la Universidad de California en Berkeley, cree que ampliar estos métodos puede ser una de las formas más importantes de comprender y supervisar de forma segura los sistemas de inteligencia artificial. Sin embargo, el equipo de investigación cree queMAIA mejorada no reemplazará la supervisión humana de los sistemas de inteligencia artificial . MAIA todavía requiere supervisión humana para detectar errores como sesgo de confirmación y fallas en la generación/edición de imágenes.

¿Cuál es el efecto real?

Mientras que los métodos de interpretabilidad automatizados existentes simplemente etiquetan o visualizan los datos una vez, MAIA puede generar hipótesis, diseñar experimentos para probarlas y mejorar su comprensión mediante análisis iterativos. Al combinar modelos de lenguaje visual (VLM) previamente entrenados con una biblioteca de herramientas de interpretabilidad, este enfoque multimodal puede responder a las consultas de los usuarios escribiendo y ejecutando experimentos dirigidos a modelos específicos, mejorando continuamente su enfoque hasta que pueda proporcionar una respuesta integral.

El núcleo del marco MAIA es un agente impulsado por un modelo multimodal previamente entrenado (como GPT-4V), que es capaz de realizar experimentos automáticamente para explicar el comportamiento de otros sistemas. Lo hace componiendo subrutinas interpretables en programas Python.

Figura arquitectura MAIA

El equipo de investigación evaluó MAIA según el paradigma de descripción de neuronas. El estudio demostró que MAIA logró excelentes efectos de descripción tanto en modelos reales como en conjuntos de datos de neuronas sintéticas, con capacidades predictivas mejores que los métodos básicos y comparables a las de los expertos humanos.

Figura | Evaluación MAIA Descripción

Además, MAIA muestra un buen potencial de aplicación para eliminar características falsas y revelar sesgos, lo que puede ayudar a los usuarios humanos a comprender mejor el comportamiento del modelo y mejorar el rendimiento y la equidad del modelo.

Utilice MAIA para eliminar características espurias

Las características falsas pueden afectar la solidez del modelo en escenarios del mundo real. MAIA puede identificar y eliminar características espurias en el modelo, mejorando así la solidez del modelo. El equipo de investigación utilizó ResNet-18 para entrenar en el conjunto de datos Spawrious, que contiene cuatro razas de perros con diferentes orígenes.

En el conjunto de datos, cada raza de perro está asociada falsamente con un entorno específico (por ejemplo, nieve, jungla, desierto, playa), mientras que en el conjunto de prueba, las parejas de raza y entorno son caóticas. El equipo de investigación utilizó MAIA para encontrar un subconjunto de neuronas de la capa final que pudieran predecir de manera sólida la raza de un perro individual independientemente de características espurias, simplemente cambiando la consulta en el mensaje del usuario.

Los resultados muestran que MAIA puede eliminar eficazmente características espurias en el modelo, mejorando así la solidez del modelo.

Usando MAIA para descubrir prejuicios

Los modelos pueden tener sesgos que hagan que tengan un mal desempeño en determinadas situaciones. Y MAIA puede revelar automáticamente sesgos en los modelos. El equipo de investigación utilizó ResNet-152 para entrenar en ImageNet y utilizó MAIA para verificar el sesgo en la salida del modelo.

Durante el experimento, se pidió a MAIA que generara imágenes relacionadas con categorías específicas y observó la respuesta del modelo a estas imágenes. Posteriormente, MAIA descubrió que algunos modelos tenían preferencias por subcategorías específicas o imágenes relacionadas con categorías específicas.

Esto muestra que MAIA puede ayudar a identificar sesgos en los modelos y así mejorarlos.

Figura | Detección de sesgo del modelo MAIA

Deficiencias y perspectivas.

Aunque MAIA muestra un gran potencial en interpretabilidad automática, todavía existen algunas limitaciones.

En primer lugar, la capacidad de explicación de MAIA está limitada por las herramientas que utiliza, como Stable Diffusion y GPT-4. Las limitaciones de estas herramientas (por ejemplo, calidad de generación de imágenes, costo, restricciones de acceso) afectan directamente el rendimiento de MAIA. En el futuro, podría considerar desarrollar herramientas internas más potentes o buscar alternativas de código abierto para mejorar la confiabilidad y accesibilidad de su sistema.

En segundo lugar, la explicación de MAIA no es una verificación formal, sino que se basa en resultados experimentales y descripciones en lenguaje natural. Esto puede dar lugar a interpretaciones sesgadas o engañosas. En el futuro, se puede considerar la integración de métodos de verificación formales (como el razonamiento causal y el análisis teórico) en MAIA para mejorar la precisión y confiabilidad de las explicaciones.

Además, MAIA no puede evitar por completo errores comunes como sesgo de confirmación, sobreinterpretación, conclusiones de muestras pequeñas, etc. En el futuro, se puede considerar la introducción de un mecanismo de autorreflexión que permita a MAIA identificar y corregir sus propios errores y mejorar la solidez de la interpretación.

De cara al futuro, Rott Shaham, coautor del artículo, dijo: "Creo que el siguiente paso natural para nuestro laboratorio es ir más allá de los sistemas artificiales y aplicar estos experimentos similares a la percepción humana. Tradicionalmente, esto ha requerido diseñar y probar estímulos manualmente. "Este es un proceso que requiere mucha mano de obra y, con nuestro agente, podemos ampliar este proceso y diseñar y probar una gran cantidad de estímulos simultáneamente".