nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Écrit par |

De l'utilisation de drogues pour stimuler le cerveau dans "Superbody" à l'utilisation d'interférences électroniques pour envahir l'espace cérébral dans la culture cyberpunk, les humains ont eu de nombreux fantasmes sur la possibilité de manipulation du cerveau humain. Imaginons,Et si les humains pouvaient manipuler directement chaque neurone du cerveau humain ?

D’ici là, les humains seront capables de comprendre directement le rôle de ces neurones dans la perception d’objets spécifiques et, espérons-le, de réaliser des choses très « science-fiction ».

Dans la vraie vie, une telle expérience est presque impossible à mettre en œuvre dans le cerveau humain, mais elle est réalisable dans des réseaux de neurones artificiels. Cependant, comme les modèles contiennent souvent des millions de neurones, sont trop grands et complexes et nécessitent beaucoup de main-d'œuvre pour être compris, ce qui rend la compréhension des modèles à grande échelle une tâche très difficile.

À cette fin, une équipe de recherche du Laboratoire d'informatique et d'intelligence artificielle du MIT (MIT CSAIL) a lancé un système qui utilise des modèles neuronaux pour effectuer automatiquement des tâches de compréhension de modèles - MAIA, ou "Agent interprétable automatique multimodal”。

MAIA utilise des modèles de langage visuel pré-entraînés pour automatiser la tâche de compréhension des modèles neuronaux.La conception modulaire permet à MAIA deFlexibilité pour évaluer n'importe quel système et ajouter facilement de nouveaux outils expérimentaux . De plus, il peut automatiser des expériences complexes, utiliser des méthodes expérimentales itératives pour tester des hypothèses et mettre à jour des hypothèses en fonction des résultats expérimentaux.

Jacob Steinhardt, professeur adjoint à l'Université de Californie à Berkeley, estime que l'expansion de ces méthodes pourrait être l'un des moyens les plus importants de comprendre et de superviser en toute sécurité les systèmes d'intelligence artificielle. Cependant, l'équipe de recherche estime queLa MAIA améliorée ne remplacera pas la supervision humaine des systèmes d’intelligence artificielle . MAIA nécessite toujours une supervision humaine pour détecter les erreurs telles que les biais de confirmation et les échecs de génération/édition d’images.

Quel est le véritable effet ?

Alors que les méthodes d'interprétabilité automatisées existantes étiquetent ou visualisent simplement les données une seule fois, MAIA est capable de générer des hypothèses, de concevoir des expériences pour les tester et d'améliorer leur compréhension grâce à une analyse itérative. En combinant des modèles de langage visuel (VLM) pré-entraînés avec une bibliothèque d'outils d'interprétabilité, cette approche multimodale peut répondre aux requêtes des utilisateurs en écrivant et en exécutant des expériences ciblées spécifiques au modèle, améliorant continuellement son approche jusqu'à ce qu'elle soit en mesure de fournir une réponse complète.

Le cœur du framework MAIA est un agent piloté par un modèle multimodal pré-entraîné (tel que GPT-4V), capable d'effectuer automatiquement des expériences pour expliquer le comportement d'autres systèmes. Pour ce faire, il combine des sous-programmes interprétables dans des programmes Python.

Figure | Architecture MAIA

L'équipe de recherche a évalué MAIA sur le paradigme de description des neurones. L'étude a montré que MAIA obtenait d'excellents effets de description sur les modèles réels et les ensembles de données synthétiques sur les neurones, avec des capacités prédictives meilleures que les méthodes de base et comparables à celles des experts humains.

Figure | Évaluation MAIA Description

En outre, MAIA présente un bon potentiel d'application pour supprimer les fausses fonctionnalités et révéler les biais, ce qui peut aider les utilisateurs humains à mieux comprendre le comportement du modèle et à améliorer les performances et l'équité du modèle.

Utilisez MAIA pour supprimer les fonctionnalités parasites

De fausses fonctionnalités peuvent affecter la robustesse du modèle dans des scénarios réels. MAIA peut identifier et supprimer les fonctionnalités parasites du modèle, améliorant ainsi la robustesse du modèle. L'équipe de recherche a utilisé ResNet-18 pour s'entraîner sur l'ensemble de données Spawrious, qui contient quatre races de chiens d'origines différentes.

Dans l'ensemble de données, chaque race de chien est faussement associée à un contexte spécifique (par exemple, neige, jungle, désert, plage), tandis que dans l'ensemble de test, les couples race-origine sont chaotiques. L'équipe de recherche a utilisé MAIA pour trouver un sous-ensemble de neurones de la couche finale capables de prédire de manière robuste la race d'un chien individuel, indépendamment des caractéristiques parasites, simplement en modifiant la requête dans l'invite de l'utilisateur.

Les résultats montrent que MAIA peut supprimer efficacement les caractéristiques parasites du modèle, améliorant ainsi la robustesse du modèle.

Utiliser MAIA pour découvrir les préjugés

Les modèles peuvent présenter des biais qui les rendent moins performants dans certaines situations. Et MAIA peut révéler automatiquement les biais des modèles. L'équipe de recherche a utilisé ResNet-152 pour s'entraîner sur ImageNet et a utilisé MAIA pour vérifier les biais dans les résultats du modèle.

Au cours de l'expérience, MAIA a été invitée à générer des images liées à des catégories spécifiques et a observé la réponse du modèle à ces images. Plus tard, MAIA a découvert que certains modèles avaient des préférences pour des sous-catégories spécifiques ou des images liées à des catégories spécifiques.

Cela montre que MAIA peut aider à identifier les biais dans les modèles et ainsi à les améliorer.

Figure | Détection des biais du modèle MAIA

Lacunes et perspectives

Bien que MAIA présente un grand potentiel en matière d’interprétabilité automatique, il existe encore certaines limites.

Premièrement, la capacité d'explication de MAIA est limitée par les outils qu'il utilise, tels que Stable Diffusion et GPT-4. Les limitations de ces outils (par exemple, qualité de génération d'images, coût, restrictions d'accès) affectent directement les performances de MAIA. À l’avenir, vous pourriez envisager de développer des outils internes plus puissants ou de rechercher des alternatives open source pour améliorer la fiabilité et l’accessibilité de votre système.

Deuxièmement, l’explication de MAIA n’est pas une vérification formelle, mais basée sur des résultats expérimentaux et des descriptions en langage naturel. Cela peut conduire à des interprétations biaisées ou trompeuses. À l’avenir, des méthodes de vérification formelle (telles que le raisonnement causal, l’analyse théorique) pourront être envisagées comme intégrées dans MAIA pour améliorer l’exactitude et la fiabilité des explications.

De plus, MAIA ne peut pas éviter complètement les erreurs courantes telles que le biais de confirmation, la surinterprétation, les conclusions sur un petit échantillon, etc. À l’avenir, l’introduction d’un mécanisme d’autoréflexion pourra être envisagée pour permettre à MAIA d’identifier et de corriger ses propres erreurs et d’améliorer la robustesse de l’interprétation.

Pour l'avenir, Rott Shaham, co-auteur de l'article, a déclaré : « Je pense que la prochaine étape naturelle pour notre laboratoire est d'aller au-delà des systèmes artificiels et d'appliquer ces expériences similaires à la perception humaine. Traditionnellement, cela nécessitait de concevoir et de tester manuellement des stimuli. , Il s'agit d'un processus à forte intensité de main-d'œuvre. Avec notre agent, nous pouvons intensifier ce processus et concevoir et tester un grand nombre de stimuli simultanément.