notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Scritto da |. Ma Xuewei

Dall'uso di farmaci per stimolare il cervello in "Superbody" all'uso dell'interferenza elettronica per invadere lo spazio cerebrale nella cultura cyberpunk, gli esseri umani hanno avuto molte fantasie sulla possibilità di manipolazione del cervello umano. Immaginiamo,E se gli esseri umani potessero effettivamente manipolare direttamente ogni neurone del cervello umano?

A quel punto, gli esseri umani saranno in grado di comprendere direttamente il ruolo di questi neuroni nella percezione di oggetti specifici e, si spera, di fare alcune cose molto "fantascientifiche".

Nella vita reale, un simile esperimento è quasi impossibile da realizzare nel cervello umano, ma è fattibile nelle reti neurali artificiali. Tuttavia, poiché i modelli spesso contengono milioni di neuroni, sono troppo grandi e complessi e richiedono molta manodopera per essere compresi, il che rende la comprensione dei modelli su larga scala un compito molto impegnativo.

A tal fine, un gruppo di ricerca del MIT Computer Science and Artificial Intelligence Laboratory (MIT CSAIL) ha lanciato un sistema che utilizza modelli neurali per eseguire automaticamente compiti di comprensione del modello - MAIA, o "Agente interpretabile automatico multimodale”。

MAIA utilizza modelli di linguaggio visivo preaddestrati per automatizzare il compito di comprendere i modelli neurali.Il design modulare consente a MAIA di farloFlessibilità per valutare qualsiasi sistema e aggiungere facilmente nuovi strumenti sperimentali . Inoltre, può automatizzare esperimenti complessi, utilizzare metodi sperimentali iterativi per testare ipotesi e aggiornare ipotesi sulla base dei risultati sperimentali.

Jacob Steinhardt, assistente professore presso l’Università della California, Berkeley, ritiene che l’espansione di questi metodi possa essere uno dei modi più importanti per comprendere e supervisionare in modo sicuro i sistemi di intelligenza artificiale. Tuttavia, il gruppo di ricerca ne è convintoIl MAIA potenziato non sostituirà la supervisione umana dei sistemi di intelligenza artificiale . MAIA richiede ancora la supervisione umana per rilevare errori come errori di conferma e errori di generazione/modifica delle immagini.

Qual è l'effetto reale?

Mentre i metodi di interpretabilità automatizzata esistenti si limitano a etichettare o visualizzare i dati una volta, MAIA è in grado di generare ipotesi, progettare esperimenti per testarli e migliorarne la comprensione attraverso l’analisi iterativa. Combinando modelli di linguaggio visivo (VLM) pre-addestrati con una libreria di strumenti di interpretabilità, questo approccio multimodale può rispondere alle domande degli utenti scrivendo ed eseguendo esperimenti mirati specifici del modello, migliorando continuamente il suo approccio finché non è in grado di fornire una risposta completa.

Il nucleo del framework MAIA è un agente guidato da un modello multimodale pre-addestrato (come GPT-4V), che è in grado di eseguire automaticamente esperimenti per spiegare il comportamento di altri sistemi. Lo fa combinando subroutine interpretabili nei programmi Python.

Figura |. Architettura MAIA

Il team di ricerca ha valutato MAIA sul paradigma di descrizione dei neuroni. Lo studio ha dimostrato che MAIA ha ottenuto eccellenti effetti descrittivi sia su modelli reali che su set di dati sintetici sui neuroni, con capacità predittive migliori rispetto ai metodi di base e paragonabili a quelle degli esperti umani.

Figura |. Descrizione della valutazione MAIA

Inoltre, MAIA mostra un buon potenziale applicativo nella rimozione di false funzionalità e nella rivelazione di pregiudizi, che possono aiutare gli utenti umani a comprendere meglio il comportamento del modello e a migliorare le prestazioni e l’equità del modello.

Utilizza MAIA per rimuovere funzionalità spurie

Le false caratteristiche possono influenzare la robustezza del modello negli scenari del mondo reale. MAIA può identificare e rimuovere caratteristiche spurie nel modello, migliorando così la robustezza del modello. Il gruppo di ricerca ha utilizzato ResNet-18 per addestrarsi sul set di dati Spawrious, che contiene quattro razze di cani con background diversi.

Nel set di dati, ogni razza di cane è associata in modo spurio a uno specifico background (ad esempio, neve, giungla, deserto, spiaggia), mentre nel set di test gli accoppiamenti razza-ambiente sono caotici. Il team di ricerca ha utilizzato MAIA per trovare un sottoinsieme di neuroni dello strato finale in grado di prevedere in modo affidabile la razza di un singolo cane indipendentemente da caratteristiche spurie, semplicemente modificando la query nel prompt dell'utente.

I risultati mostrano che MAIA può rimuovere efficacemente le caratteristiche spurie del modello, migliorandone così la robustezza.

Usare MAIA per scoprire pregiudizi

I modelli possono avere pregiudizi che li rendono inadeguati in determinate situazioni. E MAIA può rivelare automaticamente i pregiudizi nei modelli. Il gruppo di ricerca ha utilizzato ResNet-152 per addestrarsi su ImageNet e ha utilizzato MAIA per verificare le distorsioni nell'output del modello.

Durante l'esperimento, a MAIA è stato chiesto di generare immagini relative a categorie specifiche e di osservare la risposta del modello a queste immagini. Successivamente, MAIA ha scoperto che alcuni modelli avevano preferenze per sottocategorie specifiche o immagini relative a categorie specifiche.

Ciò dimostra che MAIA può aiutare a identificare i bias nei modelli e quindi a migliorarli.

Figura |. Rilevamento della distorsione del modello MAIA

Carenze e prospettive

Sebbene MAIA mostri un grande potenziale in termini di interpretabilità automatica, esistono ancora alcune limitazioni.

Innanzitutto, la capacità di spiegazione di MAIA è limitata dagli strumenti che utilizza, come Stable Diffusion e GPT-4. Le limitazioni di questi strumenti (ad esempio, qualità di generazione delle immagini, costi, restrizioni di accesso) influiscono direttamente sulle prestazioni di MAIA. In futuro, potresti prendere in considerazione lo sviluppo di strumenti interni più potenti o la ricerca di alternative open source per migliorare l'affidabilità e l'accessibilità del tuo sistema.

In secondo luogo, la spiegazione del MAIA non è una verifica formale, ma basata su risultati sperimentali e descrizioni in linguaggio naturale. Ciò può portare a interpretazioni distorte o fuorvianti. In futuro, i metodi di verifica formale (come il ragionamento causale, l’analisi teorica) potranno essere considerati integrati in MAIA per migliorare l’accuratezza e l’affidabilità delle spiegazioni.

Inoltre, MAIA non può evitare completamente errori comuni come errori di conferma, sovrainterpretazione, conclusioni su campioni ridotti, ecc. In futuro, si potrà prendere in considerazione l’introduzione di un meccanismo di auto-riflessione per consentire a MAIA di identificare e correggere i propri errori e migliorare la robustezza dell’interpretazione.

Guardando al futuro, Rott Shaham, coautore dell'articolo, ha dichiarato: "Penso che il naturale passo successivo per il nostro laboratorio sia quello di andare oltre i sistemi artificiali e applicare questi esperimenti simili alla percezione umana. Tradizionalmente, ciò ha richiesto la progettazione e il test manuale degli stimoli. , Si tratta di un processo ad alta intensità di lavoro. Con il nostro agente, possiamo ampliare questo processo e progettare e testare un gran numero di stimoli contemporaneamente."