notizia

TencentLo scrittore di tecnologia Hao Boyang

L'editore Zheng Kejun

2024,Intelligenza artificiale L'argomento più caldo nel campo è senza dubbio Agent.

“modello di grandi dimensioniFantastico, ma cosa posso farci? “Questa è la domanda annuale sull’applicazione dell’IA nel 2023. Entro il 2024, gli agenti saranno diventati l’antidoto più promettente a questo problema.

Gli agenti intelligenti possono essere utilizzati attraverso processi e strumenti complessi, consentendo a modelli di grandi dimensioni di gestire compiti più complessi e personalizzati, producendo infine entità software o entità fisiche con autonomia, percezione, capacità decisionali e di azione. Ng Enda, Jim Fan e altri grandi nomi del settore si sono uniti per dimostrare l'efficacia dell'agente intelligente.

Nel marzo di quest'anno, il professor Ng Enda ha proposto nel suo blog di utilizzarlo nel set di dati HumanEval GPT-3.5La precisione del test (scatto zero) è del 48,1%. GPT-4(Scatto zero) è 67,0%. Collaborando con il flusso di lavoro dell'agente, GPT-3.5 ha raggiunto un tasso di precisione del 95,1%.

(Nota nell'immagine: gli esperimenti di Ng Enda, con la tecnologia degli agenti intelligenti,GPT 3.5 le prestazioni superano di gran lunga l'originale GPT4)

Pertanto, nell’ultimo anno, tutti, dalle grandi aziende agli esperti privati, hanno costruito organismi intelligenti. abbastanza grandeMicrosoftAnche Copilit, predizioni di fortuna basate sull'intelligenza artificiale e strumenti per la creazione di strutture di agenti intelligenti come Langchain, Coze e Dify sono spuntati come funghi dopo la pioggia e la loro popolarità continua a crescere.

(Nota immagine: aziende correlate ad agenti e processi di automazione dell'intelligenza artificiale compilati da INSIGHT)

Andrew Karpathy, ex scienziato di OpenAI, una volta disse che le persone comuni, gli imprenditori e i geek hanno meno probabilità di costruire agenti AI rispetto aIA apertaTali aziende hanno addirittura un vantaggio.

È in arrivo una nuova era di product manager basati sul flusso di lavoro degli agenti AI? Non necessariamente, perché l’intelligenza artificiale potrebbe essere migliore degli esseri umani nel creare agenti intelligenti.

Logica del ciclo automatizzato

Il 19 agosto, tre ricercatori dell'Università della British Columbia hanno pubblicato un articolo intitolato "Progettazione automatizzata di sistemi di agenti". In questo articolo, ha progettato un sistema che consente all'intelligenza artificiale di scoprire e creare agenti da sola e di iterare da sola.

Ricordiamo la classica definizione di agente di OpenAI. Un agente è un prodotto in grado di archiviare conoscenza, pianificare e applicare strumenti.

Quando utilizziamo il flusso di lavoro per creare agenti, utilizziamo anche la conoscenza esistente (conoscenza sulla forma degli agenti) per pianificare da soli (creare processi) e utilizzare strumenti (API di accesso) per eseguire infine l'output agente stesso.

Allora perché non creare un agente in grado di rilevare e progettare automaticamente gli agenti?

L'autore dell'articolo segue questa idea e definisce il progettista un meta-agente, al quale chiede di progettare nuovi agenti. Aggiungi l'agente progettato al database come dati e ripeti continuamente versioni nuove e più potenti dell'agente.

Chiamano l'intero insieme di metodi ADAS (Automated Design of Intelligent Systems).

Quindi, come entra in vigore esattamente questo sistema?

Lascia girare la catena

Il processo di generazione di nuovi agenti nei sistemi ADAS può essere suddiviso in tre parti:

La prima parte stabilisce lo spazio di ricerca, che può essere inteso come l'utilizzo di alcuni strumenti e regole di base per progettare potenziali nuovi agenti.

La seconda parte è eseguire la ricercaalgoritmo, che stabilisce come il meta-agente utilizza lo spazio di ricerca e i suoi elementi per creare in modo specifico nuovi agenti.

L'ultima parte consiste nell'eseguire la funzione di valutazione, che valuterà l'agente creato in base alle prestazioni e ad altri obiettivi.

I ricercatori spiegano passo dopo passo come costruire le tre parti principali di cui sopra nel documento.

Innanzitutto è necessario determinare gli elementi di base per costruire lo spazio di ricerca. I ricercatori ritengono che il metodo migliore sia il codice.

Questo perché il codice è Turing completo e può esprimere tutte le possibilità. Quindi, in teoria, i meta-agenti possono scoprire tutti i possibili elementi costitutivi (come suggerimenti, utilizzo degli strumenti, flussi di controllo) e sistemi di agenti che combinano questi elementi costitutivi in ​​qualsiasi modo.

Ancora più importante, i vari flussi di lavoro già esistenti in siti web come Langchain per gli agenti edili sono stati codificati. Pertanto, i dati rilevanti sono a portata di mano e non è necessario convertirli nuovamente. Le chiamate agli strumenti, come RAG (retrieval augmented generation) e altri componenti di funzionalità hanno già una base di codice molto sufficiente.

Usare il codice per costruire lo spazio di ricerca significa anche che gli agenti generati da ADAS possono essere eseguiti direttamente per correggere errori ed eseguire punteggi senza intervento manuale.

Dopo aver definito lo spazio di ricerca, i ricercatori iniziano a progettare algoritmi di ricerca, che consentono al meta-agente di esplorare possibili modi per completare l'attività. Questo processo viene sostanzialmente completato facendo affidamento sul progetto di parole rapide.

Il primo è dargli una serie di parole di sistema.

Quindi, metti la baseRichiestaLe informazioni menzionate vengono fornite al meta-agente, incluso

1. Descrizione di base dell'attività.

2. Il codice framework più elementare, come prompt di formattazione, incapsulamento e altri nomi di operazioni, nonché la possibilità di chiamare altri modelli di base (FM) e API.

(Nota immagine: parte del codice quadro)

3. Formato ed esempi di input e output delle attività.

4. Una libreria di campioni formata da alcuni agenti generati nell'iterazione originale, inclusi i risultati dei test di base.

(Nota immagine: un esempio in una libreria di agenti intelligenti)

Sulla base di questi suggerimenti di base, ADAS può iniziare a funzionare e generare un agente intelligente per risolvere un problema specifico.

In questo processo, il meta-agente condurrà due cicli di riflessione per garantire che l'agente generato sia nuovo e corretto. Controlla se il framework del codice appena generato presenta errori e se è sufficientemente innovativo rispetto ai risultati precedenti nella libreria di esempio dell'agente.

Il meta-agente deve inoltre condurre una valutazione preliminare dell'agente generato in base alla sua "comprensione" delle capacità prestazionali pratiche per determinare se funziona meglio dell'agente precedente.

Quando alcune di queste condizioni non vengono soddisfatte, il metaagente deve modificare l'agente generato o semplicemente ricrearlo.

(Suggerimento per il primo ciclo di riflessione)

Dopo due cicli di riflessione e modifica, il meta-agente invierà l'agente appena generato che ritiene nuovo e valido al sistema di valutazione nella terza fase.

Il sistema di valutazione assegnerà un punteggio oggettivo all'abilità dell'agente in base al test di base, quindi lo restituirà alla libreria di esempi dell'agente.

Il metaagente continuerà a ottimizzare l'iterazione successiva in base ai risultati del punteggio precedente e agli esempi precedenti nella libreria di esempi per ottenere un punteggio di prestazione dell'attività più elevato.

In questo processo è nata un’intera catena completamente automatizzata. Per generare un agente altamente efficace, potrebbero essere necessarie più di due cifre di iterazioni.

Oltre l'intelligenza semplice

Quanto possono essere complessi gli agenti intelligenti ottenuti automatizzando i processi tramite metodi ADAS? L'immagine seguente è un framework di agenti generato dopo 14 iterazioni.

Ci sono cinque catene di pensiero nella struttura di questo agente che danno risposte preliminari. Dopo il feedback di tre modelli esperti e di un modello che imita la valutazione umana, le risposte vengono modificate e migliorate tre volte durante la fase del processo di ottimizzazione. Infine, tre risultati sono stati selezionati dopo la valutazione e combinati per fornire la risposta finale.

Se un essere umano dovesse gestire questo livello di complessità, probabilmente impiegherebbe una settimana. Questo è proprio il momento di scrivere suggerimenti e progettare architetture, per non parlare di test e confronti orizzontali.

Naturalmente, questo è anche il risultato di una continua iterazione nella progettazione del meta-agente.

Durante il processo iterativo, anche la sua capacità di generare agenti intelligenti aumenta rapidamente con il numero di iterazioni. Nella terza iterazione, il meta-agente ha imparato da solo la strategia della catena multi-pensiero e nella quarta iterazione ha imparato a utilizzare la memoria dinamica per ottimizzare le risposte. Alla quattordicesima volta, l'agente generato ha raggiunto la complessità sopra menzionata.

Alla fine, la capacità della sua soluzione ottimale può essere migliorata di oltre il 250% rispetto al modello originale di linguaggio semplice e di grandi dimensioni, ed è migliorata del 75% rispetto all’agente manuale con le migliori prestazioni COT-SC (catena multi-pensiero risposta) metodo.

Non solo ARC, gli agenti generati in modalità ADAS sono significativamente più potenti sotto tutti gli aspetti rispetto a tutti gli attuali agenti di base più potenti, come COT, LLM Debate e Self-Refine. E quanto più complesse sono le attività e le applicazioni interdominio elaborate, tanto più potenti sono gli agenti intelligenti generati da ADAS.

Inoltre, questi stessi agenti generati hanno determinate capacità di migrazione. Ad esempio, gli agenti che possono risolvere problemi scientifici possono anche ottenere buoni risultati in matematica. Pertanto, è probabile che un quadro ottimale sia in grado di risolvere i problemi correlati in molti campi.

Sebbene l’era degli agenti per la frizione delle mani stia volgendo al termine, l’era della scoperta dei paradigmi degli agenti potrebbe continuare. Nel test complessivo, ADAS non ha scoperto nuovi metodi di costruzione al di fuori dell’attuale paradigma di costruzione degli agenti intelligenti, ma piuttosto ha riorganizzato e utilizzato questi metodi.

Tuttavia, per lo sviluppatore medio di agenti AI, questo è sufficiente per sostituire il proprio lavoro.

Tuttavia, la popolarità degli ADAS potrebbe ancora dover superare un ostacolo, e questo è il problema dei costi.

Secondo i ricercatori, l'API OpenAI costa circa 500 dollari per una ricerca e una valutazione su ARC e circa 300 dollari per una singola esecuzione nel campo del ragionamento e della risoluzione dei problemi. Sono circa $ 20 per iterazione. Rispetto a costi così elevati, la manodopera presenta ancora alcuni vantaggi in questa fase.

Ma i ricercatori hanno anche affermato che, poiché lo hanno studiato precocemente, hanno utilizzato il modello “gpt-3.5-turbo-0125”. L'ultimo modello GPT-4 "gpt-4o-mini" costa meno di un terzo del prezzo di "gpt-3.5-turbo-0125" e ha prestazioni migliori. Inoltre, gli esperimenti mostrano che un agente iterato con funzionalità GPT 3.5 entrerà in un collo di bottiglia delle prestazioni dopo un certo numero di iterazioni e tutte le iterazioni dopo quattordici volte sono uno spreco. Pertanto, progetti con una migliore valutazione e gestione delle risorse possono anche ridurre significativamente i costi.

Ovviamente, il vantaggio in termini di prezzo del lavoro non può essere mantenuto a lungo.

L’esplosione dell’intelligenza è davvero iniziata?

Perché questa tecnologia automatizzata è così importante?

Nell'era dell'Internet mobile stanno fiorendo varie app per vari brani, che insieme creano un'era di prosperità tecnologica. Tuttavia, poiché a quel tempo i nuovi strumenti richiedevano apprendimento, anche lo sviluppo di app mobili ha attraversato una lunga fase di penetrazione prima di poter finalmente accogliere un numero sufficiente di sviluppatori.

Nelle epoche precedenti, questo era più lento. Secondo la teoria dell'"attraversamento del burrone" proposta da Geoffrey Moore basata sull'esperienza dei personal computer negli anni '90, nei primi anni dell'emergere della tecnologia, solo circa il 13,5% dei primi utilizzatori utilizzerebbe questa tecnologia. Questo non è sviluppo, ma utilizzo .

Pertanto, la carenza di sviluppatori potrebbe rappresentare un importante collo di bottiglia nella promozione della tecnologia.

Naturalmente, la velocità di sviluppo e penetrazione della costruzione di agenti intelligenti potrebbe essere molto più rapida. Perché è molto più semplice rispetto allo sviluppo di software precedente. Ad esempio, Wordware, diventato popolare qualche tempo fa, consente agli utenti comuni di completare la costruzione di agenti intelligenti utilizzando il linguaggio naturale, che abbassa la soglia.

Tuttavia, progetti come catene di pensiero e cicli a più fasi sono ancora molto complessi e nel processo sono necessari sempre più strumenti. Pertanto, non sono molte le persone che possono dedicarsi davvero allo sviluppo di agenti intelligenti e fare buon uso di questo strumento.

Zuckerberg una volta disse in una conversazione con Huang Renxun che anche se la tecnologia dei modelli su larga scala non si sviluppasse più, ci vorranno cinque anni per comprendere appieno il potenziale degli agenti intelligenti.

Pertanto, rispetto alla tecnologia, gli sviluppatori potrebbero rappresentare il principale collo di bottiglia per gli agenti intelligenti che non sono ancora esplosi. Sono ancora troppo poche le persone che possono farlo.

Tuttavia, ci sono molti agenti.

Se questa tecnologia di generazione automatica degli agenti di tuning verrà adottata e ottimizzata da più aziende commerciali, naturalmente il collo di bottiglia del personale tecnico iniziale non esisterà più. La velocità con cui gli agenti potranno esplorare la copertura e la profondità delle capacità in vari campi sarà notevolmente aumentata.

Forse l'anno prossimo verrà lanciata la prima Killer AI App nella storia dell'umanità e l'autore è un'intelligenza artificiale.