notizia

redattore |. xie lilong

la guerra dei prezzi per i modelli di grandi dimensioni sul mercato cinese va avanti da quasi sei mesi. questa tornata di guerra dei prezzi ha raggiunto profitti lordi negativi e per il momento non mostra segni di arresto. i principali fornitori di cloud stanno ancora pianificando una nuova tornata di riduzioni dei prezzi. questa tornata di tagli dei prezzi sarà attuata alla fine di settembre di quest’anno.

nel maggio di quest’anno, i fornitori cinesi di cloud hanno iniziato una guerra dei prezzi per la potenza di calcolo dell’inferenza di modelli di grandi dimensioni. i servizi cloud di bytedance volcano engine, alibaba cloud, baidu smart cloud e tencent cloud hanno successivamente ridotto il prezzo della potenza di calcolo dell'inferenza di modelli di grandi dimensioni di oltre il 90%.

per utilizzare un modello di grandi dimensioni, è necessario inserire il linguaggio di richiesta e ottenere l'output del contenuto attraverso il ragionamento. questo processo chiamerà un'api (application programming interface, proprio come un interruttore dell'acqua e dell'elettricità) e pagherà in base al numero di token consumati (il token è un'unità di testo di un modello di grandi dimensioni, un token può essere una parola, un segno di punteggiatura, un numero, simbolo, ecc.). è come pagare una tariffa per l’utilizzo di acqua ed elettricità.

dopo la riduzione dei prezzi, il consumo di potenza di calcolo inferenziale sta effettivamente aumentando rapidamente. nell'agosto di quest'anno, la teleconferenza sugli utili del secondo trimestre di baidu ha rivelato che la media delle chiamate api giornaliere di baidu wenxin big model a maggio era di 200 milioni, che è aumentata a 600 milioni ad agosto, il consumo medio giornaliero di token a maggio era di 250 miliardi, e in agosto è cresciuto fino a 1 trilione. bytedance ha annunciato nell'agosto di quest'anno che a luglio l'utilizzo medio giornaliero di token del modello bytedance doubao ha superato i 500 miliardi. rispetto a maggio, l’utilizzo medio giornaliero di token per azienda è aumentato di 22 volte.

i prezzi dei token sono scesi di oltre il 90%. ciò ridurrà le entrate derivanti dalle inferenze dei fornitori di servizi cloud nel breve termine. tuttavia, i fornitori di servizi cloud sperano di utilizzare questo metodo per abbassare la soglia di tentativi ed errori per i clienti aziendali, con conseguente consumo di potenza di elaborazione più di 10 volte esponenziale e, in definitiva, ottenere una crescita dei ricavi a lungo termine.

la guerra dei prezzi per la potenza di calcolo inferenziale nel mercato nazionale dei modelli di grandi dimensioni dura da sei mesi. attualmente ci sono tre fatti fondamentali:

in primo luogo, la presunta guerra dei prezzi della potenza di calcolo ha già raggiunto profitti lordi negativi. recentemente, i capi di molti fornitori di cloud, tra cui alibaba cloud e baidu smart cloud, ci hanno rivelato che prima di maggio di quest'anno, il margine di profitto lordo della potenza di calcolo per inferenza di modelli nazionali su larga scala era superiore al 60%, che era sostanzialmente lo stesso di quello dei pari internazionali. dopo che i principali produttori hanno tagliato i prezzi nel maggio di quest'anno, il margine di profitto lordo della potenza di calcolo inferenziale è sceso in cifre negative.

in secondo luogo, rispetto ai modelli openai con le stesse specifiche, il prezzo dei modelli domestici è generalmente solo del 20%-50%. il margine di profitto lordo dei grandi modelli domestici è molto inferiore a quello di openai. un rapporto di ricerca di futuresearch, un'organizzazione internazionale di ricerche di mercato, nell'agosto di quest'anno ha affermato che il margine di profitto lordo del modello di punta della serie gpt-4 di openai è di circa il 75% e il margine di profitto lordo del modello principale della serie gpt-4o è di circa 55%. il margine di profitto lordo complessivo di openai è almeno superiore al 40%.

bisogna combattere una guerra dei prezzi

abbiamo controllato i prezzi di inferenza dei modelli di grandi dimensioni annunciati da alibaba cloud, volcano engine, baidu smart cloud, tencent cloud e il sito ufficiale di openai. rispetto ai modelli openai con le stesse specifiche, il prezzo dei modelli domestici è generalmente solo del 20%-50%.

prendiamo come esempi tongyi qianwen-max di alibaba, ernie-4.0-8k di baidu e hunyuan-pro di tencent. i prezzi di uscita dei tre modelli per milione di token sono rispettivamente di 120 yuan, 120 yuan e 100 yuan. il prezzo di uscita del loro modello di punta openai gpt-4-turbo è di 210 yuan per milione di token (il prezzo indicato sul sito ufficiale di openai è di 30 dollari usa, che è stato convertito in base al tasso di cambio del dollaro usa e del rmb 1: 7). il prezzo di questi tre grandi modelli domestici è solo circa il 50% di quello del gpt-4-turbo.

prendiamo come esempi qwen-long di alibaba, ernie-speed-pro-128k di baidu e hunyuan-embedding di tencent. i prezzi di uscita dei tre modelli per milione di token sono rispettivamente di 2 yuan, 0,8 yuan e 5 yuan. il prezzo di uscita del modello economico openai gpt-4o-mini milioni di token di openai è di 4,2 yuan (il prezzo indicato sul sito ufficiale di openai è di 0,6 dollari usa, che è stato convertito in base al tasso di cambio di dollari usa e rmb 1:7 ). i modelli entry-level di alibaba e baidu costano solo il 48% e il 19% del prezzo del modello entry-level di openai.

la guerra dei prezzi per i modelli di grandi dimensioni ha raggiunto margini lordi negativi, ma ciò non ha impedito a vari fornitori di cloud di continuare a tagliare i prezzi.

la notizia che abbiamo ricevuto è che i principali fornitori di cloud come alibaba cloud stanno ancora pianificando una nuova tornata di riduzioni dei prezzi. questa tornata di tagli dei prezzi sarà attuata alla fine di settembre di quest’anno. i modelli di punta ad alte prestazioni sono al centro di questa tornata di tagli di prezzo.

il responsabile principale del business dei modelli di grandi dimensioni dei fornitori cloud sopra menzionati ritiene che attualmente ci sia poco spazio per riduzioni di prezzo per i modelli economici di piccole dimensioni e che l'ultima serie di riduzioni di prezzo sia scesa al "risultato psicologico" dei clienti aziendali. il prossimo passo su cui concentrarsi è se ciascun modello di punta continuerà a ridurre i prezzi. il modello di punta sarà inoltre ulteriormente suddiviso in versioni economicamente vantaggiose in grado di risolvere la maggior parte dei problemi, nonché versioni di alta qualità e costo elevato che risolvono problemi estremamente difficili.

la potenza di calcolo dell’inferenza di modelli di grandi dimensioni ha raggiunto un profitto lordo negativo, quindi perché continuare a ridurre i prezzi?

i grandi produttori di cloud guardano alla tendenza del mercato a lungo termine: la struttura della potenza di calcolo del cloud computing sta subendo cambiamenti drastici. appropriarsi di una maggiore potenza di calcolo inferenziale significa conquistare mercati più incrementali. l'organizzazione internazionale di ricerche di mercato idc prevede che la potenza di calcolo generale della cina avrà un tasso di crescita annuo composto del 16,6% dal 2022 al 2027, e la potenza di calcolo intelligente avrà un tasso di crescita annuo composto del 33,9%. dal 2022 al 2027, nell’ambito della potenza di calcolo intelligente, la percentuale di potenza di calcolo per inferenza salirà al 72,6% e la percentuale di potenza di calcolo per formazione scenderà al 27,4%.

i fornitori di cloud sono disposti a rinunciare ai ricavi a breve termine per la crescita prevista a lungo termine. nel breve termine, la potenza di calcolo dell’inferenza non porta molte entrate. un tecnico di un fornitore cinese di servizi cloud ha spiegato che il fatturato di ciascuna azienda non supererà 1 miliardo di yuan nel 2024, un valore limitato in un mercato con decine di miliardi di entrate all'anno. i fornitori di cloud sono disposti ad accettare perdite di entrate e di business a breve termine nei prossimi uno o due anni. tutti scommettono che il numero di grandi chiamate di modelli aumenterà in modo esponenziale di almeno 10 volte nei prossimi uno o due anni. in definitiva, la crescita dei ricavi a lungo termine può compensare le perdite di ricavi a breve termine.

ha inoltre spiegato che in questo processo, il costo della potenza di calcolo verrà gradualmente diluito man mano che la domanda dei clienti cresce. il business modello di grandi dimensioni ha ancora l'opportunità di ottenere profitti positivi alla fine. anche se la scommessa non dovesse reggere, un gruppo di produttori di modellini morirà nella guerra dei prezzi e i produttori sopravvissuti raccoglieranno i pezzi.

diversi fornitori di cloud hanno anche considerazioni competitive diverse quando affrontano guerre sui prezzi: volcano engine, alibaba cloud e baidu smart cloud stanno tutti partecipando a una guerra dei prezzi che deve essere combattuta.

volcano engine attualmente non si colloca tra i primi cinque nel mercato cinese del cloud pubblico, ma i suoi ricavi cresceranno di oltre il 150% nel 2023. i modelli di grandi dimensioni rappresentano un’importante opportunità per recuperare terreno nel mercato del cloud. tan dai, presidente di volcano engine, ci ha menzionato nel maggio di quest’anno di aver scoperto nel marzo di quest’anno nella silicon valley che l’imprenditorialità delle applicazioni di intelligenza artificiale negli stati uniti mostrava la tendenza della fase iniziale dell’internet mobile in cina dal 2012 al 2014. "un piccolo team di startup di applicazioni ia ha rapidamente ottenuto entrate e finanziamenti. il mercato cinese potrebbe mostrare questa tendenza in futuro. ma la premessa è che il prezzo dell'inferenza deve essere abbassato e la soglia per tentativi ed errori deve essere abbassata."

alibaba cloud è al primo posto nel mercato del cloud pubblico cinese. di fronte ai tagli dei prezzi da parte dei concorrenti, alibaba cloud deve dare seguito. liu weiguang, direttore generale della divisione public cloud di alibaba cloud, ci ha analizzato nel giugno di quest'anno che alibaba cloud è passato attraverso molteplici cicli di deduzioni e calcoli interni e ha riscontrato due contraddizioni:

baidu intelligent cloud considera l'intelligenza artificiale come la sua strategia principale. un direttore tecnico dei modelli di grandi dimensioni di baidu ci ha detto senza mezzi termini nel luglio di quest'anno che i modelli di grandi dimensioni sono una battaglia da vincere e che la guerra dei prezzi deve essere combattuta a tutti i costi. questa strategia ha ottenuto risultati concreti. il tasso di crescita dei ricavi di baidu smart cloud nel secondo trimestre del 2024 è salito al 14%, il punto più alto degli ultimi due anni. il management di baidu ha rivelato nella dichiarazione sugli utili del secondo trimestre 2024 che la percentuale di ricavi del modello di grandi dimensioni di baidu intelligent cloud è aumentata dal 4,8% nel quarto trimestre del 2023 al 9% nel secondo trimestre del 2024.

il rovescio della medaglia delle guerre sui prezzi derivanti dall’inferenza dei modelli di grandi dimensioni e dei margini lordi negativi è che il prezzo basso non è il fattore principale che determina se i clienti aziendali utilizzano modelli di grandi dimensioni.

la persona responsabile del business dei modelli di grandi dimensioni dei suddetti fornitori di cloud ritiene che i fornitori di cloud non possano fare affidamento sullo spreco di denaro e sulle perdite a lungo termine per promuovere l'implementazione del settore dei modelli di grandi dimensioni. un modello a basse prestazioni e a basso prezzo non ha molto senso. le capacità insufficienti del modello sono una ragione importante per le guerre dei prezzi negativi sul profitto lordo. dato che i prezzi delle chiamate modello nazionali sono diminuiti in modo significativo, il prezzo non è più il fattore più importante per i clienti aziendali. le capacità e gli effetti del modello sono ciò che interessa di più ai clienti aziendali.

un direttore it di una compagnia assicurativa era d'accordo. ha affermato senza mezzi termini che l’attuale percentuale delle spese it nel settore finanziario e assicurativo rispetto ai ricavi aziendali è di circa il 3%-5%. escludendo l’80% delle spese it per l’hardware, solo il 20% delle spese it viene effettivamente utilizzato per la trasformazione digitale. quando si utilizza una nuova tecnologia come i modelli di grandi dimensioni, è necessario calcolare il rapporto input-output. oltre ai costi espliciti del modello, devono essere considerati anche i costi impliciti: i modelli di grandi dimensioni devono essere compatibili con i sistemi it esistenti, è necessaria la governance dei dati per preparare i dati aziendali per i modelli di grandi dimensioni e deve essere reclutato un gruppo di product manager che comprendano l’intelligenza artificiale. ciò che lo preoccupa maggiormente sono le capacità del modello e gli effetti pratici.

il centro per la ricerca sui modelli fondamentali (crfm) dell'università di stanford conduce classifiche globali di test di grandi modelli a lungo termine. la classifica dei test mmlu (multi-task language understanding) su larga scala del 17 settembre mostra che i primi dieci produttori di modelli includono la serie claude 3.5 della startup ai anthropic (investita da amazon), la serie llama3.1 di meta e openai (serie gpt-4 di proprietà di microsoft investment) e serie gemini 1.5 di proprietà di google. attualmente, tra i modelli cinesi di grandi dimensioni, solo il tongyi qianwen 2 instruct (72b) di proprietà di alibaba è tra i primi dieci.

il personale tecnico dei modelli di grandi dimensioni di molti fornitori cinesi di cloud ha espresso lo stesso punto di vista a caijing: nel mercato dei modelli di grandi dimensioni, la strategia di basse prestazioni e basso prezzo è insostenibile. la situazione ideale è quella di instaurare un business a circuito chiuso sano e duraturo che faccia affidamento su prestazioni elevate e prezzi ragionevoli.

un punto di riferimento più prezioso è openai. a settembre di quest'anno, openai conta 1 miliardo di utenti attivi mensili e 11 milioni di utenti paganti (inclusi 10 milioni di abbonati individuali pagati e 1 milione di abbonati aziendali). nel maggio di quest'anno, il management di openai ha annunciato i ricavi annualizzati dell'azienda (i ricavi annualizzati corrispondono ai ricavi del mese corrente × 12. le società di software basate su abbonamento ricevono rinnovi degli abbonamenti degli utenti ogni mese e hanno aspettative di ricavi stabili, quindi spesso utilizzano il livello di ricavi annualizzati) raggiunto 3,4 miliardi di dollari usa (convertiti in base al tasso di cambio del dollaro usa e del rmb di 1:7, circa 24,1 miliardi di yuan).

l'ultimo rapporto di ricerca di futuresearch, un'organizzazione internazionale di ricerche di mercato, calcola la struttura dei ricavi dell'azienda sulla base dei ricavi annualizzati e della struttura degli utenti pagati annunciati da openai: 10 milioni di abbonati individuali hanno generato entrate per 1,9 miliardi di dollari, pari al 56%; imprese gli abbonati hanno generato entrate per 710 milioni di dollari, pari al 21%; le chiamate api hanno generato entrate per 510 milioni di dollari, pari al 15%;

anche dopo molteplici tagli di prezzo, openai può ancora mantenere un margine di profitto lordo relativamente sano. nell’aprile di quest’anno, il prezzo di uscita del modello di punta di openai gpt-4-turbo è stato ridotto del 67%. nell’agosto di quest’anno, il prezzo di uscita del modello principale gpt-4o di openai è stato ridotto del 30%. un rapporto di ricerca pubblicato da futuresearch nell'agosto di quest'anno ha affermato che il margine di profitto lordo del modello di punta della serie gpt-4 di openai è di circa il 75% e il margine di profitto lordo del modello principale della serie gpt-4o è di circa il 55%. il margine di profitto lordo complessivo di openai è almeno del 40%.

openai ha un ambiente di crescita unico. non solo dispone di una potenza di calcolo sufficiente, ma ha anche un enorme numero di utenti to c (per clienti consumer) ed è anche nel mercato software to b (per clienti aziendali) più grande del mondo.

l'esperienza di successo di openai negli ultimi due anni è che si affida a una grande potenza di calcolo per "la forza bruta per creare miracoli". le aziende cinesi non hanno le condizioni di potenza di calcolo e l’ambiente finanziario come openai. la potenza di calcolo è una delle principali carenze dei produttori di modelli cinesi.

un tecnico modellista di un fornitore cloud cinese ha spiegato che nell'ultimo anno circa, i fornitori cloud cinesi hanno pagato più di 1,5 volte il costo di acquisto dei chip ai di nvidia, mantenendo alto il costo della potenza di calcolo del modello. ciò influenzerà il limite massimo delle prestazioni dei modelli di grandi dimensioni e ostacolerà anche l’implementazione industriale di modelli di grandi dimensioni. secondo un rivenditore di server, i server a otto schede dotati di chip ai della serie nvidia h100/h800 nel mercato cinese nel 2023 hanno superato i 3 milioni di yuan/unità, ovvero più di 1,5 volte il prezzo ufficiale di nvidia.

come possono le aziende cinesi trovare un percorso di sviluppo adatto a loro quando le risorse informatiche sono limitate e i costi informatici sono elevati? ciò richiede un'attenta pianificazione e personalizzazione.

negli ultimi due anni, lo sviluppo di modelli di grandi dimensioni ha seguito la legge di scaling (la legge proposta da openai nel 2020, tradotta letteralmente come "legge di scala"): le prestazioni del modello sono principalmente legate alla quantità di calcoli, alla quantità di parametri del modello e la quantità di dati di allenamento.

il responsabile principale del business dei modelli di grandi dimensioni dei suddetti fornitori di cloud ha affermato che il principio fondamentale è migliorare la qualità e la quantità dei dati entro i limiti della legge sullo scaling e ridurre adeguatamente i parametri del modello moe (mixture of experts). strategia di progettazione, può essere utilizzata anche per combinare più modelli (un modello professionale per prestazioni migliori) l'architettura migliora le prestazioni del modello e riduce i costi di inferenza. quando si tratta di implementare strategie aziendali specifiche, ci sono due opzioni.

la guerra dei prezzi con un profitto lordo negativo accelera l'eliminazione del mercato dei modelli di grandi dimensioni. molti addetti ai lavori del settore hanno espresso lo stesso punto di vista a caijing. questo ciclo di eliminazione durerà uno o due anni e solo 3-5 aziende modello di base potranno continuare a sopravvivere.

an xiaopeng, membro esecutivo del china informatization committee of 100 e direttore del centro di ricerca sulla tecnologia intelligente del cloud di alibaba, ha dichiarato a caijing nel luglio di quest'anno che i modelli di grandi dimensioni richiedono investimenti continui, la capacità di avere 10.000 o addirittura 100.000 carte e ritorni commerciali. molte aziende non dispongono di tali capacità. in futuro sul mercato cinese ci saranno solo tre o cinque produttori di modelli base.

lo sviluppo di modelli di grandi dimensioni richiede l’acquisto di chip e server e l’affitto di terreni per costruire data center. questo investimento può raggiungere anche decine di miliardi di yuan all’anno. questi costi si rifletteranno nelle spese in conto capitale delle società tecnologiche. la dichiarazione sugli utili del quarto trimestre fiscale 2024 di microsoft ha rivelato che quasi tutti i 19 miliardi di dollari di spese in conto capitale per quel mese sono stati spesi in potenza di calcolo. nell’ultimo anno (dal terzo trimestre del 2023 al secondo trimestre del 2024), le spese in conto capitale di alibaba, tencent e baidu hanno raggiunto rispettivamente 23,2 miliardi di yuan, 23,1 miliardi di yuan e 11,3 miliardi di yuan, con un aumento del 77,1%. rispettivamente 154,1% e 46,9%. è il risultato degli investimenti in potenza di calcolo.

oltre alle decine di miliardi di yuan in investimenti continui in potenza di calcolo, il grande business dell’inferenza di modelli richiede anche sussidi per un miliardo di yuan all’anno. un dirigente di un fornitore cinese di cloud ha analizzato che il margine di profitto lordo negativo per le chiamate di grandi modelli significa che più chiamate vengono effettuate a breve termine, maggiori saranno le perdite. secondo l’attuale consumo di potenza di calcolo per inferenza, diversi fornitori leader di cloud che partecipano alla guerra dei prezzi sovvenzioneranno il consumo di potenza di calcolo per inferenza di modelli di grandi dimensioni di oltre un miliardo di yuan nel 2024.

alibaba cloud, volcano engine, baidu smart cloud e tencent cloud possono fare affidamento sul grande modello del gruppo per combattere le guerre dei prezzi, ma è difficile che le startup di grandi dimensioni persistano. i suddetti pianificatori strategici dell'intelligenza artificiale delle principali società tecnologiche cinesi ritengono che alibaba cloud e volcano engine abbiano il sangue più forte in questa tornata di guerre dei prezzi. alibaba può guadagnare dal cloud e volcano engine gestisce l’attività pubblicitaria di bytedance come trasfusione di sangue. in una guerra dei prezzi, baidu non è bravo quanto alibaba e bytedance. tuttavia, il grande modello wenxin di baidu ha una tecnologia forte e avrà un gruppo di clienti disposti a pagare per la tecnologia. ciò aiuterà baidu a sopravvivere alla guerra dei prezzi.

le grandi startup modello devono fare affidamento su grandi produttori e finanziamenti per sopravvivere a breve termine. un tecnico di una grande start-up di modellismo ha detto a caijing nel settembre di quest'anno che zhipu ai, baichuan intelligence, dark side of the moon, zero one thing e minimax, le "cinque piccole tigri" dei grandi modelli domestici, sono tutti investiti di alibaba. uno dei metodi di investimento è che l'importo dell'investimento viene pagato sotto forma di potenza di calcolo e la società investita utilizza la potenza di calcolo di alibaba cloud. la sopravvivenza delle "cinque piccole tigri" dipende in una certa misura dalla capacità di ali di continuare a investire.

anche il personale tecnico dei fornitori leader di servizi cloud sopra menzionati e il personale tecnico delle startup di grandi dimensioni sopra menzionate ritengono che nei prossimi due anni le startup di grandi dimensioni nel mercato cinese dovranno affrontare dei test per sfondare nel mercato dei modelli di base potrebbero esserci tre vie d'uscita in futuro: o per diventare una società di sviluppo di modelli di progetti governativi e aziendali, è necessario rivolgersi al modello di settore verticale di to b o al mercato delle applicazioni di to. c. in effetti, la differenziazione del mercato è già iniziata. zhipu ai sta vincendo un gran numero di gare d'appalto per progetti governativi e aziendali, mentre dark side of the moon si concentra solo sul mercato to c.