notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

A explosão de pequenos modelos de IA tornou-se uma nova arena para os gigantes da IA ​​competirem.

A guerra de preços dos grandes modelos continua para sempre. As empresas de IA que investiram enormes somas de dinheiro precisam urgentemente de fazer mais progressos nas suas histórias de negócios. Recentemente, lançaram os seus próprios modelos pequenos, de baixo custo e fáceis de implementar. , e uma nova rodada de competição começou.

Primeiro, HuggingFace lançou SmolLM - 135M, 360M e 1,7B. Ele usou apenas 650B de tokens para treinamento, mas seu desempenho excedeu Qwen 1,5B e Phi 1,5B.

No dia seguinte, Mistral AI e NVIDIA lançaram em conjunto o Mistral NeMo, que é chamado de "o melhor modelo pequeno da Mistral AI. É fácil de usar e pode substituir diretamente qualquer sistema que use Mistral 7B".

No mesmo dia, a OpenAI fez uma "farra de compras" e lançou uma mini versão do GPT-4o - GPT-4o Mini. Ele chamou esse novo modelo de "o modelo de pequenos parâmetros mais poderoso e econômico" e o considerou como O. o modelo de exibição substitui a posição "front stage" da versão web do GPT-3.5.

Para não ficar para trás, a Apple lançou o modelo pequeno DCLM no mesmo dia que o OpenAI, e era de código aberto assim que foi lançado. “Este é o modelo de código aberto verdadeiramente de melhor desempenho até o momento”, disse Vaishaal Shankar, cientista pesquisador da equipe de ML da Apple.

Esses modelos possuem parâmetros pequenos e ocupam menos memória. Em cenários específicos, após o ajuste fino, os resultados podem ser comparáveis ​​aos de modelos grandes, tornando-os uma escolha econômica.

"Os pequenos modelos devem ser mais fáceis de obter valor." Xu Xiaotian, arquiteto-chefe de dados e inteligência artificial da IBM China, disse em entrevista a um repórter do 21st Century Business Herald: "Um grupo de pequenos modelos profissionais coopera com os agentes para alcançar a integração dos fluxos de negócios, funcionalidade e economia será mais viável sexualmente.”

No campo de batalha do modelo generativo de IA, as iterações são extremamente rápidas. O “melhor” de hoje pode ser imediatamente derrotado pela nova versão de amanhã, e os “registros históricos” são constantemente derrubados e reescritos. "Os modelos são atualizados muito rápido e é difícil julgar. Um fabricante afirma que é o 'maior e melhor', enquanto outro fabricante afirma que é o 'menor e melhor'." indústria disse ao 21st Century Business Herald De acordo com os repórteres, os modelos de inteligência artificial são deslumbrantes. Se as empresas de IA quiserem ter sucesso nas histórias de negócios, elas devem trabalhar dez ou cem vezes mais.

Fonte da imagem: Desenho Criativo Xu Shuxing

Trilha modelo pequena abre "roll"

Os gigantes da IA ​​estão lançando pequenos modelos intensamente para competir não apenas em desempenho, mas também em preço.

De acordo com o site oficial da Open AI, em testes de benchmark como MMLU, MGSM, HumanEval e MMMU, o GPT-4o mini demonstrou melhor raciocínio textual e visual e raciocínio matemático do que modelos pequenos como GPT-3.5 Turbo e Gemini Flash, Claude Haiku, capacidade de codificação e raciocínio multimodal, especialmente raciocínio matemático e capacidade de codificação, são muito melhores que o GPT-3.5 Turbo e outros modelos pequenos, e um pouco mais fracos que o GPT-4o. Nas últimas classificações da arena de testes cegos do LMSYS, o GPT-4o mini também alcançou o primeiro lugar junto com o GPT-4o. Até o CEO da OpenAI, Sam Altman, não conseguiu esconder seu entusiasmo e postou na plataforma de mídia social, dizendo: “Nunca estivemos tão bem. entusiasmado com qualquer avaliação.”

Além do excelente desempenho, o OpenAI também apresenta um trunfo de baixo custo. Quando ficou online em 18 de julho, a OpenAI anunciou que o GPT-4o mini custaria 15 centavos por milhão de tokens de entrada e 60 centavos por milhão de tokens de saída, o que é mais de 60% mais barato que o GPT-3.5 Turbo. Em 24 de julho, a OpenAI anunciou mais uma vez que, de agora até 23 de setembro, fornecerá mini serviços de ajuste fino GPT-4o para usuários de nível 4 e 5 gratuitamente, com limite diário de 2 milhões de tokens, e o excesso será cobrado a US$ 3 por 1 milhão de tokens. OpenAI disse: "Esperamos que o GPT-4o mini expanda o escopo de aplicação da inteligência artificial e torne a inteligência artificial mais acessível."

O relatório de pesquisa da Ping An Securities acredita que o GPT-4o mini é uma nova geração de "modelo pequeno" de inteligência artificial de nível básico com um preço significativamente reduzido, que tem desempenho e custo-benefício. Atualmente, os grandes modelos em todo o mundo estão gradualmente a mostrar uma tendência de desenvolvimento que está a mudar de uma competição unilateral no desempenho para uma que enfatiza tanto o desempenho como a praticidade. Quando as capacidades dos grandes modelos atingirem um determinado nível, irão inevitavelmente avançar para a aplicação. Ao melhorar o desempenho de custos dos seus produtos e promover a promoção e implantação de aplicações a jusante, espera-se que os grandes fabricantes de modelos acelerem a formação de um ciclo comercial fechado. grande cadeia da indústria modelo.

O modelo Apple DCLM lançado após o GPT-4o mini também é atraente. O DCLM possui código, pesos, processo de treinamento e conjuntos de dados totalmente abertos. DCLM é dividido em dois tamanhos: 1,4 bilhão de parâmetros e 7 bilhões de parâmetros. Sua versão de 7 bilhões de parâmetros supera o Mistral-7B e seu desempenho está próximo do Llama 3 e Gemma. No benchmark MMLU (5 tiros), o DCLM-7B alcançou uma precisão de 63,7%. De acordo com os pesquisadores, esse desempenho melhora 6,6% em relação ao modelo anterior de linguagem de dados abertos de última geração MAP-Neo e requer 40% menos computação. Mais importante ainda, este resultado supera Mistral-7B-v0.3 com uma precisão de 62,7% e está próximo de Gemma 8B com uma precisão de 64,3%, Llama3 8B com uma precisão de 66,2% e Phi-3 7B com uma precisão de 69,9%.

Em vez de “quanto maior, melhor”, a Apple prefere seguir o caminho dos modelos pequenos. Em abril deste ano, a Apple anunciou uma família de quatro grandes modelos pré-treinados chamados OpenELM, que eram extremamente pequenos e já estavam avançando em direção ao objetivo de “permitir que a inteligência artificial seja executada localmente em dispositivos Apple”.

Em junho, a Apple revelou seu roteiro de desenvolvimento de IA e planejou incorporar pequenos modelos em dispositivos móveis sem problemas, o que não apenas atingirá o objetivo de “mais rápido e seguro”, mas também resolverá o problema final de integração de dispositivos e modelos móveis de uma só vez. .

O Mistral NeMo, construído em parceria com a Mistral AI e a NVIDIA, passa por um estágio avançado de ajuste fino e alinhamento para se destacar em seguir instruções precisas, raciocinar, lidar com múltiplas rodadas de conversas e gerar código. Entende-se que o Mistral NeMo é voltado principalmente para ambientes corporativos e visa permitir que as empresas implementem soluções de inteligência artificial sem exigir grandes quantidades de recursos em nuvem.

Em entrevista à Venturebeat, Bryan Catanzaro, vice-presidente de pesquisa aplicada de aprendizagem profunda da NVIDIA, falou sobre as vantagens dos modelos pequenos. “Modelos pequenos são mais fáceis de obter e operar e podem ter diferentes modelos de negócios porque as pessoas podem executá-los em seus próprios sistemas em casa”, disse ele.

Grandes modelos entraram no segundo semestre. Desde volumes técnicos até aplicações, o mercado está cada vez mais interessado em modelos de alta eficiência e baixo custo que sejam mais fáceis de implantar localmente. Isso reflete o desejo por segurança, privacidade, alta eficiência e alto custo. desempenho.

Os analistas da indústria acreditam que há uma nova tendência clara na implementação de IA, ou seja, modelos que podem funcionar eficientemente em hardware local, o que está a dissipar as preocupações de muitas empresas sobre a adopção em larga escala de soluções de IA, tais como privacidade de dados, latência e alta custos. “Isso pode tornar a concorrência mais justa, e as pequenas empresas com recursos limitados também receberão a bênção dos modelos de IA, preenchendo assim a lacuna inerente às grandes empresas.”

Assuma o volante da pequena pista modelo

Por que os gigantes da IA ​​estão abrindo pequenos modelos? parcialmente ou devido a considerações de custo.

Modelos grandes são caros para desenvolver e operar, e até mesmo gigantes como a OpenAI lutam para comprá-los.

Recentemente, uma fonte analisou que “a OpenAI pode perder US$ 5 bilhões este ano e enfrenta o risco de ficar sem fundos dentro de 12 meses”. Em março deste ano, a OpenAl gastou quase US$ 4 bilhões alugando servidores Microsoft para executar o ChatGPT e seu modelo de linguagem grande (LLM) subjacente. Além de administrar o ChatGPT, os custos de treinamento do OpenAl, incluindo taxas de dados, podem subir para US$ 3 bilhões este ano. No ano passado, a OpenAl acelerou o treinamento de novas IAs mais rápido do que o planejado originalmente, de acordo com pessoas familiarizadas com o assunto. A OpenAl originalmente planejava gastar cerca de US$ 800 milhões em tais custos, mas acabou gastando muito mais.

Em comparação, modelos pequenos têm baixo custo, resposta rápida e podem ser executados localmente, tornando-os mais adaptáveis ​​às necessidades de uso personalizadas e precisas. Especialistas da indústria disseram: “Com a escassez de hardware de IA global, modelos pequenos significam custos mais baixos de implantação e treinamento, e seus efeitos de produção são suficientes para lidar com algumas tarefas específicas”.

Um empresário relevante responsável por uma empresa doméstica de IA disse a um repórter do 21st Century Business Herald que uma pequena escala de parâmetros pode economizar significativamente os custos de inferência. O custo de hardware necessário para o treinamento e ajuste do modelo é muito menor do que o de um modelo grande. Desenvolvedores maduros podem até treinar modelos verticais com baixo custo, os custos dessas operações são muito mais baixos do que os de modelos grandes.

A recente previsão de Andrej Karpathy, membro fundador da OpenAI e ex-diretor sênior de IA da Tesla, é bastante representativa. Ele propôs que a competição de tamanho dos modelos generativos será revertida para competir com aquele modelo menor e mais inteligente.

Na explicação de Andrej Karpathy, a razão pela qual o modelo grande atual é tão grande é que ele ainda desperdiça muito durante o treinamento. Embora o modelo grande seja muito bom na memória, isso também significa que o modelo grande se lembra de muitos detalhes irrelevantes e. esses conteúdos Isso não deve ser chamado repetidamente em um problema específico.

Para modelos pequenos, os objetivos de treinamento tornam-se mais simples, mais diretos e mais eficientes, permitindo que a IA aprenda mais informações úteis de forma mais direta.

No entanto, modelos grandes e modelos pequenos não são uma “escolha”, e suas rotas de desenvolvimento ainda têm a importância de aprender uns com os outros.

Andrej Karpathy disse: "O modelo deve primeiro ficar maior antes de ficar menor. Porque precisamos de modelos grandes para reconstruir e moldar os dados em uma forma ideal. Um modelo ajuda a gerar dados de treinamento para o próximo modelo e gradualmente obtém um treinamento perfeito conjunto. Em seguida, alimente-o ao modelo pequeno, que não precisa se lembrar de tudo, mas precisa procurá-lo ocasionalmente para ter certeza de que está correto.

Robin Li também declarou na Baidu AI Developer Conference Create 2024 que os aplicativos nativos de IA em grande escala no futuro serão basicamente a arquitetura Moe, que é uma mistura de modelos grandes e pequenos. Robin Li também disse que destilar um modelo básico por meio de compactação de modelo grande e depois treiná-lo com dados é muito melhor do que treinar um modelo pequeno a partir do zero. É melhor, mais rápido e mais econômico do que um modelo treinado com base em um modelo de código aberto. . Baixo.