notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Novo Relatório de Sabedoria

Editor: Departamento Editorial

[Introdução à Nova Sabedoria] O padrão dos grandes modelos mudou mais uma vez da noite para o dia. O Llama 3.1 405B fez uma grande estreia, superando o GPT-4o e o Claude 3.5 Sonnet em vários testes. Pela primeira vez na história, um modelo de código aberto derrotou o modelo de código fechado mais forte da atualidade. Xiao Zha disse corajosamente: A IA de código aberto definitivamente vencerá, assim como o Linux finalmente venceu.

O novo rei do código aberto, Llama 3.1 405B, foi lançado oficialmente ontem à noite!

Em vários benchmarks, tanto o GPT-4o quanto o Claude 3.5 Sonnet foram superados. Em outras palavras, o modelo SOTA de código fechado já está sendo alcançado pelo modelo de código aberto.

Da noite para o dia, o Llama 3.1 405B se tornou o modelo mais potente do mundo.

(Ao mesmo tempo, também existem novas versões dos modelos 70B e 8B)

LeCun resumiu vários pontos-chave da família de modelos Llama 3.1:

- Desempenho 405B comparável aos melhores modelos de código fechado

- Código aberto/livre para usar pesos e códigos, permitindo ajuste fino, destilação em outros modelos e implantação em qualquer lugar

- Contexto de 128k, multilíngue, boa capacidade de geração de código, capacidade de raciocínio complexo e capacidade de uso de ferramentas

- Llama Stack API permite fácil integração

Pode-se dizer que Meta desta vez implementou o espírito do código aberto até o fim e, ao mesmo tempo, publicou generosamente um artigo de mais de 90 páginas.

Thomas Wolf, cientista-chefe do HuggingFace, elogiou: Se você deseja estudar modelos grandes do zero, este artigo é o que você precisa!

Ele literalmente cobre tudo - dados pré-treinamento, filtragem, recozimento, dados sintéticos, leis de escala, infraestrutura, processamento paralelo, métodos de treinamento, adaptação pós-treinamento, uso de ferramentas, benchmarking, estratégias de inferência, quantização, visão, fala e vídeo...

O pesquisador do AI2, Nathan Lambert, estima que este artigo do Llama 3.1 de 90 páginas impulsionará diretamente o progresso do modelo de código aberto em 3 a 9 meses!

O CEO da Meta, Xiao Zha, escreveu orgulhosamente um longo artigo: Inteligência artificial de código aberto é o caminho a seguir.

Em entrevista ao New York Times, Xiao Zha apoia IA de código aberto

Neste artigo, Xiao Zha relembrou com emoção a reviravolta de Meta na onda LLM——

No ano passado, o Llama 2 só era comparável aos modelos marginais mais antigos; este ano, o Llama 3 já está à frente dos modelos mais avançados a partir do próximo ano, os futuros modelos Llama se tornarão os modelos mais avançados;

Em relação à pergunta que lhe foi feita muitas vezes: “Você está preocupado em perder vantagens técnicas devido ao Llama de código aberto?”, Xiao Zha comparou-se diretamente ao Linux.

Ele disse que no passado, grandes empresas de tecnologia investiram pesadamente em suas próprias versões do Unix, mas no final o Linux de código aberto venceu porque permitiu aos desenvolvedores modificar o código à vontade, o que era mais avançado, mais seguro e mais amplo em ecologia.

A IA também deverá desenvolver-se de forma semelhante.

Para esse fim, a Meta flexibilizou especificamente sua licença, permitindo que os desenvolvedores usem pela primeira vez os resultados de alta qualidade do modelo Llama 3.1 para melhorar e desenvolver modelos de IA de terceiros.

Internauta: Uma nova era começa

Depois que o Llama 3.1 foi oficialmente suspenso, causou alvoroço em toda a rede.

O mestre de IA Karpathy imediatamente expressou alguns de seus próprios pensamentos:

Hoje, com o lançamento do modelo 405B, os grandes modelos de ponta do nível GPT-4/Claude 3.5 Sonnet estão abertos a todos para que todos possam usar e construir pela primeira vez. . Seus pesos são de código aberto e licenciados comercialmente, permitindo a geração de dados sintéticos, destilação e ajuste fino de modelos.

Este é um LLM de fronteira verdadeiramente aberta lançado pela Meta. Além disso, eles também divulgaram um relatório técnico de 92 páginas, que contém muitos detalhes do modelo: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

A filosofia por trás deste lançamento de modelo é elaborada em um longo artigo de Xiao Zha, que vale a pena ler, pois cobre muito bem todas as principais visões e argumentos que apoiam a visão de mundo do ecossistema aberto de IA:

A IA de código aberto é o futuro.

Tenho dito muitas vezes que ainda é cedo, como na década de 1980 novamente, para que o LLM seja o próximo grande paradigma da computação, e a Meta está claramente se posicionando para ser líder em seu ecossistema aberto.

- As pessoas solicitarão e usarão o RAG com esses modelos

- As pessoas irão ajustar o modelo

- As pessoas irão destilá-los em modelos especializados menores para tarefas e aplicações específicas

- as pessoas pesquisam, comparam, otimizam

Além disso, o ecossistema aberto auto-organiza-se em produtos, aplicações e serviços de forma modular, e cada participante pode contribuir com a sua experiência única.

Um exemplo é que a startup de chips AI Groq integrou o modelo Llama 3.1, que pode atingir o raciocínio quase instantâneo dos modelos 8B.

Karpathy disse que, devido à pressão do servidor, ele parecia incapaz de tentar executar o 405B no Groq, que pode ser o modelo grande mais poderoso e rápido da atualidade.

Ele também espera que os modelos de código fechado se atualizem em breve e está ansioso por isso.

O metapesquisador Tian Yuandong disse que uma nova era começou! O LLM de código aberto agora está no mesmo nível/melhor do que o LLM de código fechado!

Nasce o novo rei dos modelos de código aberto.

Depois de testar o Llama 3.1 8B aprimorado, o fundador do OpenPipe disse emocionado: Nunca houve um modelo de código aberto tão pequeno e poderoso - ele tem um desempenho melhor do que o GPT-4o mini em todas as tarefas!

O cientista sênior da NVIDIA, Jim Fan, disse que o poder do GPT-4 está em nossas mãos. Este é um momento histórico.

Poucas pessoas prestam atenção à infraestrutura por trás do treinamento do modelo de IA Soumith Chintala, o pai do Pytorch, levantou-se e disse que falhas também ocorrerão em uma instalação construída com 16.000 GPUs.

Esses detalhes estão ocultos no artigo do Llama 3.1, incluindo como paralelizar e manter a confiabilidade do sistema. Vale ressaltar que a equipe Meta alcançou 90% de tempo efetivo de treinamento no treinamento do modelo.

Alguns internautas detalharam que durante o processo de iteração do modelo Llama, o uso de GPU também está aumentando.

Lhama 1: 2.048 GPUs

Lhama 2: 4096 GPUs

Llama 3.1: 16384 GPUs (na verdade, o Llama 3 é treinado em dois clusters com 24.000 GPUs)

Lhama 4：......

A família de modelos de código aberto mais poderosa

Na verdade, alguns pontos-chave sobre os modelos da série Llama 3.1 foram basicamente estragados ontem.

Conforme declarado nas informações vazadas, o Llama 3.1 pode suportar 8 idiomas (inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês), agentes de conversação multilíngues, casos de uso de tradução, etc.

Em termos de comprimento de contexto, em comparação com Llama 2 e Llama 3, todos os contextos nos modelos da série Llama 3.1 aumentaram 16 vezes, para 128K.

Meta enfatizou que o Llama 3.1 também foi aprimorado no uso de ferramentas, suportando o uso de ferramentas de disparo zero, incluindo pesquisa na web, operações matemáticas e execução de código.

Com base em um longo contexto, o modelo não só sabe quando usar uma ferramenta, mas também como usá-la e como interpretar os resultados.

Além disso, por meio do ajuste fino, o Llama 3.1 oferece grande flexibilidade na chamada de ferramentas personalizadas.

Principais habilidades

Primeiro, o Llama 3.1 pode ser executado como um sistema capaz de executar tarefas de “agente”:

- Divida tarefas e execute raciocínio em várias etapas

- usar ferramentas

- Ferramentas integradas: os modelos vêm com seu próprio conhecimento de ferramentas como pesquisa ou interpretadores de código

- Aprendizado zero-shot: o modelo pode aprender a chamar ferramentas por meio de definições contextuais de ferramentas que nunca viu antes

Por exemplo, perguntar ao modelo: “Este é um arquivo CSV, você pode descrever o que contém?”

Ele reconhecerá que: Este arquivo CSV contém taxas de inflação mensais durante muitos anos e a coluna do ano indica o ano para cada conjunto de taxas de inflação mensais.

A seguir, podemos pedir-lhe para traçar o gráfico ao longo do tempo.

Em seguida, ele também pode realizar uma série de tarefas complicadas, como traçar a tendência do S&P500 no mesmo gráfico.

Quando terminar, você pode redimensionar o gráfico para adicionar informações a diferentes eixos.

Conforme mostrado acima, o Llama 3.1 suporta 8 idiomas, portanto é capaz de tradução em vários idiomas.

Podemos fazer com que ele traduza o conto de fadas João e Maria (A Casa dos Doces) para o espanhol.

Mesmo quando confrontado com questões de raciocínio mais complexas, o Llama 3.1 pode vencer facilmente.

"Tenho 3 camisas, 5 shorts e 1 vestido. Vou fazer uma viagem de 10 dias. Essas roupas são suficientes para minhas férias?"

A IA decompõe as condições conhecidas, imagina um plano de combinação razoável para tops, shorts e saias e sugere que é melhor trazer mais tops.

Depois que o raciocínio foi concluído, ele também nos forneceu um guia de vestimenta de viagem e uma lista de bagagem mais detalhados.

Também podemos permitir que a IA escreva o código à mão.

Por exemplo, deixe-o criar um programa que use um algoritmo de retrocesso recursivo ou um algoritmo de pesquisa em profundidade para gerar um labirinto perfeito com tamanho e complexidade personalizáveis.

Assim que a IA começou, ela saiu do código Python do programa labirinto.

Após a conclusão do código, a IA também fornece uma explicação detalhada.

Em seguida, se quisermos personalizar o programa, o assistente de código AI nos fornece sugestões de código correspondentes – ajustando a largura e a altura.

Resultados da avaliação

Para avaliar o desempenho do Llama3.1, o Meta não apenas incluiu 150 conjuntos de dados de benchmark cobrindo vários idiomas no teste, mas também os comparou em cenários reais.

Em uma variedade de tarefas, o 405B pode competir com os principais modelos de código fechado, como GPT-4, GPT-4o e Claude 3.5 Sonnet.

Os modelos pequenos 8B e 70B também tiveram bom desempenho em modelos de código fechado e de código aberto com valores de parâmetros semelhantes.

Além de tarefas de contexto longas, os modelos 8B e 70B alcançaram SOTA em tarefas gerais, codificação, matemática, raciocínio, uso de ferramentas e múltiplas linguagens.

Na avaliação humana, o modelo Llama 3.1 405B está no mesmo nível do GPT-4, mas um pouco pior que o GPT-4o.

Porém, comparado ao Claude 3.5 Sonnet, o modelo grande 405B tem uma vantagem, com uma taxa de vitória de 24,9%.

Além disso, nas classificações da Scale, a versão aprimorada do Llama 3.1 405B esmagou Claude 3.5 Sonnet e GPT-4o na instrução após avaliação.

Em tarefas de matemática, 405B ficou em segundo lugar, atrás de Claude 3.5 Sonnet. No entanto, o Llama 3.1 obteve pontuação relativamente baixa em tarefas de codificação.

92 páginas de relatório técnico ultradetalhado

Ninguém pode abrir o código de forma tão completa quanto o Meta. O longo relatório técnico de 92 páginas também foi lançado hoje.

Endereço do artigo: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

O artigo propõe que o Llama 3.1, um modelo básico de alta qualidade, tenha três alavancas principais: gerenciamento de dados, escala e complexidade.

Em termos de dados, em comparação com a geração anterior, a quantidade total e a qualidade dos dados no Llama 3.1 foram melhoradas, como pré-processamento mais cuidadoso e pipelines de gerenciamento para dados de pré-treinamento e garantia de qualidade e métodos de filtragem mais rigorosos para pós-treinamento dados.

O Llama 2 foi pré-treinado apenas com dados de token de 1,8T, enquanto o corpus de pré-treinamento multilíngue do Llama 3.1 atingiu o token de 15,6T, um aumento de mais de 8 vezes.

Em termos de escala, o treinamento do Llama 3.1 utiliza mais de 16.000 GPUs NVIDIA H100, e o valor total do cálculo chega a 3,8e25 FLOPS, que é quase 50× o do Llama 2.

Para melhor alcançar o “aumento de escala”, o artigo propõe especificamente o aspecto da “gestão da complexidade”. Ao selecionar a arquitetura do modelo e os algoritmos, é necessário prestar mais atenção à sua estabilidade e escalabilidade.

É importante notar que o Llama 3.1 não usa a arquitetura MoE mais popular, mas um Transformer denso de arquitetura somente decodificador. Apenas a arquitetura original do Transformer foi modificada e ajustada para maximizar a estabilidade do treinamento.

Práticas semelhantes incluem o uso de processos simples de pós-treinamento, como SFT, RS e DPO, em vez de algoritmos de aprendizagem por reforço mais complexos.

Semelhante a muitos modelos grandes, o desenvolvimento do Llama 3 inclui principalmente duas etapas: pré-treinamento e pós-treinamento.

Durante o pré-treinamento, "prever o próximo token" também é usado como objetivo de treinamento. Primeiro, a janela de contexto é definida para 8K e depois expandida para 128K durante o estágio de pré-treinamento.

A fase pós-treinamento melhora o modelo por meio de múltiplas rodadas de feedback humano iterativo, melhorando significativamente o desempenho de codificação e inferência e integrando recursos de uso de ferramentas.

Além disso, o artigo também tenta usar três estágios adicionais para adicionar funções multimodais, como imagens, vídeos e vozes, ao Llama 3.1:

- Pré-treinamento do codificador multimodal: Os codificadores de imagem e de fala são treinados separadamente. Os dados de pré-treinamento para o primeiro são pares imagem-texto, enquanto o último usa um método auto-supervisionado para tentar reconstruir as partes mascaradas do. fala por meio de tokens discretizados.

- Adaptador de visão: consiste em uma série de camadas de atenção cruzada que injetam representações de codificadores de imagens em modelos de linguagem pré-treinados. Com base em imagens, o artigo também tentou treinar um adaptador de vídeo em pares vídeo-texto.

- Adaptador de fala: conecta codificadores de fala e modelos de linguagem, além de integrar sistemas de “texto para fala”.

Infelizmente, os recursos multimodais mencionados acima ainda estão em desenvolvimento e, portanto, não estão incluídos no recém-lançado Llama 3.1.

Arquitetura do modelo

O Llama 3.1 ainda usa o Transformer denso padrão e não há diferença significativa na arquitetura do Llama e do Llama 2. A melhoria de desempenho vem principalmente da melhoria da qualidade dos dados de treinamento, diversidade e expansão de escala.

Comparada com o Llama 3, a arquitetura do Llama 3.1 possui as seguintes melhorias:

- Atenção de consulta agrupada (GQA): com 8 cabeçalhos de valor-chave, melhora a velocidade de inferência e reduz o cache KV durante a decodificação

- Máscara de atenção: Evita a autoatenção entre diferentes documentos na mesma sequência.Esta técnica tem eficácia limitada no pré-treino padrão, mas é muito importante ao continuar o pré-treino em sequências muito longas.

- Vocabulário de token de 128K: incluindo 100K em tiktoken e 28K adicionais para melhor suporte a idiomas diferentes do inglês.Taxa de compressão aprimorada para inglês e não-inglês em comparação com Llama 2

- Defina o hiperparâmetro θ do RoPE como 500.000: melhor suporte para contextos longos

Os principais hiperparâmetros do modelo são mostrados na Tabela 3. Com base na quantidade de dados e no poder computacional de treinamento, o tamanho do modelo atingiu a otimização do poder computacional revelada pela Lei de Escala.

Eficiência paralela

Treinar um modelo 405B em 16.000 GPUs já é um grande projeto apenas considerando o paralelismo e o tratamento de falhas.

Além do modelo em si, o artigo também explica o esquema de paralelização utilizado no processo de treinamento, bem como armazenamento, rede e outras infraestruturas.

O treinamento do Llama 3.1 usa paralelismo 4D (tensor + pipeline + contexto + dados). Sob a precisão do BF16, a utilização da GPU (MFU) é de cerca de 38% a 41%.

O tratamento de falhas do cluster de treinamento Llama 3.1 também é muito bom, atingindo mais de 90% do tempo efetivo de treinamento, mas isso ainda significa que durante o total de 54 dias de pré-treinamento, houve pelo menos uma interrupção por dia.

O artigo lista detalhadamente as causas das falhas de todas as 419 interrupções inesperadas (Tabela 5), ​​o que tem um significado de referência muito importante para a construção futura de clusters de GPU. Entre eles, problemas confirmados ou suspeitos de estarem relacionados ao hardware representaram 78%.

Como a operação e manutenção automatizadas do cluster são relativamente completas, embora haja muitas falhas, a maioria delas pode ser tratada automaticamente. Durante todo o processo, apenas três falhas necessitaram de intervenção manual.

Melhore o desempenho de recursos específicos

código

Para melhorar a capacidade de codificação do modelo, Meta usa métodos como treinamento de especialistas em codificação, geração de dados sintéticos SFT, orientação de formatos aprimorados por meio de prompts do sistema e criação de filtros de qualidade (remoção de amostras ruins dos dados de treinamento).

Convertendo código Python (esquerda) em código PHP (direita) usando Llama 3 para aumentar o conjunto de dados SFT com uma gama mais ampla de linguagens de programação

Melhore a qualidade do código por meio de melhorias no sistema.Esquerda: Nenhum prompt do sistema. Direita: Há um prompt do sistema.

multilíngue

A fim de melhorar as capacidades multilíngues do Llama 3, Meta treinou especialmente um especialista que pode lidar com mais dados multilíngues para obter e gerar dados de ajuste fino de instruções multilíngues de alta qualidade (como alemão, francês, italiano, português, hindi (inglês, espanhol e tailandês) e enfrentar desafios específicos na integração multilíngue.

raciocínio matemático

Modelos de treinamento bons em raciocínio matemático enfrentam vários desafios, como falta de dicas, falta de CoT real, etapas intermediárias incorretas, necessidade de ensinar o modelo a usar ferramentas externas, diferença entre treinamento e inferência, etc.

Para tanto, Meta adota os seguintes métodos: resolver o problema de dicas insuficientes, aprimorar o processo de raciocínio passo a passo nos dados de treinamento, filtrar o processo de raciocínio errado, combinar raciocínio de código e texto e aprender com feedback e erros.

contexto longo

No estágio final de pré-treinamento, Meta estende o comprimento do contexto do Llama 3 de 8K tokens para 128K.

Na prática, a equipe descobriu que se apenas dados de contexto curtos forem usados ​​para SFT, a capacidade de contexto longo do modelo será significativamente degradada e a leitura de contextos longos é muito tediosa e demorada, por isso é impraticável para humanos rotulá-los; exemplos.

Portanto, a Meta escolheu dados sintéticos para preencher essa lacuna.

Usando uma versão anterior do Llama 3, eles geraram dados sintéticos com base nos principais casos de uso de contexto longo: (várias rodadas) resposta a perguntas, resumo longo de documentos, inferência de base de código.

Uso de ferramentas

Meta treinou o Llama 3 para interagir com mecanismos de pesquisa, intérpretes Python e mecanismos de cálculo matemático.

Durante o processo de desenvolvimento, à medida que o Llama 3 foi gradualmente aprimorado, o Meta também complicou gradualmente o protocolo de anotação manual. Comece com a anotação do uso da ferramenta em um único turno, passe para o uso da ferramenta nas conversas e termine com a anotação do uso da ferramenta em várias etapas e análise de dados.

Llama 3 realiza planejamento em várias etapas, raciocínio e invocação de ferramentas para resolver tarefas

Com base no arquivo fornecido, peça ao modelo para resumir o conteúdo do arquivo, encontrar e corrigir erros, otimizar o código, realizar análise ou visualização de dados, etc.

factual

Para o problema da alucinação, um desafio reconhecido do LLM, Meta adota uma abordagem que prioriza a alucinação.

O princípio que seguem é que após o treinamento o modelo deve “saber o que sabe” em vez de agregar conhecimento.

Manobrabilidade

Para o Llama 3, o Meta aprimora sua capacidade de manobra por meio de prompts do sistema com instruções em linguagem natural, especificamente em relação à duração, formato, tom e personalidade da resposta.

"Você é um chatbot de IA prestativo e alegre que serve como assistente de planejamento de refeições para famílias ocupadas."

membro da equipe

Pode-se dizer que a equipe do Llama 3 é muito grande, com quase 220 membros principais e 312 outros colaboradores.

Xiao Zha: IA de código aberto é o futuro

Como todos sabemos, Xiao Zha sempre foi um defensor leal da IA ​​de código aberto.

Desta vez não é tão simples como lançar um modelo novo e mais forte, mas também prometer trazer a IA de código aberto para o primeiro plano.

Em seu blog, Xiao Zha tirou lições diretamente da história. No passado, grandes empresas de tecnologia investiram pesadamente no desenvolvimento de versões Unix de código fechado.

O campo de batalha do Unix é ferozmente disputado, mas quem ri por último é o Linux de código aberto.

O Linux foi inicialmente preferido pelos desenvolvedores porque permitia que eles modificassem o código à vontade e era mais acessível.

Mas com o tempo, tornou-se mais avançado, mais seguro e tinha mais funcionalidades suportadas por um ecossistema mais amplo do que qualquer Unix fechado.

Hoje, o Linux é o padrão da indústria para computação em nuvem e para a maioria dos sistemas operacionais de dispositivos móveis, e todos se beneficiam.

Xiao Zha acredita que a trajetória de desenvolvimento da IA ​​​​também será a mesma e apontará o dedo para o modelo de código fechado de “várias empresas de tecnologia”.

“Hoje, diversas empresas de tecnologia estão desenvolvendo modelos fechados líderes, mas o código aberto está rapidamente fechando a lacuna.”

A ousadia de Xiaozha em nomeá-lo diretamente é naturalmente encorajada por sua força. No ano passado, o Llama 2 ainda estava atrás do modelo de última geração da velha geração.

Este ano, o Llama 3 pode competir com outros modelos gigantes em termos de desempenho.

Llama 3.1 405B é o primeiro modelo de IA de código aberto de ponta. Além de uma relação custo/desempenho significativamente melhor em relação aos modelos fechados, a abertura do modelo 405B o torna a melhor escolha para ajuste fino e destilação de modelos pequenos.

Por que a IA de código aberto é boa para desenvolvedores?

Para os desenvolvedores, há cinco benefícios principais em aderir ao modelo de código aberto:

Primeiro, os modelos de código aberto permitem que os desenvolvedores treinem, ajustem e destilem livremente seus próprios modelos.

As necessidades de cada desenvolvedor são diferentes, com tarefas no dispositivo e tarefas de classificação exigindo modelos pequenos, enquanto tarefas mais complexas requerem modelos grandes.

Aproveitando modelos de código aberto de última geração, os desenvolvedores podem continuar treinando com seus próprios dados, destilados no tamanho ideal.

Em segundo lugar, você pode evitar ficar restringido por um único fornecedor.

Os desenvolvedores não querem confiar em um modelo que não podem executar e controlar e não querem que os fornecedores alterem o modelo, modifiquem os termos de uso ou mesmo interrompam totalmente o serviço.

E o código aberto permite que os modelos sejam facilmente trocados e implantados, criando um amplo ecossistema.

Terceiro, proteja a segurança dos dados.

Os desenvolvedores precisam garantir a segurança dos dados ao lidar com dados confidenciais, o que exige que eles não possam enviá-los para modelos de código fechado por meio de APIs.

Sabe-se que o software de código aberto geralmente é mais seguro devido a um processo de desenvolvimento mais transparente.

Quarto, opera de forma eficiente e com custos mais baixos.

O custo de inferência para desenvolvedores que executam o Llama 3.1 405B é apenas metade do custo do GPT-4o, sejam tarefas de inferência do lado do usuário ou offline.

Quinto, no longo prazo, o código aberto se tornará um padrão para toda a indústria.

Na verdade, o código aberto está evoluindo mais rapidamente do que os modelos de código fechado, e os desenvolvedores desejam poder construir seus sistemas em arquiteturas que tenham vantagens de longo prazo.

Na opinião de Xiao Zha, o lançamento do Llama 3.1 se tornará um ponto de viragem na indústria, tornando o código aberto cada vez mais imparável.

Referências:

https://ai.meta.com/blog/meta-llama-3-1/

https://llama.meta.com/

https://www.facebook.com/4/posts/10115716861061241/?rdid=VE0wPWaJDdF21j32