notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Relatório do coração da máquina

Editor: Asia Oriole, Big Pan Chicken, Du Wei

A disputa entre código aberto e código fechado já se arrasta há muito tempo e agora pode ter atingido um novo clímax.

Quando se trata de grandes modelos de código aberto, a série Llama tem sido um representante típico desde o seu nascimento. Seu excelente desempenho e recursos de código aberto melhoraram muito a aplicabilidade e acessibilidade da tecnologia de inteligência artificial. Qualquer pesquisador e desenvolvedor pode se beneficiar com isso, difundindo pesquisas e aplicações.

Agora, o Meta Llama 3.1 405B foi lançado oficialmente. No blog oficial, Meta disse: "Até hoje, os grandes modelos de linguagem de código aberto ficaram muito atrás dos modelos fechados em termos de funcionalidade e desempenho. Agora, estamos inaugurando uma nova era liderada pelo código aberto."

Ao mesmo tempo, o fundador e CEO da Meta, Zuckerberg, escreveu pessoalmente um longo artigo explicando a importância do código aberto para todos os desenvolvedores, para a Meta e para o mundo. Ele disse que o código aberto é uma condição necessária para o desenvolvimento positivo da IA. Tomando como exemplo o desenvolvimento do Unix e do Linux, a IA de código aberto será mais propícia à inovação, à proteção de dados e à rentabilidade.

Ele também acredita que o modelo Llama de código aberto pode estabelecer um ecossistema completo para garantir o progresso tecnológico e não perder vantagens com a concorrência. Meta tem uma história de sucesso de código aberto. Por meio de modelos de IA de código aberto, Zuckerberg espera promover a igualdade e a aplicação segura da tecnologia global.

Link original: https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

A seguir está o conteúdo original:

Zuckerberg injeta genes de código aberto no Meta

Nos primórdios da computação de alto desempenho, as principais empresas de tecnologia investiram pesadamente no desenvolvimento de suas próprias versões de código fechado do Unix. Na época era difícil imaginar outra forma de desenvolver software tão avançado.

No entanto, o Linux de código aberto tornou-se gradualmente popular: inicialmente porque permitia aos desenvolvedores modificar livremente o código e era mais acessível, mas depois tornou-se mais avançado, mais seguro e tinha um ecossistema mais amplo do que qualquer Unix de código fechado, suportando mais muitas funções. Hoje, o Linux é a base padrão da indústria para a computação em nuvem e o sistema operacional que executa a maioria dos dispositivos móveis, e todos se beneficiam de seus produtos superiores.

Acredito que o desenvolvimento da inteligência artificial seguirá uma trajetória semelhante.Hoje, algumas empresas de tecnologia estão desenvolvendo modelos líderes de código fechado, mas o código aberto está rapidamente preenchendo essa lacuna.

No ano passado, o Llama 2 só era comparável a um modelo de uma geração mais antiga. E este ano, o Llama 3 já está competindo ou até mesmo à frente dos modelos líderes do setor em algumas áreas. A partir do próximo ano, esperamos que os futuros modelos Llama sejam os modelos grandes mais avançados do setor. Llama também liderou o caminho em abertura, modificabilidade e custo-benefício.

Hoje, estamos dando o próximo passo: tornar a IA de código aberto o padrão do setor. Lançamos o primeiro modelo de IA de código aberto de ponta, Llama 3.1 405B, bem como versões aprimoradas dos modelos Llama 3.1 70B e 8B. Em comparação com os modelos de código fechado, esses modelos de código aberto são significativamente mais econômicos, especialmente a natureza de código aberto do modelo 405B, tornando-o a melhor escolha para ajuste fino e destilação de modelos pequenos.

Além de lançar esses modelos, também estamos trabalhando com diversas empresas para expandir o ecossistema mais amplo. Amazon, Databricks e Nvidia estão lançando conjuntos completos de serviços para permitir que os desenvolvedores ajustem e destilem seus próprios modelos. Inovadores como Groq criaram serviços de inferência de baixa latência e baixo custo para todos os novos modelos.

Esses modelos estarão disponíveis em todas as principais plataformas de nuvem, incluindo AWS, Azure, Google, Oracle e outras. Scale.AI, Dell, Deloitte e outros já estão prontos para ajudar as empresas a adotar o Llama e treinar modelos personalizados usando seus próprios dados. À medida que a comunidade cresce e mais empresas desenvolvem novos serviços, juntos podemos tornar o Llama o padrão da indústria e levar os benefícios da IA ​​a todos.

Meta está comprometida com a IA de código aberto. Aqui estão as razões pelas quais eu acho que o código aberto é a melhor plataforma de desenvolvimento, por que o Llama de código aberto é bom para o Meta e por que a IA de código aberto é boa para o mundo e estará disponível por muito tempo. .

IA de código aberto para desenvolvedores

Quando converso com desenvolvedores, CEOs e autoridades governamentais em todo o mundo, geralmente ouço alguns temas:

• Precisamos treinar, aperfeiçoar e refinar nossos próprios modelos. Cada organização tem necessidades diferentes que são melhor atendidas com o uso de modelos treinados ou ajustados em diferentes escalas e com dados específicos. As tarefas no dispositivo e as tarefas de classificação requerem modelos pequenos, enquanto tarefas mais complexas requerem modelos grandes. Agora você pode pegar modelos Llama de última geração, continuar a treiná-los com seus próprios dados e, em seguida, destilá-los até o tamanho de modelo que melhor atenda às suas necessidades - sem que nós ou qualquer outra pessoa vejamos seus dados.
• Precisamos controlar nosso próprio destino e não ficarmos “presos” a fornecedores de código fechado. Muitas organizações não querem confiar num modelo que elas próprias não possam gerir e controlar. Eles não querem que os fornecedores de modelos de código fechado possam alterar o modelo, alterar os termos de uso ou até mesmo interromper totalmente o serviço. Eles também não querem ficar presos a uma única plataforma de nuvem com direitos exclusivos sobre seus modelos. O código aberto permite um amplo ecossistema de conjuntos de ferramentas compatíveis entre os quais você pode alternar facilmente.
• Precisamos proteger nossos dados. Muitas organizações lidam com dados confidenciais que precisam ser protegidos e não podem ser enviados para um modelo de código fechado por meio de APIs em nuvem. Algumas organizações simplesmente não confiam seus dados em fornecedores de modelos de código fechado. O código aberto resolve esses problemas porque permite executar o modelo em qualquer lugar que desejar. É sabido que o software de código aberto é mais seguro porque o processo de desenvolvimento é mais transparente.
• Precisamos de um modelo que seja eficiente e econômico.Os desenvolvedores podem executar o Llama 3.1 405B em sua própria infraestrutura para inferência por cerca de 50% do custo do uso de modelos de código fechado (como GPT-4), adequados para tarefas de inferência offline e do lado do usuário.
• Queremos investir em ecossistemas que se tornarão o padrão a longo prazo.Muitos veem o código aberto evoluindo mais rapidamente do que os modelos fechados e desejam construir seus sistemas em uma arquitetura que ofereça as maiores vantagens no longo prazo.

IA de código aberto para Meta

O modelo de negócios da Meta é construir as melhores experiências e serviços para as pessoas. Para o conseguir, temos de garantir que temos sempre acesso à melhor tecnologia e não ficarmos presos a um ecossistema fechado de concorrentes, para que não possam limitar o que desenvolvemos.

Quero compartilhar uma experiência importante: embora a Apple nos permita construir conteúdo em sua plataforma, ainda somos limitados quando se trata de construir serviços. Quer sejam os impostos que impõem aos desenvolvedores, as regras arbitrárias que impõem ou toda a inovação de produtos que impedem, está claro que se pudermos construir as melhores versões de nossos produtos e os concorrentes não poderão limitar o que construímos, Meta e muitos outros as empresas serão capazes de fornecer melhores serviços às pessoas. A nível filosófico, esta é uma grande razão pela qual acredito tão fortemente na construção de um ecossistema aberto para a próxima geração de computadores nas áreas de IA e AR/VR.

As pessoas costumam me perguntar se estou preocupado em perder vantagem técnica ao abrir o código do Llama, mas acho que isso perde o panorama geral por alguns motivos:

Primeiro, para garantir que podemos manter a liderança tecnológica a longo prazo e não ficar presos a um ecossistema de código fechado, o Llama precisa evoluir para um ecossistema completo, incluindo ferramentas, melhorias de eficiência, otimizações de hardware e outras integrações. Se nossa empresa fosse a única a usar o Llama, o ecossistema não cresceria e não estaríamos em melhor situação do que com variantes de código fechado do Unix.

Em segundo lugar, espero que o desenvolvimento da IA ​​continue a ser altamente competitivo, o que significa que abrir o código-fonte de um modelo em qualquer momento não nos custará uma enorme vantagem na competição contra o próximo melhor modelo.O caminho da Llama para se tornar um padrão da indústria é permanecer competitivo, eficiente e aberto geração após geração.

Terceiro, uma diferença fundamental entre os fornecedores de modelos Meta e de código fechado é que a venda de acesso a modelos de IA não é o nosso modelo de negócio. Isto significa que a divulgação pública do Llama não prejudicará a nossa receita, sustentabilidade ou capacidade de investir em investigação, ao contrário dos fornecedores de código fechado. (Esta é uma das razões pelas quais alguns fornecedores de código fechado têm feito lobby junto aos administradores públicos contra o código aberto.)

Finalmente, Meta tem uma vasta experiência de sucesso com projetos de código aberto. Economizamos bilhões de dólares compartilhando nossos projetos de servidores, redes e data centers com o Open Compute Project e padronizando a cadeia de suprimentos. Ao abrir o código-fonte de ferramentas líderes como PyTorch, React e muito mais, nos beneficiamos muito da inovação no ecossistema. Essa abordagem tem sido extremamente eficaz há muito tempo.

IA de código aberto para o mundo

Acredito que o código aberto é necessário para o futuro da IA. A IA tem o potencial de aumentar a produtividade humana, a criatividade e a qualidade de vida mais do que qualquer outra tecnologia moderna, e de promover a investigação médica e científica, ao mesmo tempo que acelera o crescimento económico.O código aberto garantirá que mais pessoas em todo o mundo possam obter benefícios e oportunidades do desenvolvimento da IA, que o poder não esteja concentrado nas mãos de algumas empresas e que a tecnologia possa ser implementada de forma mais uniforme e segura em toda a sociedade.

Há um debate contínuo sobre a segurança dos modelos de IA de código aberto. O que quero dizer é que a IA de código aberto será mais segura do que as alternativas. Penso que os governos acabarão por chegar à conclusão de que apoiam o código aberto porque tornará o mundo mais próspero e seguro.

No quadro de segurança, pelo que entendi, precisamos de nos proteger contra dois tipos de danos: não intencionais e intencionais.

• Danos não intencionais referem-se à possibilidade de um sistema de IA causar danos involuntariamente durante a operação. Por exemplo, os modelos modernos de IA podem inadvertidamente fornecer conselhos de saúde incorretos. Ou, em cenários futuros, existe a preocupação de que os modelos possam replicar-se inadvertidamente ou optimizar excessivamente os objectivos, em detrimento dos seres humanos.
• Danos intencionais ocorrem quando maus atores usam um modelo de IA com a intenção de causar danos.

Vale a pena notar que os danos não intencionais abrangem a maioria das preocupações que as pessoas têm sobre a IA – desde o impacto dos sistemas de IA em milhares de milhões de utilizadores até aos cenários de ficção científica mais verdadeiramente catastróficos. Nesse sentido, a segurança oferecida pelo código aberto é ainda mais significativa porque o sistema é mais transparente e pode ser amplamente examinado.

Historicamente, o software de código aberto tem sido mais seguro por esse motivo. Da mesma forma, usar o Llama e seus sistemas de segurança, como o Llama Guard, pode ser mais seguro e confiável do que um modelo de código fechado. Como resultado, a maioria das discussões sobre a segurança da IA ​​de código aberto concentra-se em danos intencionais.

Nosso processo de segurança inclui testes rigorosos e avaliações da equipe vermelha para verificar se nossos modelos têm potencial para causar danos materiais, com o objetivo de mitigar riscos antes do lançamento. Como esses modelos são de código aberto, qualquer pessoa pode testá-los. Devemos ter em mente que estes modelos são treinados com base em informações já disponíveis na Internet, portanto, ao considerar os danos, o ponto de partida deve ser se o modelo pode causar mais danos do que as informações obtidas rapidamente no Google ou em outros resultados de pesquisa.

O raciocínio sobre danos intencionais seria útil para distinguir o que os intervenientes individuais ou de pequena escala podem fazer daquilo que os intervenientes de grande escala com vastos recursos, como os Estados, podem fazer.

Em algum momento no futuro, agentes mal-intencionados individuais poderão aproveitar a inteligência dos modelos de IA para criar novos tipos de danos a partir de informações já disponíveis na Internet. Neste ponto, o equilíbrio de poder é fundamental para a segurança da IA.

Penso que seria melhor viver num mundo onde a IA fosse amplamente implementada, permitindo que grandes intervenientes contrabalançassem pequenos intervenientes maliciosos. É também assim que gerimos a segurança nas redes sociais, com sistemas de IA mais poderosos que identificam e bloqueiam intervenientes menos sofisticados que utilizam frequentemente sistemas de IA de menor escala.

De forma mais ampla, as grandes instituições contribuirão para a segurança e a estabilidade da sociedade quando implementarem a IA em grande escala. Enquanto todos tiverem acesso a um modelo semelhante ao de uma geração, os governos e as instituições com mais recursos computacionais serão capazes de contrabalançar os agentes maliciosos com menos recursos computacionais.

Ao considerar oportunidades futuras, lembre-se de que a maioria das empresas líderes de tecnologia e pesquisas científicas atuais são baseadas em software de código aberto. Se investirmos juntos em IA de código aberto, a próxima geração de empresas e de investigação terá acesso a ela. Isto inclui start-ups que estão apenas a começar, bem como pessoas em universidades e países que podem não ter os recursos para desenvolver SOTA AI a partir do zero.

No seu conjunto, a IA de código aberto representa a maior utilização global possível desta tecnologia para criar oportunidades económicas e segurança para todos.

A cooperação é estável, o código aberto é de longo alcance

Nos modelos Llama anteriores, a Meta lançou esses modelos para seu próprio desenvolvimento, sem se concentrar na construção de um ecossistema mais amplo. Para este lançamento, adotamos uma abordagem diferente. Estamos formando equipes internamente para disponibilizar o Llama ao maior número possível de desenvolvedores e parceiros, e construindo ativamente parcerias para que mais empresas no ecossistema possam oferecer recursos exclusivos aos seus clientes.

Acredito que o lançamento do Llama 3.1 será um ponto de viragem na indústria, e a maioria dos desenvolvedores começará a usar tecnologia de código aberto, e prevejo que esta abordagem começará com o nosso código aberto.

Espero que possamos trabalhar juntos para levar os benefícios da IA ​​ao mundo.

Você pode acessar esses modelos agora em llama.meta.com.

Marco Zuckerberg