notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autor deste artigo: Li Dan

Fonte: IA difícil

Documentos públicos mostram que o desenvolvimento de seu próprio sistema de inteligência artificial (IA), Apple Intelligence, pela Apple, é inseparável do suporte aos chips personalizados do Google.

Na segunda-feira, 29 de julho, horário do leste dos EUA, o site oficial da Apple publicou um artigo técnico detalhando alguns modelos básicos de linguagem desenvolvidos para suportar o sistema de inteligência pessoal da Apple, Apple Intelligence, incluindo um modelo de aproximadamente 3 bilhões de idiomas usado para funcionar com eficiência no dispositivo - o modelo paramétrico. "Apple Basic Model" (AFM) do lado do cliente e um grande modelo de linguagem de servidor - servidor AFM projetado para a arquitetura de IA em nuvem da Apple "Private Cloud Compute".

No artigo, a Apple apresentou que o AFM do lado do cliente e o AFM do servidor são membros de uma grande família de modelos generativos desenvolvidos pela Apple. Esses modelos são usados ​​para oferecer suporte a usuários e desenvolvedores. No artigo, a Apple divulgou que o modelo de treinamento usa o chip AI ASIC de quarta geração TPUv4 e o chip de nova geração TPUv5 desenvolvido pelo Google. O artigo diz:

“Treinamos o servidor AFM do zero em 8.192 chips TPUv4, usando um comprimento de sequência de 4.096 e um tamanho de lote de 4.096 sequências para realizar treinamento de 6,3 trilhões de tokens.”
"O AFM do lado do terminal é treinado em chips 2048 TPUv5p."

No artigo de 47 páginas, a Apple não mencionou o nome do Google ou da Nvidia, mas disse que seus serviços AFM e AFM são treinados em “clusters de TPU em nuvem”. Isso significa que a Apple aluga servidores de provedores de serviços em nuvem para realizar cálculos.

Na verdade, durante a Worldwide Developers Conference (WWDC) em junho deste ano, a mídia descobriu nos detalhes dos documentos técnicos divulgados pela Apple que o Google se tornou mais um vencedor dos esforços da Apple no campo da IA. Os engenheiros da Apple usaram o software de estrutura desenvolvido pela própria empresa e uma variedade de hardware para construir o modelo básico, incluindo unidades de processamento de tensores (TPUs) que estão disponíveis apenas no Google Cloud. No entanto, a Apple não revelou o quanto a Apple depende dos chips e software do Google em comparação com outros fornecedores de hardware de IA, como a Nvidia.

Portanto, um comentário na mídia social X na segunda-feira apontou que houve notícias sobre a Apple usando chips do Google em junho, e agora temos mais detalhes sobre a pilha de treinamento.

Alguns comentários disseram que a Apple não odeia a Nvidia, mas o TPU é mais rápido. Também há comentários de que o TPU é mais rápido, então faz sentido para a Apple usá-lo. Claro, também pode ser mais barato que os chips da Nvidia.

Comentários da mídia na segunda-feira disseram que a TPU do Google foi originalmente criada para cargas de trabalho internas e agora está sendo usada de forma mais ampla. A decisão da Apple de usar chips do Google para treinar modelos sugere que alguns gigantes da tecnologia podem estar procurando e encontraram alternativas aos chips de IA da Nvidia quando se trata de treinamento de IA.

O Wall Street Journal mencionou que na semana passada, o CEO da Meta, Zuckerberg, e o CEO da Alphabet e do Google, Pichai, sugeriram em seus discursos que suas empresas e outras empresas de tecnologia podem ter investido demais em infraestrutura de IA. Mas todos reconhecem que os riscos empresariais de não o fazer são demasiado elevados.

Zuckerberg disse:

"A consequência de ficar para trás é que você estará em desvantagem nas tecnologias mais importantes nos próximos 10 a 15 anos."

Pichai disse:

A IA é cara, mas o risco de subinvestimento é ainda maior. O Google pode ter investido muito em infraestrutura de IA, incluindo principalmente a compra de GPUs Nvidia. Mesmo que o boom da IA ​​diminua, os data centers e chips de computador que as empresas compram podem ser usados ​​para outros fins. Para nós, o risco de subinvestir é muito maior do que o risco de sobreinvestir.