notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

tomando como exemplo a indústria fotovoltaica, amodei acredita que mesmo que uma tecnologia se torne muito importante e amplamente utilizada no mercado, ainda pode ser difícil trazer lucros elevados para uma única empresa, e a alta comercialização limitará a rentabilidade da empresa. semelhante à indústria fotovoltaica, o tamanho do mercado da tecnologia de ia pode ser muito grande, mas também pode ser difícil lucrar com ela, e a questão da distribuição de lucros entre os diferentes participantes também é muito complicada.

ia difícil

autor | huang wenwen

editor | ia difícil

esta semana, dario amodei, ceo e cofundador da “ai unicorn” anthropic, participou da entrevista e discutiu o desenvolvimento da indústria de ia, lei de escala, etc.

a lei de escala refere-se principalmente ao fato de que, à medida que os dados e o poder de computação aumentam, as capacidades do modelo também aumentam.amodei acredita que se esta lei continuar em vigor, a ia provavelmente se tornará muito poderosa e trará novos modelos de negócios e inovações tecnológicas.

no entanto, ele também enfatizou que esta lei nem sempre se aplica se o desempenho do modelo não puder ser melhorado em alguns aspectos, toda a indústria de ia poderá ser afetada.

amodei também se concentrou em comparar a indústria de ia com a indústria fotovoltaica. ele usou o exemplo da indústria fotovoltaica para ilustrar que mesmo que uma tecnologia se torne muito importante e amplamente utilizada no mercado, ainda pode ser difícil trazer lucros elevados para uma única empresa.

embora a tecnologia fotovoltaica tenha abalado quase toda a indústria energética, o seu mercado é altamente comoditizado, ferozmente competitivo e carece de efeitos de marca significativos, pelo que a rentabilidade de cada empresa está sujeita a certas limitações.

semelhante à indústria fotovoltaica, o tamanho do mercado da tecnologia de ia pode ser muito grande, mas também pode ser difícil lucrar com isso. o modelo de lucro da ia ​​pode ser afetado por múltiplos fatores, tais como custos de cálculo do modelo, custos de inferência, etc. a distribuição de lucros entre fornecedores de hardware, desenvolvedores de modelos e camadas de aplicação também é bastante complexa e enfrenta desafios consideráveis.

os pontos de discussão são os seguintes:

1. é um tanto difícil separar completamente a lei do dimensionamento das questões empresariais.

2. sendo o mercado tão grande, a minha resposta inicial é que os ganhos fluirão para todos estes locais.

3. se a lei de escala estiver correta, então este será um mercado muito grande. mesmo que apenas 10% dos lucros vão para uma determinada parte da cadeia de abastecimento, ainda assim é enorme.

4. se estivermos a construir um modelo com dezenas ou centenas de milhares de milhões de parâmetros, poderá não haver mais de quatro ou cinco entidades (e talvez algumas empresas estatais) envolvidas. portanto, o que estamos a ver pode ser algo mais parecido com um oligopólio do que com um monopólio total ou uma mercantilização total.

5. mesmo que tal modelo seja lançado, o custo operacional de um modelo tão grande em inferência é muito alto, e a maior parte do custo está na inferência, e não no treinamento do modelo. se você tiver métodos de raciocínio melhores, mesmo uma melhoria de apenas 10%, 20% ou 30% pode ter um grande impacto.

6. temos modelos maiores e mais poderosos e modelos mais rápidos, mais baratos e menos inteligentes. alguns clientes descobriram que o modelo grande pode atribuir tarefas a um grande número de modelos pequenos e, em seguida, reportar-se ao modelo grande para concluir a tarefa como um. enxame.

7. ninguém deve acreditar que a lei da escala continuará para sempre, é apenas uma observação empírica e pode parar a qualquer momento. eu os observo há dez anos e meu palpite de que eles não vão parar é apenas uma proposição de 60-40 ou 70-30 com base no período de tempo que os tenho observado.

8. se pudermos usar a ia corretamente, ela poderá aumentar a velocidade com que fazemos essas descobertas em 10 vezes, talvez 100 vezes.

o texto completo da entrevista é o seguinte, com parte do conteúdo excluído:

01

o google não conseguiu se tornar o bell labs da era da inteligência artificial

noé smith：

neste podcast de economia, preferimos falar sobre economia em vez de assuntos puramente técnicos. então, o google é o bell labs da era da inteligência artificial?

eles fizeram pesquisas sobre aprendizado profundo moderno e transformers e assim por diante, mas não tiveram sucesso em comercializá-lo, como o bell labs. eles financiaram a pesquisa com dinheiro de monopólio, e então pessoas interessantes como você trabalharam lá e depois saíram para abrir empresas, como o pessoal da fairchild no bell labs. você acha que esta é uma metáfora apropriada?

dario amodei:

embora nada seja uma analogia perfeita, definitivamente acho que há alguma verdade nisso. muitos viam isso como uma continuação de uma carreira acadêmica, muito semelhante ao ambiente industrial dos bell labs, exceto que o google tinha mais recursos para atingir seus objetivos. portanto, muitos projetos estão sendo estudados. o transformer é uma das principais invenções que impulsionam este campo e é apenas um dos cerca de cem projetos que estão sendo pesquisados.

se você estivesse no topo da organização, não seria capaz de distingui-la razoavelmente dos outros 99 projetos em desenvolvimento. é como se cem flores desabrochassem e competissem entre si. acho que foi quando propus pela primeira vez a lei de expansão, que afirma que precisamos dimensionar e integrar essas inovações em grande escala.

em teoria, o google é o melhor lugar para fazer isso, eles têm o maior cluster do mundo com muitos engenheiros talentosos e todos os elementos necessários.no entanto, o google está organizado para pesquisa, e não acho que seja necessariamente para reunir todas essas peças e dimensionar massivamente algo completamente diferente do que era antes.

noé smith：

assim como o bell labs não foi criado para inventar computadores e dar um computador a todos, ele foi criado para conectar todos.

dario amodei：

sim, é uma companhia telefônica. então, não posso falar pelo google, mas obviamente agora, além de inventar todas essas coisas incríveis, eles são uma das quatro principais empresas com modelos de ponta que são nossos parceiros e concorrentes. conheço muitas pessoas lá que são muito inteligentes.

mas acho que você está certo, chegará um momento em que eles poderão ser o único jogador dominante se conseguirem combinar esses elementos da maneira certa. mas por alguma razão, as coisas não foram nessa direção.

02

lei de escala:

à medida que o tamanho dos dados aumenta, o modelo se torna mais poderoso

noé smith：

isso traz outra questão na qual estamos pensando. na verdade, a ideia de conversarmos com você veio de algo que estávamos discutindo em outro podcast onde estávamos basicamente falando sobre a economia dos negócios na internet, e então alguém trouxe à tona algumas visões pessimistas sobre o negócio de ia, questionando quantas ia existem realmente fossos económicos.

obviamente, isso está intimamente relacionado com a anthropic e outras empresas que chamamos de startups, mas elas já são bastante grandes.então, diga-nos o que você pensa sobre os fossos econômicos das empresas de ia.

dario amodei：

eu diria que vou dividir um pouco essa questão em dois ramos. acho que é difícil separar completamente a lei de escalabilidade das questões empresariais. portanto, vamos considerar o caso em que a lei de escala é válida de alguma forma muito forte e, em seguida, considerar os casos em que ela pode ser parcialmente válida ou não ser válida de todo. se isso se mantiver de uma forma muito forte, a situação será assim:

agora você treinou um modelo com 100 milhões de parâmetros e suas capacidades são equivalentes às de um bom calouro de faculdade;

aí você treina um modelo com um bilhão de parâmetros, o que equivale à habilidade de um bom aluno de graduação;

você treinou um modelo com dezenas de bilhões de parâmetros e seus recursos são equivalentes aos de um excelente aluno de pós-graduação;

quando você treina um modelo com centenas de bilhões de parâmetros, suas capacidades são equivalentes às de um ganhador do prêmio nobel.

e aí você coloca esse modelo em serviço e basicamente atende a todos, e ele vira seu colega, vira seu assistente pessoal, ajuda na segurança nacional, ajuda na pesquisa biológica.

penso que, nesse mundo, este sistema e os produtos nele baseados representarão uma grande parte da economia. a questão que permanece é para onde irão os recursos? irá fluir para a nvidia, para empresas de inteligência artificial ou para aplicações downstream? com o mercado tão grande, minha resposta inicial é:os benefícios fluem para todos esses lugares.

03

o futuro da ia ​​será semelhante ao da indústria fotovoltaica

noé smith：

mas pense na energia solar, a energia solar será claramente muito importante. quanto mais energia precisarmos, mais difundido se tornará o uso da energia solar. no entanto, é difícil dizer qual empresa de energia solar está obtendo muito lucro. a energia solar é um produto muito comoditizado e, embora haja muita inovação nela, não há efeito de marca, nem efeito de rede, nem efeito de aprisionamento. é difícil para qualquer empresa solar obter lucro neste assunto. , e esta as coisas estão mudando o mundo diante de nossos olhos.

portanto, não tenho certeza de que só porque tudo vai crescer como a energia solar agora, isso necessariamente levará a lucros para a empresa. mas certamente estou aberto à possibilidade. eu só quero saber,qual você acha que é a fonte? por que o desenvolvimento da inteligência artificial é diferente?

dario amodei：

energia solar? penso que há dois pontos aqui, porque penso que esta é uma questão importante na maioria dos mundos. talvez eu esteja apenas dizendo que, se a lei da escala estiver correta, este será um mercado muito grande. mesmo que apenas 10% dos lucros vão para uma determinada parte da cadeia de abastecimento, ainda assim é enorme.

à medida que o bolo aumenta, esta torna-se a questão mais interessante, embora aqueles que decidem como distribuir as notas de dólar estejam certamente muito preocupados com o destino de um bilião. mas voltemos à sua pergunta, porque acho que é importante em todo o mundo.o cerne da questão é o tamanho do “torte” que você está dividindo.

primeiro, do lado do modelo, depende da lei de escala. se estivéssemos construindo um modelo com dezenas ou centenas de bilhões de parâmetros, provavelmente não haveria mais do que quatro ou cinco entidades (e talvez algumas empresas estatais) envolvidas. portanto, o que estamos a ver pode ser algo mais parecido com um oligopólio do que com um monopólio total ou com uma mercantilização total.

acho que uma pergunta aqui é: alguém vai lançar um modelo de código aberto que tenha um bilhão ou 10 bilhões de parâmetros? estou cético, mesmo que tal modelo seja lançado, o custo operacional de um modelo tão grande em inferência é muito alto, com a maior parte do custo sendo na inferência e não no treinamento do modelo. se você tiver métodos de raciocínio melhores, mesmo uma melhoria de apenas 10%, 20% ou 30% pode ter um grande impacto. a economia é um pouco estranha, é um enorme custo fixo que você tem que amortizar, mas há também um custo unitário de raciocínio, e sob essa suposição, amplamente implementada, a diferença pode ser enorme. não tenho certeza de como isso vai acontecer.

noé smith：

na verdade, isso é semelhante à economia da indústria pesada, como a forma como o aço é feito.

dario amodei：

sim, um pouco. curiosamente, outra coisa que eu diria é que dentro desses modelos começamos a ver que os modelos têm personalidades diferentes. portanto, a comoditização é uma possibilidade, mas mesmo num oligopólio a forma como certos modelos são implementados poderia ser comoditizada, embora não tenha a certeza.

mas uma força que trabalha contra essa visão é: ei, eu criei um modelo que era bom em programação, você criou um modelo que foi bom em escrita criativa e uma terceira pessoa criou um modelo que foi bom em entretenimento. estas são escolhas, e quando se começa a fazer essas escolhas, começa-se a construir infra-estruturas em torno delas, o que parece criar os pré-requisitos para algum nível de diferenciação.

outra possível fonte de diferenciação são os produtos construídos sobre modelos.em teoria, você pode separar a camada do modelo da camada do produto; na prática, elas estão inter-relacionadas e trabalhar entre organizações pode ser um desafio. portanto, embora exista uma lógica comum quando se trata de modelos, com muitas empresas caminhando na mesma direção, adicionando capacidades multimodais para tornar os modelos mais inteligentes e fazer inferências mais rápidas, os produtos são muito diferentes.

se você olhar para este projeto "artefatos" que fizemos, é uma forma de visualizar o código de escrita do modelo em tempo real. fazemos isso, a openai tem sua própria abordagem e o google tem sua própria abordagem. acho que essa também é uma das fontes de diferenciação entre as empresas.

vimos que a economia da venda de aplicativos, mesmo os relativamente finos, está ficando cada vez mais densa com base no modelo.

erik torenberg：

se a lei do dimensionamento for verdadeira e as coisas ficarem tão grandes quanto pensamos, você espera que essas empresas sejam nacionalizadas em algum momento? ou o que você acha?

dario amodei：

podemos dividir isso em duas situações: uma é que a lei de escala está correta e a outra é que a lei de escala está errada. se estiver errado, então esta é apenas uma tecnologia que, como a internet ou a energia solar, pode ser mais importante do que a maioria, mas não sem precedentes. com base no desenvolvimento atual, não creio que será nacionalizado.

se estiver certo, os modelos que estamos construindo são tão bons quanto os biólogos ganhadores do prêmio nobel e os principais programadores da indústria, ou até melhores. não tenho a certeza se será realmente uma nacionalização, estaremos muito preocupados se os nossos adversários conseguirão acompanhar-nos ou se conseguiremos mobilizá-los tão rapidamente como os nossos adversários.

04

lei de escala

influencie a ia para criar novos modelos de negócios

noé smith：

tenho uma pergunta sobre o impacto da inteligência artificial nos modelos de negócios. você conhece a história da eletricidade, basicamente no início, quando conseguiram eletricidade, os fabricantes tentaram desmontar seus geradores de vapor, e os geradores tiveram perdas. depois, alguém descobriu que era possível fornecer eletricidade a várias estações de trabalho em paralelo, o que mudou a forma como a produção funcionava. em vez de uma grande linha de montagem, esta transformou-se em múltiplas estações de trabalho pequenas, o que levou a enormes ganhos de produtividade durante décadas.

sempre suspeitei que a ia fosse semelhante. eu acho que a internet é semelhante,a ia é semelhante porque, a princípio, todos parecem pensar que a ia é uma pessoa. na verdade, alguém comparou o número de ia com o número de funcionários humanos, o que não faz sentido para mim porque não pode ser dividido em indivíduos.

você poderia criar um sistema baseado em proxy para imitar essa abordagem, mas por quê? vejo todo mundo pensando na ia substituindo diretamente os humanos, e meu argumento é que este é o primeiro estágio, assim como a eletricidade substituindo diretamente as caldeiras a vapor não é uma boa ideia. acho que as pessoas ficarão um pouco decepcionadas porque são poucos os casos em que essa substituição direta de um humano funciona, como atendimento ao cliente e algumas outras coisas bem definidas.

mas penso que existem apenas alguns casos em que esta substituição direta de humanos funcionará, e então experimentaremos a explosão do ciclo de hype do gartner.

alguns empreendedores criativos diriam que não estamos apenas a utilizar a inteligência artificial como um substituto humano, mas que a estamos a utilizar para criar novos modelos de negócio. então veremos um período de expansão e ressurgimento, essa é a minha previsão. minhas previsões no estilo gartner, estou louco?

dario amodei：

então eu acho que é uma mistura de algumas coisas com as quais concordo e algumas coisas com as quais posso não concordar. em primeiro lugar, basicamente concordo que se você congelar a qualidade do modelo atual, tudo o que você disser estará correto. basicamente, observamos algo semelhante nos negócios. fornecemos modelos com os quais você pode conversar, mas também vendemos modelos por meio de uma api para muitos clientes. as pessoas passaram muito tempo descobrindo a melhor forma de usar os modelos.

há muitas perguntas sobre a confiabilidade do modelo e acho que isso é motivo de alguma preocupação, como um modelo que dá a resposta certa 95% das vezes, mas não 5% das vezes, como você detecta essas situações e como você lidar com tratamento de erros muito importante. isso é muito diferente de ser útil na teoria e ser útil na prática.

tínhamos um recurso desde o início que permitia ao modelo escrever algum código, e então você poderia colar o código em um compilador ou interpretador para fazer um videogame javascript e, se algo desse errado, você poderia voltar ao modelo e consertar. vemos também modelos grandes coordenando modelos pequenos, o que é muito diferente da ideia de um modelo ser uma pessoa.

temos modelos maiores e mais poderosos e modelos mais rápidos, mais baratos e menos inteligentes, e alguns clientes descobriram que o modelo grande pode distribuir tarefas para um grande número de modelos pequenos, que então reportam ao modelo grande para completar a tarefa como um enxame.

também estamos explorando as melhores maneiras de usar modelos, que estão cada vez mais inteligentes e melhores na solução desses problemas. portanto, em última análise, a questão é se a lei de dimensionamento veio para ficar. se continuarem, será um processo como você descreve. se parassem, a inovação pararia e o processo que você descreve terminaria.

ninguém deve acreditar que a lei da escala continuará para sempre, é apenas uma observação empírica e pode parar a qualquer momento. eu os observo há dez anos e meu palpite de que eles não vão parar é apenas uma proposição de 60-40 ou 70-30 com base no período de tempo que os observo.

erik torenberg:

o que mudaria sua opinião? o que mudaria suas chances lá?

dario amodei：

acho que, em primeiro lugar, se apenas treinarmos um modelo e depois tentarmos o próximo modelo em escala, os resultados serão muito ruins. tentamos algumas vezes resolver o problema e ainda assim não funcionou e eu pensei, ah, acho que essa tendência está parando.

se houver um problema com a falta de dados e não conseguirmos gerar dados sintéticos suficientes para continuar esse processo, então em algum momento eu diria, ei, isso realmente parece difícil, pelo menos essa tendência irá pausar, talvez parar, mas pode não parar. ainda acho que essas coisas não vão acontecer, mas você sabe, é uma questão muito complexa.

05

ia poderia acelerar descobertas biológicas 100 vezes

comprimindo o progresso do tempo do século

noé smith：

se o gargalo dos recursos de ia reside mais no poder computacional do que na energia, então teremos mais vantagens comparativas no uso da ia. você basicamente concorda com essa visão?

dario amodei：

sim, acho que faz sentido. você quer dizer, para usar uma metáfora um pouco ridícula,se as ias são como os cybermen, e o processo de criação e criação deles é muito semelhante ao dos humanos, então estamos em apuros.mas se for apenas um cluster de servidores em algum lugar com entradas completamente diferentes, tudo bem.

não pensei sobre isso a fundo, mas parece fazer sentido à primeira vista. se estivéssemos numa situação em que a ia estivesse a remodelar o mundo e a estrutura económica tivesse mudado, então poderíamos estar a falar de algo diferente. mas se as regras normais da economia ainda se aplicam, e penso que assim serão durante algum tempo, então parece muito razoável.

noé smith：

mas a minha outra pergunta é: é necessário considerar um mundo de extrema abundância? a ia é tão poderosa que nos proporciona uma biologia e uma produção incríveis, tornando tudo o que queremos dez vezes, cem vezes melhor, etc.

dario amodei：

acho que realmente subestimamos o potencial da inteligência artificial na biologia. há dez anos, quando eu estava nesta área, a atitude era de que a qualidade dos dados que obtínhamos da biologia era questionável, a quantidade de dados que podíamos obter era limitada e as experiências eram frequentemente interrompidas. é claro que mais análise de dados, big data e inteligência artificial são bons, mas, na melhor das hipóteses, desempenharão um papel de apoio. talvez com o advento do alpha fold isso mude.

mas minha opinião é que os modelos de ia podem atuar como biólogos ou cobiólogos. se pensarmos em biologia realmente avançada, é como se houvesse desproporcionalmente diversas tecnologias alimentando tudo. por exemplo, o sequenciamento do genoma, a capacidade de ler o genoma, é a base da biologia moderna. a tecnologia crispr mais recente é a capacidade de editar o genoma. se pudermos usar a ia corretamente, ela poderá aumentar a velocidade com que fazemos essas descobertas em 10 vezes, talvez 100 vezes.

veja o crispr, por exemplo, que foi montado a partir do sistema imunológico bacteriano e levou 30 anos para ser inventado. penso que se conseguirmos aumentar enormemente a taxa a que estas descobertas são feitas, também aumentaremos enormemente a taxa a que as doenças podem ser curadas.

a minha ideia é: podemos comprimir o progresso no século xxi? poderemos fazer todo o progresso biológico do século xxi utilizando a ia para acelerá-lo por um factor de 10?se pensarmos em todo o progresso que fizemos na biologia no século xx e depois comprimirmos isso em cinco a dez anos, para mim, esse é o lado bom. eu acho que isso pode ser verdade. poderíamos curar doenças que nos atormentam há milénios, o que, evidentemente, aumentaria dramaticamente a produtividade, expandiria o bolo económico e prolongaria a esperança de vida humana.