notícias

"Tyrant" domina AGI, a OpenAI está caminhando para um futuro perigoso?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autor de tecnologia Tencent, Guo Xiaojing Hao Boyang

Editor Su Yang

A turbulência pessoal da OpenAI continua, desta vezIA aberta O presidente Greg Brockman – reconhecido como um defensor leal de Sam Altaman e que estava com ele quando Sam foi destituído do conselho de administração – anunciou uma licença de longo prazo. O próprio Greg Brockman anunciou que retornará à empresa após longas férias. No entanto, muitos executivos seniores de empresas de tecnologia tirarão longas férias antes de deixar seus empregos.

Além disso, dois executivos principais foram forçados a sair. Um deles foi Johnson Schulman, um dos cofundadores. Ele atuou brevemente como chefe da equipe de segurança antes de sair. pesquisador Jan Leike.

Ao mesmo tempo, Johnson também liderou o OpenAIGPT O processo de pós-treinamento de uma série de grandes modelos pode ser considerado uma figura muito crítica na construção de tecnologia. O que é ainda mais intrigante é que após sua renúncia, assim como Jan Leike, ele se juntou diretamente à Anthropic, o concorrente mais forte da OpenAI.

Além disso, Peter Deng, gerente de produto que ingressou na OpenAI no ano passado, também renunciou. Embora não fosse cofundador, renunciou menos de um ano após ingressar, o que também fará o mundo exterior especular sobre o que aconteceu com o. Equipe OpenAI.

A segunda onda de mobilidade de talentos da OpenAI

Restam apenas 3 fundadores e 1 está em licença de longo prazo.

Após esta mudança, dos 11 cofundadores originais da OpenAI, apenas Sam Altman, Wojciech Zaremba e Greg Brockman (que também anunciou uma licença de longo prazo) permanecem na OpenAI. Todos os restantes membros fundadores deixaram a equipe.

Cinco desses 11 fundadores foram de 2017 a 2018, quando Musk anunciou seu desinvestimento, desencadeando uma onda de turbulência na OpenAI. Incluindo Trevor Blackwell, Vicki Cheung, Durk Kingma, Pamela Vagata.Andrej Karpathy, outro membro fundador, também foi contratado diretamente por Musk para servir como CEO da Tesla.Piloto automático diretor. Ele não retornou à OpenAI até fevereiro de 2023.

Os seis membros fundadores restantes renunciaram este ano, após a batalha judicial da OpenAI no final do ano passado. Incluindo o ex-cientista-chefe da OpenAI Ilya Sutskever, o já mencionado John Schulman e o cientista Andrej Karpathy que retornou por apenas um ano. Pode-se dizer que o ano de 2024 será a maior mudança nos quadros superiores que a OpenAI sofreu desde a crise de Musk.

Para onde foram todos os funcionários que deixaram a OpenAI?

A julgar pelo paradeiro dos funcionários que saem da OpenAI, eles geralmente seguem dois caminhos. Uma delas é juntar-se a empresas rivais, basicamente Deepmind e Anthropic. A segunda é iniciar o seu próprio negócio. A grande maioria dos trabalhadores despedidos acima mencionados (66%) optou por aderir a novos projetos empresariais.

Esta escolha realmente deu origem à chamada “Máfia OpenAI”. De acordo com relatos da mídia, quase 30 funcionários deixaram a OpenAI antes deste ano e fundaram suas próprias empresas de IA. Vários deles atingiram o nível de unicórnio. O mais conhecido deles é o Anthropic, fundado por Dario Amodei, que se tornou o concorrente mais poderoso da OpenAI.

Qual o impacto desta demissão?

De acordo com o diagrama de arquitetura divulgado anteriormente pela Information, as três pessoas que desta vez passam por mudanças de pessoal são todos gerentes centrais da OpenAI. Do ponto de vista funcional, tanto Brockman quanto Shulman se reportam a Mira Murati, CTO da OpenAI (Greg também deve ser responsável pelo trabalho adicional como presidente e membro do conselho), e Peter Deng, que é o vice-presidente de produtos de usuário, deve estar em o terceiro nível de relatórios. O trabalho pelo qual são responsáveis ​​pertence basicamente ao trabalho técnico central da OpenAI. O impacto destas mudanças não pode ser considerado insignificante. Provavelmente três dos 40 principais executivos seniores foram substituídos.

Mas, na verdade, olhando para o conteúdo específico dos três responsáveis, pode não estar realmente relacionado com o núcleo de desenvolvimento do novo modelo da OpenAI neste momento. De acordo com o blog oficial anterior da OpenAI, Greg Brockman atuará como presidente a partir de 2022 e, naquela época, ele se concentrou no treinamento do principal sistema de IA da OpenAI. Mas, na verdade, desde o GPT-4, o atual cientista-chefe Jakub Pachocki liderou o desenvolvimento do GPT-4 e do OpenAI Five.

Shulman já foi responsável pela parte pós-treinamento do OpenAI e propôs o algoritmo Proximal Policy Optimization (PPO). Este é um conjunto de algoritmos de estratégia central para melhorar grandes modelos de linguagem e também é um dos principais algoritmos usados ​​pela OpenAI até agora. No entanto, após a renúncia de Illya, ele foi alterado para o responsável pelo Super Alignment, e seu impacto atual no projeto GPT-5 é estimado como muito limitado.

O vice-presidente responsável pelo produto, Peter Deng, é responsável pelos produtos do cliente e tem um relacionamento geral limitado com o trabalho principal de desenvolvimento do GPT-5.

Pode-se basicamente confirmar que o vice-presidente de pesquisa Bob MacGrew e o cientista-chefe Jakub Pachocku são as figuras mais críticas no desenvolvimento do novo modelo.

Além disso, as principais figuras da OpenAI que podem estar a promover a inovação tecnológica já não são executivos seniores, mas sim alguns investigadores de base. Por exemplo, o ex-CEO da Stability AI, Emad, disse no X que apenas a renúncia de Alec Radford pode determinar o colapso da OpenAI.

Também podemos ver seu peso pesquisando o número de citações em artigos do Scholar no Google.

Portanto, o impacto desta demissão no progresso da pesquisa da OpenAI pode ser limitado. O principal impacto é no moral interno da equipe e na confiança externa na empresa.

Afinal, um chefe que não consegue nem manter seus melhores amigos e eliminou todas as empresas Lianchuang terá dificuldade em ganhar confiança em suas habilidades de gestão.

Suposições principais de conflito

Palavras-chave para sair: Super Alinhamento

O Super Alignment Project da OpenAI foi estabelecido em junho de 2023. Ela planeja investir 20% do poder de computação nos próximos quatro anos para construir um pesquisador de alinhamento automático equivalente ao nível humano usando supervisão de IA para resolver o problema de sistemas inteligentes de nível superior e humanos. Problemas de consistência de metas. A equipe "Super Alignment" é liderada conjuntamente pelo cofundador e cientista-chefe da OpenAI, Ilya Sutskever, e pelo pesquisador Jan Leike.

Pode-se dizer que Ilya Sutskever é uma das figuras da alma da OpenAI. Quando o artigo "Atenção é tudo que você precisa" foi lançado em 2017 e atraiu grande atenção na indústria, Ilya o apoiou totalmente.TransformadorDireção de arquitetura, e em seguida liderou o desenvolvimento dos modelos das séries GPT e Vicentina DALL-E.

Ilya também foi aluno de Geoffrey Hinton, conhecido como o "Pai do Aprendizado Profundo". Ele completou seus estudos de graduação e pós-graduação sob a orientação de Hinton e, eventualmente, recebeu um doutorado em Ciência da Computação. Hinton também tem alertado que o rápido desenvolvimento da inteligência artificial pode trazer ameaças que vão além da inteligência humana.

No final de 2023, o incidente conhecido como “OpenAI Palace Fight” foi finalmente encerrado temporariamente com a saída de Ilya e o retorno de Sam Altman. No entanto, a polêmica continua até hoje. A maior especulação do mundo exterior é que existem diferenças internas dentro da OpenAI, e ainda maior é o enorme conflito de crenças.

A julgar pela formação e comportamento de Sam Altman, a indústria tende a considerá-lo um crente no e/acc (aceleração eficaz), acreditando que o desenvolvimento da tecnologia é essencialmente benéfico para a humanidade, e a humanidade deve investir tantos recursos quanto possível Acelerar a inovação para mudar a estrutura social existente. Correspondendo ao que a OpenAI fez, pode ser resumido de forma simples e grosseira como a concentração de recursos financeiros e recursos para avançar a AGI a toda velocidade.

O superalinhamento e a aceleração eficaz não são, em essência, mais uma batalha de rotas, mas um enorme conflito de crenças internas. Em maio de 2024, Jan Leike também anunciou sua renúncia. Quando renunciou, postou nas redes sociais Trabalho perigoso, mas nos últimos anos, a segurança da IA ​​​​deu lugar a produtos brilhantes. finalmente chegou ao ponto sem retorno.”

Com a renúncia de Jan Leike, a equipe original do Super Alignment essencialmente chegou ao fim. Os restantes membros foram integrados na equipa de segurança, chefiada por Johnson Schulman. Ainda hoje, Johnson Schulman também anunciou a sua saída.

O que é muito intrigante é que Jan Leike e Johnson Schulman foram para a Anthropic, que pode ser considerada como tendo as mesmas raízes da OpenAI. O fundador da Anthropic também é Dario Amodei, um ex-funcionário principal da OpenAI. Diz-se que quando Dario saiu no início de 2020, foi por causa de problemas de segurança de IA.

Dario lançou a IA Constitucional na Antropic, um método de treinamento de modelos de IA que orienta o comportamento dos sistemas de IA por meio de um conjunto claro de princípios comportamentais, em vez de depender do feedback humano para avaliar as respostas. O núcleo desta abordagem é usar o próprio sistema de IA para ajudar a supervisionar outros sistemas de IA para melhorar a inocuidade e a utilidade da IA, ao mesmo tempo que expande a escala de supervisão.

Dario enfatizou que a ideia principal da IA ​​Constitucional é usar sistemas de IA para ajudar a supervisionar outros sistemas de IA, expandindo assim a escala de supervisão e melhorando a inocuidade e a utilidade da IA. O processo de IA Constitucional envolve etapas como autocrítica, correção, aprendizagem supervisionada e aprendizagem por reforço, bem como uma série de princípios constitucionais baseados na linguagem natural para restringir o comportamento da IA.

É muito semelhante aos pensamentos superalinhados de Ilya?

Parece que, desde então, OpenAI e Anthropic tornaram-se representantes diferentes das duas crenças do aceleracionismo eficaz e do superalinhamentismo no campo da IA.

Anteriormente, algumas pessoas apontaram com preocupação que a saída de Ilya pode ser porque ele viu que algumas das tecnologias da OpenAI estavam fora de controle. Se esse for realmente o caso, o Antrópico, que está caminhando em outro caminho, pode se tornar uma vantagem na contenção dessa fera gigante. . braços.

Afinal, os modelos da série Claude da Anthropic são infinitamente próximos dos grandes modelos da série GPT da OpenAI em termos de capacidades.

Um tipo diferente de conflito: o “tirano” Sam Altman e estruturas de governança idealistas

O que outra figura central, Sam Altman, o fundador da OpenAI, tem de insistir pode ser mais difícil do que a crença na aceleração eficaz.

Primeiro, a arqueologia OpenAI, fundada em 11 de dezembro de 2015. Estava cheio de idealismo desde o início, e a sua visão incluía a promoção activa do desenvolvimento da inteligência artificial geral (AGI) que beneficia toda a humanidade, beneficiando a todos, e lutando contra o monopólio da inteligência artificial por grandes empresas ou algumas pessoas.

Sob esta visão, o dinheiro foi arrecadado de grandes nomes, incluindo Elon Musk, e os financiadores parecem estar investindo bilhões de dólares na organização à medida que ela cresce. Neste momento, a OpenAI só precisa se preocupar em como alcançar seus ideais. preocupe-se com as necessidades diárias.

No entanto, depois que o agora mundialmente famoso artigo Atenção é tudo que você precisa apareceu, a OpenAI seguiu o caminho da lei de escala, que é um caminho que requer um enorme consumo de recursos.

Em 2019, para obter financiamento, a OpenAI recorreu a uma estrutura híbrida Sob a controladora OpenAI Inc., foi criada uma subsidiária OpenAI Global, na qual o investimento da Microsoft foi trocado por até 49% das ações da OpenAI Global.

Ou seja, a OpenAI mantém sua empresa-mãe sem fins lucrativos original, mas sob essa empresa-mãe é criada uma subsidiária com fins lucrativos chamada OpenAI Global. Esta subsidiária pode absorver o dinheiro dos investidores de capital de risco e as ações dos funcionários, o que significa que pode levantar fundos como uma empresa normal.

No entanto, o OpenAI LP não se transformou completamente em uma empresa comum. Ele também possui uma característica especial, que é o “lucro capturado”. Isso significa que embora possa ser lucrativo, há um limite. Se o dinheiro ganho ultrapassar este limite, o excedente será devolvido à empresa-mãe sem fins lucrativos. Isto garante que a OpenAI LP não se desvie do seu objetivo original de beneficiar toda a humanidade.

No entanto, existe um risco potencial numa estrutura aparentemente inovadora, que é o facto de o conselho de administração da organização sem fins lucrativos OpenAI LP controlar a organização com fins lucrativos Open AI Global. -ser de toda a humanidade, não os direitos e interesses dos acionistas. A Microsoft obteve 49% das ações, mas não teve assento no conselho ou qualquer palavra a dizer.

O que é ainda mais dramático é que depois de Altman ter sido expulso do conselho de administração, 98% dos funcionários ameaçaram demitir-se e assinaram uma carta aberta exigindo a sua reintegração. Altman disse em uma entrevista posterior: “Este incidente pode destruir o patrimônio de todos e, para muitos funcionários, isso representa toda ou a maior parte de sua riqueza”.

A “agitação” dos funcionários comuns pelos interesses mais seculares derrotou os grandes ideais de segurança AGI dos fundadores principais.

Além da estrutura de governança da OpenAI, o certo estilo de gestão “controverso” de Sam Altman também foi revelado online. Por exemplo, Altman tem um método que ele chama de gestão “dinâmica”, que consiste em fazer as coisas sem avisar, colocar alguém em um período provisório. papel de liderança e alocar recursos. Por exemplo, Altman uma vez promoveu repentinamente outro pesquisador de inteligência artificial, Jakub Pachocki, ao cargo de diretor de pesquisa. O então diretor de pesquisa, Ilya Sutskever, expressou desconforto e prometeu recursos e responsabilidades a dois executivos diferentes ao mesmo tempo. , Mas Ilya sente que isso causará mais conflitos.

Além disso, o estilo de competição de Sam Altman também é mais lupino e direto, como emGPT-4oAntes de ficar online, foi revelado que ele não havia passado por testes de segurança suficientes. Rumores dizem que o momento foi escolhido para fornecer uma barreira mais eficaz ao concorrente Google.

OpenAI é o impulsionador desta onda de IA generativa e sempre foi considerada a líder. No entanto, a situação actual está a tornar-se cada vez mais desafiante: o mundo inteiro está ansioso por saber quantas inovações a OpenAI tem nas suas mãos, mas, ao mesmo tempo, também está ansioso por saber se essas inovações podem ser transformadas num produto real. isso pode gerar lucros suficientes - afinal, OpenAI A força de seu produto sempre foi criticada pela indústria.

Além disso, de acordo com as previsões das instituições de investimento, espera-se que a OpenAI continue a perder dinheiro este ano e continue a treinar modelos mais poderosos. Como continuar a financiar é também uma questão que a OpenAI tem de considerar quando a sua capacidade hematopoiética não é suficiente.

O ambiente competitivo está a tornar-se cada vez mais acirrado. Não só os gigantes o rodeiam, mas a Microsoft, o maior acionista, listou a OpenAI como concorrente no seu último relatório financeiro.

Após o retorno de Sam Altman, ele pode se tornar "solitário", e o mundo exterior também ficará preocupado se este conselho de administração, que parece ter se tornado uma "concha vazia", ​​poderá continuar a manter a liderança da OpenAI.

No entanto, um consultor na área de capital de risco expressou-nos hoje as seguintes opiniões: "A gestão original da OpenAI era um grupo de estudiosos com experiências, integridade e ideais maravilhosos; no entanto, talvez as empresas de tecnologia possam realmente crescer, mas precisam de um 'Tirano '. Sem um 'tirano' arbitrário, pode levar muito tempo para tomar uma decisão."

OpenAI sob a liderança do "tirano" Altman, eu me pergunto para onde isso irá eventualmente?

O segredo da ascensão do OpenAI: Ultraman anseia por poder desde criança e depende de suas conexões para acumular enorme influência