notícias

ilya avisa novamente: o paradigma da ia ​​mudará e a segurança superinteligente se tornará a mais crítica

2024-09-07

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

peixes e ovelhas são originários do templo aofei

qubits | conta pública qbitai

a empresa tem apenas 10 pessoas e levantou financiamento inicial.us$ 1 bilhão

esse tipo de coisa de cair o queixo só pode acontecerilya sutskeverno corpo parece um pouco “normal”.

ilya, numa época em que grandes modelos estão varrendo o mundo, sua contribuição é reconhecida como alcançandomudar o mundonível:

ele é um dos três autores do alexnet. depois de ser contratado pelo google com seu mentor hinton, ele se envolveu profundamente no projeto alphago que chocou o mundo.

em 2015, participou da fundação da openai e atuou como cientista-chefe. chatgpt muda o mundo novamente e é considerado uma das figuras mais importantes por trás disso.

desde novembro do ano passado, cada movimento de ilya foi levado ao primeiro plano e atraiu a atenção do círculo tecnológico global:

as brigas internas no conselho de administração da openai iniciadas por ele revelaram uma disputa sobre a rota de desenvolvimento de grandes modelos. depois que ele se separou completamente da openai em maio deste ano, todos aguardam seu próximo movimento empreendedor.

agora, a poeira está baixando. o próprio ilya, que sempre foi discreto, também compartilhou mais informações sobre sua empresa ssi e seu próprio pensamento sobre agi neste momento.

em conversa com a reuters, ilya respondeu a seis perguntas-chave. abaixo está o texto original:

por que o ssi foi criado?

descobrimos uma "grande montanha" um pouco diferente do meu trabalho anterior...ao chegar ao topo desta montanha, o paradigma muda…tudo o que sabemos sobre inteligência artificial está prestes a mudar novamente.

nesse ponto, os esforços de segurança superinteligentes tornar-se-ão críticos.

nosso primeiro produto será uma superinteligência segura.

antes da superinteligência, será lançada uma ia tão inteligente quanto os humanos?

acho que a chave é: é seguro? é uma força para o bem no mundo? acho que quando fizermos isso, o mundo mudará muito. portanto, é muito difícil dar um plano claro sobre “o que vamos fazer” neste momento.

o que posso dizer é que o mundo será um lugar muito diferente. a percepção do mundo exterior sobre o que está acontecendo na ia mudará drasticamente e será difícil de compreender. esta será uma conversa mais intensa. pode não depender apenas da nossa decisão.

como a ssi determina o que é inteligência artificial segura?

para responder a essa pergunta, precisamos realizar algumas pesquisas importantes. principalmente se você é como nós e acha que as coisas vão mudar muito... muitas ótimas ideias estão sendo descobertas.

muitas pessoas estão pensando sobre quais testes precisam ser feitos para a ia à medida que ela se torna mais poderosa? é um pouco complicado e há muita pesquisa a ser feita.

não quero dizer que agora haja uma resposta clara. mas essa é uma das coisas que temos que descobrir.

sobre suposições de escala e segurança de ia

todo mundo está falando sobre a “hipótese de escala”, mas todos ignoram uma questão: o que estamos escalando?

o grande avanço na aprendizagem profunda na última década foi uma formulação específica da suposição de escala. mas isso irá mudar... e à medida que muda, as capacidades do sistema aumentarão e as questões de segurança tornar-se-ão mais prementes, e é isso que precisamos de resolver.

o ssi será de código aberto?

atualmente, todas as empresas de ia não estão abrindo o código-fonte de seu trabalho principal, e nós também não. mas acho que, dependendo de certos fatores, haverá muitas oportunidades para trabalho de segurança superinteligente de código aberto. talvez não todos, mas certamente alguns.

reflexões sobre os esforços de pesquisa de segurança de outras empresas de ia

na verdade, tenho uma opinião muito elevada sobre a indústria. penso que à medida que as pessoas continuarem a progredir, todas as empresas perceberão - provavelmente em momentos diferentes - a natureza dos desafios que enfrentam. então não é que pensemos que ninguém mais pode fazer isso, é que pensamos que podemos contribuir.

para que é usado um bilhão de dólares?

finalmente, adicione algumas informações básicas fora das palavras de ilya.

as notícias do ssi foram divulgadas pela primeira vez em junho deste ano. o objetivo é muito claro: fazer o que ilya não conseguiu fazer na openai: construir uma superinteligência segura.

atualmente, a ssi tem apenas 10 funcionários. depois de arrecadar fundos, ela planeja usar os fundos para comprar capacidade de computação e contratar os melhores talentos.

aqueles que concordam com suas ideias e estão mentalmente preparados para que um dia a ia supere a inteligência humana.

o cofundador daniel gross também revelou que não prestam muita atenção às qualificações e experiência, mas passarão horas avaliando se os candidatos têm “bom caráter”.

em termos de poder computacional, a ssi planeja cooperar com fabricantes de nuvem e empresas de chips. ainda não está claro com quais empresas cooperar e como cooperar.

além do próprio ilya, os cofundadores da ssi incluem daniel gross e daniel levy.

△esquerda: daniel gross direita: daniel levy;

daniel gross se formou no departamento de ciência da computação da universidade de harvard e foi anteriormente um dos sócios da y combinator. ele também fundou ou participou da fundação de muitas empresas, incluindo citrus lane, writelatex (mais tarde renomeada como overleaf), etc.

ele foi listado como uma das “pessoas mais influentes em inteligência artificial” pela revista time 100.

daniel levy se formou no departamento de ciência da computação de stanford e anteriormente foi chefe da equipe de otimização openai.