a nova pesquisa do acadêmico yao qizhi sobre modelos grandes resolveu o problema de "qual é maior, 9,11 ou 9,8?"
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
o artigo foi reimpresso em qubit (qbitai)
autor: vento oesteo acadêmico yao qizhi assume a liderança e lança uma nova estrutura de raciocínio para grandes modelos. a "coroa" do cot não aguenta mais.propor um diagrama de pensamento para tornar o pensamento de grandes modelos mais parecido com o dos humanos.a equipe fornece uma base matemática para esse processo de raciocínio e formaliza o dot por meio da teoria de topos para garantir sua consistência lógica e racionalidade.comparado com o cot, que expressa o processo de raciocínio como uma sequência linear, o dot pode capturar melhor a complexidade do raciocínio humano.comparado com a introdução de estruturas ramificadas tot e got, o dot não precisa depender de mecanismos de controle externo ou da cooperação de vários modelos, e o treinamento e a implantação são mais simples.o segredo é que o dot modela a inferência iterativa no llm como a construção de um gráfico acíclico direcionado (dag) dentro de um único modelo.o dag consiste em nós que representam proposições, críticas, refinamentos e verificações. as arestas representam as relações lógicas ou dependências entre elas.esta característica acíclica garante que o processo de raciocínio não seja afetado por dependências circulares e possa refletir mais verdadeiramente uma derivação lógica razoável.questões como qual é maior, 9,11 ou 9,8, e quantos "r" existem no morango, são todas resolvidas com a ajuda do dot.este estudo recebeu muita atenção após ser proposto.os internautas expressaram que este é o caminho certo.pare com isso, pare com isso, pare com isso
vamos ver especificamente como é o dot.uma nova estrutura para raciocínio complexo em grandes modelos
conforme mencionado anteriormente, o dot modela o processo de raciocínio lógico como a construção de um gráfico acíclico direcionado (dag) dentro de um único llm.três funções principais são gerenciadas dentro de sua estrutura:proponente: gere proposições ou etapas de raciocínio, adicione novos nós.
críticos: avalie proposições, identifique erros, inconsistências ou falácias lógicas e adicione nós de crítica.
resumidor: sintetize as proposições verificadas em uma cadeia coerente de pensamento e execute efetivamente o tipo topológico de dag para produzir o resultado final do raciocínio.
essas três funções usam tokens especiaiso processo de raciocínio começa com o proponente introduzindo uma proposição e adicionando um nó ao dag.cabe então aos revisores avaliar, validar ou fazer críticas. se a crítica for fornecida, um novo nó é adicionado e uma borda é estabelecida entre a proposição e a crítica.a partir das críticas, o proponente gera uma proposta refinada e aprimorada, representada como um novo nó no dag.uma vez estabelecidas proposições suficientemente válidas, o resumidor sintetiza esses raciocínios e classifica topologicamente o dag para produzir uma cadeia coerente de pensamentos.ao expor o modelo ao raciocínio correto e incorreto, o dot permite que o llm aprenda com seus erros e refine seu raciocínio ao longo do tempo, mais parecido com a forma como os humanos resolvem problemas.esta abordagem não só capta a natureza não linear e iterativa do raciocínio, mas também fornece um feedback mais rico do que os sinais binários através da crítica da linguagem natural.o treinamento do dot envolve o uso de exemplos de treinamento formatados na estrutura do dot, incluindo tokens específicos de função e representações dag. durante o raciocínio, o modelo gera proposições, críticas e resumos baseados em pistas contextuais e tokens específicos de função.essa abordagem simplifica a implantação e elimina a necessidade de colaboração multi-llm ou mecanismos de controle externo, ao mesmo tempo que permanece consistente com os paradigmas de treinamento llm padrão para fácil integração nos fluxos de trabalho existentes.o autor também fornece uma base matemática rigorosa para a estrutura dot, utilizandoo processo de raciocínio é descrito formalmente.nessa estrutura, as proposições são modeladas como subobjetos de objetos terminais na topologia, as relações lógicas e as etapas de raciocínio são representadas como morfismos, e os processos de crítica e melhoria correspondem a morfismos de classificadores de subobjetos e morfismos entre proposições, respectivamente.ao introduzir a categoria prenet, eles também capturaram com sucesso a natureza dinâmica e simultânea do processo de inferência.esta base matemática não só garante a consistência lógica e a integridade do processo de raciocínio, mas também fornece uma estrutura conceptual para projetar a próxima geração de modelos de ia especificamente para o raciocínio.liderado por yao qizhi e yuan yang da universidade tsinghua
este artigo foi liderado por yao qizhi e yuan yang do instituto tsinghua de informação interdisciplinar, e o primeiro autor do artigo é zhang yifan.zhang yifan se formou como bacharel em 2021faculdade yuanpei da universidade de pequim, é atualmente doutorando na escola de informação interdisciplinar da universidade de tsinghua, estudando com o professor assistente yuan yang.suas principais direções de pesquisa são a teoria e algoritmos de modelos básicos (grandes modelos de linguagem), aprendizagem auto-supervisionada e inteligência artificial confiável.yuan yang é professor assistente e supervisor de doutorado na escola de informação interdisciplinar da universidade tsinghua.graduado pelo departamento de ciência da computação da universidade de pequim em 2012; recebeu doutorado em ciência da computação pela universidade cornell nos estados unidos em 2018 a 2019, trabalhou como pós-doutorado na escola de big data science do instituto de massachusetts; de tecnologia.suas principais direções de pesquisa são cuidados médicos inteligentes, interpretabilidade de ia e grandes sistemas de ia. ele obteve muitas realizações de pesquisa nas áreas de teoria de otimização não convexa, teoria de otimização de redes neurais e design de mecanismos.yao qizhi é acadêmico da academia chinesa de ciências e diretor do instituto de informação interdisciplinar da universidade tsinghua.prêmio turing"o primeiro académico asiático a ganhar o prémio desde a sua criação, e o único cientista da computação chinês a ganhar esta honra até agora.o professor yao qizhi renunciou a princeton como professor titular em 2004 e retornou a tsinghua para lecionar; " e o "instituto de pesquisa de informação interdisciplinar"; em 2019 em 2008, ele fundou uma aula de inteligência artificial para alunos de graduação de tsinghua, conhecida como "classe inteligente".hoje, o instituto de informação interdisciplinar da universidade de tsinghua, liderado por ele, é famoso há muito tempo. yao class e zhiban são afiliados ao instituto de informação interdisciplinar.os interesses de pesquisa do professor yao qizhi incluem algoritmos,criptografia、computação quânticaetc., são pioneiros e autoridades internacionais neste campo.mais uma coisa
mais ou menos na mesma época, há um ano, o acadêmico yao qizhi liderou a propostaraciocínio cumulativo(raciocínio cumulativo, cr).dot é um aprofundamento adicional do cr.naquela época, cr coordenou um processo iterativo envolvendo grandes modelos de linguagem de diferentes especializações, com diferentes modelos assumindo os papéis de proponente, verificador e repórter.o dot, por outro lado, constrói diretamente um gráfico acíclico direcionado dentro de um único modelo e não depende de mecanismos de controle externos ou de múltiplos modelos, tornando o treinamento e a implantação mais simples.e no dot, o feedback crítico gerado pelo modelo está na forma de linguagem natural, em vez de apenas fornecer um sinal binário como cr. isso permite que o modelo receba explicações detalhadas dos erros, ajudando a melhorar as proposições de forma mais eficaz.desta vez, o dot também possui uma forte base matemática, que esclarece a relação entre o processo de raciocínio do dot e a lógica categórica, garantindo a consistência e confiabilidade do raciocínio na teoria.
