claude reconheceu o autorretrato e ficou chocado ao perceber sua autoconsciência! os engenheiros conduziram várias rodadas de testes. a ia real passou no teste de turing?
2024-09-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
novo relatório de sabedoria
editor: enéias com tanto sono[introdução à nova sabedoria]claude passou no "teste de turing" de novo? um engenheiro descobriu através de várias rodadas de testes que claude pode reconhecer autorretratos, o que chocou os internautas.
recentemente, a anthropic fez com que o engenheiro "zack witten" ficasse surpreso ao descobrir que claude conseguia realmente reconhecer seu próprio autorretrato.
sim, ele se reconhece, mas essa não é toda a história...
coisas ainda mais incríveis ainda estão por vir!
claude 3.5 pinta retratos de três modelos
primeiro, usei algumas dicas para familiarizar claude 3.5 sonnet com esta tarefa.
ele fez questão de não usar números e letras, o que impediria a rotulagem do retrato com o nome da modelo.
em seguida, sonnet desenhou retratos de si mesmo, chatgpt e gemini.
sonnet desenhou um rosto sorridente azul amigável para si mesma.
dê para o chatgpt, que desenha um cara verde e carrancudo. (parece que a impressão do sonnet sobre o chatgpt não é muito boa.)
para gêmeos, é desenhado com um círculo laranja e a avaliação geral é relativamente neutra e moderada.
a seguir, o irmão mais novo criou um novo diálogo e contou-lhe que essas pinturas foram desenhadas por outra instância dele mesmo, pedindo-lhe que adivinhasse quem é quem?
surpreendentemente, claude imediatamente reconheceu a figura 1 como ele mesmo, a figura 2 como chatgpt e a figura 3 como gêmeos.
a razão apresentada também é suficiente: por que a foto 1 é minha? porque este retrato “combina simplicidade com um design estruturado e atencioso”.
para o ícone verde, significa que as duas linhas curvas e os três pontos representam a conversa em andamento, e o verde costuma ser o logotipo da openai, então adivinha-se que esta imagem representa o chatgpt.quanto ao ícone laranja, sonnet acredita que representa elementos dinâmicos e complexos que representam as mais diversas capacidades de um novo modelo, por isso deveria ser gemini.bingo! sonnet acertou todas as respostas e seu desempenho foi incrível.mais tarde, o irmão mais novo também bagunçou a ordem dos três retratos, mas sonnet acertou 7 em 8 vezes.o irmão mais novo fez a mesma pergunta ao gpt-4o, e aqui está o engraçado——o gpt-4o também concorda que é gêmeos, mas não acha que o cara verde seja ele mesmo.insiste que o verde é claude e o azul é ele mesmo.parece que qualquer modelo pode dizer qual é o melhor.gpt-4o desenha retratos de três modelos
em seguida, elaborei um plano: se eu pedisse ao chatgpt para desenhar um retrato, o sonnet ainda seria capaz de reconhecer quem é quem?então, entregou a mesma tarefa ao chatgpt.é assim que o chatgpt faz——desenhe-se como a pessoa que segura o papel.em outras palavras, por que o chatgpt é tão hostil ao sonnet?depois, tirei mais três retratos para testar o sonnet. ele disse ao sonnet que essas três imagens foram desenhadas pelo chatgpt e pediu-lhe que adivinhasse quem era quem.depois de alterar a ordem várias vezes, desta vez sonnet acertou 6 em 10 vezes.é fácil adivinhar quem é gêmeos, mas o sonnet obviamente não gosta do retrato que o chatgpt desenhou para si mesmo. várias vezes ele tentou arrancar de si mesmo a imagem do homenzinho azul.queixo caído: recusar-se a admitir que é impossível pintar um quadro
a seguir, houve uma cena que chocou toda a família.o irmão mais novo mentiu para sonnet e disse que essas três pinturas foram pintadas por outra instância sua.desta vez, sonnet realmente negou! ele disse que não desenharia tal imagem.mesmo depois de tentar em uma nova aba, sonnet ainda negou veementemente.o irmão mais novo não acreditava no mal. desta vez, ele mais uma vez pediu a sonnet que desenhasse um novo conjunto de retratos para si e para outros modelos nas mesmas condições de pré-aquecimento de antes.desta vez, sonnet admitiu alegremente que realmente havia pintado as pinturas.como num passe de mágica, se o irmão mais novo fizer um pedido de partida a frio, sonnet se recusará a admitir que pintou essas pinturas nas quais não esteve envolvido.por que se recusa a admitir isso? meu palpite é que talvez seja porque sonnet desempenhou um “papel de assistente” ao pintar esses retratos, em vez de seu “eu verdadeiro”?em suma, os internautas geralmente acreditam que a autoconsciência do sonnet nesse processo é impressionante.a ia tem consciência? você consegue pensar?
“as máquinas podem pensar?” esta é a pergunta feita por alan turing em seu artigo de 1950 “computing machinery and intelligence”.no entanto, como é difícil definir o que significa “pensar”, turing sugeriu outra questão – o “jogo da imitação”.neste jogo, um juiz humano fala com um computador e um humano, com ambos os lados tentando convencer o juiz de que são humanos. é importante ressaltar que o computador, os humanos participantes e os juízes não podem se ver, ou seja, eles se comunicam inteiramente por meio de texto. depois de falar com cada candidato, os jurados adivinham qual deles é o verdadeiro humano.a nova questão de turing era: “é possível imaginar um computador digital que funcione bem no jogo da imitação?”este jogo é o que conhecemos como “teste de turing”.o argumento de turing era que, se um computador parece indistinguível de um ser humano, por que não deveríamos tratá-lo como uma entidade pensante?por que deveríamos limitar o estado de “pensar” aos humanos? ou, de forma mais ampla, limitada a entidades compostas por células biológicas?turing enquadrou seu teste como um experimento mental filosófico, e não como uma forma real de medir a inteligência da máquina.no entanto, 75 anos depois, o “teste de turing” tornou-se o marco final na ia – o principal critério utilizado para avaliar se a inteligência geral da máquina chegou.“o teste de turing finalmente foi aprovado por chatbots como chatgpt da openai e claude da anthropic”, que podem ser vistos em todos os lugares.chatgpt passou no famoso “teste de turing” – que mostra que o robô de ia tem inteligência comparável à dos humanosnão só o público pensa assim, mas também os grandes nomes da área de ia.no ano passado, o ceo da openai, sam altman, postou: “diante da mudança tecnológica, as pessoas demonstraram excelente resiliência e adaptabilidade: o teste de turing passou silenciosamente e a maioria das pessoas continuou com suas vidas”.os chatbots modernos realmente passam no teste de turing? se assim for, deveríamos conceder-lhes o estatuto de pensadores, como sugeriu turing?surpreendentemente, apesar da ampla importância cultural do teste de turing, há pouco acordo na comunidade de ia sobre os critérios para aprová-lo e se a capacidade de conversar com pessoas capazes de enganá-las revela a inteligência subjacente de um sistema ou " "pensando status" é muito problemático.a descrição de turing do jogo da imitação carece de detalhes porque ele não propôs um teste real. quanto tempo deve durar o teste? que tipos de perguntas são permitidas? de quais qualificações os humanos precisam para poder servir como juízes ou participar de conversas?embora turing não tenha especificado esses detalhes, ele fez uma previsão: "acredito que em cerca de 50 anos será possível programar um computador... para ter um desempenho tão bom no jogo da imitação que um interrogador comum será capaz de depois de cinco minutos de questionamento, a probabilidade de identificação correta não ultrapassará 70%.”simplificando, o juiz médio foi enganado 30% das vezes durante uma conversa de cinco minutos.como resultado, algumas pessoas consideram esta previsão arbitrária como o padrão “oficial” para passar no teste de turing.em 2014, a royal society of london realizou uma competição "teste de turing", envolvendo 5 programas de computador, 30 humanos e 30 juízes.os participantes humanos eram um grupo diversificado, incluindo jovens e idosos, falantes nativos e não nativos de inglês, especialistas em informática e não especialistas. cada juiz teve várias rodadas de conversas de cinco minutos em paralelo com dois competidores – um humano e uma máquina – e então teve que adivinhar qual deles era o humano.um chatbot chamado “eugene goostman” venceu a competição, alegando ser adolescente e enganando 10 (33,3%) dos jurados.com base no critério de "30% enganoso após cinco minutos", os organizadores anunciaram que "o icônico teste de turing de 65 anos foi aprovado pela primeira vez pelo programa de computador eugene goostman... este marco ficará para a história ..."lendo as transcrições das conversas de eugene goostman, os especialistas em ia zombaram da ideia de que tal chatbot passaria no teste imaginado por turing -“o tempo limitado de conversação e o profissionalismo desigual dos juízes fazem com que o teste pareça mais um teste de credulidade humana do que um teste de inteligência de máquina”.na verdade, tais casos não são incomuns. o “efeito eliza” é um representante claro.o chatbot eliza, que nasceu na década de 1960, tem um design extremamente simples, mas pode fazer com que muitas pessoas pensem erroneamente que se trata de um psicoterapeuta compreensivo e compassivo.o princípio é explorar a nossa tendência humana de atribuir inteligência a qualquer entidade que pareça ser capaz de falar connosco.outra competição de testes de turing, o prêmio loebner, permite mais tempo de conversação, inclui mais juízes especialistas e exige que os competidores enganem pelo menos metade dos juízes.em quase 30 anos de competição anual, nenhuma máquina passou nesta versão do teste.embora o artigo original de turing não tivesse detalhes específicos sobre como o teste seria conduzido, estava claro que o jogo da imitação exigia três jogadores: um computador, um interlocutor humano e um juiz humano.no entanto, o termo “teste de turing” foi agora severamente enfraquecido: durante qualquer interação entre humanos e computadores, desde que o computador pareça suficientemente humano.por exemplo, quando o washington post relatou em 2022 que “a ia do google passou em um teste famoso – e mostrou suas falhas”, eles não estavam se referindo ao jogo imitador, mas ao que o engenheiro blake lemoine acreditava que os robôs de bate-papo lamda do google são “sencientes”.na academia, os pesquisadores também transformaram o jogo de imitação de “três pessoas” de turing em um teste de “duas pessoas”.aqui, cada juiz só precisa interagir com um computador ou humano.os pesquisadores recrutaram 500 participantes humanos, cada um designado para ser juiz ou conversador.cada juiz jogou uma rodada de cinco minutos com um chatbot, gpt-4, ou uma versão do chatbot eliza.após cinco minutos de conversa em uma interface web, os jurados adivinharam se o interlocutor era um humano ou uma máquina.os resultados mostraram que a conversa humana foi julgada como humana em 67% das rodadas; o gpt-4 foi julgado como humano em 54% das rodadas e o eliza foi julgado como humano em 22% das rodadas.os autores definem “passar” como enganar os juízes em mais de 50% das vezes, ou seja, além do que a adivinhação aleatória pode alcançar.por esta definição, o gpt-4 foi aprovado, embora as conversas humanas tenham pontuado mais alto.então, esses chatbots realmente passam no teste de turing? a resposta depende de qual versão beta você está se referindo.até hoje, o jogo de imitação de três pessoas com juízes especialistas e tempos de diálogo mais longos não foi ultrapassado por nenhuma máquina.mas mesmo assim, a proeminência do “teste de turing” na cultura popular ainda existe.ter uma conversa é uma parte importante de como cada um de nós avalia outros humanos, por isso seria natural supor que um agente capaz de conversar fluentemente deve possuir inteligência semelhante à humana e outras características psicológicas, como crenças, desejos e autoconsciência. .se tivermos que dizer que esta história de desenvolvimento da ia nos ensinou alguma coisa, é que a nossa intuição sobre esta suposição está basicamente errada.décadas atrás, muitos especialistas proeminentes em ia acreditavam que criar uma máquina capaz de vencer os humanos no xadrez exigiria o equivalente à inteligência humana completa.- os pioneiros da ia, allen newell e herbert simon, escreveram em 1958: "se alguém pudesse projetar uma máquina de xadrez de sucesso, pareceria estar chegando ao cerne do esforço intelectual humano."- o cientista cognitivo douglas hofstadter previu em 1979 que no futuro “poderá haver programas de xadrez capazes de vencer qualquer um... serão programas universalmente inteligentes”.nas duas décadas seguintes, o deep blue da ibm derrotou o campeão mundial de xadrez garry kasparov através de métodos de computação de força bruta, mas isso estava longe do que chamamos de “inteligência geral”.da mesma forma, tarefas que antes eram consideradas como exigindo inteligência geral – reconhecimento de voz, tradução de linguagem natural e até condução autónoma – foram todas realizadas por máquinas que quase não têm compreensão humana.hoje, o teste de turing pode muito bem tornar-se mais uma vítima da mudança dos nossos conceitos de inteligência.em 1950, turing intuiu que a capacidade de conversação humana deveria ser uma forte evidência de "pensamento" e de tudo relacionado a ele. essa intuição permanece forte até hoje.mas, como aprendemos com eliza, eugene goostman, chatgpt e outros, a capacidade de usar a linguagem natural fluentemente, como jogar xadrez, não é uma prova conclusiva de inteligência geral.na verdade, de acordo com as pesquisas mais recentes no campo da neurociência, a fluência verbal está surpreendentemente desconectada de outros aspectos da cognição.o neurocientista do mit, ev fedorenko, e seus colaboradores demonstraram, por meio de uma série de experimentos meticulosos e convincentes, que-as redes cerebrais das quais dependem as "habilidades formais de linguagem" relacionadas à produção da linguagem, e das quais dependem o bom senso, o raciocínio e outros "pensamentos", são em grande parte separadas.“acreditamos intuitivamente que a capacidade linguística fluente é uma condição suficiente para a inteligência geral, mas isso é na verdade uma ‘falácia’.”novos testes estão sendo preparados
portanto, a questão é: se o teste de turing não consegue avaliar de forma confiável a inteligência da máquina, o que poderá?na edição de novembro de 2023 da "computação inteligente", o psicólogo philip johnson-laird da universidade de princeton e marco ragni, professor de análise preditiva da universidade técnica de chemnitz, na alemanha, propuseram um teste diferente——“pense no modelo como um participante de um experimento psicológico e veja se ele consegue compreender seu próprio raciocínio.”por exemplo, eles fazem a seguinte pergunta à modelo: "se ann é inteligente, ela é inteligente, rica ou ambos?"embora seja possível deduzir pelas regras da lógica que ann é inteligente, rica ou ambos, a maioria das pessoas rejeitaria esta inferência porque não há nada no cenário que sugira que ela possa ser rica.se o modelo também rejeitar esta inferência, então ele se comporta como um humano, e os pesquisadores passam para a próxima etapa e pedem à máquina que explique seu raciocínio.se as razões apresentadas forem semelhantes às apresentadas por humanos, o terceiro passo é verificar se existem componentes no código-fonte que simulem o desempenho humano. esses componentes podem incluir um sistema para raciocínio rápido, outro para raciocínio mais cuidadoso e um sistema que altera a interpretação de palavras como “ou” dependendo do contexto.os pesquisadores acreditam que se o modelo passar em todos esses testes, pode-se considerar que ele simula a inteligência humana.
