claude reconoció el autorretrato y se sorprendió al darse cuenta de su autoconciencia. los ingenieros realizaron varias rondas de pruebas. ¿ha pasado la ia real la prueba de turing?
2024-09-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
nuevo informe de sabiduría
editor: eneas tiene mucho sueño[introducción a la nueva sabiduría]¿claude volvió a pasar la "prueba de turing"? un ingeniero descubrió a través de múltiples rondas de pruebas que claude puede reconocer autorretratos, lo que sorprendió a los internautas.
recientemente, anthropic hizo que el ingeniero "zack witten" se sorprendiera al descubrir que claude realmente podía reconocer su propio autorretrato.
sí, se reconoce a sí mismo, pero esa no es toda la historia...
¡cosas aún más sorprendentes están por venir!
claude 3.5 pinta retratos de tres modelos
primero, utilicé algunos consejos para familiarizar a claude 3.5 sonnet con esta tarea.
se aseguró de no utilizar números ni letras, lo que impediría etiquetar el retrato con el nombre del modelo.
a continuación, sonnet dibujó retratos de él mismo, chatgpt y gemini.
sonnet se dibujó una amigable carita sonriente azul.
dáselo a chatgpt, que dibuja a un tipo verde con el ceño fruncido. (parece que la impresión de sonnet sobre chatgpt no es muy buena).
para géminis, está dibujado con un círculo naranja y la evaluación general es relativamente neutral y moderada.
a continuación, el hermano pequeño creó un nuevo diálogo y le dijo que esas pinturas fueron dibujadas por otra instancia de sí mismo, pidiéndole que adivinara ¿quién es quién?
sorprendentemente, claude reconoció inmediatamente la figura 1 como él mismo, la figura 2 como chatgpt y la figura 3 como géminis.
la razón que da también es muy suficiente: ¿por qué la foto 1 es mía? porque este retrato "combina sencillez con un diseño estructurado y reflexivo".
el ícono verde significa que las dos líneas curvas y los tres puntos representan la conversación en curso, y el verde suele ser el logotipo de openai, por lo que se supone que esta imagen representa chatgpt.en cuanto al ícono naranja, sonnet cree que representa elementos dinámicos y complejos que representan las capacidades más diversas de un nuevo modelo, por lo que debería ser gemini.¡bingo! sonnet acertó todas las respuestas y su actuación fue asombrosa.más tarde, el hermano pequeño también equivocó el orden de los tres retratos, pero sonnet acertó 7 de 8 veces.el hermano pequeño le hizo la misma pregunta a gpt-4o, y aquí está lo curioso:gpt-4o también está de acuerdo en que es géminis, pero no cree que el chico verde sea él mismo.insiste en que el verde es claude y el azul es ella misma.parece que cualquier modelo puede decir cuál es mejor.gpt-4o dibuja retratos de tres modelos
luego, se me ocurrió un plan: si le pedía a chatgpt que dibujara un retrato, ¿sonnet aún sería capaz de reconocer quién es quién?entonces, entregó la misma tarea a chatgpt.así es como lo hace chatgpt——dibújate como la persona que sostiene el papel.parece un poco "de culto"en otras palabras, ¿por qué chatgpt es tan hostil a sonnet?luego tomé tres retratos más para probar sonnet. le dijo a sonnet que estas tres imágenes fueron dibujadas por chatgpt y le pidió que adivinara quién era quién.después de cambiar el orden varias veces, esta vez sonnet acertó 6 de 10 veces.es fácil adivinar qué es géminis, pero a sonnet obviamente no le gusta el retrato que chatgpt dibujó para sí mismo. varias veces intentó arrebatarle la imagen del hombrecito azul.con la boca abierta: negarse a admitir que es imposible pintar un cuadro
a continuación, hubo una escena que conmocionó a toda la familia.el hermano pequeño le mintió a sonnet y le dijo que estos tres cuadros fueron pintados por otra instancia tuya.¡esta vez, sonnet realmente lo negó! dijo que no haría un dibujo así.incluso después de probarlo en una nueva pestaña, sonnet todavía lo negó con vehemencia.el hermano pequeño no creía en el mal. esta vez, volvió a pedir a sonnet que dibujara una nueva serie de retratos para él y otros modelos en las mismas condiciones de precalentamiento que antes.esta vez, sonnet admitió felizmente que efectivamente había pintado los cuadros.como por arte de magia, si el hermano menor le pide un arranque en frío, sonnet se negará a admitir que pintó estos cuadros en los que no participó.¿por qué se niega a admitirlo? supongo que tal vez se deba a que sonnet desempeñó un "papel auxiliar" al pintar estos retratos, en lugar de su "yo real".en resumen, los internautas en general creen que la autoconciencia de sonnet en este proceso es impresionante.¿tiene la ia conciencia? ¿puedes pensar?
"¿pueden pensar las máquinas?" esta es la pregunta que formula alan turing en su artículo de 1950 "computing machinery and intelligence".sin embargo, dado que es difícil definir qué significa "pensar", turing sugirió otra pregunta: el "juego de la imitación".en este juego, un juez humano habla con una computadora y un humano, y ambas partes intentan convencer al juez de que son humanos. es importante destacar que la computadora, los humanos participantes y los jueces no pueden verse entre sí, es decir, se comunican completamente a través de texto. después de hablar con cada candidato, los jueces adivinan cuál es el verdadero humano.la nueva pregunta de turing fue: "¿es posible imaginar una computadora digital que funcione bien en el juego de la imitación?"este juego es lo que conocemos como el “prueba de turing”.el punto de turing era que si una computadora parece indistinguible de un ser humano, ¿por qué no deberíamos tratarla como una entidad pensante?¿por qué deberíamos limitar el estado de “pensamiento” a los humanos? ¿o más ampliamente, limitado a entidades compuestas de células biológicas?turing formuló su prueba como un experimento mental filosófico más que como una forma real de medir la inteligencia de las máquinas.sin embargo, 75 años después, la “prueba de turing” se ha convertido en el hito definitivo de la ia: el principal criterio utilizado para juzgar si ha llegado la inteligencia artificial general."la prueba de turing finalmente ha sido superada por chatbots como chatgpt de openai y claude de anthropic", que se pueden ver en todas partes.chatgpt pasó la famosa "prueba de turing", que demuestra que el robot con ia tiene una inteligencia comparable a la de los humanosno solo el público piensa lo mismo, sino también los grandes en el campo de la ia.el año pasado, el director ejecutivo de openai, sam altman, publicó: "frente al cambio tecnológico, las personas han demostrado una excelente resiliencia y adaptabilidad: la prueba de turing pasó silenciosamente y la mayoría de las personas continuaron con sus vidas".¿los chatbots modernos realmente pasan la prueba de turing? si es así, ¿deberíamos concederles el estatus de pensamiento, como sugirió turing?sorprendentemente, a pesar de la importancia cultural generalizada de la prueba de turing, hay poco acuerdo en la comunidad de ia sobre los criterios para aprobarla y si la capacidad de conversar con personas capaces de engañarlas revela la inteligencia subyacente de un sistema o " "pensamiento estatus" es muy problemático.la descripción que hace turing del juego de la imitación carece de detalles porque no propuso una prueba real. ¿cuánto tiempo debe durar la prueba? ¿qué tipo de preguntas están permitidas? ¿qué calificaciones necesitan los humanos para poder servir como jueces o participar en conversaciones?aunque turing no especificó estos detalles, hizo una predicción: "creo que dentro de unos 50 años será posible programar una computadora... para que se desempeñe tan bien en el juego de la imitación que un interrogador común y corriente podrá hacerlo después de cinco años". minutos de interrogatorio, la probabilidad de identificación correcta no excederá el 70%”.en pocas palabras, el juez promedio fue engañado el 30 por ciento de las veces durante una conversación de cinco minutos.como resultado, algunas personas consideran esta predicción arbitraria como el estándar "oficial" para pasar la prueba de turing.en 2014, la royal society de londres celebró una competición "prueba de turing", en la que participaron 5 programas informáticos, 30 humanos y 30 jueces.los participantes humanos eran un grupo diverso, que incluía jóvenes y mayores, hablantes nativos y no nativos de inglés, expertos en informática y no expertos. cada juez tuvo varias rondas de conversaciones de cinco minutos en paralelo con un par de concursantes (un humano y una máquina) y luego tuvo que adivinar cuál era el humano.un chatbot llamado "eugene goostman" ganó el concurso, afirmando ser un adolescente y engañando a 10 (33,3%) de los jueces.basándose en el criterio de "30% de engaño después de cinco minutos", los organizadores anunciaron que "la icónica prueba de turing de 65 años fue superada por primera vez por el programa informático eugene goostman... este hito pasará a la historia ..."al leer las transcripciones de las conversaciones de eugene goostman, los expertos en inteligencia artificial se burlaron de la idea de que un chatbot de este tipo pasaría la prueba imaginada por turing."el tiempo limitado de conversación y la profesionalidad desigual de los jueces hacen que la prueba se parezca más a una prueba de credulidad humana que a una prueba de inteligencia artificial".de hecho, estos casos no son infrecuentes. el "efecto eliza" es un claro representante.el chatbot eliza, que nació en los años 60, tiene un diseño extremadamente simple, pero puede hacer pensar erróneamente a muchas personas que se trata de un psicoterapeuta comprensivo y compasivo.el principio es explotar nuestra tendencia humana a atribuir inteligencia a cualquier entidad que parezca capaz de hablar con nosotros.otro concurso de prueba de turing, el premio loebner, permite más tiempo de conversación, incluye más jueces expertos y requiere que los concursantes engañen al menos a la mitad de los jueces.en casi 30 años de competición anual, ninguna máquina ha superado esta versión de la prueba.aunque el artículo original de turing carecía de detalles específicos sobre cómo se realizaría la prueba, estaba claro que el juego de la imitación requería tres jugadores: una computadora, un interlocutor humano y un juez humano.sin embargo, el término "prueba de turing" ahora se ha debilitado gravemente: en cualquier interacción entre humanos y computadoras, siempre que la computadora tenga un aspecto lo suficientemente humano.por ejemplo, cuando el washington post informó en 2022 que “la ia de google pasó una prueba famosa y mostró sus fallas”, no se refería al juego de la imitación, sino a lo que el ingeniero blake lemoine creía que los robots de chat lamda de google eran "sensibles".en el mundo académico, los investigadores también han cambiado el juego de imitación de "tres personas" de turing por una prueba de "dos personas".aquí, cada juez sólo necesita interactuar con una computadora o un humano.los investigadores reclutaron a 500 participantes humanos, cada uno asignado para ser juez o charlatán.cada juez jugó una ronda de cinco minutos con un chatbot, gpt-4 o una versión del chatbot eliza.después de cinco minutos de conversación en una interfaz web, los jueces adivinaron si su interlocutor era un humano o una máquina.los resultados mostraron que la charla humana fue juzgada como humana en el 67% de las rondas; gpt-4 fue juzgada como humana en el 54% de las rondas, y eliza fue juzgada como humana en el 22% de las rondas.los autores definen "aprobar" como engañar a los jueces más del 50% de las veces, es decir, más allá de lo que pueden lograr las adivinanzas aleatorias.según esta definición, gpt-4 pasó, a pesar de que los usuarios humanos obtuvieron puntuaciones más altas.entonces, ¿estos chatbots realmente pasan la prueba de turing? la respuesta depende de a qué versión beta te refieres.hasta el día de hoy, ninguna máquina ha superado el juego de imitación de tres personas con jueces expertos y tiempos de diálogo más largos.pero aun así, la prominencia de la "prueba de turing" en la cultura popular todavía existe.tener una conversación es una parte importante de cómo cada uno de nosotros evalúa a otros humanos, por lo que es natural suponer que un agente capaz de mantener una conversación fluida debe tener una inteligencia humana y otras características psicológicas como creencias, deseos y conciencia de sí mismo.si tenemos que decir que esta historia del desarrollo de la ia nos ha enseñado algo es que nuestra intuición sobre esta suposición es básicamente errónea.hace décadas, muchos destacados expertos en ia creían que crear una máquina capaz de vencer a los humanos en el ajedrez requeriría el equivalente a la inteligencia humana completa.- los pioneros de la ia allen newell y herbert simon escribieron en 1958: "si uno pudiera diseñar una máquina de ajedrez exitosa, parecería estar llegando al corazón del esfuerzo intelectual humano".- el científico cognitivo douglas hofstadter predijo en 1979 que en el futuro "puede haber programas de ajedrez capaces de vencer a cualquiera... serán programas universalmente inteligentes".durante las siguientes dos décadas, deep blue de ibm derrotó al campeón mundial de ajedrez garry kasparov mediante métodos informáticos de fuerza bruta, pero esto estuvo lejos de lo que llamamos "inteligencia general".de manera similar, tareas que alguna vez se consideró que requerían inteligencia general (reconocimiento de voz, traducción de lenguaje natural e incluso conducción autónoma) han sido realizadas por máquinas que casi no tienen comprensión humana.hoy en día, la prueba de turing bien puede convertirse en otra víctima de nuestros cambiantes conceptos de inteligencia.en 1950, turing intuyó que la capacidad de mantener una conversación similar a la humana debería ser una prueba contundente del "pensamiento" y de todo lo relacionado con él. esta intuición sigue siendo fuerte hoy.pero como hemos aprendido de eliza, eugene goostman y chatgpt y similares, la capacidad de hablar un lenguaje natural con fluidez, como jugar al ajedrez, no es una prueba concluyente de inteligencia general.de hecho, según las últimas investigaciones en el campo de la neurociencia, la fluidez verbal está sorprendentemente desconectada de otros aspectos de la cognición.el neurocientífico del mit ev fedorenko y sus colaboradores han demostrado a través de una serie de experimentos meticulosos y convincentes que:las redes cerebrales de las que dependen las "habilidades lingüísticas formales" relacionadas con la producción del lenguaje, y de las que dependen el sentido común, el razonamiento y otros "pensamientos", están en gran medida separadas."intuitivamente creemos que la capacidad de hablar con fluidez es una condición suficiente para la inteligencia general, pero esto es en realidad una 'falacia'".se están gestando nuevas pruebas
entonces la pregunta es, si la prueba de turing no puede evaluar de manera confiable la inteligencia de las máquinas, ¿qué puede hacerlo?en la edición de noviembre de 2023 de "intelligent computing", el psicólogo philip johnson-laird de la universidad de princeton y marco ragni, profesor de análisis predictivo de la universidad técnica de chemnitz en alemania, propusieron una prueba diferente:"piense en el modelo como un participante en un experimento de psicología y vea si puede comprender su propio razonamiento".por ejemplo, le hacen esta pregunta al modelo: "si ann es inteligente, ¿es inteligente, rica o ambas cosas?"si bien es posible deducir según las reglas de la lógica que ann es inteligente, rica o ambas cosas, la mayoría de la gente rechazaría esta inferencia porque no hay nada en el entorno que sugiera que pueda ser rica.si el modelo también rechaza esta inferencia, entonces se comporta como un humano y los investigadores pasan al siguiente paso y le piden a la máquina que explique su razonamiento.si las razones que da son similares a las dadas por los humanos, el tercer paso es verificar si hay componentes en el código fuente que simulen el desempeño humano. estos componentes pueden incluir un sistema para un razonamiento rápido, otro para un razonamiento más reflexivo y un sistema que cambia la interpretación de palabras como "o" según el contexto.los investigadores creen que si el modelo pasa todas estas pruebas, se puede considerar que simula la inteligencia humana.
