noticias

texto: web3 sky city · señor de la ciudad

ha pasado un tiempo, pero se ha publicado un vídeo completo de la entrevista cara a cara del director ejecutivo de openai, sam altman, después de regresar a openai. este es el momento en que greg está de vacaciones, se establece la nueva empresa de ilya y salen noticias sobre las continuas pérdidas de openai y la nueva financiación.

esta entrevista fue presentada por el famoso presentador trevor cui wa. lo que es un poco sorprendente es que trevor tiene un conocimiento muy profundo de la tecnología de inteligencia artificial, mejor que el 95% de los anfitriones no técnicos.

en esta entrevista, trevor y sam tuvieron una amplia conversación sobre la inteligencia artificial, openai y la carrera y el viaje personal de sam. a partir de su regreso a openai, sam compartió cómo reflexionó sobre la relación entre las misiones personales y de la empresa en medio de una serie de caos e incertidumbre, y habló sobre la dirección de desarrollo futuro de agi.

sam no solo habló sobre el enorme potencial de la agi en la cognición, la productividad y los efectos sociales, sino que también respondió a los desafíos de la seguridad de la ia, las cuestiones éticas, las compensaciones capitalistas y la revolución tecnológica. al mismo tiempo, habló con franqueza de sus pensamientos sobre la gobernanza corporativa de openai, cómo equilibrar el progreso tecnológico y la responsabilidad social, y enfatizó la importancia de la transparencia y la gobernanza tecnológica democrática.

el viaje para recuperar el timón de openai: sam altman reflexiona sobre su breve partida y comparte cómo redescubrió su amor por openai y su misión durante esta agitación. aunque fue despedido brevemente, enfatizó que aprendió de la experiencia y sintió la importancia de continuar avanzando en el desarrollo de agi.

el futuro de la agi y la revolución tecnológica: sam altman cree firmemente que agi provocará una revolución tecnológica sin precedentes, aunque los cambios sociales y económicos pueden no ser tan rápidos como se esperaba. cree que aunque la tecnología se acercará cada vez más a la agi, su impacto real en la sociedad será gradual, permitiendo que la sociedad se adapte gradualmente a los cambios provocados por las nuevas tecnologías.

el equilibrio entre capitalismo e ia: en la entrevista, sam altman analiza en detalle cómo opera openai dentro de un sistema capitalista manteniendo su intención original cuando se creó, que es garantizar que los beneficios de agi se distribuyan ampliamente. aunque openai necesita competir en el capitalismo para obtener los recursos necesarios para el desarrollo, enfatizó que el progreso tecnológico no debe hacerse a expensas de la ética y la responsabilidad social.

gobernanza democrática e impacto social de la ia: sam altman destacó un punto importante: la gobernanza de la tecnología de ia debería ser más democrática. cree que el público debería participar más en la decisión de cómo se utilizan los sistemas de ia y en el establecimiento de reglas, y enfatizó la importancia de la transparencia técnica y la gobernanza diversa.

preocupaciones sobre la seguridad y la ética de la ia: en la entrevista, sam altman admitió que, aunque la ia tiene un enorme potencial, también presenta muchos riesgos potenciales para la seguridad. señaló en concreto los riesgos de la ia en la seguridad informática, la biología sintética, etc., y llamó a la sociedad a impulsar el desarrollo tecnológico de forma responsable.

una visión más amplia de la inteligencia artificial: sam altman es optimista sobre el futuro. él cree que a medida que agi madure, todos tendrán más oportunidades de perseguir intereses personales y la tecnología mejorará en gran medida los estándares médicos y educativos globales. aunque la innovación tecnológica provocará cambios en los patrones laborales y sociales, cree que, en última instancia, el espíritu humano y la creatividad nos impulsarán hacia un futuro más próspero.

trevor:

gracias por tomarse el tiempo para ser entrevistado.

sam: gracias.

trevor: ¿no crees que este es un momento loco?

sam: fue el momento más loco que jamás haya experimentado.

trevor:

sí, estás en el centro de todo. me pregunto cómo se siente eso. porque sólo soy un ávido observador de este campo y de este mundo, ¿sabes? siento que eres tú el afectado por todo esto. quiero decir, sam altman está en la lista de finalistas de la revista time para persona del año.

sam: me alegro de no haber entendido eso.

trevor: ¿me alegro de no haberlo entendido?

sam: sí, por supuesto.

trevor: ¿por qué?

sam: ya he recibido más atención este año que en toda mi vida.

trevor: está bien, está bien. ¿entonces no te gusta la atención? ¿no quieres la atención?

sam:

no, esto es demasiado cruel. en cierto modo es interesante. esto es útil en algunos aspectos. pero para la vida personal, se pesa la calidad de vida. sí, definitivamente no. pero así es ahora. esto es para lo que me inscribí.

trevor: sí, ahora es el momento de la notoriedad.

sam: sí.

trevor: ¿la gente te reconoce en la calle?

sam:esta es una muy mala compensación. sí, siento que nunca... estoy seguro de que esto también te pasa a ti, pero ya no puedo permanecer en el anonimato.

trevor:sí, pero la gente no me pregunta sobre el futuro.

sam:no te preguntan si destruirás el mundo.así es. hay una pequeña diferencia. es posible que la gente quiera tomarse una foto conmigo. ese es el alcance de esto. muchas fotos de grupo.

trevor: bueno, felicitaciones. eres el ceo del año de la revista time.

sam: sí.

trevor:

este fue probablemente uno de los momentos más extraños porque supongo que fue en el momento en que la revista time estaba tomando esta decisión. hace unas semanas, es posible que no hubiera sido el director ejecutivo del año. no sé si todavía podrán darte este premio. supongo que es por tu trabajo anterior.

sam: sí, no lo sé. no sé cómo funciona esto.

trevor: ¿cómo se siente volver a ser director ejecutivo?

sam:

sigo reprogramando la realidad, para ser honesto. en cierto modo, me sentí genial porque durante todo el proceso aprendí mucho sobre cuánto amo esta empresa, su misión y su gente. y, varias veces a lo largo del camino, experimenté toda la gama de emociones humanas en un corto período de tiempo. pero un momento muy claro para mí es que todo esto pasó un viernes por la tarde, un viernes al mediodía. a la mañana siguiente, el sábado, varios miembros de la junta me llamaron y me preguntaron si estarían dispuestos a discutir una devolución.

tengo sentimientos muy encontrados sobre esto. pero finalmente tuve muy claro que quería volver.

realmente amo este lugar y lo que estamos haciendo. creo que es importante para el mundo y es lo que más me importa.

trevor:

en el mundo de la tecnología, contratar y despedir es algo a lo que todo el mundo tiene que acostumbrarse.

sé que te han despedido de y combinator en el pasado. todos en esta situación tienen una historia.

sam: no quiero hablar de eso.

trevor: dime, dime. estas cosas, usted hace su investigación y parte de allí.

sam:

aproximadamente un año antes (de dejar yc) decidí que quería venir a openai.

fue una transición complicada. pero había estado trabajando en openai y yc al mismo tiempo y estaba bastante seguro de que quería venir a openai. nunca me he arrepentido de esto.

trevor:entonces nunca te han despedido. es una situación difícil en la que estar como ser humano.

sam: ¿es esto un despido?

trevor: ¿qué pasaría si te despidieran y te volvieran a contratar inmediatamente?

sam:lo que iba a decir era más que... esto es simplemente brutal... supongo que no debería hablar de esto ahora.

esto es algo muy doloroso. para mí personalmente, como ser humano, fue muy injusto y la forma en que se manejó fue realmente injusta.

trevor:

me lo puedo imaginar. mucha gente hablará de ser despedido.

esto se convirtió en una tendencia durante la pandemia, especialmente cuando la gente hablaba de enviar un correo electrónico o un vídeo a un grupo, y luego miles de empleados fueron despedidos.

rara vez se piensa que esto le sucedería al director ejecutivo de una empresa. es más, no se podría pensar que esto le pasaría al ceo al que muchos llaman el "steve jobs" de esta generación y del futuro.

por cierto, no te llamas así.

sam: por supuesto que no.

trevor:

eso es lo que mucha gente dice de ti, pero no creo que sea justo llamarte el steve jobs de esta generación. en mi opinión, eres el prometeo de esta generación. realmente lo eres.

me parece que le robaste el fuego a dios. ustedes están a la vanguardia de esta transformación, y ahora estamos viviendo una era en la que la ia alguna vez fue materia de ciencia ficción y leyenda, y ahora están a la vanguardia de algo que podría cambiar la civilización para siempre.

¿crees que el futuro cambiará en todos los ámbitos?

sam:

creo que sí.

es muy posible que me equivoque en lo que voy a decir, pero siento que vamos a construir algo en lo que casi todos están de acuerdo, que es agi. definir la inteligencia artificial general (agi) es muy difícil, pero construiremos un sistema que la gente mirará y dirá: "está bien, lo lograste". este sistema es inteligencia artificial general, un sistema que está en o más allá de los niveles humanos.

trevor:

antes de explicarlo en detalle, ¿cuál crees que es la mayor diferencia entre la percepción que las personas tienen de la ia y la inteligencia artificial general?

sam:

a medida que nos acercamos a este campo, cómo lo definimos se vuelve muy importante y existen diferencias. para algunos, agi se refiere a un sistema que puede realizar una parte importante del trabajo humano actual. por supuesto que encontraremos nuevos trabajos y nuevas cosas que hacer. pero para otros, agi se refiere a un sistema que puede ayudar a descubrir nuevos conocimientos científicos. obviamente se trata de hitos muy diferentes con impactos muy diferentes en el mundo.

aunque estoy cansado del término y ni siquiera puedo dejar de usarlo, hay una razón por la que ya no me gusta. el término es agi. creo que para la mayoría de la gente ahora solo significa una ia muy inteligente, pero más allá de eso se ha vuelto muy vago. creo que es principalmente porque nos estamos acercando.

lo que intento decir es que vamos a crear agi, como quieras llamarlo. al menos a corto y mediano plazo, cambiará el mundo mucho menos de lo que la gente piensa. a corto plazo, creo que la sociedad tiene mucha inercia, la economía tiene mucha inercia y la forma en que la gente vive sus vidas también tiene mucha inercia. esto puede ser saludable y beneficioso a medida que gestionamos esta transición. todos hacemos las cosas de cierta manera y estamos acostumbrados. la sociedad como superorganismo también se comporta de cierta manera y está acostumbrada.

al observar lo que sucedió con gpt-4, creo que es instructivo. cuando lo lanzamos por primera vez, la gente tuvo un momento de verdadero pánico en el que dijeron: "vaya, no pensé que eso iba a suceder, pero luego continuaron con sus vidas". cambia las cosas y la gente lo usa. es una técnica mejor que nada. por supuesto, gpt-4 no es muy bueno, 5, 6, 7, no importa cuál, será mucho mejor. sin embargo, creo que la versión 4 de la interfaz chatgpt es el momento en que mucha gente pasa de no tomárselo en serio a tomárselo muy en serio. sin embargo, la vida continúa.

trevor:

¿crees que esto es bueno para la humanidad y la sociedad? ¿debería la vida seguir así? como uno de los "padres" de este producto, uno de los "padres" de esta idea, ¿le gustaría que todos nos detuviéramos, nos tomáramos un momento y evaluáramos dónde nos encontramos ahora?

sam:

creo que la resiliencia de los humanos individual y colectivamente es notable. estoy realmente entusiasmado con nuestra capacidad para absorber y adaptarnos a las nuevas tecnologías y cambios y hacerlos sentir parte del mundo. es realmente maravilloso.

creo que covid es el ejemplo más reciente en el que estamos viendo esto. el mundo se adaptó rápidamente y pronto se sintió normal. otro ejemplo menos grave pero instructivo es el montón de noticias sobre ovnis. esto fue hace unos años. muchos de mis amigos que alguna vez fueron completos escépticos dirían que tal vez se trataba de ovnis reales o extraterrestres o algo así. sin embargo, al día siguiente fueron a trabajar y jugaron con sus hijos.

trevor: sí, pensé, ¿qué más puedes hacer? si están volando, están volando.

entonces, ¿desearía que hubiéramos dedicado más tiempo a evaluar el progreso? estamos haciendo eso como mundo, y creo que eso es genial. creo firmemente que el despliegue iterativo de estas tecnologías es importante. no queremos desarrollar inteligencia artificial general (agi) en un laboratorio secreto, nadie sabe lo que va a suceder, y luego, de repente, liberarla en el mundo para que la gente tenga que decir, hum, aquí estamos, entonces. ..

trevor:

¿crees que tenemos que adaptarnos poco a poco y crecer con ella como tecnología?

sam:

sí.

entonces, la conversación actual, sobre dónde la sociedad y nuestros líderes y nuestras instituciones están usando estas tecnologías para tener una idea de lo que pueden hacer, lo que no pueden hacer, dónde están los riesgos, cuáles son los beneficios, creo que es excelente. creo que, en cierto sentido, tal vez lo mejor que hemos hecho para nuestra misión es repetir nuestra estrategia de implementación. podríamos haberlo construido en secreto y pasar más años construyéndolo y luego lanzarlo todo de una vez, lo que habría sido terrible.

trevor:

hoy entramos al edificio openai, que es un poco como una fortaleza y se siente como un futuro hogar. vi que tenías una publicación que decía que viniste como invitado.

pensé, oh dios mío, eso es raro. es como volver a casa, pero no a casa, pero aún así.

sam:

debería parecer un momento muy extraño, como llevar una insignia de invitado aquí. pero siento que todos están agotados y llenos de adrenalina. realmente no había esa sensación de gran momento que esperaba. definitivamente hubo algunos momentos sobre los que vale la pena reflexionar y contar ese día. por ejemplo, uno de mis momentos de mayor orgullo fue cuando estaba muy cansado y distraído. pensamos que la junta me traería de regreso como ceo ese día, pero en caso de que no lo hicieran, una de nuestras mejores personas me entrevistó para un l3, nuestro puesto de ingeniero de software de nivel más bajo. luego me dio una respuesta definitiva. fue un momento de mucho orgullo.

lo que resalta en mi memoria de ese día es que todavía tenía esa habilidad. aunque la insignia no es tan profunda como me gustaría.

trevor:

me encantaría saber qué cree que he hecho bien como director ejecutivo para obtener el apoyo que vemos públicamente de los empleados de openai.

cuando esto salió a la luz, no iba a pedirle detalles porque sabía que no podía comentar sobre el contenido de la investigación interna. pero sé que puedes hablar un poco sobre la sensación general de la empresa y lo que ha estado sucediendo últimamente. rara vez vemos que las cosas se desarrollen como openai. tienes esta empresa y esta idea que, para la mayoría de las personas en el planeta, no existieron ni por un minuto. al minuto siguiente, lanza chatgpt. este mensaje simple, solo un pequeño cuadro de chat, cambia el mundo. creo que llegaste a 1 millón de usuarios en el tiempo más rápido de la historia. creo que fueron cinco días. sí, cinco días. luego rápidamente alcanzó los 100 millones de personas.

muy rápidamente, lo sé a nivel anecdótico, para mí, esto pasó de ser desconocido para todos en el mundo. se lo estoy explicando a la gente, tratando de hacerles entender. tengo que mostrárselo como poesía y algo sencillo que puedan entender. entonces la gente empezó a contarme sobre eso. ahora se ha convertido en un concepto omnipresente y la gente está luchando por descubrir qué es y qué significa.

pero, por otro lado, hay una empresa que intenta controlar y moldear el futuro de alguna manera. y la gente te apoya. vimos la historia, sam altman estaba fuera y ya no era el director ejecutivo. entonces todo se volvió turbulento. no sé si has visto algunos de los rumores. simplemente están locos. una de las cosas más locas que he visto es que alguien diga: "esto es ridículo y divertido". dicen, y lo sé por fuentes confiables, que sam fue despedido por intentar tener relaciones sexuales con una ia.

sam:

ni siquiera sé cómo responder. cuando vi ese mensaje, pensé... supongo que a estas alturas debería negar esto oficialmente, simplemente no sucedió.

trevor:

creo que es poco probable que esto suceda porque la gente no comprende la combinación de ambos. pero lo que me sorprende es que el sensacionalismo de este incidente parece haber puesto a openai en un foco diferente en un momento diferente.

una de las cosas más importantes es el apoyo que recibes del equipo, que la gente dé un paso al frente y diga, pase lo que pase, apoyaremos a sam. esta situación no es común en las empresas. a menudo, los directores ejecutivos y los empleados están desconectados hasta cierto punto.

pero se siente como algo más que un simple equipo.

sam:

lo que sigue no es falsa modestia. hay muchos lugares donde aceptaría muchos elogios. pero en este caso, además de ser portavoz, no es del todo culpa mía. pero creo que lo que hacemos bien es que tenemos la misión de convencer realmente a la gente de su importancia.

creo que lo que está sucediendo es que la gente se está dando cuenta de que la misión, la organización, el equipo en el que trabajamos tan duro y logramos tanto progreso, pero que hay mucho más por hacer, está bajo una amenaza real como esa. creo que eso fue lo que desencadenó la reacción. realmente no se trata de mí personalmente, aunque espero que le agrade a la gente y piense que estoy haciendo un buen trabajo. se trata de la lealtad compartida que todos sentimos y el sentido de responsabilidad de hacer las cosas y, con suerte, maximizar nuestras posibilidades de lograr ese objetivo.

trevor:

al más alto nivel, ¿cuál crees que es la misión? ¿está llegando a la inteligencia artificial general?

sam:

deje que los beneficios de agi se distribuyan lo más ampliamente posible y aborde con éxito todos los desafíos de seguridad.

trevor:

éste es un segundo punto interesante. me encantaría conversar con usted más tarde para analizar los aspectos de seguridad de esto con más profundidad. cuando miras a openai como organización, su nacimiento es realmente extraño. no dudes en corregirme si me equivoco, pero parece que se fundó con un fuerte enfoque en la seguridad. reúnes a un grupo de personas y dices: queremos iniciar una organización, una empresa, un colectivo que se dedique a crear la inteligencia artificial más ética para el beneficio de la sociedad. puede verse incluso reflejado en la distribución de beneficios de la empresa, la forma en que los inversores obtienen sus beneficios, etc.

pero incluso openai cambió en algún momento. ¿crees que puedes resistir las fuerzas del capitalismo? quiero decir, hay mucho dinero involucrado. ¿crees que realmente puedes mantener un mundo donde el dinero no defina lo que haces y por qué lo haces?

sam:

esto tiene que ser un factor. por ejemplo, si solo pensamos en el costo de entrenar estos sistemas, tenemos que encontrar alguna manera de competir en, a falta de un término mejor, un espacio capitalista. pero no creo que esa vaya a ser nuestra principal motivación. por cierto, amo el capitalismo. creo que tiene enormes defectos, pero en comparación con cualquier otro sistema que el mundo haya probado, creo que sigue siendo lo mejor que se nos ha ocurrido. pero eso no significa que no debamos esforzarnos por hacerlo mejor. creo que vamos a encontrar formas de gastar el enorme capital récord que necesitamos para seguir avanzando en la vanguardia de esta tecnología. este fue uno de nuestros primeros aprendizajes. sin embargo, esto es mucho más caro de lo que pensábamos.

sabíamos que teníamos esta idea para un sistema ampliado, pero simplemente no sabíamos cómo iba a ir.

trevor:

siempre has sido un gran admirador de las extensiones, he leído eso sobre ti. uno de sus mentores, que ahora es uno de sus socios inversores en inyección, dijo que cada vez que le hace una pregunta a sam, lo primero que le viene a la mente es: ¿cómo solucionamos este problema? ¿cómo lo solucionamos? lo segundo que continúa diciendo es: ¿cómo escalamos estas soluciones?

sam: ¿quién dijo eso? no lo recuerdo. soy terrible con los nombres.

trevor: interesante. pero sé que fue alguien de tu trabajo quien lo dijo.

sam:

interesante. pero no he oído a nadie decir eso de mí.

pero creo que esta ha sido una observación que he hecho en muchas empresas y sectores diferentes: la escala a menudo conduce a resultados sorprendentes. por lo tanto, ampliar masivamente estos modelos de ia conduce a resultados muy sorprendentes. el escalamiento masivo no sólo lo mejora en todas las formas obvias, sino también en algunas no obvias. hay beneficios no obvios para las empresas que escalan. existen beneficios sutiles al escalar una empresa como y combinator. no creo que esto se tome en serio.

en nuestro caso, es importante saber qué tan importante es escalar en las primeras etapas. si hubiéramos pensado más inteligentemente o hubiéramos tenido más coraje, habríamos dado pasos más importantes en primer lugar. pero es realmente difícil decir que voy a construir una computadora más grande por valor de 10 mil millones de dólares. entonces no hicimos eso. tardamos un poco más de lo que deberíamos en entender esto, pero al final lo conseguimos. ahora vemos cuánta escala necesitamos.

creo que el capitalismo es genial. no tengo nada en contra del sistema. no, eso no es cierto. tengo muchas objeciones a este sistema, pero debo admitir que todavía no se ha descubierto nada mejor que él.

trevor: ¿le has preguntado a chatgpt si podrían diseñar un sistema?

sam: tengo un sistema diferente... tal vez no esté diseñando un sistema nuevo. sí. pero hago muchas preguntas sobre cómo se cruzan la ia y el capitalismo y qué significa eso.

una de las cosas es que teníamos razón en lo más importante de nuestras suposiciones iniciales, que era que la ia iba a existir. el aprendizaje profundo es posible... y por cierto, mucha gente se ríe de esto. eso es exactamente.

trevor: dios mío, se rieron de nosotros sin piedad.

sam:

sí.

incluso con algunas ideas sobre cómo lograrlo, lo hicimos bien. pero nos equivocamos en muchos detalles, lo cual es común y normal en la ciencia. antes de que entraran en juego los modelos lingüísticos, teníamos una visión muy diferente para construir este sistema. en ese momento teníamos un concepto muy diferente de construir agi. no teníamos la idea de que iba a ser una herramienta iterativa que mejoraría constantemente y con la que se podría hablar como un humano. así que estábamos muy confundidos acerca de lo que implicaría construir un agi. estamos pensando en el tiempo antes y después de agi. luego hay que traspasarlo a otros sistemas y a otros gobiernos.

ahora creo que sí y estoy muy contento por eso porque creo que es más fácil de navegar. creo que puede ser, no quiero decir simplemente otra herramienta porque es diferente en muchos aspectos, pero en cierto sentido hemos creado una nueva herramienta para la humanidad. agregamos algunas cosas a la caja de herramientas. la gente hará todo tipo de cosas increíbles con él, pero seguirán siendo humanos planificando el futuro, no una agi en el cielo. puedes hacer cosas que antes no podías hacer. también puedo hacer cosas que antes no podía hacer. podemos hacer más. en ese sentido, puedo imaginar un mundo en el que logremos nuestra misión creando herramientas realmente buenas que tengan un gran impacto en las capacidades humanas y más allá. estoy muy entusiasmado con esto.

por ejemplo, me encanta que ofrecemos chatgpt gratuito y sin publicidad. porque personalmente creo que la publicidad siempre ha sido un problema en internet. pero acabamos de publicar esta herramienta. ésa es la desventaja del capitalismo, sí, sí. uno de ellos. personalmente creo que hay mayores inconvenientes, pero lanzamos esta herramienta y la gente puede usarla de forma gratuita. no queremos convertirlos en productos. no queremos que usen un poquito más. creo que esto muestra un camino interesante en el que podemos hacer más.

trevor:

entonces, hagamos esto. hay muchas cosas que espero cubrir durante nuestra conversación y, obviamente, no podremos responderlas todas. pero hay algunas ideas, algunos puntos y algunas áreas que espero que podamos explorar. supongo que la primera y más oportuna pregunta es: ¿qué pasará en el futuro para la empresa? ¿adónde crees que irá? una cosa que encuentro particularmente interesante es la composición de la nueva junta, especialmente para openai, donde solía haber mujeres en la junta y ahora no las hay, y antes no había incentivos financieros para los miembros de la junta y ahora los hay. me pregunto si le preocupa que esa protección que usted ayudó a implementar ya no esté y que tenga una junta que ya no se centra en proteger a las personas o definir un futuro más seguro, sino una junta que se centra en ganar dinero y ¿hacerse lo más grande y fuerte posible?

sam:

creo que nuestras estructuras de gobierno y juntas directivas actuales y anteriores no están funcionando en algunos aspectos importantes. por eso apoyo plenamente la identificación de formas de mejorar y apoyaré a la junta directiva y su trabajo para lograrlo.

claramente, la junta necesita crecer y diversificarse, y creo que eso sucederá rápidamente. necesitamos escuchar las voces de quienes defenderán a quienes tradicionalmente no han sido defendidos, y no sólo pensar muy detenidamente en la seguridad de la ia, sino también aprender de las lecciones del pasado sobre cómo construir interacciones con todos. aspectos de la sociedad estos son sistemas muy complejos. es necesario representar hacer el mejor trabajo posible mientras se mitigan los efectos negativos y se comparten los beneficios.

así que me alegro de tener una segunda oportunidad de hacer bien todas estas cosas en las que obviamente nos equivocamos antes. cosas como la diversidad, asegurarnos de que representamos a todos los grupos de partes interesadas clave que necesitan estar representados, descubrir cómo hacer esto más democrático y continuar presionando al gobierno para que tome algunas decisiones para gobernar esta tecnología. sé que no es perfecto, pero creo que es mejor que cualquier otra cosa que se nos ocurra actualmente. es importante involucrarnos más con nuestra comunidad de usuarios y permitirles ayudar a establecer límites en torno al uso de esta tecnología.

una dirección futura importante será ampliar la junta directiva y la estructura de gobierno. nuevamente, sé que nuestra junta directiva actual es pequeña, pero creo que están muy comprometidas con todas las cosas de las que acaba de hablar.

y luego hay otra gran categoría de preguntas. si me hubieran preguntado hace una semana, habría dicho que estabilizar la empresa era mi principal prioridad. pero al menos internamente me siento bastante bien. no perdimos un cliente, no perdimos un empleado. seguimos creciendo, lo cual es bastante sorprendente. seguimos introduciendo nuevos productos. nuestras asociaciones clave se sienten fortalecidas, no obstaculizadas. en este sentido, todo salió según lo previsto. y creo que los planes de investigación y productos para la primera mitad del próximo año parecen mejores y más específicos que nunca.

trevor:

siempre me encuentro pensando en ti como persona cuando sucede todo este asunto de la sala de juntas. siempre que hay una tormenta, siempre me interesa lo que sucede en el centro de la tormenta. tengo curiosidad, ¿dónde estabas cuando estalló todo esto? ¿qué estabas haciendo? ¿qué está pasando en tu mundo a nivel personal?

sam:

la razón por la que me río es porque lo que la gente dice de mí es que me siento como si estuviera en el ojo de un huracán y todo da vueltas a mi alrededor y todavía estoy muy tranquila. esta vez las cosas no salieron como se esperaba.

es una experiencia, como estar en el centro de una tormenta, pero no en calma. estaba en las vegas viendo una carrera de f1.

trevor: ¿eres fanático de la f1?

sam: lo soy.

trevor: ¿a qué equipo apoyas? ¿tienes un favorito en particular?

sam:

para ser honesto, creo que verstappen es tan bueno que es difícil decir a qué equipo apoyar. pero siento que esa es probablemente la respuesta que todos dirían.

trevor:

realmente, depende de cuándo empezaron a prestar atención al movimiento. soy fanático de schumacher porque fue entonces cuando comencé a ver carreras. primero fue nigel mansell, luego ayrton senna, ¿sabes a qué me refiero?

verstappen es muy preciso y entiendo por qué es tan popular.

sam:

aunque estoy un poco cansado de verlo ganar tantas veces, es realmente asombroso.

esa noche llegué el jueves tarde. alguien se olvidó de soldar una tapa de alcantarilla, por lo que en la primera vuelta explotó, como si explotara uno de los motores de ferrari, lo que provocó que se suspendieran los entrenamientos. no pude ver el partido, no vi acción en todo el fin de semana.

recibí una llamada en mi habitación de hotel, no tenía idea de qué iba a ser y la junta me despidió de mi trabajo. lo sentí como un sueño y me sentí confundida. todo era confuso y no parecía real. obviamente fue triste y doloroso, pero la emoción dominante en ese momento fue la confusión y me sentí como si estuviera en medio de niebla y humo. no tengo absolutamente ninguna idea de lo que está pasando.

la forma en que sucedió esto no tenía precedentes, fue una locura. durante la siguiente media hora, mi teléfono recibió tantos mensajes que imessage falló. estos mensajes vinieron de todos y el teléfono quedó completamente inutilizable a medida que aparecían notificaciones. imessage llegó a un punto en el que se detuvo por un tiempo, los mensajes se retrasaron y luego todos los mensajes se marcaron como leídos, por lo que ni siquiera podía saber con quién estaba hablando, era un caos.

estaba hablando con el equipo aquí, tratando de descubrir qué estaba pasando. al igual que microsoft también está al teléfono y otras partes también están en contacto. toda la situación era realmente inquietante y no parecía real. me calmé un poco y comencé a pensar en el futuro. tengo muchas ganas de trabajar en agi (inteligencia general artificial). si no puedo hacerlo al principio, seguiré intentándolo. estoy pensando en el mejor enfoque.

greg renunció, algunas otras personas renunciaron y comencé a recibir una avalancha de mensajes de personas que querían trabajar conmigo. en ese momento, volver a openai estaba completamente fuera de mi mente. puedo imaginar lo que depara el futuro, pero no entiendo muy bien qué tan grande es este evento de la industria porque realmente no veo las noticias. puedo sentir la abrumadora cantidad de mensajes que se reciben.

trevor:

porque estás literalmente en medio de una tormenta.

sam:

sí. solo quiero apoyar openai, descubrir qué hacer a continuación e intentar comprender qué está pasando. luego volé de regreso a california, conocí a algunas personas y comencé a sentirme muy concentrado en el futuro. pero también le deseo todo lo mejor a openai. dormí poco durante casi toda la noche y se habló mucho al mismo tiempo. lo que siguió fue un fin de semana loco. estoy seguro de que todavía no he llegado a un acuerdo con todo esto y todavía estoy un poco conmocionado y sigo tratando de recoger los pedazos. estoy seguro de que lo sentiré más cuando tenga tiempo de sentarme y procesarlo.

trevor:

¿sientes que tienes que volver a todo a la vez? porque, según usted, está en esta misión. puedes ver el impulso en tus ojos y el mundo ha llegado a un punto sin retorno. te diriges en una dirección determinada y, de repente, parece que no puedes lograrlo en el campo en el que te encuentras. pero como dijiste, microsoft intervino y satya nadella dijo: ven a trabajar con nosotros y reconstruiremos el equipo.

si hay algo en lo que la gente está de acuerdo sobre sam altman es en que es tenaz. es intransigente y cree que si tienes una meta y crees en algo, no debes dejar que la vida se interponga en tu camino. y parece que vas en esa dirección. no ha dicho nada públicamente sobre openai ni lo ha menospreciado de ninguna manera. pero eso parece estar ejerciendo mucha presión sobre usted.

sam:

ciertamente. no creo que sea algo de lo que no pueda recuperarme, pero creo que sería imposible pasar por esto y no verse afectado, eso sería muy raro.

trevor:

¿sientes que has perdido una parte de ti mismo?

sam:

sí. iniciamos openai a finales de 2015. de hecho, el primer día de trabajo comenzó en 2016.

he estado haciendo esto en yc por un tiempo, pero desde principios de 2019 lo hago a tiempo completo. agi y mi familia son las dos cosas que más me importan. entonces, perder uno de esos, para mí, en cierto sentido, debería decir, me hizo más comprometido con agi y más preocupado por la misión. pero, por supuesto, también me preocupo por esta organización, estas personas, nuestros usuarios, nuestros accionistas y todo lo que construimos aquí. entonces, fue realmente doloroso.

la única experiencia de vida con la que puedo compararla es cuando murió mi padre, que por supuesto fue mucho peor. fue algo muy repentino, ese sentimiento de confusión y pérdida. en ese caso, sentí que tenía un poco de tiempo para asimilarlo todo. pero había mucho más por venir y fue tan inesperado que tuve que recoger los pedazos de su vida por un tiempo. no fue hasta aproximadamente una semana después de eso que realmente tuve tiempo de respirar y pensar: dios mío, no puedo creer que esto esté sucediendo. entonces sí, eso definitivamente es mucho peor. pero aquí hay ecos similares.

trevor:

al observar el futuro de la empresa y su papel en ella, ¿cómo encuentra el equilibrio en este momento entre impulsar la ia abierta y continuar avanzando en la dirección en la que cree? ¿todavía tienes frenos de emergencia? ¿existe algún tipo de sistema dentro de la empresa que, cuando sentimos que estamos creando algo que podría tener un impacto negativo en la sociedad, intervenimos y detenemos ese comportamiento? ¿tienes esta habilidad? ¿y este sistema está integrado?

sam:

sí, claro. hemos tenido un sistema de este tipo en el pasado. por ejemplo, creamos algunos sistemas pero decidimos no implementarlos. creo que haremos esto nuevamente en el futuro. o creamos un sistema y decimos, oye, necesitamos un poco más de tiempo para hacerlo seguro antes de poder implementarlo. como en el caso de gpt-4, nos tomó casi ocho meses completar la capacitación antes de estar listos para lanzarlo, con todas las pruebas de alineación y seguridad. recuerdo haber hablado con algunos miembros del equipo y esto no fue una decisión de la junta directiva, sino gente aquí haciendo su trabajo y comprometida con nuestra misión. entonces esto continuará.

lo que estoy muy orgulloso de este equipo es su capacidad para funcionar bien en medio del caos, la crisis, la incertidumbre y el estrés. les doy una a+, hicieron un gran trabajo. a medida que nos acercamos a sistemas más sólidos, muy sólidos, creo que la cultura y la capacidad de los equipos que formamos es probablemente el elemento más importante, como mantener la calma en una crisis y tomar decisiones buenas y reflexivas. creo que el equipo aquí realmente ha demostrado que pueden hacer eso, lo cual es realmente importante.

alguien dijo que una de las cosas que aprendimos sobre openai es que sam podía dirigir la empresa sin tener un puesto de trabajo. creo que eso es completamente incorrecto y simplemente no es cierto. la lección correcta fue que la empresa podía funcionar sin mí. esta es una cuestión de cultura y el equipo está listo y la cultura está lista. estoy muy orgulloso de ello y muy emocionado de volver y seguir haciéndolo.

ver al equipo gestionarlo todo me ayuda a dormir mejor por la noche mientras enfrentamos los desafíos que tenemos por delante. habrá desafíos mayores que este en el futuro, pero espero y creo que este sea el más difícil porque no estamos preparados. ahora nos damos cuenta de la importancia, no somos una empresa cualquiera, ni mucho menos.

trevor:

hablemos de esto. chatgpt, openai, como se llame. tienes dall·e, tienes whisper y todos estos increíbles productos. si tiene alguna idea para nombres de marcas o arquitectura de marcas, estaría muy interesado. siento que chatgpt ha hecho eso y ahora está en todas partes. sí, es un nombre terrible, pero puede que se haya vuelto demasiado común para cambiarlo. ¿crees que se puede cambiar en este momento? ¿podemos simplificarlo a gpt o simplemente chatear?

sam:

no lo sé, tal vez no.

trevor:

a veces siento que un producto, un nombre o una idea trasciende los sueños de los especialistas en marketing y la gente lo acepta.

sam:

ningún especialista en marketing elegiría chatgpt como nombre para esto, pero probablemente estemos atrapados en él, y probablemente esté bien.

trevor:

ahora estoy fascinado por su naturaleza multimodal. todavía recuerdo cuando vi por primera vez dall·e, era solo una idea, y vi cómo funcionaba, y vi que este programa podía crear una imagen de la nada. intento explicárselo a la gente y me preguntan ¿de dónde salió esa imagen? pensé que no hay foto ni imagen fuente. creen que es imposible.

vio algo que, pensé en ese momento, era difícil de explicar. a veces incluso a mí me cuesta entenderlo. pero cuando miramos el mundo en el que vivimos actualmente, hablamos de ellos en números, gpt 3.5, gpt 4, gpt 5, 6, 7, lo que sea. me gusta hablar más sobre casos de uso reales del producto de una manera que elimine la jerga técnica.

entre diferentes productos, desde chatgpt 3, 3.5 hasta 4, vemos que las llamadas capacidades de razonamiento alcanzan un nivel superior e incluso demuestran creatividad hasta cierto punto.

cuando miro los productos en este mundo que están creando ahora, como modelos de lenguajes grandes de propósito general y ahora modelos de lenguajes grandes especializados, me pregunto: ¿cree que los casos de uso van a cambiar dramáticamente? ¿crees que ahora podría ser como un pequeño chatbot, el que gusta a todos, y es esta la forma final del producto? ¿o crees que el mundo se convertirá en un mundo donde todo tendrá un gpt especializado? por ejemplo, trevor tendrá un gpt que hará cosas por él, o cierta empresa tendrá un gpt que hará cosas por ellos. ¿qué opinas sobre este tema?

evidentemente, predecir el futuro es difícil. pero desde donde estamos ahora, ¿hacia dónde cree que se dirige?

sam:

creo que será una mezcla de los dos. es muy difícil predecir el futuro y puede que me equivoque, pero aun así estoy dispuesto a intentarlo. creo que será una combinación de las dos cosas que acabas de mencionar. primero, el modelo base será tan bueno que me resultará difícil decir con confianza que hay algo que no puede hacer. va a llevar mucho tiempo, pero creo que vamos en esa dirección.

trevor:

¿cuánto tiempo es "mucho tiempo" en su marco temporal? ¿cómo se mide?

sam:

no en los próximos años. mejorará cada año durante los próximos años. pero como iba a decir, estoy bastante seguro de que para 2026 todavía habrá muchas cosas que este modelo no podrá hacer.

trevor:

¿pero no te sigue sorprendiendo este modelo? cuando hablo con ingenieros que trabajan en este espacio, o cualquier persona involucrada o relacionada con la ia, la palabra que más surge es "sorpresa". la gente sigue diciendo que le enseñan esto, pensando que chatgpt está aprendiendo sobre el campo. de repente, empieza a hablar un nuevo idioma, o pensábamos que le estábamos enseñando esto, y de repente está construyendo puentes, ese tipo de cosas.

sam:

por lo tanto, la experiencia subjetiva de la mayoría de la gente aquí probablemente sea en algún momento entre 2019 y 2022. pero ahora creo que hemos aprendido a dejar de sorprendernos. hoy en día nuestra confianza ha crecido exponencialmente y la mayoría de la gente así lo cree. entonces, gpt-5, como sea que lo llamemos, sobresaldrá en muchos aspectos. nos sorprenderán algunas de las cosas específicas que puede hacer, y también nos sorprenderá lo que no puede hacer. a nadie le sorprenderá lo bueno que es. en este punto, creo que tenemos un conocimiento muy profundo de esto.

lo segundo que mencionaste son estos gpt personalizados. más importante aún, también mencionaste gpt personal, como trevor gpt. creo que esta será una gran tendencia en los próximos años. estos modelos aprenderán sobre usted, accederán a sus datos personales, responderán preguntas de la manera que usted desee y trabajarán en su entorno de manera muy eficiente. creo que mucha gente querrá esto.

trevor:

casi me hace preguntarme, si el nuevo mercado laboral hace que su gpt sea casi su currículum, el gpt es casi, de una manera extraña, más valioso que usted. ¿me entiende? es como una combinación de todo lo que piensas y todo lo que alguna vez has pensado, y la forma en que sintetizas tus ideas, más tu propio gpt personal se convierte... solo estoy pensando en un futuro loco, cuando vayas a un trabajo, te preguntan ¿cuál es tu gpt? y dices, está bien, esto es mío.

sam:

siempre pensamos en estas como agencias, estas agencias personalizadas, voy a dejar que esto haga las cosas por mí. pero es interesante lo que estás diciendo sobre esto si no es así sino cómo otras personas interactúan contigo. bien. es como una impresión tuya, un avatar tuyo, un eco tuyo, etc. podría verlo llegar a ese punto.

trevor:

porque si no somos una combinación de todo lo que somos, entonces ¿qué somos? es una idea extraña, pero puedo creerlo. siempre me ha fascinado saber adónde puede llegar y qué puede hacer.

¿sabes por qué? cuando chatgpt explotó en las primeras semanas, nunca olvidaré lo rápido que la gente se dio cuenta de la revolución de los robots, sé que no fueron robots, pero para las personas, fueron como, la revolución de los robots, las máquinas no estaban reemplazando. lo que pensaron empleos que serán reemplazados. ya sabes, la gente pensó que iba a reemplazar a los camioneros y demás. sin embargo, descubrimos que no, que esos empleos en realidad son más difíciles de reemplazar. de hecho, los trabajos que están siendo reemplazados por los llamados "trabajos cerebrales" son aquellos, como el trabajo administrativo. ¿es usted abogado? bueno, cuando tienes chatgpt 5, 6, 7, como lo llames, es posible que no necesites tantos abogados. eres ingeniero y piensas: ¿cuál es tu lugar? el cuerpo humano es algo realmente asombroso.

¿crees que existe algún avance que pueda sustituir al cuerpo humano? ¿o todavía estamos en el reino espiritual?

sam:

no, creo que eventualmente conseguiremos que los robots funcionen, como eventualmente funcionarán los robots humanoides. pero estábamos trabajando en esto en las primeras etapas de openai, teníamos un proyecto de robótica. no lo sé.

sabemos que construimos una mano robótica que puede manipular un cubo de rubik como una mano. esto requiere mucha flexibilidad. creo que hay muchas ideas diferentes involucradas, pero una de ellas es que es mucho más fácil progresar en un mundo de bits que en un mundo de átomos.

por ejemplo, este robot es difícil de construir, pero por razones equivocadas. la dificultad no es que nos ayude a avanzar en algunas cuestiones de investigación espinosas, sino que el robot sigue estropeándose, no es muy preciso y los simuladores son terribles. mientras que con un modelo de lenguaje puedes hacer todas estas cosas en un entorno virtual, puedes progresar mucho más rápido. entonces, centrarse en el aspecto cognitivo nos ayuda a resolver problemas más productivos con mayor rapidez.

pero también es un aspecto muy importante y creo que resolver tareas cognitivas es el problema más importante. por ejemplo, si construyes un robot, no necesariamente descubrirá cómo ayudarte a construir un sistema que realice tareas cognitivas. pero si creas un sistema que realice tareas cognitivas, puede ayudarte a descubrir cómo hacer un mejor robot.

sí, eso tiene sentido. por eso creo que la cognición es el aspecto central en el que queremos centrarnos. creo que esta es la decisión correcta. pero espero que podamos volver a la robótica.

trevor:

¿alguna vez te has preguntado cuándo crees que se ha logrado la inteligencia artificial general? ¿cómo lo sabemos? ¿para mí personalmente? ¿cuándo siento que la tarea se ha cumplido?

sam:

porque todo el mundo habla de inteligencia artificial en general, pero yo pregunto, ¿cómo sabemos qué es eso? volviendo al punto anterior, cada uno tiene una definición diferente. yo personalmente os lo diré cuando me emocione mucho. me emociono mucho cuando tenemos un sistema que ayuda a descubrir nueva física. pero esto parece estar mucho más allá de la inteligencia general. eso parece, ¿sabes a qué me refiero? esto va más allá de lo que creo que la mayoría de la gente definiría.

trevor:

quizás esto se deba a que a veces me pregunto ¿cómo definimos la inteligencia general? ¿lo definimos como genio en un campo determinado? ¿o como si un niño fuera una inteligencia artificial general? eso es seguro. pero hay que seguir programándolo, y cuando nacen no pueden hablar, no pueden caminar, no saben nada. y sigue programando este agi para llevarlo a donde necesita ir.

entonces, si, digamos, llegas al punto en el que tienes una versión de un niño de cuatro años.

sam:

¿qué pasaría si tuviéramos un sistema que pudiera ser así, simplemente descubierto, capaz de operar de forma autónoma, con algo de ayuda de los padres, y comprender el mundo como lo hace un niño de cuatro años? sí, podemos llamarlo agi. si realmente pudiéramos abordar esa capacidad universal, podríamos descubrirla por nosotros mismos cuando surjan nuevos problemas. los niños de cuatro años no siempre entienden las cosas perfectamente, pero para entonces nosotros ya lo entendíamos.

trevor:

¿podemos llegar a ese punto sin comprender fundamentalmente la naturaleza del pensamiento y del pensamiento? parece posible. ¿crees que podemos llegar a ese punto? creo que está bien. o podemos llegar a un... así que estoy seguro de que sabes esto.

una de mis historias favoritas en el campo de la ia es un proyecto de microsoft. tienen una ia que intenta aprender a identificar rostros masculinos y femeninos, y es muy precisa, aproximadamente un 99,9% de precisión. sin embargo, siempre ha estado mal representada cuando se trata de personas negras y especialmente de mujeres negras, confundiéndolas constantemente con hombres. los investigadores siempre están tratando de mejorar y siempre están pensando: ¿qué está pasando?

durante un tiempo, así conté la historia. puede que sea un poco inexacto, pero me pareció interesante. hubo un momento en que "enviaron" ia a áfrica, creo que fue a kenia. enviaron ia a áfrica y luego le dijeron al equipo de investigación en kenia: ¿podrían usarla por un tiempo para intentar resolver este problema? cuando esta ia se ejecutó en ese lado del mundo, con su conjunto de datos y rostros africanos, se volvió cada vez más precisa a la hora de identificar a las mujeres negras en particular.

pero finalmente descubrieron que la ia nunca supo la diferencia entre rostros masculinos y femeninos. lo único que hace es establecer correlaciones entre maquillajes. como resultado, la ia determinó que la persona con labios rojos, mejillas rosadas y posiblemente párpados azules era una mujer y los demás eran hombres. los investigadores dicen que sí, tienes razón. acaba de encontrar lo que se llama un "código de trampa", ¿sabes? es como, entiendo cuáles son sus estándares para hombres y mujeres, y luego se diferencia según esos estándares.

y luego se dieron cuenta de que, debido a que las mujeres negras generalmente no reciben muchos servicios de maquillaje, no usan mucho maquillaje, por lo que el sistema simplemente no lo sabe. pero no sabemos que el sistema no lo sabe. entonces estaba pensando, ¿cómo sabemos si agi sabe o no sabe algo? ¿o descubriremos que simplemente hizo trampa para llegar a la respuesta de alguna manera? ¿cómo lo sabemos?

cuando esta incertidumbre se entrelaza con tantos aspectos de nuestras vidas, ¿cuál es el costo de nuestra ignorancia? ¿lo entiendes?

sam:

creo que avanzaremos en la comprensión de lo que están haciendo estos sistemas. actualmente, la interpretabilidad ha logrado algunos avances. esta es un área de investigación sobre estos modelos, y hay diferentes formas y diferentes niveles en los que se puede realizar esta investigación. puede intentar comprender qué está haciendo cada neurona artificial del sistema, o puede observar cómo el sistema piensa paso a paso y ver con qué pasos no está de acuerdo. descubriremos más.

la capacidad de comprender qué están haciendo estos sistemas y, con suerte, explicarnos por qué llegan a ciertas conclusiones, y hacerlo de manera precisa y sólida. creo que progresaremos no sólo en la comprensión de cómo estos sistemas hacen lo que hacen, sino también en la comprensión de cómo nuestros propios cerebros hacen lo que hacen. entonces creo que eventualmente lo entenderemos. tengo curiosidad y estoy seguro de que tú también.

en mi opinión, avanzaremos más en la implementación de métodos que sabemos que funcionan para mejorar estos sistemas y ayudarnos a resolver el desafío de la explicabilidad. y creo que a medida que estos sistemas se vuelvan más inteligentes, serán menos engañados. por lo tanto, es posible que un sistema más complejo no haga tales distinciones cosméticas y pueda aprender a un nivel más profundo. creo que estamos viendo alguna evidencia de que eso sucede.

trevor:

me hiciste pensar en dos cosas cuando dijiste que no se deja engañar tan fácilmente. uno es el aspecto de seguridad y el otro es el aspecto de precisión. los medios hablaron de ello. recuerdas, dijeron, la ia estaba alucinando, pensó que me iba a matar. me parece particularmente interesante que a la gente le guste usar la palabra "pensamiento" para describir grandes modelos de lenguaje. porque siempre pienso que los periodistas deberían intentar entender lo que está haciendo antes de informar sobre ello. pero cuando usan mucho la palabra "pensar", en realidad le dan al público un malentendido. siento simpatía por eso.

sam:

necesitamos usar términos familiares, necesitamos personificar. pero estoy de acuerdo contigo en que esto es engañoso.

trevor:

porque dices que está pensando, y entonces la gente pensará, ¿está pensando en matarme? ese no es el caso, no es pensar, simplemente es usar este transformador mágico para descubrir qué palabras tienen más probabilidades de encajar entre sí.

sam: ¿qué crees que estás haciendo?

trevor:

¿qué estoy haciendo? esta es una pregunta interesante. eso es lo que estoy diciendo, es la idea que reconstruimos.

hablamos de "alucinaciones". permítanme comenzar con la primera mitad. ¿crees que podemos lograr el objetivo de hacer que la ia no produzca alucinaciones?

sam:

creo que la mejor pregunta es: ¿podemos asegurarnos de que una ia no alucine cuando no queremos, con una frecuencia similar a la frecuencia con la que los humanos no alucinan? a esto mi respuesta es sí. pero, en realidad, una de las cosas que a la gente le encanta de estos sistemas es su capacidad para hacer cosas novedosas. si tan solo fuera... sí, la alucinación es tanto una característica como un error.

trevor:

eso es lo que justo estaba preguntando. ¿no es la alucinación parte de la existencia inteligente?

sam:

totalmente.

si piensas, por ejemplo, en la forma en que trabaja un investigador de ia, observa una gran cantidad de datos, genera algunas ideas, lee muchas cosas y luego comienza a pensar, tal vez esto o aquello. quizás debería probar este experimento. ahora tengo los datos. entonces, eso no funciona del todo. ahora se me ocurrirá esta nueva idea.

esta capacidad humana de proponer nuevas hipótesis, nuevas explicaciones, nunca ha existido antes, y la mayoría de ellas están equivocadas, pero luego hay un proceso y un circuito de retroalimentación para descubrir cuáles podrían tener sentido y, en última instancia, tienen sentido. este es uno de los elementos clave del progreso humano.

trevor:

¿cómo evitamos que la inteligencia artificial tenga entrada y salida de basura? actualmente, la inteligencia artificial trabaja con información creada de alguna manera por humanos. es aprender del material que creemos que se puede aprender. con todas las novedades que están apareciendo ahora, como open ai, anthropic, lambda, etc., parece que estamos entrando en un mundo donde la ia genera más información que los humanos, y es posible que esa información no reciba el escrutinio que merece.

entonces, ¿la ia mejora cuando aprende de sí misma de una manera que no puede ser censurada? ¿me entiende?

sam:

entiendo totalmente.

¿cómo solucionamos este problema? esto se remonta a la cuestión de saber comportarse en diferentes situaciones. por ejemplo, usted quiere algo de fantasía en el proceso creativo, pero no quiere esa fantasía cuando intenta informar los hechos precisos de un evento. y ahora estos sistemas pueden generar nuevas imágenes que son hermosas en un sentido importante, imágenes que en cierto modo son fantasía, pero buena fantasía. pero, nuevamente, ha mejorado mucho cuando se desea que el sistema proporcione solo hechos, aunque todavía queda un largo camino por recorrer en ese sentido.

no importa. creo que es bueno que estos sistemas se entrenen con sus propios datos generados, siempre y cuando exista un proceso para que estos sistemas aprendan qué datos son buenos y cuáles son malos. una vez más, "alucinación" es una descripción insuficiente de este proceso, porque si diera lugar a nuevas ideas científicas, estas ideas podrían considerarse inicialmente "alucinaciones". esto es valioso.

pero ya sabes, qué es bueno y qué es malo. y es necesario que haya suficiente supervisión humana para garantizar que todos todavía tengamos control colectivo sobre el destino de estas cosas. pero dentro de estas limitaciones, creo que es muy bueno que el sistema se entrene utilizando los datos generados y que los sistemas futuros hagan lo mismo.

y luego me recordaste otra cosa en la que he estado pensando, no sé muy bien cómo calcularlo, pero me pregunto si, digamos, un sistema como gpt-5 o 6 podrá en algún momento generar más palabras que un humano. toda la historia combinada. esto parece un hito importante.

en realidad, tal vez no importe que lo diga ahora.

trevor:

¿de qué manera se generó?

sam:

por ejemplo, el modelo genera más palabras en un año que toda la humanidad. hay ocho mil millones de personas en el mundo, o cualquiera que sea el número. puede calcular la cantidad promedio de palabras habladas por año.

pero la pregunta es: ¿dónde nos deja esto? por eso me sorprendió después de decirlo. por alguna razón, esto me parece un hito importante, pero no puedo pensar en una razón específica.

trevor:

quizás los humanos somos como monos que escriben todo el tiempo. entonces creo que vale la pena explorarlo.

sam:

pero no uso la palabra "pensar" porque creo que tienes razón y no deberías usar esta palabra. quizás podamos comparar la cantidad de palabras generadas por la ia versus la cantidad de palabras generadas por todos los humanos.

trevor:

estoy por terminar. por eso quiero hacer algunas preguntas y, si no las hago, la gente me matará.

una de las preguntas principales, y esta es mi pregunta personal, es que siempre hablamos de que la ia aprende de los datos, estos se introducen en conjuntos de datos. de eso estamos hablando. por eso se necesitan esas supercomputadoras de miles de millones de dólares para que las computadoras puedan aprender.

¿cómo le enseñamos a la ia a pensar mejor que quienes la alimentan con datos obviamente defectuosos? por ejemplo, ¿cómo aprende la ia más allá de los datos limitados que se nos proporcionan? cuando se trata de raza, estatus económico y percepciones, debido a que somos limitados, ¿cómo le enseñamos a no estar limitado por los datos limitados que nos dan?

sam:

no lo sabemos todavía, pero es una de las áreas de investigación más importantes que tenemos por delante: cómo superar los datos humanos. espero que si volvemos a hacer estas preguntas y respuestas dentro de un año, pueda darles la respuesta, pero aún no lo sé. no sabíamos que realmente importaba.

sin embargo, creo que ésta será una fuerza importante en la lucha contra la injusticia en todo el mundo. no creo que estos sistemas tengan esos profundos defectos que todos los humanos comparten. podrán volverse mucho menos racistas, sexistas y prejuiciosos. se convertirán en una fuerza a favor de la justicia económica en el mundo.

creo que si se proporciona un buen mentor en ia o un buen asesor médico en ia, se ayuda a la mitad más pobre del mundo más que solo a la mitad más rica, aunque ayuda a mejorar a todas las personas.

así que no tengo una respuesta clara a la pregunta científica que usted plantea, pero en este punto sí creo que estos sistemas ciertamente pueden hacerlo, y tenemos que hacer un arduo trabajo social para hacerlos realidad, pero tienen la potencial para ser extremadamente la tierra promueve la justicia en el mundo.

trevor:

quizás eso conduzca perfectamente a la segunda pregunta: ¿qué estás haciendo? ¿qué está haciendo openai? ¿está considerando alguna medida para mitigar la brecha entre ricos y pobres que esta nueva tecnología está creando una vez más?

la aparición de cada nueva tecnología es sorprendente para la sociedad en su conjunto, pero no se puede negar que creará un momento en el que, si la tienes, lo tendrás todo. y si no lo haces, estás fuera.

sam:

creo que aprenderemos más con el tiempo, pero ahora mismo creo que una de las cosas realmente importantes que hacemos es brindar un servicio verdaderamente gratuito. esto significa que no hay soporte publicitario, solo un servicio gratuito utilizado por más de 100 millones de personas cada semana. y es difícil decir quién es, porque en algunos países todavía estamos bloqueados o todavía estamos bloqueados, pero estamos tratando de hacer que un servicio fácil de usar y de muy alta calidad sea accesible para cualquier persona en cualquier lugar donde podamos. inteligencia artificial gratuita, que es importante para cada uno de nosotros.

creo que hay otras cosas que queremos hacer con esta tecnología. por ejemplo, si podemos usar la inteligencia artificial para ayudar a curar enfermedades y poner esos tratamientos a disposición del mundo, eso es obviamente beneficioso, pero poner esta herramienta en manos de la mayor cantidad de personas posible y permitirles usarla para construir el futuro es muy importante. y creo que podemos impulsar esto aún más.

trevor: dos preguntas más.

sam: ¿puedo agregar uno más?

trevor: el tiempo es todo tuyo.

sam:

otra cosa que creo que es importante es quién tiene la autoridad para decidir lo que estos sistemas dicen, no dicen, hacen y no hacen, quién establece esos límites. en este momento, son básicamente los empleados de openai los que toman las decisiones, y nadie diría que es una representación justa del mundo. entonces, no solo descubrir cómo democratizar esta tecnología, sino también descubrir cómo democratizar la gobernanza de esta tecnología, ese será un gran desafío para nosotros el próximo año.

trevor:

esto se relaciona directamente con lo que estaba a punto de preguntarles, el aspecto de seguridad de todo esto. hablamos de esto al comienzo de nuestra conversación. al diseñar algo que cambie el mundo, hay que reconocer el hecho de que podría cambiar el mundo de la peor manera o en la peor dirección. con cada avance tecnológico, también aumenta la capacidad de causar un daño mayor.

¿es posible hacer que la ia sea completamente segura? y luego la segunda parte es, ¿cuál es tu escenario de pesadilla? ¿qué te haría presionar un botón rojo para cerrar openai y toda la ia? cuando vas, sabes esto, si esto es así, si esto puede suceder, tenemos que cerrarlo todo. ¿de qué tienes miedo?

la primera pregunta es, ¿puedes mantenerlo seguro? la segunda parte es, ¿cuál es tu escena más aterradora?

sam:

creo, en primer lugar, que la idea que usted mencionó, de que el número de personas capaces de causar daños catastróficos disminuye aproximadamente cada década, es un hecho profundo que nosotros, como sociedad, tenemos que afrontar.

en segundo lugar, no creo que se trate de una cosa u otra acerca de cómo hacer que un sistema sea seguro. así como decimos que los aviones son seguros, los aviones todavía se estrellan ocasionalmente, aunque es extremadamente raro. decimos que los medicamentos son seguros, pero a veces la fda aún certifica medicamentos que pueden causar la muerte en algunas personas. por lo tanto, la seguridad no se decide unilateralmente, sino que la sociedad decide qué tan seguro es algo aceptable después de sopesar los riesgos y las recompensas. creo que podemos hacerlo, pero eso no significa que las cosas no puedan salir mal.

creo que habrá grandes problemas con la inteligencia artificial de los que debemos protegernos. creo que la sociedad en realidad tiene un proceso bastante bueno, aunque complicado, para decidir colectivamente qué umbrales de seguridad se deben establecer. se trata de una negociación compleja en la que participan muchas partes interesadas y nosotros, como sociedad, estamos mejorando con el tiempo. pero tenemos que protegernos contra el tipo de riesgos catastróficos que usted mencionó.

la energía nuclear es un ejemplo. la guerra nuclear ha tenido un impacto muy grande en el mundo. el mundo lo trata de manera diferente y ha hecho un trabajo sorprendente durante los últimos casi 80 años. creo que ocurrirá una situación similar con la inteligencia artificial. un ejemplo del que se habla mucho es el uso de la inteligencia artificial para diseñar y crear patógenos sintéticos que pueden causar enormes problemas. otro tema frecuentemente discutido es el tema de la seguridad informática y la inteligencia artificial capaz de piratear más allá de cualquier capacidad humana.

además, existe una nueva situación en la que, si el modelo es lo suficientemente potente, puede ayudar a diseñar métodos para transferir los pesos desde el servidor, hacer muchas copias y modificar su comportamiento, lo que se parece más a un escenario de ciencia ficción. pero creo que, como mundo, debemos mirar esto de frente. quizás no sea ese caso específico, pero la idea es que existe un riesgo catastrófico o incluso potencialmente existencial, y sólo porque no podamos definirlo con precisión no significa que podamos ignorarlo.

por eso trabajamos mucho aquí tratando de predecir y medir cuáles podrían ser estos problemas, cuándo podrían surgir y cómo podemos detectarlos tempranamente. creo que todas las personas que dicen que no se debe hablar de este tema, sólo de la desinformación, los prejuicios y los temas del día, están equivocadas. tenemos que hablar de ambos y mantenernos seguros en cada paso del camino.

trevor:

bien, eso fue tan aterrador como me imaginaba. entonces, por cierto, ¿realmente estás considerando postularte para gobernador? ¿es eso cierto?

sam:

no, no. pensé en esto muy brevemente en 2017 o 2016, o incluso años similares a esos. yo también lo creo.

esto suena como una idea vaga que he tenido durante algunas semanas, por diversión.

trevor:

de acuerdo

supongo que mi última pregunta es: ¿qué sigue? ¿cuál es tu sueño? si sam altman pudiera agitar una varita mágica y hacer que la inteligencia artificial fuera lo que quisieras, ¿qué crees que traería al futuro? ¿cuáles son las ventajas? ¿cuáles son los beneficios para todos? y en todos los niveles, es algo realmente agradable y positivo.

sam:

gracias por hacer esta pregunta. creo que siempre hay que terminar con una nota positiva.

sí. creo que estamos entrando en el período más fértil de la historia de la humanidad. creo que los dos impulsores principales son la inteligencia artificial y la energía, pero habrá otros factores. esas dos cosas, la capacidad de generar ideas, la capacidad de implementar esas ideas y hacerlo a escala, los límites de lo que las personas pueden tener serán algo así como lo que pueden imaginar y lo que nosotros como sociedad negociamos. algo. creo que esto va a ser genial.

estábamos hablando de qué significaría si cada estudiante pudiera tener una mejor experiencia educativa que los estudiantes más ricos y con mejores recursos de la actualidad. ¿qué significaría si todos tuviéramos una mejor atención médica que la mejor atención médica disponible para las personas más ricas en la actualidad? ¿qué significaría si las personas fueran en general libres para realizar el trabajo que consideraran más satisfactorio personalmente, incluso si eso significara que tuvieran que pasar a nuevas categorías laborales? ¿qué significaría si todos pudieran tener un trabajo que les encantara y tuvieran los mismos recursos que una gran empresa o un equipo?

entonces, tal vez en lugar de tener 800 personas en openai, todos obtengan 800 sistemas de ia más inteligentes que puedan hacer todas estas cosas y la gente simplemente cree y haga todas estas cosas, creo que eso es realmente notable. creo que este es el mundo hacia el que nos dirigimos. esto requerirá mucho trabajo, además de la tecnología, para que esto suceda; por ejemplo, la sociedad tendrá que hacer algunos cambios. pero el hecho de que estemos entrando en esta era de abundancia me hace muy feliz.

trevor:

eso es todo lo que diré aquí. soy un gran admirador de las ventajas potenciales de openai. trabajo en educación en sudáfrica. mi sueño siempre ha sido darle a cada niño acceso a los mejores tutores. ¿me entiende? literalmente, ningún niño se queda atrás, ya que puede aprender a su propio ritmo.

sam:

por cierto, ¿qué está pasando con los niños que usan chatgpt para aprender cosas? estas historias son como las que recibo por correo todos los días. esto es asombroso.

trevor:

en efecto. esto es realmente asombroso. especialmente cuando el aprendizaje se vuelve más multimodal, como agregar videos, se vuelve sorprendente.

sueño con, como usted dice, atención médica. sueño con todo esto. una cuestión existencial de la que creo que no hablamos lo suficiente es: una vez que la ia haya reemplazado efectivamente todas estas cosas, ¿cómo redefinimos el propósito humano? porque, nos guste o no, a lo largo de la historia descubriremos que nuestras metas a menudo han definido nuestro progreso.

nuestro objetivo alguna vez fue sólo la religión. para bien o para mal, si lo piensas bien, la religión es realmente buena para hacer que la gente piense y actúe en una dirección específica más allá de ellos mismos. dicen: "este es mi propósito". me levanto para servir a dios, sea cual sea el dios que se te ocurra. me despierto para servir a dios. me despierto para agradar a dios. creo que hace que los humanos sientan que avanzan hacia una meta, pero también les da un sentido de comunidad y pertenencia.

a medida que avanzamos hacia un mundo donde la ia elimina esto, espero que no olvidemos cuántas personas tienen toda su identidad ligada a lo que hacen en lugar de a quiénes son. una vez que reemplazamos esos roles, cuando no tenemos empleados, secretarias, telefonistas, asistentes, trabajadores de fábrica, eso es lo que hemos visto suceder con tanta frecuencia en la historia. al igual que el radicalismo que surge de la nada, hubo una oposición masiva. ¿alguna vez has pensado en esto? ¿hay alguna manera de interceptarlo antes de que eso suceda?

sam:

¿cómo describirías cuáles son nuestros objetivos ahora?

trevor:

creo que en este momento nuestro propósito es sobrevivir y esa supervivencia está ligada a alguna forma de generación de ingresos porque así es como nos dicen que funciona la supervivencia, hay que ganar dinero para sobrevivir. pero hemos visto que esta situación cambia en algunos períodos. hay un gran ejemplo en francia, tenían (y creo que todavía tienen una versión del mismo) un fondo de artistas donde decían, te pagaremos como artista y tú simplemente creas para hacer que francia luzca más hermosa. eso es tan hermoso.

sé que eres fanático de la rbu. sí, no deberíamos irnos antes de que hables de ello.

sam:

no creo que la supervivencia de las personas deba estar ligada a su voluntad o capacidad para trabajar. creo que es como un desperdicio del potencial humano. sí, estoy totalmente de acuerdo contigo.

trevor:

espera, déjame preguntarte esto antes de irte. ¿es por eso que cree que la renta básica universal es tan importante? como no perderías tiempo ni dinero en algo en lo que no crees, gastas mucho tiempo y dinero en una renta básica universal. lo último que vi es que estabas involucrado en un proyecto por unos cuarenta millones de dólares. en realidad fueron 60 millones de dólares.

sam:

creo que una renta básica universal ciertamente no es una solución integral a los desafíos que tenemos ante nosotros, pero sí creo que erradicar la pobreza es sin duda algo bueno. creo que una mejor redistribución de los recursos conducirá a una sociedad mejor para todos. pero creo que enviar dinero no es la parte clave. proporcionar herramientas y proporcionar gobernanza, creo que es más importante. la gente quiere ser arquitectas del futuro y creo que puedo decir que hay un hilo continuo de significado o algo así como una misión para la humanidad.

desde una perspectiva individual, definitivamente se trata de sobrevivir y prosperar, pero en general tenemos la urgencia colectiva de mejorar el futuro. a menudo nos vamos por la tangente, pero la historia humana es: mejorar el futuro. eso es tecnología, eso es gobernanza, así es como nos tratamos unos a otros. es como explorar las estrellas, esa es la manera de entender el universo, sea cual sea. tengo una gran confianza y esta confianza está muy dentro de nosotros. no importa qué herramientas obtengamos, ese deseo fundamental, esa misión de la humanidad de florecer como especie y como individuos, nunca desaparecerá.

por eso estoy lleno de optimismo sobre el mundo dentro de dos generaciones. pero este es un punto muy importante que usted menciona, y es que las personas que ya están en sus carreras y en realidad están bastante satisfechas, no quieren cambiar. se acerca el cambio. una de las cosas que hemos visto en revoluciones tecnológicas anteriores es que parece que dentro de unas dos generaciones, la sociedad y las personas pueden adaptarse a cualquier grado de cambio en el trabajo. pero no en diez años, y ciertamente no en cinco años.

vamos a enfrentar esto y creo que, hasta cierto punto, como dijimos antes, va a ser más lento de lo que la gente piensa, pero aún más rápido de lo que la sociedad ha tenido que enfrentar en el pasado. definitivamente tengo un poco de miedo sobre lo que eso significa y cómo nos adaptamos a eso. tendremos que lidiar con esto y creo que vamos a encontrar una solución. estoy seguro de que lo resolveremos.

también creo que si les damos a nuestros hijos y nietos mejores herramientas que las nuestras, harán cosas que nos sorprenderán. espero que se sientan realmente mal por lo horrible que es la vida para todos nosotros. espero que el futuro sea increíble. a este espíritu y deseo humano le gusta explorar y expresarse, diseñar un mundo cada vez mejor, e incluso más allá de este mundo. creo que es genial y estoy muy feliz por ello.

en cierto sentido, no deberíamos tomarnos demasiado en serio esta pequeña cosa. en star wars, hay un villano que dice: "no te impresiones demasiado con este horror tecnológico que has creado". creo que fue darth vader. lo que esto significa es que este terror tecnológico no puede competir con el poder de la fuerza.

en un sentido importante, siento lo mismo acerca de la inteligencia artificial. esto no debería sorprendernos demasiado. por ejemplo, el espíritu humano nos guiará en tiempos difíciles y es mucho mayor que cualquier revolución tecnológica.

trevor:

este es un hermoso mensaje de esperanza.

espero que tengas razón porque me encanta esta tecnología.

una cosa que quiero decirte, como sam altman, uno de los directores ejecutivos del año y persona del año de time, creo que seguirás siendo así, especialmente en este puesto. debido al enorme impacto que openai y la propia inteligencia artificial están a punto de tener en nosotros, les imploro que sigan recordando cómo se sintieron cuando los despidieron porque están creando una tecnología que pondrá a muchas personas en una posición similar. veo esa humanidad en ti y espero que siempre la tengas en cuenta al crear.

sam:

¿sabes lo que hice el sábado por la mañana, muy temprano, cuando no podía dormir? escribí lo que podía aprender de esto para poder hacerlo mejor cuando otros pasan por situaciones similares y me culpan como ahora estoy culpando a la junta directiva.

trevor: ¿lo descubriste?

sam:

hay muchas lecciones individuales útiles. pero la empatía que obtuve de toda la experiencia y la realineación de mis valores, aunque dolorosamente costosa, fue definitivamente una bendición disfrazada. me alegro de haber tenido esa experiencia en ese sentido.

trevor:

bueno, sam, gracias por tu tiempo. muchas gracias, realmente lo estoy disfrutando todo. espero que podamos charlar sobre todas las novedades dentro de un año.

sam:

definitivamente deberías hacer esto, será divertido.

trevor:

lo haré, hermano. maravilloso. gracias.