noticias

Texto: Web3 Sky City·City Lord

En esta última entrevista de clase de Stanford, el ex director ejecutivo de Google, Eric Schmidt, analiza en profundidad la dirección del desarrollo de la inteligencia artificial, el futuro de la competencia tecnológica global y cómo estas tecnologías afectarán a la sociedad y la economía en el corto plazo y tendrán un profundo impacto en la economía. seguridad nacional.SchmidtRepasó sus muchos años de experiencia en la industria de la tecnología, compartió sus predicciones sobre los avances en la tecnología de inteligencia artificial en los próximos años y analizó cómo estos avances darán forma al panorama competitivo entre empresas y países, especialmente en la competencia entre Estados Unidos. y China.

SchmidtSe pone especial énfasis en los complejos factores detrás del progreso tecnológico, como la mejora de la potencia informática, el desarrollo de nuevos algoritmos y la búsqueda incesante por parte del mercado de sistemas inteligentes. También analiza el impacto potencial de la IA en los mercados laborales, la privacidad de los datos, la antimonopolio y la seguridad nacional, y ofrece recomendaciones sobre cómo mantener una ventaja competitiva en este entorno que cambia rápidamente.

El propietario de la ciudad señaló específicamente que, como Schmidt, que ha trabajado en el Departamento de Defensa de los EE. UU. durante mucho tiempo, su discurso y su posición deben distinguirse, y creo que los lectores podrán entenderlo por sí mismos.

Avances a corto plazo e impactos de gran alcance de la inteligencia artificial：

SchmidtSe predice que en los próximos uno o dos años, la inteligencia artificial marcará el comienzo de importantes avances, especialmente en la combinación de la expansión de la ventana de contexto, agentes de inteligencia artificial y texto a operación. Estos avances tecnológicos permitirán que los sistemas de IA manejen tareas complejas de manera más eficiente, más allá de sus limitaciones actuales. Este tipo de progreso no se limitará al campo técnico, sino que afectará profundamente a todos los aspectos de la sociedad, incluidos la educación, la atención sanitaria, el gobierno y las empresas. Hizo hincapié en que el desarrollo de estas tecnologías puede tener un impacto transformador que puede ser incluso más profundo que el auge de las redes sociales.

El juego entre China y Estados Unidos en la competencia mundial de ciencia y tecnología：

SchmidtUn análisis detallado de la feroz competencia entre Estados Unidos y China en el campo de la inteligencia artificial. Señaló que Estados Unidos actualmente lidera en tecnología, talento y recursos, pero para mantener esta ventaja se requiere una alta inversión continua y cooperación internacional, especialmente cooperación con aliados como Canadá, para asegurar el suministro sostenible de energía y recursos. Enfatizó que el futuro de la IA no es sólo una competencia técnica, sino también un juego estratégico entre países, que involucra seguridad nacional, competitividad económica y liderazgo global. Schmidt advirtió que Estados Unidos necesita aumentar la inversión para hacer frente al rápido ascenso de China en el campo de la IA y mantener su dominio global en este campo.

Retos de monopolio e innovación de los gigantes tecnológicos：

Cuando se habla del dominio actual de los gigantes tecnológicos,SchmidtSe señala que la posición de monopolio de empresas como NVIDIA en el campo de la IA se beneficia de sus sólidas capacidades técnicas y ventajas de capital. Mencionó que aunque existen competidores en el mercado, desafiar el estatus de estos gigantes tecnológicos requiere grandes inversiones e innovación tecnológica. También expresó su preocupación sobre cómo estos gigantes continuarán promoviendo la innovación tecnológica en el futuro, creyendo que el desarrollo de la IA con uso intensivo de capital puede conducir a cambios fundamentales en el modelo de desarrollo de software, desde el código abierto al código cerrado, consolidando así aún más el monopolio de la tecnología. gigantes.

El impacto de la inteligencia artificial en la sociedad y el mercado laboral：

SchmidtSe explora el impacto potencial de la inteligencia artificial en la sociedad, la economía y el mercado laboral. Él cree que, aunque la tecnología de inteligencia artificial puede reemplazar algunas tareas repetitivas, también aumentará la importancia de los empleos altamente calificados y promoverá la productividad de las personas en tareas complejas. También expresó su preocupación por la desigualdad social que la inteligencia artificial puede traer, señalando que los países ricos se beneficiarán más de la IA, mientras que los países pobres pueden quedar atrás. también,SchmidtPide una regulación más estricta de la IA para abordar cuestiones como la privacidad de los datos, los derechos de propiedad intelectual y la difusión de información errónea.

IA adversaria y desafíos de seguridad：

SchmidtSe hizo una mención especial a la amenaza potencial de la inteligencia artificial adversaria, prediciendo que en el futuro pueden existir sistemas de IA especialmente diseñados para atacar y destruir otros sistemas de IA. Este desarrollo traerá nuevos desafíos éticos y de seguridad.SchmidtSe recomienda que la comunidad científica y tecnológica y el gobierno cooperen para estudiar cómo prevenir estos riesgos y formular regulaciones y estándares técnicos correspondientes para garantizar la seguridad y credibilidad de la inteligencia artificial. También mencionó que la investigación en este campo se convertirá en una dirección importante para el futuro desarrollo científico y tecnológico y puede recibir más atención en universidades e instituciones de investigación.

El ex director ejecutivo de Google habla sobre la competencia global de la IA: los chips estadounidenses tienen 10 años de ventaja tecnológica y China es el competidor más importante

= Versión compilada del texto completo de Web3 Sky City =

Profesor anfitrión:

El invitado de hoy no necesita presentación. Conocí a Eric hace unos 25 años, cuando llegó a Stanford GSB como director ejecutivo de Novell. Desde entonces, ha ocupado puestos clave en Google, desde 2001 hasta unirse a Schmidt Futures en 2017. Además, también ha participado en muchos otros proyectos, y puedes consultar la información relevante. Entonces Eric, si me permites, comenzaré con eso.

En primer lugar, ¿hacia dónde cree que se dirigirá la inteligencia artificial en el corto plazo? Creo que lo defines como los próximos uno o dos años.

Schmidt:

Las cosas están cambiando tan rápido que siento que cada seis meses necesito dar un nuevo discurso sobre lo que viene. Tengo un grupo de estudiantes de informática aquí, ¿alguien puede explicarle al resto de la clase "un millón desimbólico¿Qué es la "Ventana de contexto"? Nómbrela y díganos qué hace.

alumno:Básicamente, te permite usar un millón de marcadores o un millónIndicaciones de palabras.

Schmidt:

Entonces puedes hacer una pregunta de un millón de palabras. Antrópico son 200.000 tokens, hasta 1 millón, y así sucesivamente. te puedes imaginarIA abiertaTener un objetivo similar.

¿Alguien aquí puede dar una definición técnica de agente de IA? De nuevo, informática.

alumno:Un agente de IA puede ser algo que se comporta de cierta manera. Podría ser llamar a algo en la web para encontrar información en su nombre. Podrían ser muchas cosas diferentes en este sentido. En un proceso suceden todo tipo de cosas.

Schmidt:Entonces un agente es algo que realiza algún tipo de tarea. Otra definición es que es unMáster en Derecho, estado y memoria. A continuación, informáticos, ¿alguno de ustedes puede definir "texto a acción"?

alumno:En lugar de convertir texto en más texto, deje que la IA active acciones basadas en esto.

Schmidt:

Otra definición es el lenguaje Python. No quiero que un lenguaje de programación sobreviva nunca. Todo en IA se hace en Python. Acaba de surgir un nuevo lenguaje llamado Mojo, y parece que finalmente han resuelto el problema de la programación de IA, pero veremos si realmente puede sobrevivir al dominio de Python.

También hay un problema técnico. ¿Por qué NVIDIA vale 2 billones de dólares mientras otras empresas tienen dificultades?

alumno:La respuesta técnica es que la mayor parte del código debe ejecutarse utilizando optimizaciones CUDA que actualmente solo son compatibles con las GPU NVIDIA, por lo que otras empresas pueden hacer lo que quieran, pero no tendrá aprendizaje automático a menos que tengan 10 años de experiencia en optimización de software.

Schmidt:

Me gusta pensar en CUDA como un lenguaje de programación C para GPU y me siento cómodo con esta idea. CUDA se fundó en 2008. Aunque siempre pensé que era un mal lenguaje, ahora lo he asumido. Otra idea que vale la pena destacar: existe un conjunto de bibliotecas de código abierto que están altamente optimizadas para CUDA que ninguna otra biblioteca lo está. Todas las personas que construyen estas pilas de tecnología se pierden por completo este punto de la discusión. Estas bibliotecas se denominan técnicamente VLLM y hay muchas bibliotecas similares que también están altamente optimizadas para CUDA, lo que dificulta que los competidores las copien.

Entonces, ¿qué significa todo esto? El año que viene, veremos ventanas de contexto, agentes y aplicaciones de texto a acción muy grandes. Cuando estas tecnologías se distribuyan a escala, tendrán un enorme impacto en el mundo, mucho más allá del impacto de las redes sociales. He aquí por qué: en la ventana de contexto, puedes usarlo como memoria a corto plazo, y me sorprendió lo larga que era la ventana de contexto. Las razones técnicas tienen que ver con el servicio y la dificultad computacional. Lo interesante de la memoria a corto plazo es que cuando ingresas información y haces una pregunta, por ejemplo, lees 20 libros y usas el texto de los libros como consulta y luego preguntas de qué tratan, se olvida la parte media, similar a cómo El cerebro humano funciona.

Con respecto a los agentes, ahora hay personas que están creando agentes LLM leyendo y entendiendo cosas en áreas como la química y luego probándolos y agregándolos nuevamente a su comprensión. Esto es muy poderoso. El tercer aspecto es el texto a la acción. Déjame darte un ejemplo: digamos que el gobierno está intentando prohibir TikTok. Si TikTok está prohibido, le sugiero que le diga lo siguiente a su LLM: copie TikTok por mí, ponga mis preferencias en él, cree esta aplicación y publíquela dentro de los próximos 30 segundos, y dentro de una hora, si no se puso de moda. , simplemente haz algo así. Ese es el orden. Puedes ver lo poderoso que es esto.

Si puedes traducir desde cualquier idioma a cualquier comando numérico, eso es esencialmente Python en este escenario. Imagínese que todos en el planeta tuvieran sus propios programadores que realmente hicieran lo que querían hacer, a diferencia de programadores que no trabajaran como era necesario. Los programadores aquí saben de lo que estoy hablando. Imagine un programador no arrogante que realmente hace lo que quiere sin que usted tenga que pagar un precio elevado. Y la oferta de estos programadores es ilimitada.

profesor:¿Sucederá todo esto en uno o dos años?

Schmidt:

pronto. Estoy seguro de que las tres cosas anteriores sucederán simultáneamente en la próxima ola. Entonces te preguntas qué más pasará. Fluctúo cada seis meses, por lo que estamos en una oscilación par-impar. De momento, la brecha entre los modelos punteras (ahora sólo hay tres) y el resto parece estar creciendo. Hace seis meses, estaba convencido de que la brecha se estaba cerrando, así que invertí mucho en algunas empresas más pequeñas. Sin embargo, ahora no estoy tan seguro de eso.

Estoy teniendo conversaciones con algunas grandes empresas y me dicen que necesitan 10.000 millones de dólares, 20.000 millones de dólares, 50.000 millones de dólares e incluso 100.000 millones de dólares. El proyecto Stargate requiere 100 mil millones de dólares y es muy difícil. Mi buen amigo Sam Altman cree que se podrían necesitar unos 300.000 millones de dólares, tal vez más. Le señalé que había calculado la energía necesaria.

En aras de una divulgación completa, fui a la Casa Blanca el viernes y les dije que teníamos que ser los mejores amigos de Canadá. Como los canadienses son gente muy agradable, ayudaron a inventar la inteligencia artificial y tienen mucha energía hidroeléctrica. Porque nosotros como país no tenemos suficiente poder para lograr este objetivo. Otra opción es que los países árabes financien el proyecto. Personalmente me gustan los árabes y paso mucho tiempo allí, pero es posible que no sigan nuestras reglas de seguridad nacional. Y Canadá y Estados Unidos son uno de los tres grandes en los que todos estamos de acuerdo.

Así, en estos centros de datos, que valen entre 100.000 y 300.000 millones de dólares, la energía está empezando a convertirse en un recurso escaso.

Por cierto, si sigue este razonamiento, puede preguntarse por qué estoy hablando de CUDA y NVIDIA. Si los 300 mil millones de dólares van a NVIDIA, ya sabes qué hacer en el mercado de valores. Sin embargo, esta no es una recomendación de acciones y no soy un otorgante de licencias.

profesor:

En parte porque vamos a necesitar más chips, pero Intel recibe mucho dinero del gobierno estadounidense. AMD está intentando construir una fábrica en Corea del Sur.

Schmidt:

Levanten la mano si tienen un chip Intel en alguno de sus dispositivos informáticos. Hasta aquí el monopolio.

profesor:

Pero ese es el punto. Una vez tuvieron un monopolio y ahora NVIDIA tiene un monopolio. ¿Son entonces estas barreras de entrada?

Hablando de CUDA, ¿hay otras opciones? Estuve hablando con Percy Lange el otro día. Está cambiando entre TPU y chips NVIDIA, dependiendo de a qué tenga acceso. Esto se debe a que no tiene otra opción.

Schmidt:

Si tuviera fondos ilimitados, elegiría hoy la arquitectura B200 de NVIDIA porque es más rápida. No estoy sugiriendo eso: la competencia es algo bueno.

Tuve una larga conversación con Lisa Su de AMD. Han construido algo que puede convertir la arquitectura CUDA en su propia arquitectura, llamada Rokam. Aún no es completamente funcional, pero están trabajando en ello.

profesor:

Trabajaste mucho tiempo en Google y ellos inventaronTransformadorarquitectura. Gracias a la gran gente de allí, como Peter, Jeff Dean y todos. En la actualidad, OpenAI parece haber perdido la iniciativa. En las últimas clasificaciones que vi, Claude de Anthropic encabezó la lista. Le pregunté a Sundar, pero no me dio una respuesta muy clara. Quizás tengas una explicación más directa u objetiva de lo que está pasando allí.

Schmidt:

Ya no soy empleado de Google. El enfoque de Google en el equilibrio entre la vida laboral y personal se trata más de permitir que los empleados se vayan temprano a casa y trabajen desde casa, en lugar de buscar ciegamente la victoria. Por el contrario, las startups tienen éxito porque sus empleados trabajan duro. Si bien eso puede ser un poco contundente, la realidad es que si estás iniciando una empresa después de la universidad y quieres competir con otras nuevas empresas, no puedes tener empleados que vengan solo un día a la semana.

El ex director general de Google se quejó públicamente de que los empleados "no trabajan lo suficiente" y se quedó atrás en la competencia de IA porque "sólo vienen un día a la semana" y, por cierto, también bloqueó TikTok.

profesor:En los primeros días de Google, lo mismo ocurría con Microsoft.

Schmidt:

Ahora parece que en nuestra industria, durante demasiado tiempo, las empresas siempre han ganado por ser realmente creativas y dominar un espacio, en lugar de realizar la siguiente transformación. Esto está bien documentado. Creo que los fundadores son especiales y necesitan tener el control, aunque puede resultar difícil trabajar con ellos porque ejercen mucha presión sobre sus empleados. Por mucho que no nos gusten las acciones personales de Elon, mire lo que obtiene de sus empleados. Una vez cené con él y estaba volando. Yo estaba en Montana y él estaba en un vuelo a las 10 de la noche para una reunión de medianoche con x.ai. Piénsalo.

Diferentes lugares tienen diferentes culturas. Estoy impresionado por TSMC. Tenían la regla de que los estudiantes de doctorado recién graduados, buenos físicos, debían trabajar en el sótano de la fábrica. ¿Te imaginas que un doctorado estadounidense en física haga esto? No es probable. Es una ética de trabajo diferente.

El rigor con el que trabajo se debe a que estos sistemas tienen efectos de red, por lo que el tiempo es esencial. Y en la mayoría de las empresas, el tiempo no es tan importante, hay mucho. Coca-Cola y Pepsi-Cola seguirán existiendo, la competencia entre ellas continuará y todo estará helado. Cuando trato con empresas de telecomunicaciones, un acuerdo típico tarda 18 meses en firmarse. No hay razón para tardar 18 meses en hacer algo, hay que hacerlo lo más rápido posible. Estamos en un período de crecimiento y maximización de ingresos, pero también requiere ideas locas.

Por ejemplo, cuando Microsoft hizo el trato con OpenAI, pensé que era la idea más tonta que había escuchado en mi vida. ¿Subcontratar su liderazgo en IA a OpenAI y a Sam y su equipo? Esto es una locura. Nadie en Microsoft ni en ningún otro lugar hace eso. Hoy, sin embargo, se están convirtiendo en las empresas más valiosas, ciertamente en una posición de ojo por ojo con Apple. Apple no tiene una buena solución de IA, pero parece que la hicieron funcionar.

alumno:

¿Cómo desempeñará la IA un papel en términos de seguridad nacional o intereses geopolíticos, especialmente en competencia con China?

Schmidt:

Como presidente de un comité de inteligencia artificial, estudié esto en profundidad. Escribimos un informe de aproximadamente 752 páginas y lo resumimos de la siguiente manera: Actualmente estamos en una posición de liderazgo y necesitamos mantener esta ventaja, lo que requiere un apoyo financiero significativo. Nuestros principales clientes son el Senado y la Cámara de Representantes, lo que llevó a la introducción de la Ley CHIPS y otras políticas similares.

Si se siguen desarrollando modelos de vanguardia y algunos modelos de código abierto, es posible que sólo unas pocas empresas puedan competir en este campo. ¿Qué países tienen tales capacidades? Estos países deben estar bien financiados, ser talentosos, tener sistemas educativos sólidos y voluntad de ganar. Estados Unidos y China son dos de los principales países. En cuanto a si otros países pueden participar, no estoy seguro. Pero lo que es seguro es que en el futuro, la competencia entre Estados Unidos y China por la hegemonía intelectual será una lucha importante.

Básicamente, el gobierno de Estados Unidos ha prohibido la exportación de chips NVIDIA a China, aunque no lo admitirán públicamente. Tenemos alrededor de 10 años de ventajas tecnológicas en chips sub-DUV, que son chips de menos de 5 nanómetros. Esta ventaja nos sitúa varios años por delante de China, para gran disgusto de China. Esta política fue desarrollada por la administración Trump y apoyada por la administración Biden.

profesor:¿El Congreso escuchará sus consejos y hará inversiones masivas? Obviamente, la Ley CHIPS es un ejemplo de esto.

Schmidt:

Además, también necesitamos construir un enorme sistema de inteligencia artificial. Dirijo un grupo informal, ad hoc y no legal de expertos comunes de la industria. El año pasado, estos miembros defendieron lo que se convirtió en el proyecto de ley de inteligencia artificial de la administración Biden, la directiva presidencial más larga de la historia.

Una vez discutimos una pregunta central: ¿Cómo detectar peligros en un sistema que ha aprendido pero no sabe qué preguntar? En otras palabras, es posible que el sistema haya aprendido algo malo, pero usted no sabe cómo preguntarlo. Por ejemplo, es posible que haya aprendido a mezclar productos químicos de alguna manera nueva, pero no sabes cómo pedírselo. Para abordar esto, nuestro memorando al gobierno recomendó establecer un umbral que llamamos 10 elevado a 26, que es una medida de cálculo técnico. Por encima de este umbral, las empresas deben informar sus actividades al gobierno. Para garantizar que sean diferentes, la Unión Europea establece 10 elevado a 25 como 10. Pero estas cifras son bastante cercanas. Creo que todas estas distinciones desaparecerán porque la tecnología existente quedará obsoleta. El término técnico se llama entrenamiento conjunto, que básicamente significa que las piezas se pueden fusionar. Por lo tanto, es posible que no podamos proteger a las personas de estas cosas nuevas.

profesor:

Se rumorea que OpenAI debe entrenarse de esta manera en parte debido a problemas de consumo de energía. No hay ningún lugar donde hagan esto.

Hablemos de una guerra real en marcha. Sé que estuvo involucrado activamente en la guerra en Ucrania, específicamente en lo que respecta al programa White Stork y su objetivo de destruir tanques por valor de 5 millones de dólares con drones por valor de 500 dólares. ¿Cómo cambia esto la guerra?

Schmidt:

Trabajé para el Secretario de Defensa durante siete años, tratando de cambiar la forma en que manejamos nuestro ejército. No me gusta mucho el ejército, pero es muy caro y quería ver si podía ayudar. Creo que básicamente fallé. Me dieron una medalla, así que probablemente le den medallas a los perdedores o lo que sea. Pero mi autocrítica es que nada ha cambiado realmente y el sistema estadounidense no conduce a una innovación real.

Así que decidí iniciar una empresa con tu amigo Sebastian Thrun (que era miembro de la facultad aquí) y un grupo de gente de Stanford. La idea es básicamente hacer dos cosas: utilizar la inteligencia artificial de maneras complejas y poderosas en lo que son esencialmente guerras de robots y la segunda es reducir el costo de los robots; Ahora quizás estés pensando, ¿por qué un buen liberal como yo haría esto? La respuesta es que toda la teoría del ejército son tanques, artillería y morteros, y podemos destruirlos. Podemos hacer que el castigo de invadir un país (al menos por tierra) sea esencialmente imposible. Debería eliminar ese tipo de guerra terrestre.

profesor:

Esta es una pregunta muy interesante. ¿Le da a la defensa una ventaja sobre la ofensiva? ¿Puedes notar la diferencia?

Schmidt:

Como he estado haciendo esto durante el último año, he aprendido muchas cosas sobre la guerra que realmente no quería saber. Una cosa que debes saber sobre la guerra es que la ofensiva siempre tiene una ventaja porque siempre puedes abrumar al sistema de defensa. Entonces, desde una perspectiva de estrategia de defensa, será mejor que tengas una ofensiva muy fuerte que puedas usar cuando sea necesario. El sistema que yo y otros estamos construyendo hará precisamente eso. Debido a la forma en que funciona el sistema, ahora soy un traficante de armas autorizado. Entonces soy un informático, un hombre de negocios, un traficante de armas. Lamento decirlo. ¿Es esto un progreso? No tengo ni idea. No recomiendo hacer esto en tu carrera. Me quedo con la inteligencia artificial. Debido a la forma en que funciona la ley, lo hacemos de forma privada, con apoyo del gobierno y todo es legal. Va directamente a Ucrania y luego empiezan a pelear. Sin entrar en todos los detalles, la situación es bastante grave. Creo que en mayo o junio, si los rusos construyen como se espera, Ucrania perderá una gran porción de territorio en el proceso de perder todo el país. La situación es bastante mala. Si conoces a Marjorie Taylor Greene, te sugiero que la elimines de tu lista de contactos. Porque ella fue quien bloqueó el gasto de miles de millones de dólares para salvar una democracia importante.

profesor:

A continuación, quiero discutir una cuestión un tanto filosófica. El año pasado, usted fue coautor de un artículo con Henry Kissinger y Dan Huttenloch sobre la naturaleza del conocimiento y cómo se desarrolla. También hablé de este tema hace unas noches. Durante la mayor parte de la historia, la comprensión del universo por parte de la humanidad fue misteriosa, hasta el advenimiento de la Revolución Científica y la Ilustración. En su artículo menciona que los modelos actuales se han vuelto tan complejos y difíciles de entender que realmente no sabemos qué sucede dentro de ellos. Cito a Richard Feynman: “Lo que no puedo crear, no lo entiendo” El otro día me encontré con esta cita. Pero ahora la gente está creando lo que puede sin comprender realmente su funcionamiento interno. ¿Ha cambiado de alguna manera la naturaleza del conocimiento? ¿Tenemos que empezar a aceptar estos modelos al pie de la letra, que no pueden explicarnos?

Schmidt:

Me gustaría dar un ejemplo de un adolescente. Si tienes un adolescente, sabes que es humano, pero no puedes entender lo que está pensando. Sin embargo, nosotros, como sociedad, hemos logrado adaptarnos a la existencia de los adolescentes y ellos eventualmente lo superarán. Esta es una pregunta seria. Así que podemos tener sistemas de conocimiento que no podemos describir completamente, pero entendemos sus límites y los límites de lo que pueden hacer, y eso es probablemente lo mejor que podemos conseguir. ¿Crees que entenderemos estas limitaciones? Si podemos hacer eso, eso es genial.

El consenso en las reuniones semanales de mi grupo es que eventualmente habrá la llamada IA ​​adversaria, donde en realidad habrá empresas que te contraten y te paguen para que rompas tu sistema de IA. Como el equipo rojo. A diferencia de los equipos rojos humanos de hoy, habrá empresas enteras e industrias enteras de sistemas de IA cuyo trabajo será alterar los sistemas de IA existentes y encontrar vulnerabilidades en ellos, especialmente aquellas que no podemos descubrir. Esto tiene sentido para mí. También es un gran programa para Stanford. Si tienes un estudiante de posgrado que tiene que descubrir cómo atacar uno de estos grandes modelos y comprender lo que hace, esa será una habilidad importante para construir la próxima generación. Por eso tiene sentido combinar los dos.

profesor:

Ahora, respondamos algunas preguntas de los estudiantes. Hay un compañero de clase detrás de mí, por favor di tu nombre.

alumno:

Mencionaste antes, y esto se relaciona con los comentarios ahora, acerca de que la IA realmente haga lo que tú quieres que haga. Acabas de mencionar la IA adversaria y me preguntaba si podrías explicarlo con más detalle. Parece que, aparte del evidente aumento de la potencia informática, se pueden conseguir modelos de mayor rendimiento, pero la cuestión de conseguir que hagan lo que usted quiere parece estar parcialmente sin respuesta.

Schmidt:

Bueno, hay que asumir que el problema actual de las alucinaciones disminuirá a medida que la tecnología mejore, etc. No digo que vaya a desaparecer. Y luego también hay que asumir que hay una prueba de eficacia, por lo que tiene que haber una manera de saber si esto tuvo éxito. En el ejemplo que mencioné de un competidor de TikTok, no estoy sugiriendo robar ilegalmente la música de otras personas. ¿Qué harías si fueras un emprendedor en Silicon Valley? Espero que todos ustedes sean emprendedores de Silicon Valley. Si su producto tiene éxito, contratará un ejército de abogados para encargarse de las consecuencias. Pero si nadie usa tu producto, no importará si lo robas todo. Por supuesto, no me cites sobre eso.

Silicon Valley normalmente realiza estas pruebas y maneja preguntas de seguimiento. Esta es una práctica común. Creo que veremos más y más sistemas de rendimiento e incluso mejores pruebas y, eventualmente, pruebas adversas, que lo mantendrán dentro de un marco. Este término profesional se llama razonamiento en cadena de pensamiento. Se cree que en los próximos años podrás generar una cadena de razonamiento de mil pasos, como si se elaborara una receta. Puede ejecutarlo y probar que produce los resultados correctos, así es como funciona el sistema.

alumno:

En general, usted es muy optimista sobre el potencial de los avances en inteligencia artificial. Tengo curiosidad, ¿qué está impulsando este progreso? ¿Es más potencia informática? ¿Son más datos? ¿Es un cambio fundamental o real?

Schmidt:

La respuesta es todo lo anterior. La cantidad de dinero invertida es increíble. Básicamente invertí todo porque no tenía idea de quién iba a ganar y la cantidad de dinero que seguía era enorme. Parte de la razón es que se ha ganado dinero temprano y aquellos que no saben mucho al respecto deben tener el componente de inteligencia artificial. Ahora todo es inversión en IA y no pueden notar la diferencia.

Defino la inteligencia artificial como un sistema de aprendizaje, un sistema que realmente aprende. Creo que este es uno de ellos. El segundo punto es que ahora existen algunos algoritmos nuevos muy complejos que son algo así como post-Transformer. Un amigo mío, también colaborador desde hace mucho tiempo, inventó una nueva arquitectura que no es Transformer. Un grupo que financié en París afirmó haber hecho lo mismo. Hay muchos inventos por ahí y hay mucha investigación en Stanford. El último punto es que el mercado cree que los inventos inteligentes tienen beneficios ilimitados. Digamos que inviertes 50 mil millones de dólares en una empresa, tienes que ganar mucho dinero con la inteligencia para devolverlo. Podríamos tener una enorme burbuja de inversión y luego se resolvería sola. Este ha sido siempre el caso y puede ser el caso ahora.

profesor:Mencionaste anteriormente que los líderes están creando distancia con los demás.

Schmidt:

Ahora hay una empresa en Francia llamada Mistral y están haciendo un muy buen trabajo. Obviamente soy un inversor. Ya han fabricado una segunda versión y es probable que cierren el tercer modelo porque es demasiado caro. Necesitan ingresos y no pueden regalar su modelo. El debate sobre el código abierto versus el código cerrado continúa en nuestra industria. Toda mi carrera se ha basado en la voluntad de la gente de compartir software de forma abierta. Todo lo que hago se basa en código abierto. Gran parte de los cimientos de Google también se basan en código abierto. El trabajo que realizo es principalmente en el campo técnico. Sin embargo, los enormes costos de capital podrían cambiar fundamentalmente la forma en que se construye el software.

Mi opinión sobre los programadores de software es que su productividad al menos se duplicaría. Actualmente hay tres o cuatro empresas de software que intentan hacer esto y he invertido en todas ellas durante este tiempo. Todos intentan hacer que los programadores de software sean más productivos. Recientemente me encontré con una empresa muy interesante llamada Augment. A menudo pienso en programadores que dicen que ese no es el objetivo. Nuestro objetivo son esos equipos de programación de software de 100 personas con millones de líneas de código y nadie sabe lo que está pasando. Esta es una muy buena aplicación de la inteligencia artificial. ¿Ganarán dinero? Eso espero, pero hay muchos problemas aquí.

alumno:

Al principio, mencionaste que la combinación de extensiones de ventana de contexto, proxies y texto a acciones tendría un impacto increíble. Primero, ¿por qué es importante esta combinación? En segundo lugar, sé que no eres un profeta y no puedes predecir el futuro, pero ¿por qué crees que está más allá de nuestra imaginación?

Schmidt:

Creo que principalmente porque las ventanas de contexto te permiten resolver problemas recientes. Los modelos actuales tardan unos 18 meses en entrenarse, incluidos seis meses de preparación, seis meses de formación y seis meses de ajuste, por lo que siempre están desactualizados. Y con la ventana de contexto, puedes escribir los últimos acontecimientos y hacer preguntas sobre la guerra entre Hamas e Israel en contexto, lo cual es muy poderoso y lo hace tan actualizado como Google.

En el caso de la agencia, te puedo dar un ejemplo. Creé una fundación para proporcionar financiación a una organización sin fines de lucro. No sé mucho sobre química, pero existe una herramienta llamada ChatCrow, que es un sistema basado en modelos de lenguaje grandes que pueden aprender química. Ejecutan el sistema para generar hipótesis químicas sobre las proteínas, luego el laboratorio las prueba durante la noche y el sistema aprende. Se trata de un enorme acelerador para campos como la química y la ciencia de materiales. Este es un modelo de agencia.

Creo que si hubiera muchos programadores baratos, el concepto de texto a acción podría entenderse. No creo que entendamos lo que sucede cuando cada uno tiene su propio programador. Esta también es su área de especialización. No me refiero a tareas sencillas como encender y apagar las luces. Me imagino otro ejemplo, digamos que no te gusta Google, podrías decir, constrúyeme un competidor de Google. Sí, puedes hacerlo personalmente. Constrúyame un competidor de Google que busque en la web, cree la interfaz de usuario, haga una buena copia y la agregue de una manera interesante.inteligencia artificial generativa. Hágalo en 30 segundos y vea si funciona. Muchos creen que los operadores tradicionales, incluido Google, son vulnerables a este tipo de ataques.

profesor:

Ahora, echemos un vistazo. Slido envió muchas preguntas, algunas de las cuales se han subido. El año pasado discutimos cómo evitar que la IA influya en la opinión pública y difunda información errónea, especialmente durante las próximas elecciones.

Schmidt:

Necesitamos pensar en soluciones tanto a corto como a largo plazo. En las próximas elecciones mundiales, la mayor parte de la información errónea aparecerá en las redes sociales, y las capacidades organizativas actuales de las empresas de redes sociales son insuficientes para controlar eficazmente esta información. A TikTok, por ejemplo, se le ha acusado de favorecer cierto tipo de desinformación, aunque no tengo pruebas. Creo que estamos en un lío.

El país necesita aprender a pensar críticamente, lo que puede ser un desafío difícil para Estados Unidos. Sólo porque alguien te diga algo no significa que sea verdad.

profesor:

¿Hemos llegado tan lejos que ya nadie creerá algunas de las cosas que son ciertas? Algunos lo llaman una crisis epistemológica. Ahora, Elon Musk dice que nunca hizo algo, pero ¿cómo demostrarlo?

Schmidt:

Podemos ilustrar esto con el ejemplo de Donald Trump. Creo que tenemos un problema de confianza en nuestra sociedad y la democracia puede fracasar a causa de ello. La mayor amenaza a la democracia es la desinformación, porque nos hemos vuelto muy buenos en eso.

Cuando administraba YouTube, el mayor problema que teníamos era que la gente subía videos falsos que provocaban la muerte de personas. Tenemos una política de no muerte y tratar de abordar este problema es impactante y horrible. Esto fue antes de la llegada de la inteligencia artificial generativa.

profesor:

No tengo una buena respuesta, pero hay un problema técnico que parece mitigar esto y es la autenticación de clave pública. ¿Por qué no utilizar firmas digitales como SSL cuando habla Joe Biden? ¿Puede una celebridad, figura pública u otra persona poseer una clave pública?

Schmidt:

Esta es una forma de clave pública que proporciona cierta certeza, como cuando envío mi tarjeta de crédito a Amazon, sé que es Amazon.

Publiqué un artículo con Jonathan Haidt, pero no tuvo impacto. Es un muy buen comunicador, cosa que yo probablemente no soy. Mi conclusión es que el sistema no está organizado como decimos. Los directores ejecutivos a menudo maximizan los ingresos y, para hacerlo, maximizan el compromiso, y la forma de maximizar el compromiso es maximizar la indignación. Los algoritmos eligen la ira porque genera más ingresos, por lo que la gente tiende a apoyar cosas extremas. Este es un problema en todos los frentes y debe abordarse.

En una democracia, mi solución a TikTok se basa en lo que hemos discutido antes en privado. Cuando era niño, había algo llamado la regla del tiempo igual. TikTok no es en realidad una plataforma de redes sociales, sino más bien una forma de televisión. Cada usuario de TikTok en los Estados Unidos usa la aplicación durante un promedio de 90 minutos al día y hace 200 videos, lo cual es mucho uso. Si bien el gobierno no está aplicando reglas de igualdad de tiempo, esta puede ser una dirección que vale la pena considerar, ya que requiere algún tipo de equilibrio.

alumno:

El primero tiene que ver con el impacto económico en el mercado laboral. El impacto ha sido más lento de lo esperado inicialmente, especialmente en el mercado laboral. También hay una pregunta sobre el personal de atención al cliente. ¿Cree que la academia debería recibir subsidios para la IA o debería asociarse con grandes empresas?

Schmidt:

He estado presionando mucho para que las universidades construyan centros de datos. Si fuera miembro de la facultad de un departamento de informática, me sentiría frustrado por no poder desarrollar algoritmos con estudiantes de posgrado para investigaciones de doctorado porque me vi obligado a trabajar con empresas. Y estas empresas no son lo suficientemente generosas en este sentido. Es una situación terrible que muchos profesores y personal pasen mucho tiempo esperando créditos de Google Cloud. Queremos que las universidades estadounidenses tengan éxito en esto, por eso creo que permitirles obtener estos créditos es lo correcto.

Escucharía a los verdaderos expertos sobre el impacto en el mercado laboral. Como economista aficionado, creo que hay un buen futuro para la educación universitaria y las tareas altamente calificadas porque la gente utilizará estos sistemas. No creo que estos sistemas sean fundamentalmente diferentes de oleadas tecnológicas anteriores. Se reemplazarán los trabajos peligrosos y los que no requieren juicio humano.

alumno:

¿Sobre el paso del texto a la acción y sus implicaciones para la educación en informática? Creo que la educación en informática debería adaptarse a los nuevos tiempos.

Schmidt:

Supongo que los informáticos como estudiantes universitarios siempre tendrán un compañero programador. Cuando aprenda su primer bucle for, habrá una herramienta que se convertirá en su compañera natural. El profesor te explica los conceptos y así te involucras.

Estudiante: En cuanto a la discusión sobre la arquitectura no Transformer, creo que el modelo de estado es una dirección que se está discutiendo, pero ahora se presta más atención al contexto.

Schmidt:

No entiendo matemáticas lo suficientemente bien, pero me alegra que esto esté creando puestos de trabajo para los matemáticos porque las matemáticas aquí son muy complejas. Básicamente, estos se realizandescenso de gradientey diferentes métodos de multiplicación de matrices, con el objetivo de ser más rápidos y mejores. Como sabes, los transformadores son una forma sistemática de realizar multiplicaciones simultáneamente. Aquí están mis pensamientos. Es similar a esto, pero las matemáticas son diferentes. Vamos a ver.

alumno:

En su artículo sobre seguridad nacional, mencionó la situación actual en China, Estados Unidos y otros países. Los diez países del siguiente grupo son aliados de Estados Unidos o tienen el potencial de convertirse en aliados de Estados Unidos. Tengo curiosidad por saber qué piensa sobre estos diez países. Son una especie de intermediarios, no aliados formales. ¿Qué posibilidades hay de que se unan al esfuerzo por mantenernos a salvo? ¿Qué les impide unirse?

Schmidt:

El país más interesante es la India, porque los mejores talentos en inteligencia artificial provienen de la India y vienen a Estados Unidos. Deberíamos permitir que la India retenga algunos de sus mejores talentos, no todos, pero sí algunos. Y no tienen las ricas instalaciones y programas de capacitación que tenemos aquí. En mi opinión, la India es un país inestable en este sentido. Japón y Corea del Sur son obviamente nuestros campos. El software taiwanés es terrible, así que esto no funcionará. El hardware es genial. Y en otras partes del mundo no hay muchas otras buenas opciones. Europa está jodida por culpa de Bruselas, eso no es nada nuevo. Pasé 10 años luchando contra ellos. Trabajé muy duro para lograr que cambiaran la Ley de la UE. Todavía tienen varias limitaciones que nos hacen muy difícil realizar investigaciones en Europa. Mis amigos franceses pasan todo el tiempo luchando contra Bruselas. Como amigo personal mío, Macron está trabajando duro en esto. Entonces creo que Francia tiene una oportunidad. No creo que Alemania venga y otros países no sean lo suficientemente fuertes.

alumno:

Sé que eres ingeniero de formación, creo que te llaman compilador. Dadas las capacidades que imagina que tendrán estos modelos, ¿deberíamos seguir dedicando tiempo a aprender a codificar?

Schmidt:

Sí, porque al final del día, es la pregunta cliché: ¿por qué aprender inglés si puedes hablarlo? Aprenderás mejor. Realmente necesitas entender cómo funcionan estos sistemas y yo puedo identificarme con eso.

alumno:

Tengo curiosidad por saber si ha explorado una configuración distribuida. Hago esta pregunta porque, por supuesto, crear un clúster grande es difícil, pero las MacBooks son poderosas. Hay muchas máquinas pequeñas en todo el mundo. Entonces, ¿crees que doblar en casa o algo así sería aplicable para entrenar estos sistemas?

Schmidt:

Sí, hemos analizado este tema con mucha atención. Entonces, la forma en que funciona el algoritmo es que tienes una matriz muy grande y básicamente tienes una función de multiplicación. Así que considérelo como un ida y vuelta. Y estos sistemas están completamente limitados por la velocidad de la memoria de la CPU o GPU. De hecho, la próxima generación de chips NVIDIA ha integrado todas estas funciones en un solo chip. Los chips ahora son tan grandes que están pegados. De hecho, el paquete es tan sensible que tanto el paquete como el propio chip se ensamblan en una sala limpia. Entonces, la respuesta parece ser que las supercomputadoras y la velocidad de la luz, especialmente las interconexiones de memoria, realmente tienen la ventaja. Creo que por el momento es poco probable segmentar modelos de lenguajes grandes (LLM).

profesor:

Jeff Dean mencionó en un discurso el año pasado que el modelo se puede dividir en diferentes partes, entrenar por separado y luego combinar.

Schmidt:

Pero para lograr esto, se necesitan decenas de millones de estos modelos, y la velocidad para hacer preguntas será muy lenta. Mencionó que para lograrlo se necesitarían ocho, 10 o 12 supercomputadoras, pero eso no está a su nivel.

alumno:

En cuanto al tema de la privacidad de los datos, me enteré de que el New York Times demandó a OpenAI por utilizar su trabajo para formación.

Schmidt:

Creo que puede haber muchas demandas similares en el futuro y eventualmente se llegará a algún tipo de acuerdo, como exigir que se pague un cierto porcentaje de los ingresos por el uso de ciertas obras, como ASCAP y EMI en la industria musical. . Este modelo puede parecer un poco anticuado, pero creo que así funcionará al final.

alumno:

En el campo de la IA, parece haber unas pocas empresas que dominan el mercado y se superponen con las empresas más grandes en las que se centran las regulaciones antimonopolio.

Schmidt:

He estado involucrado en el caso de ruptura de Microsoft en mi carrera, pero al final no tuvo éxito; también trabajé duro para evitar la ruptura de Google, pero también fracasé. Por tanto, creo que la tendencia es no dividirse. Mientras estas empresas no se conviertan en monopolios como John D. Rockefeller, es poco probable que el gobierno actúe.

Estas grandes empresas dominan porque sólo ellas tienen el capital para construir centros de datos. Tengo amigos Reed y Mustafa que tomaron la decisión de escindir su negocio a Microsoft porque no podían recaudar decenas de miles de millones de dólares. En cuanto a los números exactos, es posible que tengas que pedirle a Reed que te los diga.

alumno:

Finalmente, me pregunto qué impacto tendrán estos desarrollos en los países que no participan en el desarrollo y cálculo de modelos de vanguardia.

Schmidt:

Los países ricos se harán más ricos, mientras que los países pobres sólo podrán hacer lo mejor que puedan. En realidad, se trata de un juego para los países ricos, que requiere enormes capitales, talento técnico y un fuerte apoyo gubernamental. A nivel mundial, muchos países enfrentan diversos problemas, especialmente cuando los recursos son escasos. Necesitan encontrar socios y trabajar con otros para resolver estos problemas.

profesor:

Recuerdo la última vez que nos vimos, estabasAGI House participa en un hackathon. Sé que dedicas mucho tiempo y te apasiona ayudar a los jóvenes a crear riqueza. ¿Tiene algún consejo para las personas que escriben planes de negocios para cursos o redactan propuestas de políticas o propuestas de investigación en sus carreras?

Schmidt:

Doy un curso sobre esto en una escuela de negocios y deberías venir y escucharme. Me sorprende lo rápido que presentas nuevas ideas.

En un hackathon en el que participé, al equipo ganador se le asignó la tarea de volar un dron entre dos torres. Usaron Python para generar código en un espacio virtual de drones y completaron con éxito la tarea en el simulador. Un buen programador profesional puede necesitar una semana o dos para hacer esto. Creo que la capacidad de crear prototipos rápidamente es realmente importante porque parte del problema que enfrentan los emprendedores es la velocidad. Si no puedes crear un prototipo en un día con estas herramientas, debes reconsiderarlo porque eso es exactamente lo que están haciendo tus competidores.

Entonces, mi mayor consejo es que cuando empieces a pensar en iniciar una empresa, está bien que escribas un plan de negocios. De hecho, puedes hacer que una computadora lo escriba por ti, siempre y cuando sea legal. Es importante utilizar estas herramientas para crear prototipos de sus ideas lo más rápido posible porque es posible que haya alguien haciendo lo mismo en otra empresa, universidad o en algún lugar donde no haya estado.

profesor:Muchas gracias.