noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

tomando como ejemplo la industria fotovoltaica, amodei cree que incluso si una tecnología se vuelve muy importante y ampliamente utilizada en el mercado, aún puede ser difícil generar grandes beneficios para una sola empresa, y una alta comercialización limitará la rentabilidad de la empresa. al igual que en la industria fotovoltaica, el tamaño del mercado de la tecnología de ia puede ser muy grande, pero puede resultar difícil obtener beneficios de ella, y la cuestión de la distribución de beneficios entre los diferentes participantes también es muy complicada.

ia dura

autor |

editor | ia dura

esta semana, dario amodei, ceo y cofundador de anthropic “ai unicorn”, participó en la entrevista y discutió el desarrollo de la industria de la ia, scaling law, etc.

la ley de escala se refiere principalmente al hecho de que a medida que aumentan los datos y la potencia informática, las capacidades del modelo también aumentarán.amodei cree que si esta ley continúa vigente, la ia probablemente se volverá muy poderosa y traerá nuevos modelos de negocios e innovaciones tecnológicas.

sin embargo, también enfatizó que esta ley no siempre se aplica, si el rendimiento del modelo no se puede mejorar aún más en algunos aspectos, toda la industria de la ia podría verse afectada.

amodei también se centró en comparar la industria de la ia con la industria fotovoltaica. usó el ejemplo de la industria fotovoltaica para ilustrar que incluso si una tecnología llega a ser muy importante y ampliamente utilizada en el mercado, todavía puede resultar difícil generar grandes beneficios para una sola empresa.

aunque la tecnología fotovoltaica casi ha sacudido a toda la industria energética, su mercado está altamente mercantilizado, es ferozmente competitivo y carece de efectos de marca significativos, por lo que la rentabilidad de cada empresa está sujeta a ciertas limitaciones.

al igual que en la industria fotovoltaica, el tamaño del mercado de la tecnología de ia puede ser muy grande, pero también puede resultar difícil sacar provecho de ella. el modelo de ganancias de la ia puede verse afectado por múltiples factores, como los costos de cálculo del modelo, los costos de inferencia, etc. la distribución de ganancias entre los proveedores de hardware, los desarrolladores de modelos y las capas de aplicaciones también es bastante compleja y enfrenta desafíos considerables.

los puntos de conversación son los siguientes:

1. es algo difícil separar completamente la ley de escala de las cuestiones comerciales.

2. dado que el mercado es tan grande, mi respuesta inicial es que las ganancias fluirán a todos estos lugares.

3. si la ley de escala es correcta, entonces este será un mercado enorme. incluso si sólo el 10% de las ganancias se destina a una determinada parte de la cadena de suministro, sigue siendo enorme.

4. si estamos construyendo un modelo con decenas o cientos de miles de millones de parámetros, es posible que no haya más de cuatro o cinco entidades (y tal vez algunas empresas estatales) involucradas. así que lo que estamos viendo puede ser algo más parecido a un oligopolio que a un monopolio total o una mercantilización total.

5. incluso si se lanza un modelo de este tipo, el costo de funcionamiento de un modelo tan grande en inferencia es muy alto, y la mayor parte del costo es en inferencia en lugar de entrenamiento del modelo. si tienes mejores métodos de razonamiento, incluso una mejora del 10%, 20% o 30% puede tener un gran impacto.

6. tenemos modelos más grandes, más potentes y modelos más rápidos, más baratos y menos inteligentes. algunos clientes han descubierto que el modelo grande puede asignar tareas a una gran cantidad de modelos pequeños y luego informar al modelo grande para completar la tarea como un. enjambre.

7. nadie debería creer que la ley de escala continuará para siempre, es sólo una observación empírica y puede detenerse en cualquier momento. los he estado observando durante diez años y mi conjetura de que no se detendrán es sólo una proposición 60-40 o 70-30 basada en el tiempo que los he estado observando.

8. si podemos usar la ia correctamente, puede aumentar la velocidad a la que hacemos estos descubrimientos 10 veces, tal vez 100 veces.

el texto completo de la entrevista es el siguiente, con parte del contenido eliminado:

01

google no logró convertirse en los bell labs de la era de la inteligencia artificial

noé smith:

en este podcast de economía preferimos hablar de economía en lugar de temas puramente técnicos. entonces, ¿es google los bell labs de la era de la inteligencia artificial?

investigaron sobre el aprendizaje profundo moderno y transformers, etc., pero realmente no lograron comercializarlo, como bell labs. financiaron la investigación con dinero del monopolio, y luego gente interesante como usted trabajó allí y luego se fue para iniciar empresas, como la gente de fairchild en bell labs. ¿crees que esta es una metáfora apropiada?

darío amodei:

si bien nada es una analogía perfecta, definitivamente creo que hay algo de verdad en ello. muchos lo vieron como una continuación de una carrera académica, muy similar al entorno industrial de bell labs, excepto que google tenía más recursos para lograr sus objetivos. por eso se están estudiando muchos proyectos. transformer es uno de los inventos clave que impulsan este campo y es solo uno de los cien proyectos que se están investigando.

si estuviera en la cima de la organización, no sería capaz de distinguirla razonablemente de los otros 99 proyectos en desarrollo. es como cien flores floreciendo y compitiendo entre sí. creo que fue entonces cuando propuse por primera vez la ley de escala, según la cual necesitamos escalar e integrar estas innovaciones a escala.

en teoría, google es el mejor lugar para hacer esto, tiene el grupo más grande del mundo con toneladas de ingenieros talentosos y todos los elementos necesarios.sin embargo, google está organizado para la búsqueda, y no creo que sea necesariamente para reunir todas esas piezas y escalar masivamente algo completamente diferente de lo que era antes.

noé smith:

así como bell labs no se creó para inventar computadoras y darles a todos una computadora, sino para conectar a todos.

darío amodei:

sí, es una compañía telefónica. entonces, no puedo hablar por google, pero obviamente ahora, además de inventar todas estas cosas increíbles, es una de las cuatro principales empresas con modelos de vanguardia que son tanto nuestros socios como nuestros competidores. conozco a mucha gente allí que es muy inteligente.

pero creo que tienes razón: llegará un momento en el que podrían ser el único jugador dominante si pueden combinar esos elementos de la manera correcta. pero por alguna razón, las cosas no fueron así.

02

ley de escala:

a medida que aumenta el tamaño de los datos, el modelo se vuelve más poderoso.

noé smith:

esto plantea otra pregunta en la que estamos pensando. en realidad, la idea de que hablemos con usted surgió de algo que estábamos discutiendo en otro podcast donde básicamente hablábamos sobre la economía de los negocios en internet, y luego alguien planteó algunas opiniones pesimistas sobre el negocio de la ia, cuestionando cuánta ia empresas realmente existen fosos económicos.

obviamente, esto está muy relacionado con anthropic y otras empresas que llamamos startups, pero ya son bastante grandes.entonces, díganos qué piensa sobre los fosos económicos de las empresas de ia.

darío amodei:

yo diría que voy a dividir un poco esta pregunta en dos ramas. creo que es difícil separar completamente la ley de escala de las cuestiones comerciales. entonces, consideremos el caso en el que la ley de escala se cumple en alguna forma muy sólida, y luego consideremos los casos en los que podría cumplirse parcialmente o no cumplirse en absoluto. si esto se mantiene de forma muy fuerte, la situación se verá así:

ahora ha entrenado un modelo con 100 millones de parámetros y sus capacidades son equivalentes a las de un buen estudiante de primer año de la universidad;

luego entrenas un modelo con mil millones de parámetros, lo que equivale a la capacidad de un buen estudiante universitario;

ha entrenado un modelo con decenas de miles de millones de parámetros y sus capacidades son equivalentes a las de un excelente estudiante de posgrado;

cuando entrenas un modelo con cientos de miles de millones de parámetros, sus capacidades son equivalentes a las de un ganador del premio nobel.

y luego pones este modelo en servicio y básicamente sirve a todos, y se convierte en tu colega, en tu asistente personal, ayuda con la seguridad nacional, ayuda con la investigación biológica.

creo que en ese mundo, este sistema y los productos basados ​​en él ocuparán una gran parte de la economía. la pregunta que queda es ¿adónde irán a parar las ganancias? ¿fluirá a nvidia, a empresas de inteligencia artificial o a aplicaciones posteriores? dado que el mercado es tan grande, mi respuesta inicial es:los beneficios fluyen a todos estos lugares.

03

el futuro de la ia será similar al de la industria fotovoltaica

noé smith:

pero pensemos en la energía solar: está claro que la energía solar será muy importante. cuanta más energía necesitemos, más extendida estará la energía solar. sin embargo, es difícil saber qué empresa solar está obteniendo grandes beneficios. la energía solar es un producto muy mercantilizado y, aunque contiene mucha innovación, no hay efecto de marca, ni efecto de red ni efecto de bloqueo. es difícil para cualquier empresa de energía solar obtener ganancias en este asunto. , y este las cosas están cambiando el mundo ante nuestros propios ojos.

así que no estoy del todo seguro de que el hecho de que todo vaya a prosperar como la energía solar en este momento vaya a generar necesariamente ganancias para la empresa. pero ciertamente estoy abierto a la posibilidad. solo quiero saber,¿cuál crees que es la fuente? ¿por qué es diferente el desarrollo de la inteligencia artificial?

darío amodei:

¿energía solar? creo que hay dos puntos aquí, porque creo que es una pregunta importante en la mayoría de los mundos. tal vez solo esté diciendo que si la ley de escala es correcta, este será un mercado enorme. incluso si sólo el 10% de las ganancias se destina a una determinada parte de la cadena de suministro, sigue siendo enorme.

a medida que se hace más grande el pastel, se convierte en la pregunta más interesante, aunque quienes decidan cómo distribuir los billetes de un dólar seguramente estarán muy preocupados por saber adónde va a parar un billón. pero volvamos a tu pregunta, porque creo que es importante en todo el mundo.el quid de la cuestión es qué tan grande es el "pastel" que estás dividiendo.

primero, por el lado del modelo, depende de la ley de escala. si estuviéramos construyendo un modelo con decenas o cientos de miles de millones de parámetros, probablemente no habría más de cuatro o cinco entidades (y tal vez algunas empresas estatales) involucradas. así que lo que estamos viendo puede ser algo más parecido a un oligopolio que a un monopolio total o una mercantilización total.

supongo que una pregunta aquí es: ¿alguien va a lanzar un modelo de código abierto que tenga mil millones o 10 mil millones de parámetros? soy escéptico, incluso si se lanza un modelo de este tipo, el costo de funcionamiento de un modelo tan grande en inferencia es muy alto, y la mayor parte del costo corresponde a la inferencia en lugar del entrenamiento del modelo. si tienes mejores métodos de razonamiento, incluso una mejora del 10%, 20% o 30% puede tener un gran impacto. la economía es un poco extraña, es un costo fijo enorme que hay que amortizar, pero también hay un costo unitario de razonamiento, y bajo ese supuesto, implementado lo suficientemente ampliamente, la diferencia puede ser enorme. no estoy seguro de cómo resultará esto.

noé smith:

en realidad, esto es similar a la economía de la industria pesada, como la forma en que se fabrica el acero.

darío amodei:

sí, un poco. curiosamente, la otra cosa que diría es que dentro de estos modelos, hemos empezado a ver que los modelos tienen diferentes personalidades. así que la mercantilización es una posibilidad, pero incluso en un oligopolio la forma en que se implementan ciertos modelos podría ser mercantilizada, aunque no estoy seguro.

pero una fuerza que actúa en contra de esa visión es: oye, yo hice un modelo que era bueno en programación, tú hiciste un modelo que era bueno en escritura creativa y una tercera persona hizo un modelo que era bueno en entretenimiento. éstas son opciones, y una vez que se empiezan a tomar esas decisiones, se empieza a construir infraestructura a su alrededor, lo que parece crear los requisitos previos para cierto nivel de diferenciación.

otra posible fuente de diferenciación son los productos basados ​​en modelos.en teoría, se puede separar la capa de modelo de la capa de producto; en la práctica, están interrelacionadas y trabajar entre organizaciones puede resultar un desafío. entonces, si bien existe una lógica común cuando se trata de modelos, con muchas empresas moviéndose en la misma dirección, agregando capacidades multimodales para hacer que los modelos sean más inteligentes y hacer inferencias más rápidas, los productos son muy diferentes.

si observa este proyecto de "artefactos" que hicimos, es una forma de visualizar el código de escritura del modelo en tiempo real. nosotros hacemos esto, openai tiene su propio enfoque y google tiene su propio enfoque. creo que esta es también una de las fuentes de diferenciación entre empresas.

hemos visto que la economía de la venta de aplicaciones, incluso las relativamente delgadas, se vuelve cada vez más compleja según el modelo.

erik torenberg:

si la ley de escalamiento se cumple y las cosas se vuelven tan grandes como creemos, ¿espera que estas empresas sean nacionalizadas en algún momento? ¿o qué piensas?

darío amodei:

podemos dividirlo en dos situaciones: una es que la ley de escala es correcta y la otra es que la ley de escala es incorrecta. si está mal, entonces se trata simplemente de una tecnología que, como internet o la energía solar, puede ser más importante que la mayoría, pero no sin precedentes. según el desarrollo actual, no creo que sea nacionalizado.

si es correcto, los modelos que estamos construyendo son tan buenos como los de los biólogos ganadores del premio nobel y los principales codificadores de la industria, o incluso mejores. no estoy seguro de si realmente será una nacionalización; estaremos muy preocupados por si nuestros adversarios podrán seguirnos el ritmo o si podremos desplegarlos tan rápido como nuestros adversarios.

04

ley de escala

influir en la ia para crear nuevos modelos de negocio

noé smith:

tengo una pregunta sobre el impacto de la inteligencia artificial en los modelos de negocio. ya conoces la historia de la electricidad, básicamente al principio, cuando obtuvieron electricidad, los fabricantes intentaron desmantelar sus generadores de vapor y los generadores sufrieron pérdidas. luego, alguien descubrió que se podía hacer funcionar la electricidad en varias estaciones de trabajo en paralelo, lo que cambió la forma en que funcionaba la fabricación. en lugar de una gran línea de montaje, se convirtió en varias estaciones de trabajo pequeñas, lo que generó enormes ganancias de productividad durante décadas.

siempre sospeché que la ia es similar. creo que internet es similar,la ia es similar en que al principio todo el mundo parece pensar que la ia es una persona. de hecho, alguien comparó la cantidad de ia con la cantidad de empleados humanos, lo cual no tiene sentido para mí porque no se puede dividir en individuos.

se podría crear un sistema basado en proxy para imitar este enfoque, pero ¿por qué? veo que todo el mundo está pensando en que la ia reemplace directamente a los humanos, y mi argumento es que esta es la primera etapa, al igual que la electricidad que reemplaza directamente a las calderas de vapor no es una buena idea. creo que la gente se sentirá un poco decepcionada porque solo hay unos pocos casos en los que este reemplazo directo de un ser humano funciona, como el servicio al cliente y algunas otras cosas bien definidas.

pero creo que sólo hay unos pocos casos en los que este reemplazo directo de humanos funcionará, y luego experimentaremos el estallido del ciclo de exageración de gartner.

algunos emprendedores creativos dirían que no sólo estamos usando la inteligencia artificial como reemplazo humano, sino que la estamos usando para crear nuevos modelos de negocios. entonces veremos un período de auge y resurgimiento, esa es mi predicción. mis predicciones al estilo gartner, ¿estoy loco?

darío amodei:

así que creo que es una mezcla de algunas cosas con las que estoy de acuerdo y otras con las que quizás no esté de acuerdo. en primer lugar, básicamente estoy de acuerdo en que si congelas la calidad del modelo actual, todo lo que dices es correcto. básicamente observamos algo similar en los negocios. proporcionamos modelos con los que puede hablar, pero también vendemos modelos a través de una api a muchos clientes. la gente pasó mucho tiempo descubriendo la mejor manera de utilizar los modelos.

hay muchas preguntas sobre la confiabilidad del modelo y creo que esto es motivo de cierta preocupación, como un modelo que da la respuesta correcta el 95% de las veces pero no el 5% de las veces, ¿cómo se detectan estas situaciones y cómo se manejar el manejo de errores muy importante. esto es muy diferente de ser útil en teoría y ser útil en la práctica.

teníamos una característica desde el principio que permitiría al modelo escribir algo de código, y luego podías pegar el código en un compilador o intérprete para crear un videojuego javascript, y si algo salía mal, podías volver al modelo y arreglarlo. también vemos modelos grandes coordinando modelos pequeños, lo cual es muy diferente a la idea de que un modelo sea una persona.

tenemos modelos más grandes, más potentes y modelos más rápidos, más baratos y menos inteligentes, y algunos clientes han descubierto que el modelo grande puede distribuir tareas a una gran cantidad de modelos pequeños, que luego informan al modelo grande para completar la tarea como un enjambre.

también estamos explorando las mejores formas de utilizar modelos, que son cada vez más inteligentes y mejores para resolver estos problemas. así que, en última instancia, todo se reduce a si la ley de escala está aquí para quedarse. si continúan, será un proceso como el que usted describe. si se detuvieran, la innovación se detendría y el proceso que usted describe terminaría.

nadie debería creer que la ley de escala continuará para siempre, es sólo una observación empírica y puede detenerse en cualquier momento. los he estado observando durante diez años y mi conjetura de que no pararán es sólo una proposición 60-40 o 70-30 basada en el tiempo que los he estado observando.

erik torenberg:

¿qué cambiaría tu opinión? ¿qué cambiaría tus probabilidades allí?

darío amodei:

creo que, en primer lugar, si simplemente entrenamos un modelo y luego probamos el siguiente modelo a escala, los resultados son muy malos. intentamos arreglarlo varias veces y todavía no funcionó y pensé, oh, supongo que esta tendencia se está deteniendo.

si hay un problema de quedarse sin datos y no podemos generar suficientes datos sintéticos para continuar con este proceso, entonces en algún momento diría, oye, esto realmente parece difícil, al menos esta tendencia se detendrá, tal vez se detendrá, pero puede que no se detenga. todavía supongo que esas cosas no van a suceder, pero ya sabes, es un tema muy complejo.

05

la ia podría acelerar los descubrimientos biológicos 100 veces

comprimir el tiempo del progreso del siglo

noé smith:

si el cuello de botella de los recursos de ia radica más en la potencia informática que en la energía, entonces tendremos más ventajas comparativas en el uso de la ia. ¿está básicamente de acuerdo con esta opinión?

darío amodei:

sí, creo que eso tiene sentido. quieres decir, para usar una metáfora un poco ridícula,si las ia son como los cybermen, y el proceso de crearlas y criarlas es muy similar al de los humanos, entonces estamos en problemas.pero si es sólo un grupo de servidores en algún lugar con entradas completamente diferentes, entonces estamos bien.

no he pensado en esto en profundidad, pero parece tener sentido a primera vista. si estuviéramos en una situación en la que la ia estuviera remodelando el mundo y la estructura económica hubiera cambiado, entonces podríamos estar hablando de algo diferente. pero si las reglas normales de la economía todavía se aplican, y creo que así será por un tiempo, entonces parece muy razonable.

noé smith:

pero mi otra pregunta es: ¿es necesario considerar un mundo de extrema abundancia? la ia es tan poderosa que nos brinda una biología y una fabricación asombrosas, haciendo que todo lo que queremos sea diez veces, cien veces mejor, etc.

darío amodei:

creo que realmente subestimamos el potencial de la inteligencia artificial en biología. hace diez años, cuando estaba en este campo, la actitud era que la calidad de los datos que obteníamos de la biología era cuestionable, la cantidad de datos que podíamos obtener era limitada y los experimentos a menudo se veían interrumpidos. por supuesto, más análisis de datos, big data e inteligencia artificial son buenos, pero en el mejor de los casos desempeñarán un papel de apoyo. quizás con la llegada de alpha fold eso cambie.

pero mi opinión es que los modelos de ia pueden actuar como biólogos o cobiólogos. si pensamos en una biología realmente avanzada, es como si existieran desproporcionadamente varias tecnologías impulsando todo. por ejemplo, la secuenciación del genoma, la capacidad de leer el genoma, es la base de la biología moderna. la tecnología crispr más reciente es la capacidad de editar el genoma. si podemos usar la ia correctamente, puede aumentar la velocidad a la que hacemos estos descubrimientos 10 veces, tal vez 100 veces.

tomemos como ejemplo crispr, que se ensambló a partir del sistema inmunológico bacteriano y tardó 30 años en inventarse. creo que si podemos aumentar considerablemente el ritmo al que se hacen estos descubrimientos, también aumentaremos considerablemente el ritmo al que se pueden curar las enfermedades.

mi pensamiento es: ¿podemos comprimir el progreso en el siglo xxi? ¿podemos lograr todo el progreso biológico del siglo xxi utilizando la ia para acelerarlo en un factor de 10?si piensas en todos los avances que hemos logrado en biología en el siglo xx y luego los comprimes en cinco a diez años, para mí, ese es el lado bueno. creo que esto puede ser cierto. podríamos curar enfermedades que nos han acosado durante milenios, lo que, por supuesto, aumentaría dramáticamente la productividad, ampliaría el pastel económico y extendería la esperanza de vida humana.