noticias

"Tyrant" domina AGI, ¿OpenAI se encamina hacia un futuro peligroso?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Tecnología de Tencent Autor Guo Xiaojing Hao Boyang

Editor Su Yang

La agitación del personal de OpenAI continúa, esta vezIA abierta El presidente Greg Brockman, reconocido como un leal partidario de Sam Altaman y que estuvo con él cuando Sam fue destituido de la junta directiva, anunció una licencia de larga duración. El propio Greg Brockman ha anunciado que regresará a la empresa después de unas largas vacaciones. Sin embargo, muchos altos ejecutivos de empresas tecnológicas se tomarán unas largas vacaciones antes de dejar sus puestos de trabajo. Es difícil que sus acciones no provoquen otras especulaciones.

Además, dos ejecutivos principales estuvieron expuestos a irse. Uno de ellos fue Johnson Schulman, uno de los cofundadores. Se desempeñó brevemente como jefe del equipo de seguridad antes de irse. Este equipo anteriormente estuvo dirigido conjuntamente por el ex científico jefe de OpenAI, Ilya Sutskever. el investigador Jan Leike.

Al mismo tiempo, Johnson también dirigió OpenAI.GPT Se puede decir que el proceso posterior a la capacitación de una serie de modelos grandes es una figura muy crítica en la construcción de tecnología. Lo que es aún más intrigante es que después de su renuncia, al igual que Jan Leike, se unió directamente a Anthropic, el competidor más fuerte de OpenAI.

Además, Peter Deng, el gerente de producto que se unió a OpenAI el año pasado, también renunció. Aunque no era cofundador, renunció menos de un año después de unirse, lo que también hará que el mundo exterior especule sobre lo que pasó con el. Equipo OpenAI.

La segunda ola de movilidad de talentos de OpenAI

Solo quedan 3 fundadores y 1 está de licencia de larga duración.

Después de este cambio, de los 11 cofundadores originales de OpenAI, sólo Sam Altman, Wojciech Zaremba y Greg Brockman (quien también anunció una licencia a largo plazo) permanecen en OpenAI. Todos los miembros fundadores restantes han abandonado el equipo.

Cinco de estos 11 fundadores lo fueron entre 2017 y 2018, cuando Musk anunció su desinversión, lo que provocó una ola de agitación en OpenAI. Incluyendo a Trevor Blackwell, Vicki Cheung, Durk Kingma, Pamela Vagata.Andrej Karpathy, otro miembro fundador, también fue contratado directamente por Musk para servir como representante de Tesla.Piloto automático principal. No volvió a OpenAI hasta febrero de 2023.

Los seis miembros fundadores restantes dimitieron este año después de la batalla judicial de OpenAI a finales del año pasado. Incluido el ex científico jefe de OpenAI Ilya Sutskever, el mencionado John Schulman y el científico Andrej Karpathy, que regresó solo por un año. Se puede decir que el año 2024 será el mayor cambio en el personal senior que haya experimentado OpenAI desde la crisis de Musk.

¿A dónde se han ido todos los empleados que dejaron OpenAI?

A juzgar por el paradero de los empleados que abandonan OpenAI, generalmente toman dos caminos. Una es unirse a empresas rivales, básicamente Deepmind y Anthrophic. El segundo es iniciar su propio negocio. La gran mayoría de los empleados dimitidos mencionados anteriormente (66%) han optado por incorporarse a nuevos proyectos empresariales.

De hecho, esta elección dio origen a la llamada “mafia OpenAI”. Según informes de los medios, casi 30 empleados abandonaron OpenAI antes de este año y fundaron sus propias empresas de IA. Varios de ellos han alcanzado el nivel de unicornio. El más conocido entre ellos es Anthrophic, fundado por Dario Amodei, que se ha convertido en el competidor más poderoso de OpenAI.

¿Cuál es el impacto de esta renuncia?

Según el diagrama de arquitectura revelado anteriormente por Information, las tres personas que están experimentando cambios de personal esta vez son todos gerentes centrales de OpenAI. Desde un punto de vista funcional, tanto Brockman como Shulman dependen de Mira Murati, CTO de OpenAI (Greg también debería ser responsable del trabajo adicional como presidente y miembro de la junta directiva), y Peter Deng, que es el vicepresidente de productos de usuario, debería estar en el tercer nivel de presentación de informes. El trabajo del que son responsables pertenece básicamente al trabajo técnico central de OpenAI. No se puede decir que el impacto de estos cambios sea insignificante. Probablemente tres de los 40 altos ejecutivos principales han sido reemplazados.

Pero, de hecho, si observamos el contenido específico de los tres responsables, es posible que en este momento no esté realmente relacionado con el núcleo de desarrollo del nuevo modelo de OpenAI. Según el blog oficial anterior de OpenAI, Greg Brockman ocupará el cargo de presidente a partir de 2022, y en ese momento se centró en entrenar el sistema de inteligencia artificial insignia de OpenAI. Pero, de hecho, desde GPT-4, el actual científico jefe Jakub Pachocki ha liderado el desarrollo de GPT-4 y OpenAI Five.

Shulman alguna vez fue responsable de la parte posterior a la capacitación de OpenAI y propuso el algoritmo de optimización de políticas próximas (PPO). Este es un conjunto de algoritmos de estrategia central para mejorar modelos de lenguaje grandes, y también es uno de los principales algoritmos utilizados por OpenAI hasta ahora. Sin embargo, después de que Illya renunció, fue cambiado a la persona a cargo de Super Alignment, y se estima que su impacto actual en el proyecto GPT-5 es muy limitado.

El vicepresidente responsable de producto, Peter Deng, es responsable de los productos de los clientes y tiene una relación general limitada con el trabajo de desarrollo central de GPT-5.

Básicamente se puede confirmar que el vicepresidente de investigación, Bob MacGrew, y el científico jefe, Jakub Pachocku, son las figuras más importantes en el desarrollo del nuevo modelo.

Además, las principales figuras dentro de OpenAI que pueden estar promoviendo la innovación tecnológica ya no son los altos ejecutivos, sino algunos investigadores de base. Por ejemplo, el ex director ejecutivo de Stability AI, Emad, dijo en X que sólo la renuncia de Alec Radford puede determinar el colapso de OpenAI.

También podemos ver su peso buscando el número de citas en los artículos de Scholar en Google.

Por lo tanto, el impacto de esta renuncia en el progreso de la investigación de OpenAI puede ser limitado. El impacto principal está en la moral interna del equipo y la confianza externa en la empresa.

Después de todo, a un jefe que ni siquiera puede conservar a sus mejores amigos y que ha eliminado todas las empresas de Lianchuang le resultará difícil ganar confianza en sus capacidades de gestión.

Suposiciones clave de conflicto

Palabras clave para dejar: Súper Alineación

El Proyecto Super Alineación de OpenAI se estableció en junio de 2023. Planea invertir el 20% de la potencia informática en los próximos cuatro años para construir un investigador de alineación automática equivalente al nivel humano utilizando la supervisión de IA para resolver el problema de los sistemas inteligentes de nivel superior y los humanos. Problemas de coherencia de objetivos. El equipo "Super Alignment" está dirigido conjuntamente por el cofundador y científico jefe de OpenAI, Ilya Sutskever, y el investigador Jan Leike.

Se puede decir que Ilya Sutskever es una de las figuras del alma de OpenAI. Cuando se publicó el documento "La atención es todo lo que necesitas" en 2017, que atrajo gran atención en la industria, Ilya lo apoyó plenamente.TransformadorDirección de arquitectura, y luego lideró el desarrollo de los modelos de las series GPT y Vincentian DALL-E.

Ilya también fue alumno de Geoffrey Hinton, conocido como el "padre del aprendizaje profundo". Completó sus estudios de pregrado y posgrado bajo la dirección de Hinton y, finalmente, recibió un doctorado en Ciencias de la Computación. Hinton también ha estado advirtiendo que el rápido desarrollo de la inteligencia artificial puede traer amenazas más allá de la inteligencia humana.

A finales de 2023, el incidente conocido como "OpenAI Palace Fight" finalmente terminó temporalmente con la partida de Ilya y el regreso de Sam Altman. Sin embargo, la controversia continúa hasta el día de hoy. La mayor especulación del mundo exterior es que existen diferencias internas dentro de OpenAI, y aún mayor es el enorme conflicto de creencias.

A juzgar por los antecedentes y el comportamiento de Sam Altman, la industria tiende a considerarlo un creyente en e/acc (aceleracionismo efectivo), creyendo que el desarrollo de la tecnología es esencialmente beneficioso para la humanidad, y que la humanidad debería invertir tantos recursos como sea posible para acelerar la innovación. cambiar la estructura social existente. En correspondencia con lo que ha hecho OpenAI, se puede resumir de manera simple y cruda como concentrar recursos financieros y recursos para romper AGI a toda velocidad.

La superalineación y la aceleración efectiva ya no son, en esencia, una batalla de rutas, sino un enorme conflicto de creencias internas. En mayo de 2024, Jan Leike también anunció su dimisión. Cuando dimitió, publicó en las redes sociales trabajos peligrosos, pero en los últimos años la seguridad de la IA ha dado paso a productos brillantes. Esta división se prolonga desde hace algún tiempo. Finalmente llegué al punto sin retorno”.

Con la dimisión de Jan Leike, el equipo original de Super Alignment prácticamente ha llegado a su fin. Los miembros restantes se integraron en el equipo de seguridad, encabezado por Johnson Schulman. Precisamente hoy, Johnson Schulman también anunció su salida.

Lo que es muy intrigante es que tanto Jan Leike como Johnson Schulman optaron por Anthropic, que se puede decir que tiene las mismas raíces que OpenAI. El fundador de Anthropic también es Dario Amodei, un ex empleado principal de OpenAI. Se dice que cuando Dario se fue ya en 2020, fue por problemas de seguridad de la IA.

Dario lanzó la IA constitucional en Antropic, un método para entrenar modelos de IA que guía el comportamiento de los sistemas de IA a través de un conjunto claro de principios de comportamiento, en lugar de depender de la retroalimentación humana para evaluar las respuestas. El núcleo de este enfoque es utilizar el propio sistema de IA para ayudar a supervisar otros sistemas de IA para mejorar la inocuidad y utilidad de la IA y al mismo tiempo ampliar la escala de supervisión.

Darío enfatizó que la idea principal de la IA constitucional es utilizar sistemas de IA para ayudar a supervisar otros sistemas de IA, ampliando así la escala de supervisión y mejorando la inocuidad y utilidad de la IA. El proceso de la IA constitucional implica pasos como la autocrítica, la corrección, el aprendizaje supervisado y el aprendizaje por refuerzo, así como una serie de principios constitucionales basados ​​en el lenguaje natural para limitar el comportamiento de la IA.

¿Es muy similar a los pensamientos súper alineados de Ilya?

Parece que desde entonces OpenAI y Anthropic se han convertido en diferentes representantes de las dos creencias de aceleracionismo efectivo y superalineamiento en el campo de la IA.

Anteriormente, algunas personas señalaron con preocupación que la partida de Ilya puede deberse a que vio que algunas de las tecnologías de OpenAI estaban fuera de control. Si este es realmente el caso, Anthropic, que camina por otro camino, puede convertirse en una ventaja para contener a esta bestia gigante. . brazos.

Después de todo, los modelos de la serie Claude de Anthropic están infinitamente cerca de los modelos grandes de la serie GPT de OpenAI en términos de capacidades.

Un tipo diferente de conflicto: el “tirano” Sam Altman y las estructuras de gobierno idealistas

En qué tiene que insistir otra figura central, Sam Altman, el fundador de OpenAI, puede ser más difícil que creer en una aceleración efectiva.

Primero, arqueología OpenAI, fundada el 11 de diciembre de 2015. Estuvo lleno de idealismo desde el principio, y su visión incluía promover activamente el desarrollo de una inteligencia artificial general (AGI) que beneficie a toda la humanidad, beneficie a todos y luche contra el monopolio de la inteligencia artificial por parte de grandes empresas o de unas pocas personas.

Bajo esta visión, se ha recaudado dinero de grandes nombres, incluido Elon Musk, y los financiadores parecen estar comprometiendo miles de millones de dólares a la organización a medida que crece. En este momento, a OpenAI solo le importa cómo lograr sus ideales. preocuparse por las necesidades diarias.

Sin embargo, después de que apareciera el ahora mundialmente famoso papel Atención es todo lo que necesita, OpenAI tomó la ruta de la ley de escala, que es una ruta que requiere un gran consumo de recursos.

En 2019, para obtener financiación, OpenAI recurrió a una estructura híbrida. Bajo la empresa matriz OpenAI Inc., se creó una filial OpenAI Global, en la que la inversión de Microsoft se intercambiaba por hasta el 49% de las acciones de OpenAI Global.

Es decir, OpenAI conserva su empresa matriz original sin fines de lucro, pero bajo esta empresa matriz se crea una subsidiaria con fines de lucro llamada OpenAI Global. Esta filial puede absorber el dinero de los inversores de capital riesgo y las acciones de los empleados, lo que significa que puede recaudar fondos como una empresa normal.

Sin embargo, OpenAI LP no se ha convertido completamente en una empresa normal. También tiene una característica especial: la "captación de beneficios". Esto significa que si bien puede resultar rentable, existe un límite. Si el dinero ganado supera este límite, el exceso se devolverá a la empresa matriz sin fines de lucro. Esto garantiza que OpenAI LP no se desvíe de su objetivo original de beneficiar a toda la humanidad.

Sin embargo, existe un riesgo potencial en una estructura tan aparentemente innovadora: la junta directiva de la organización sin fines de lucro OpenAI LP controla la organización con fines de lucro Open AI Global. La misión de la organización sin fines de lucro es el pozo. -ser de toda la humanidad, no los derechos e intereses de los accionistas. Microsoft obtuvo el 49% de las acciones, pero no tenía puestos en la junta ni voz.

Lo que es aún más dramático es que después de que Altman fuera expulsado de la junta directiva, el 98% de los empleados amenazaron con dimitir y firmaron una carta abierta exigiendo su reintegro. Altman dijo en una entrevista posterior: "Este incidente puede destruir el patrimonio de todos y, para muchos empleados, esto representa toda o la mayor parte de su riqueza".

El "ajetreo" de los empleados comunes por los intereses más seculares derrotó los grandes ideales de seguridad de AGI de los fundadores centrales.

Además de la estructura de gobierno de OpenAI, también se ha revelado en línea cierto estilo de gestión "controvertido" de Sam Altman. Por ejemplo, Altman tiene un método que él llama gestión "dinámica", que consiste en hacer las cosas sin previo aviso. rol de liderazgo y asignar recursos. Por ejemplo, Altman ascendió repentinamente a otro investigador de inteligencia artificial, Jakub Pachocki, al puesto de director de investigación. El entonces director de investigación, Ilya Sutskever, expresó su inquietud y prometió recursos y responsabilidades a dos ejecutivos diferentes al mismo tiempo, aunque la intención original de Sam era generar competencia. Pero Ilya siente que esto causará más conflictos.

Además, el estilo de Sam Altman en competición también es más lobuno y directo, como enGPT-4oAntes de conectarse, se reveló que no se había sometido a suficientes pruebas de seguridad. Los rumores dicen que se eligió el momento para proporcionar una barrera más eficaz contra el competidor Google.

OpenAI es el detonante de esta ola de IA generativa y siempre ha sido considerado el líder. Sin embargo, la situación actual se está volviendo cada vez más desafiante: el mundo entero espera saber cuántos avances tiene OpenAI en sus manos, pero al mismo tiempo, también espera saber si estos avances pueden transformarse en un producto real. después de todo, OpenAI La fortaleza de su producto siempre ha sido criticada por la industria.

Además, según las predicciones de las instituciones de inversión, se espera que OpenAI siga perdiendo dinero este año y continúe entrenando modelos más potentes. Cómo continuar financiando también es una cuestión que OpenAI debe considerar cuando su capacidad hematopoyética no es suficiente.

El entorno competitivo se está volviendo cada vez más feroz. No sólo lo rodean los gigantes, sino que Microsoft, el mayor accionista, incluyó a OpenAI como competidor en su último informe financiero. También tiene que enfrentarse al igualmente poderoso Antropic.

Después de que Sam Altman regrese, puede sentirse "solitario", y el mundo exterior también estará preocupado por si esta junta directiva, que parece haberse convertido en un "cascarón vacío", puede continuar manteniendo a OpenAI a la cabeza.

Sin embargo, un consultor en el campo del capital de riesgo nos expresó hoy las siguientes opiniones: "La administración original de OpenAI era un grupo de académicos con excelentes antecedentes, integridad e ideales; sin embargo, tal vez las empresas de tecnología puedan realmente crecer, pero necesitan un 'Tirano '. Sin un 'tirano' arbitrario, puede llevar mucho tiempo tomar una decisión."

OpenAI bajo el liderazgo del "tirano" Altman, me pregunto adónde irá finalmente.

El secreto del auge de OpenAI: Ultraman ha estado ansioso por el poder desde que era un niño y confía en sus conexiones para acumular una gran influencia.