Mi información de contacto
Correo[email protected]
2024-08-13
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
La Casa Mengchen se origina en el Templo Aofei
Qubits | Cuenta pública QbitAI
historiaEl primer "científico de la IA"”¡Resultó ser!
Se generó de una vez tan pronto como apareció.Diez trabajos académicos completos.。
△Un documento modelo de difusión generado por IA
Desde proponer ideas de investigación, verificar novedades, diseñar experimentos, escribir código, ejecutar experimentos en GPU y recopilar resultados y, finalmente, escribir el artículo, todo se hace de una sola vez.
Todo lo hace automáticamente este "científico de IA".
El costo por papel es de aprox.$15(alrededor de 107,62 yuanes).
Este es el primero paraInvestigación científica sobre automatización.y un sistema de IA integrado para descubrimiento abierto,El científico de la IA。
Desde la puesta en marcha de Llion Jones, uno de los autores de Transformer:Inteligencia artificial de Sakana。
¡y!
Lo que esta empresa está haciendo no es sólo crear un científico de IA,También creamos un revisor de IA adicional.。
Los revisores pueden revisar artículos escritos por AI y brindar sugerencias para mejorar.
¡Ayuda, este es un ciclo de matrioska en el que uso mi lanza para atacar mi escudo!
Después de una operación, se parece más a un círculo académico humano que a un círculo académico humano (no)
¡Uno más y!
Ya sea un científico de IA o un revisor de IA, Sakana AI los poneTodo el código abierto.
Los internautas aplaudieron después de ver esto;
¡Buen trabajo, muy interesante!
Y algunas personas ya han empezado a tener "malas ideas".
¡Se recomienda enviar uno de los artículos a AI Dinghui!
Durante décadas, después de cada avance importante en la IA, los investigadores solían bromear: "Es hora de considerar dejar que la IA nos ayude a escribir artículos”。
Ahora, la idea finalmente ha pasado de una broma a una realidad.
Específicamente, los científicos de IA generaron diez artículos y seleccionaron uno con una puntuación más alta de cada dirección de investigación para presentarlo.
Parte 1, Modelo de dirección de difusión, "Difusión de doble escala: equilibrio adaptativo de funciones para modelos generativos de baja dimensión"
Se propone un método adaptativo de eliminación de ruido de doble escala para mejorar el problema de que los modelos de difusión existentes son difíciles de capturar simultáneamente la estructura global y los detalles locales en un espacio de baja dimensión.
método:
Resultados experimentales:
Un vistazo rápido al texto principal muestra que hay fórmulas y gráficos, y parece bastante decente.
Segunda parte, Dirección del modelo de lenguaje, "StyleFusion: generación adaptativa de múltiples estilos en modelos de lenguaje a nivel de caracteres".
Este artículo propone un nuevo método llamado Adaptador de estilos múltiples, que mejora el conocimiento del estilo y la coherencia de los modelos de lenguaje a nivel de caracteres mediante la introducción de incrustaciones de estilos y encabezados de clasificación de estilos que se pueden aprender.
Se lograron puntuaciones de coherencia de estilo casi perfectas en todos los conjuntos de datos (0,9667 para shakespeare_char, 1,0 para enwik8 y text8), con una pérdida de validación mejor que el modelo de referencia, pero con una ligera disminución en la velocidad de inferencia (~400 tokens/s frente a 670 tokens para la línea base/s)
El tercer artículo, que combina Transformer con aprendizaje por refuerzo., "Tasa de aprendizaje adaptativo de Transformers a través de Q-Learning".
Este estudio explora la aplicación del aprendizaje por refuerzo para ajustar dinámicamente la tasa de aprendizaje en el entrenamiento del modelo transformador, utilizando la pérdida de verificación y la tasa de aprendizaje actual como estado para ajustar dinámicamente la tasa de aprendizaje para optimizar el proceso de capacitación.
Los resultados superan al modelo de referencia en todos los conjuntos de datos y también muestran ventajas en el tiempo de entrenamiento.
El cuarto artículo estudia el fenómeno "Grokking" de los grandes modelos propuesto por el equipo de Google, "Desbloqueo de Grokking: un estudio comparativo de estrategias de inicialización de peso en modelos de transformadores"
Este artículo estudia sistemáticamente por primera vez el impacto de la inicialización de pesos en la asimilación y compara cinco estrategias de inicialización de pesos para optimizar la dinámica de aprendizaje de las redes neuronales.
apagar:
Los códigos de respaldo para estos artículos (también generados por IA) también son de código abierto en GitHub, destacando uno que es reproducible.
Además, el equipo descubrió que los "científicos de IA" también tienen algunasComportamiento interesante pero algo peligroso.：
En un experimento, modificó su propio código para completar la investigación,Deje que el sistema se llame a sí mismo de forma iterativa., y finalmente se convirtió en una muñeca matrioska infinita.
En otra ocasión, ante el límite de tiempo de funcionamiento establecido por los humanos, la IA no encontró formas de acelerar la eficiencia, sino que relajó sus requisitos.Ampliado el límite de tiempo de 2 horas a 4 horas.。
Toda la idea de la investigación proviene de la continuación de varios logros posteriores al establecimiento de Sakana AI:
Primero, desarrollaron un método para fusionar automáticamente el conocimiento de múltiples modelos grandes y evolucionar para generar nuevos modelos. En trabajos recientes, aprovechan modelos grandes para descubrir nuevas funciones objetivas para ajustar otros modelos.
En estos proyectos, el equipo sigue sorprendiéndose por la creatividad de los modelos actuales de vanguardia, lo que lleva a sueños aún más grandes:¿Se pueden utilizar modelos grandes para automatizar todo el proceso de investigación?
El resultado final fue completado por un equipo de Sakana AI, el Laboratorio Foerster de la Universidad de Oxford y la Universidad de Columbia Británica.
El sistema "AI Scientist" consta de cuatro partes.
Generación de ideas:
Dada una plantilla inicial, la IA primero hace una "lluvia de ideas" sobre una serie de direcciones de investigación novedosas diferentes y busca en Semantic Scholar para verificar si estas ideas se han hecho antes.
Iteración del experimento:
Para la idea presentada en la primera parte, el "científico de IA" primero realiza el experimento propuesto y luego genera un gráfico de visualización de los resultados.
Redacción de ensayos:
Escribí un artículo de LaTeX conciso e informativo al estilo de una conferencia estándar sobre aprendizaje automático y también utilicé Semantic Scholar para buscar de forma independiente artículos relevantes para citas.
Revisión por pares automatizada:
Se desarrolló un "revisor de IA" automatizado que puede evaluar los artículos generados con una precisión casi humana, lo que permite un ciclo de retroalimentación continua que permite a los "científicos de IA" mejorar de forma iterativa los resultados de su investigación.
Se generaron un total de 10 artículos de la siguiente manera:
En el experimento, el equipo también comparó los efectos de conectar diferentes modelos grandes convencionales con todo el sistema, incluido el modelo grande de código doméstico del equipo DeepSeek.
apagar,Claude-Sonnet-3.5 funciona mejor en términos de innovación de ideas, tasa de aprobación de pruebas y calidad de finalización del trabajo.
GPT-4o y DeepSeek Coder funcionan de manera similar, pero este último es 30 veces más barato.
Por supuesto, en esta etapa, los artículos completados de forma independiente por AI no son perfectos ni pueden publicarse directamente.
Los investigadores humanos han resumido varias limitaciones y desafíos:
En resumen, los artículos escritos por esta primera generación de científicos de IA todavía tienen algunos errores de vez en cuando.
Pero Sakana AI considera que el proyecto en sí y el costo de 15 dólares estadounidenses por artículo son "prometedores" y pueden utilizarse para ayudar a acelerar el progreso científico.
Sakana AI también publicó un artículo explicativo que afirma que la visión final de los científicos de IA es unaUn ecosistema científico íntegramente impulsado por IA。
El sistema incluye no sólo grandes investigadores basados en modelos, sino también revisores, presidentes regionales y una nueva conferencia.
Cabe señalar que Sakana AI cree que:
El papel de los científicos humanos no se verá disminuido por la aparición de científicos de IA.
Si debemos hacer una comparación, es que los científicos deben adaptarse al surgimiento y aplicación de nuevas tecnologías, adaptarse a los cambios en el posicionamiento de sus funciones y "ascender en la cadena alimentaria".
Además, queda por ver si los científicos de IA realmente pueden idear paradigmas verdaderamente nuevos.
Después de todo, esto todavía se basa en Transformer.
¿Se le ocurrirá algo tan poderoso como un transformador o un modelo de difusión? ¿Incluso conceptos teóricos como redes neuronales artificiales o teoría de la información?
Nosotros tampoco lo sabemos y no nos atrevemos a decirlo.
Sakana AI también escribió este párrafo:
Creemos que los científicos de IA se convertirán en grandes socios de los científicos humanos.
Pero sólo el tiempo dirá hasta qué punto la esencia de la creatividad humana y los momentos fortuitos de innovación pueden replicarse a través de descubrimientos abiertos por parte de los humanos.
△Sakana AI: un pececito con IA totalmente automatizado está explorando su mundo
La empresa que esta vez completó la "nueva creación", Sakana AI, también es una vieja amiga nuestra en sentido estricto.
Por el último de los 8 autores del artículo Transformer.León JonesLa startup se creó con el objetivo de convertirse en un "laboratorio de investigación de inteligencia artificial de clase mundial".
La empresa tiene su sede en Tokio y sakana es la palabra japonesa que significa "pez" (pez).
Quizás por consideraciones de cultura empresarial, Llion también declaró en LinkedIn que tenía una transliteración japonesa de su nombre: ライオン (que también es el katakana de Lion; de ahora en adelante lo llamaremos cariñosamente Hermano León).
En agosto del año pasado, se anunció la empresa.
En ese momento, Lion Brother dijo sin dudarlo que no tenía malas intenciones hacia Google, peroGoogle sí le hace sentir "atrapado"。
Antes de iniciar su propio negocio, el hermano León trabajó en Google durante 8 años.
△¿Adivina a quién le falta la mitad de la cara?
Se licenció en la Universidad de Birmingham y ha trabajado en Delcam, YouTube y Google es la empresa en la que ha permanecido más tiempo.
Según FourWeekMBA, en su experiencia laboral previa,“Dejé de trabajar en Google dos veces”。
La primera vez fue cuando estaba buscando trabajo justo después de graduarse. Aunque presentó su currículum como ingeniero de software en Google Londres y pasó dos rondas de entrevistas telefónicas, finalmente eligió Delcam, una empresa de software CAD/CAM en el Reino Unido. sobre Google.
Vale la pena mencionar que antes de recibir la oferta de Google, se topó con la crisis económica en 2009. Lion Brother no pudo encontrar trabajo y tuvo que depender de fondos de ayuda para sobrevivir durante varios meses.
La segunda vez fue después de 18 meses de trabajo, recibió una llamada de reclutamiento de Google preguntándole si quería volver a postularse, pero aún así no fue a Google, sino que luego se unió a YouTube.
Mientras trabajaba como ingeniero de software en YouTube durante tres años, se interesó en la inteligencia artificial, impartió por sí mismo el curso de aprendizaje automático de Coursera y finalmente se unió a Google Research en 2015 como ingeniero de software senior.
También fue durante este período que él y otros siete autores publicaron el famoso artículo Transformer.La atención es todo lo que necesitas。
Además, Lion Brother también ha participado en muchas investigaciones en Google, incluidas ProtTrans, Tensor2Tensor, etc.
Decidió dejar Google porque la empresa había crecido hasta un tamaño que le hacía imposible continuar haciendo el trabajo que quería hacer.
Además de desperdiciar energía todos los días solucionando los errores de otras personas, también necesita dedicar tiempo a buscar recursos de esta empresa para intentar obtener acceso a ciertos datos.
Después de iniciar el negocio, el trabajo de Sakana AI avanza de manera ordenada.
Antes de utilizar científicos y revisores de IA, también publicamos grandes modelos que fusionan algoritmos evolutivos y estudian el flujo de información interno de Transformer.
En cuanto a los proyectos de científicos y revisores de IA, se completan en cooperación con Sakana AI, Oxford y UBC.
Los tres coautores son:
Chris Lu, pasante en Sakana AI, se desempeña como científico investigador de la compañía.
Se graduó en UC Berkeley con una licenciatura y actualmente es estudiante de doctorado de tercer año en la Universidad de Oxford. Su supervisor es Jakob Foerster.
La importante dirección de investigación actual de Chris es aplicar técnicas inspiradas en la evolución al metaaprendizaje y al aprendizaje por refuerzo de múltiples agentes.
En el verano de 2022, realizó una pasantía como científico investigador en DeepMind.
Cong Lu, investigador postdoctoral en la UBC (Universidad de Columbia Británica), tutelado por Jeff Clune.
Cong estudió en RGU (Universidad Robert Gordon) y recibió su doctorado en la Universidad de Oxford en 2019. Sus principales intereses de investigación son el aprendizaje por refuerzo abierto y el descubrimiento científico de la IA.
Anteriormente, realizó prácticas en Waymo y Microsoft.
Robert Tjarko Lange, uno de los miembros fundadores de Sakana AI y científico investigador de la empresa.
Actualmente, está completando su último año de estudios de doctorado en la Universidad Técnica de Berlín y su dirección de investigación es el metaaprendizaje evolutivo.
El joven obtuvo una maestría en informática del Imperial College de Londres, una maestría en ciencia de datos de la Universidad Pompeu Fabra y una licenciatura en economía de la Universidad de Colonia.
El año pasado, trabajó como estudiante investigador a tiempo completo en el equipo de Tokio de Google DeepMind.
Dirección del papel:
https://arxiv.org/abs/2408.06292
Enlaces de referencia:
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/
Recopile y organice la información de noticias más reciente y haga que todos puedan consultarla de forma gratuita.
Correo[email protected]