noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

La explosión de pequeños modelos de IA se ha convertido en un nuevo campo de competencia para los gigantes de la IA.

La guerra de precios de los grandes modelos continúa para siempre. Las empresas de inteligencia artificial que han invertido enormes cantidades de dinero necesitan urgentemente seguir avanzando en sus historias comerciales. Recientemente, han lanzado sus propios modelos pequeños de bajo costo y fáciles de implementar. , y ha comenzado una nueva ronda de competencia.

Primero, HuggingFace lanzó SmolLM: 135M, 360M y 1.7B. Solo usó 650B de tokens para entrenamiento, pero su rendimiento superó los 1.5B de Qwen y los 1.5B de Phi.

Al día siguiente, Mistral AI y NVIDIA lanzaron conjuntamente Mistral NeMo, llamado "el mejor modelo pequeño de Mistral AI". Es fácil de usar y puede reemplazar directamente cualquier sistema que use Mistral 7B.

El mismo día, OpenAI se fue de compras y lanzó una versión mini de GPT-4o: GPT-4o Mini. Llamó a este nuevo modelo "el modelo de parámetros pequeños más potente y rentable" y lo consideró como El. El modelo de visualización reemplaza la posición de "escenario frontal" de la versión web de GPT-3.5.

Para no quedarse atrás, Apple lanzó el modelo pequeño DCLM el mismo día que OpenAI, y fue de código abierto tan pronto como se lanzó. "Este es el modelo de código abierto verdaderamente de mejor rendimiento hasta la fecha", afirmó Vaishaal Shankar, científico investigador del equipo de ML de Apple.

Estos modelos tienen parámetros pequeños y ocupan menos memoria. En escenarios específicos, después del ajuste, los resultados pueden ser comparables a los de modelos grandes, lo que los convierte en una opción rentable.

"Los modelos pequeños deben ser más fáciles de obtener valor", dijo Xu Xiaotian, arquitecto jefe de datos e inteligencia artificial de IBM China, en una entrevista con un periodista del 21st Century Business Herald: "Un grupo de pequeños modelos profesionales cooperan con agentes para lograrlo". la integración de flujos de negocio, funcionalidad y economía será más factible sexualmente”.

En el campo de batalla del modelo generativo de IA, la velocidad de iteración es extremadamente rápida. Los "mejores" de hoy pueden ser derrotados inmediatamente por la nueva versión de mañana, y los "registros históricos" se anulan y reescriben constantemente. "Los modelos se actualizan demasiado rápido y es difícil juzgarlos. Un fabricante afirma que es el 'mejor y más grande', mientras que otro fabricante afirma que es el 'mejor y más pequeño'". Un experto en inteligencia artificial La industria dijo a 21st Century Business Herald Según los periodistas, los modelos de inteligencia artificial son deslumbrantes. Si las empresas de IA quieren tener éxito en las historias comerciales, deben trabajar diez o cien veces más.

Fuente de la imagen: Dibujo creativo Xu Shuxing

La pista del modelo pequeño se abre "en rollo"

Los gigantes de la IA están lanzando modelos pequeños de forma intensiva para competir no sólo en rendimiento sino también en precio.

Según el sitio web oficial de Open AI, en pruebas comparativas como MMLU, MGSM, HumanEval y MMMU, GPT-4o mini ha demostrado un mejor razonamiento visual y textual y razonamiento matemático que modelos pequeños como GPT-3.5 Turbo y Gemini Flash, Claude Haiku, las capacidades de codificación y razonamiento multimodal, especialmente las capacidades de codificación y razonamiento matemático, son mucho mejores que el GPT-3.5 Turbo y otros modelos pequeños, y un poco más débiles que el GPT-4o. En la última clasificación de arena de prueba a ciegas de LMSYS, GPT-4o mini también logró el primer lugar junto con GPT-4o. Incluso el director ejecutivo de OpenAI, Sam Altman, no pudo ocultar su entusiasmo y publicó en la plataforma de redes sociales: “Nunca hemos estado más emocionados. sobre cualquier evaluación”.

Además de un rendimiento excelente, OpenAI también presenta una carta de triunfo de bajo costo. Cuando se puso en línea el 18 de julio, OpenAI anunció que el GPT-4o mini tendría un precio de 15 centavos por millón de tokens de entrada y 60 centavos por millón de tokens de salida, lo que es más de un 60% más barato que el GPT-3.5 Turbo. El 24 de julio, OpenAI anunció nuevamente que desde ahora hasta el 23 de septiembre proporcionará miniservicios de ajuste fino GPT-4o para usuarios de nivel 4 y 5 de forma gratuita, con un límite diario de 2 millones de tokens, y se cobrará el exceso. a 3 dólares estadounidenses por 1 millón de tokens. OpenAI dijo: "Esperamos que GPT-4o mini amplíe el alcance de la aplicación de la inteligencia artificial y la haga más asequible".

El informe de investigación de Ping An Securities cree que GPT-4o mini es una nueva generación de "modelo pequeño" de inteligencia artificial de nivel básico con un precio significativamente reducido, que tiene rendimiento y rentabilidad. Actualmente, los modelos grandes en todo el mundo están mostrando gradualmente una tendencia de desarrollo que está pasando de una competencia unilateral por el rendimiento a una que enfatiza tanto el rendimiento como la practicidad. Cuando las capacidades de los grandes modelos alcancen un cierto nivel, inevitablemente avanzarán hacia la aplicación. Al mejorar el rendimiento de costos de sus productos y promover la promoción y el despliegue de aplicaciones posteriores, se espera que los grandes fabricantes de modelos aceleren la formación de un circuito comercial cerrado en el. Gran cadena industrial modelo.

El modelo DCLM de Apple lanzado después de GPT-4o mini también es llamativo. El código, los pesos, el proceso de entrenamiento y los conjuntos de datos son completamente abiertos. DCLM se divide en dos tamaños: 1.4 mil millones de parámetros y 7 mil millones de parámetros. Su versión de 7 mil millones de parámetros supera a Mistral-7B y su rendimiento se acerca al de Llama 3 y Gemma. En la prueba MMLU (5 disparos), DCLM-7B logró una precisión del 63,7%. Según los investigadores, este rendimiento mejora un 6,6% con respecto al anterior modelo de lenguaje de datos abiertos de última generación MAP-Neo y requiere un 40% menos de cálculo. Más importante aún, este resultado supera a Mistral-7B-v0.3 con una precisión del 62,7% y se acerca a Gemma 8B con una precisión del 64,3%, Llama3 8B con una precisión del 66,2% y Phi-3 7B con una precisión. del 69,9%.

En lugar de “cuanto más grande, mejor”, Apple prefiere seguir la ruta de los modelos pequeños. En abril de este año, Apple anunció una familia de cuatro modelos grandes pre-entrenados llamados OpenELM, que eran de tamaño extremadamente pequeño y ya estaban avanzando hacia el objetivo de "permitir que la inteligencia artificial se ejecute localmente en dispositivos Apple".

En junio, Apple reveló su hoja de ruta de desarrollo de inteligencia artificial y planeó integrar modelos pequeños en dispositivos móviles sin problemas, lo que no solo logrará el objetivo de ser "más rápido y seguro", sino que también resolverá el problema fundamental de integrar dispositivos y modelos móviles de una sola vez. .

Mistral NeMo, creado en asociación con Mistral AI y NVIDIA, se somete a una etapa avanzada de ajuste y alineación para sobresalir en seguir instrucciones precisas, razonamiento, manejo de múltiples rondas de conversaciones y generación de código. Se entiende que Mistral NeMo está dirigido principalmente a entornos empresariales y tiene como objetivo permitir a las empresas implementar soluciones de inteligencia artificial sin requerir grandes cantidades de recursos en la nube.

En una entrevista con Venturebeat, Bryan Catanzaro, vicepresidente de investigación de aprendizaje profundo aplicado de NVIDIA, explicó las ventajas de los modelos pequeños. "Los modelos pequeños son más fáciles de conseguir y ejecutar y pueden tener diferentes modelos de negocio porque las personas pueden ejecutarlos en sus propios sistemas en casa", afirmó.

Los modelos grandes han entrado en la segunda mitad, desde volúmenes técnicos hasta aplicaciones, el mercado está cada vez más interesado en modelos de alta eficiencia y bajo costo que sean más fáciles de implementar localmente. Esto refleja el deseo de seguridad, privacidad, alta eficiencia y alto costo. actuación.

Los analistas de la industria creen que existe una nueva tendencia clara en la implementación de IA, es decir, modelos que pueden ejecutarse eficientemente en hardware local, lo que está disipando las preocupaciones de muchas empresas sobre la adopción a gran escala de soluciones de IA, como la privacidad de los datos, la latencia y la alta costos. "Esto puede hacer que la competencia sea más justa, y las pequeñas empresas con recursos limitados también recibirán la bendición de los modelos de IA, cerrando así la brecha inherente con las grandes empresas".

Ponte al volante de la pista de modelos pequeños

¿Por qué los gigantes de la IA están abriendo pistas de modelos pequeños? en parte o por consideraciones de costes.

Los modelos grandes son costosos de desarrollar y ejecutar, e incluso gigantes como OpenAI tienen dificultades para costearlos.

Recientemente, una fuente analizó que “OpenAI puede perder 5 mil millones de dólares este año y corre el riesgo de quedarse sin fondos dentro de 12 meses”. Hasta marzo de este año, OpenAl ha gastado casi 4 mil millones de dólares en el alquiler de servidores de Microsoft para ejecutar ChatGPT y su modelo de lenguaje grande (LLM) subyacente. Además de ejecutar ChatGPT, los costos de capacitación de OpenAl, incluidas las tarifas de datos, podrían elevarse a $3 mil millones de dólares este año. El año pasado, OpenAl aceleró el entrenamiento de nuevas IA más rápido de lo planeado originalmente, según personas familiarizadas con el asunto. OpenAl originalmente planeó gastar alrededor de $800 millones en tales costos, pero terminó gastando mucho más.

En comparación, los modelos pequeños tienen un bajo costo, una respuesta rápida y pueden ejecutarse localmente, lo que los hace más adaptables a las necesidades de uso personalizadas y precisas. Los conocedores de la industria dijeron: "Con la escasez de hardware de IA a nivel mundial, los modelos pequeños significan menores costos de implementación y capacitación, y sus efectos de producción son suficientes para manejar algunas tareas específicas".

Un empresario relevante a cargo de una empresa nacional de inteligencia artificial le dijo a un periodista del 21st Century Business Herald que una escala de parámetros pequeña puede ahorrar significativamente los costos de inferencia. El costo del hardware requerido para el entrenamiento y ajuste del modelo es mucho menor que el de un modelo grande. Los desarrolladores maduros pueden incluso entrenar modelos verticales a bajo costo, los costos de estas operaciones son mucho más bajos que los de los modelos grandes.

La reciente predicción de Andrej Karpathy, miembro fundador de OpenAI y ex director senior de IA de Tesla, es bastante representativa. Propuso que la competencia de tamaño de los modelos generativos se revertirá para competir con cuyo modelo sea más pequeño e inteligente.

En la explicación de Andrej Karpathy, la razón por la que el modelo grande actual es tan grande es que todavía desperdicia mucho durante el entrenamiento. Aunque el modelo grande es muy bueno en memoria, también significa que recuerda muchos detalles irrelevantes. esos contenidos Esto no debe llamarse repetidamente en un problema específico.

Para los modelos pequeños, los objetivos de entrenamiento se vuelven más simples, más directos y más eficientes, lo que permite a la IA aprender más información útil de manera más directa.

Sin embargo, los modelos grandes y los modelos pequeños no se pueden "elegir", y sus rutas de desarrollo aún tienen la importancia de aprender unos de otros.

Andrej Karpathy dijo: "El modelo primero debe hacerse más grande antes de que pueda volverse más pequeño. Porque necesitamos modelos grandes para reconstruir y dar forma a los datos en una forma ideal. Un modelo ayuda a generar datos de entrenamiento para el siguiente modelo y gradualmente obtiene un entrenamiento perfecto. Luego, entrégaselo al modelo pequeño, quien no necesita recordarlo todo, pero necesita buscarlo de vez en cuando para asegurarse de que sea exacto”.

Robin Li también declaró en la Conferencia de desarrolladores de IA de Baidu Create 2024 que las aplicaciones nativas de IA a gran escala en el futuro serán básicamente la arquitectura Moe, que es una combinación de modelos grandes y pequeños. Robin Li también dijo que destilar un modelo básico mediante la compresión de un modelo grande y luego entrenarlo con datos es mucho mejor que entrenar un modelo pequeño desde cero. Es mejor, más rápido y más rentable que un modelo entrenado en base a un modelo de código abierto. . Bajo.