noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Cosas inteligentes (cuenta pública:zhidxcom）
compilarvainilla
editarLi Shui Qing

¡La familia de modelos pequeños de código abierto de Google DeepMind da la bienvenida a nuevos miembros!

Zhidongzhi informó el 1 de agosto que esta mañana temprano, Google DeepMind abrió el modelo liviano Gemma 2 2B. Su puntaje en el campo de los modelos grandes superó a los modelos con parámetros más grandes como GPT-3.5 y Llama 2 70B.

▲Gema 2 2B

Con sólo 2 mil millones de parámetros, Gemma 2 2B puede ejecutarse fácil y rápidamente en teléfonos móviles, PC y otros dispositivos terminales. Según las pruebas reales realizadas por los desarrolladores en Google AI Studio, la velocidad de inferencia alcanza entre 30 y 40 tokens/s.

▲ Los desarrolladores prueban Gemma 2 2B

Junto con Gemma 2 2B se lanzaron Gemma Scope, una herramienta para mejorar la interpretabilidad del modelo, y ShieldGemma, un modelo de clasificación de seguridad para filtrar contenido dañino.

Gemma Scope se basa en el codificador automático disperso (SAE) para amplificar puntos específicos en el modelo y utiliza la arquitectura JumpReLU para optimizarlo, ayudando así a analizar la información densa y compleja procesada en el modelo, lo que permite a los investigadores "ver" el modelo como un microscopio interno.

ShieldGemma está diseñado para cuatro áreas de daño: incitación al odio, acoso, contenido pornográfico y contenido peligroso, y supera los modelos de referencia como GPT-4 en las pruebas de respuesta.

La serie de modelos Gemma, lanzada inicialmente en febrero de este año, son modelos de código abierto creados por Google DeepMind basados ​​en la experiencia del modelo Gemini. En junio, Google lanzó el modelo de código abierto Gemma 2 de segunda generación, que incluye dos tamaños de parámetros de 9B y 27B. Entre ellos, el modelo 27B saltó rápidamente a la vanguardia de los modelos de código abierto en el campo de los modelos grandes LMSYS.

1. Derrota al modelo grande con 35 veces los parámetros, lo cual no es un problema para Gemma 2.

Gemma 2 2B es una versión mejorada de un modelo más grande y es el tercer modelo Gemma 2 lanzado por Google después del 27B y el 9B.

Como modelo liviano con solo 2 mil millones de parámetros, Gemma 2 2B no sacrifica el rendimiento por la portabilidad. En la clasificación LMSYS Large Model Arena (Chatbot Arena), Gemma 2 2B superó a GPT-3.5 con una puntuación de 1126 puntos, así como sus modelos Mixtral 8x7B y Llama 2 70B con decenas de veces la escala de parámetros.

▲ Resultados de Gemma 2 2B en el ámbito de los modelos grandes

Algunos internautas probaron el problema de proporción 9,9 y 9,11 del "vuelco" de Gemma 2 2B en muchos modelos grandes, y Gemma 2 2B rápidamente dio la respuesta correcta.

▲Gemma 2 2B respuestas

La velocidad de carrera es una gran ventaja de los modelos livianos. ¿Qué tan rápido exactamente? El investigador de aprendizaje automático de Apple, Awni Hannun, probó Gemma 2 2B en MLX Swift en su iPhone 15 pro y su velocidad de inferencia fue visiblemente rápida.

▲ Velocidad de carrera de Gemma 2 2B

Después de pruebas reales, el desarrollador Tom Huang dijo que su velocidad de ejecución en Google AI Studio es de aproximadamente 30 ~ 40 tokens/s, que es "más rápido que el modelo de Apple".

En términos de implementación, Gemma 2 2B proporciona métodos de implementación flexibles y puede ejecutarse de manera eficiente en una variedad de hardware, incluidos dispositivos perimetrales, computadoras portátiles o implementación en la nube basada en Vertex AI.

Los desarrolladores pueden descargar los pesos del modelo de Gemma 2 2B en plataformas como Hugging Face y Kaggle para aplicaciones comerciales y de investigación, o probar sus funciones en Google AI Studio.

Dirección de código abierto:

https://huggingface.co/google/gemma-2-2b

dos,Cree un clasificador para cuatro tipos de contenido, con una tasa de respuesta mejor que GPT-4

Para mejorar la seguridad y accesibilidad del modelo, Google lanzó ShieldGemma, un conjunto de modelos clasificadores de contenido seguros construidos sobre Gemma 2, que se utiliza para filtrar la entrada y salida del modelo de IA. Los modelos existentes en el conjunto de herramientas de IA responsable de Google complementan el conjunto de clasificadores de seguridad.

▲Cómo funciona ShieldGemma

ShieldGemma está diseñado para cuatro áreas de daño: incitación al odio, acoso, contenido pornográfico y contenido peligroso, y ofrece una variedad de tamaños de modelos para satisfacer diferentes necesidades, incluidos 2B, 9B y 27B. Entre ellos, el modelo de parámetros 2B es adecuado para tareas de clasificación en línea, mientras que las versiones 9B y 27B se utilizan para proporcionar un mayor rendimiento para aplicaciones fuera de línea.

En los resultados de la evaluación de conjuntos de datos externos, ShieldGemma superó modelos básicos como OpenAI Mod y GPT-4.

▲Resultados de la evaluación de ShieldGemma

Simultáneamente también se hizo público el informe técnico de ShieldGemma, que explica el método de construcción, la fuente de datos y la efectividad del modelo. En la prueba de respuesta de cuatro tipos de contenido dañino, la tasa de respuesta de ShieldGemma en tres escalas es mejor que la de GPT-4.

▲Prueba de respuesta de ShieldGemma

Dirección del informe técnico:

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

tres,"Microscopio" dentro de modelos grandes para analizar el comportamiento del modelo sin código

Para estudiar los principios de funcionamiento internos de los modelos de lenguaje, Google lanzó un codificador automático disperso, integral y abierto, Gemma Scope. Actúa como un microscopio y ayuda a los investigadores a "ver" el interior del modelo para comprender mejor cómo funciona.

Gemma Scope amplifica puntos específicos en el modelo utilizando Sparse Autoencoders (SAE). Estos SAE ayudan a analizar la información densa y compleja procesada en el modelo, expandiéndola a una forma que sea más fácil de analizar y comprender.

▲ Representación estilizada de la activación del modelo mediante interpretación SAE

Al estudiar estas vistas ampliadas, los investigadores pueden comprender cómo Gemma 2 reconoce patrones, procesa información y, en última instancia, hace predicciones, explorando cómo construir sistemas de inteligencia artificial que sean más fáciles de entender, más confiables y confiables.

Anteriormente, la investigación sobre SAE se centraba principalmente en estudiar el funcionamiento interno de una sola capa en un modelo en miniatura o de gran tamaño. El gran avance de Gemma Scope es que entrena SAE en cada salida de capa y subcapa del modelo Gemma 2. Generó más de 400 SAE y aprendió más de 30 millones de funciones.

▲ Ejemplo de activación de la función de descubrimiento SAE de Gemma Scope

Gemma Scope también utiliza la nueva arquitectura JumpReLU SAE para la formación. Es difícil para la arquitectura SAE original equilibrar los dos objetivos de detectar qué características están presentes y estimar su fortaleza. La arquitectura JumpReLU puede lograr este equilibrio más fácilmente, reduciendo significativamente los errores.

Gemma Scope ha abierto un total de más de 400 SAE gratuitos, que cubren todas las capas de Gemma 2 2B y 9B, y ofrece demostraciones interactivas. Los investigadores pueden estudiar las características de los SAE y analizar el comportamiento del modelo sin escribir código.

▲ Demostración interactiva de Gemma Scope

Dirección de demostración:

https://www.neuronpedia.org/gemma-scope

Dirección del informe técnico:

https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

Conclusión: generativaAIEl viento sopla hacia el modelo pequeño yAISeguridad

Desde el desarrollo de la IA generativa, el modelo ha pasado de los parámetros de "volumen" y la escala de "volumen" a la ligereza del "volumen" y la seguridad del "volumen", lo que refleja que en el proceso de implementación de la tecnología, está más cerca de los usuarios y tiene menores costos. , y más capaces de satisfacer necesidades específicas.

Las PC con IA y los teléfonos móviles con IA están entrando gradualmente en la vida de los consumidores. En este proceso, cómo "empaquetar" modelos grandes en dispositivos terminales compactos garantizando al mismo tiempo la privacidad y seguridad del usuario es un problema urgente que los principales fabricantes de IA deben resolver.