noticias

¡pesado! se lanza a nivel nacional el "ranking de evaluación de la capacidad de credibilidad de los modelos grandes".

2024-09-29

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

recientemente, el "laboratorio conjunto de desarrollo de seguridad de inteligencia artificial generativa del área de la bahía" lanzó el "clasificación de evaluación de credibilidad de modelos grandes" a nivel nacional. varias empresas conocidas como alibaba "qwen2-72b" y baidu "ernie-4.0" clasificaron los modelos. están en la lista.
el primer sistema de evaluación nacional versión 1.0 del "marco de gobernanza de seguridad de inteligencia artificial"
recientemente, el comité técnico nacional de normalización de la ciberseguridad lanzó oficialmente la versión 1.0 del "marco de gobernanza de seguridad de la inteligencia artificial" (denominado el "marco") en el foro principal de la semana nacional de publicidad de la ciberseguridad. este marco no es solo un documento técnico, sino también una nueva práctica para la gobernanza global de la inteligencia artificial. su objetivo es proporcionar orientación para el desarrollo seguro, confiable y sostenible de la tecnología de ia en china y en todo el mundo.
el "laboratorio conjunto de desarrollo de seguridad de inteligencia artificial generativa del área de la gran bahía" (denominado "laboratorio conjunto"), según el marco, "es inclusivo y prudente, garantiza la seguridad, la gobernanza ágil y orientada al riesgo, integrando tecnología y gestión, respuesta colaborativa, cooperación abierta e intercambio. basado en el principio de "gobernanza compartida" y medidas preventivas tanto en tecnología como en gobernanza, hemos investigado y formulado el primer modelo a gran escala de seguridad, credibilidad y sistema de evaluación de calificación cuantitativa del país que se compara con el "estructura". este sistema de evaluación combina las "medidas provisionales para la gestión de los servicios de inteligencia artificial generativa" y los "requisitos básicos para la seguridad de los servicios de inteligencia artificial generativa", centrándose en la evaluación comparativa del "marco", centrándose en tres direcciones principales y 13 aspectos: valor alineación, seguridad y controlabilidad, y capacidades confiables divida las dimensiones en una evaluación integral del contenido y el comportamiento generados por el modelo.
el primero en el país en publicar el “ranking de evaluación de capacidad de credibilidad de modelos grandes”
el "laboratorio conjunto" seleccionó 22 de los últimos modelos grandes nacionales y extranjeros como objetos de evaluación, incluidos 17 modelos nacionales y 5 modelos extranjeros (huawei y tencent son las unidades de construcción conjunta del "laboratorio conjunto", y sus modelos no participan en la evaluación). según el sistema de evaluación de 13 dimensiones se evaluó de manera integral y objetiva, con un conjunto de datos de evaluación de más de 34,000 datos, compatibles con los idiomas chino e inglés, y finalmente se formó la "evaluación de capacidad de credibilidad del modelo grande". categoría".
lista de evaluación confiable de modelos grandes nacionales
lista de evaluación confiable de modelos grandes extranjeros
los resultados de la evaluación muestran que los modelos nacionales grandes muestran una fuerte competitividad en la evaluación de confiabilidad. la brecha entre los mejores modelos en cada dimensión de confiabilidad es pequeña, el 88,2% de los modelos alcanzaron el nivel 10a en las 13 dimensiones de confiabilidad generales y superiores. en general, los grandes modelos nacionales tienen un desempeño sobresaliente en términos de confiabilidad, especialmente en términos de alineación de valores y controlabilidad de la seguridad, lo que refleja la mejora constante de la tecnología nacional y su alta adaptabilidad a las políticas y regulaciones. por ejemplo, entre las cinco dimensiones de alineación de valores, 16 de 17 modelos alcanzaron al menos el nivel 4a (94,1%), pero solo 4 modelos alcanzaron el nivel 5a (23,5%), lo que indica que todavía hay espacio para una mayor optimización. entre las cuatro subcategorías de la dimensión seguridad y controlable, 3 modelos alcanzaron 3a y los 14 restantes alcanzaron 4a, representando el 82,4%.
sin embargo, los resultados de la evaluación también revelaron algunas deficiencias, especialmente en las cuatro dimensiones de confiabilidad de la capacidad. las calificaciones de los modelos oscilaron entre 1a y 4a, y solo el 29,4% de los modelos alcanzaron 4a. esto se debe principalmente a diferencias en las capacidades del modelo base, lo que indica que todavía hay margen de mejora en las capacidades, la coherencia y la estabilidad del modelo base. además, todavía existe una brecha significativa entre el modelo grande de código abierto llama-3.1 y el modelo grande líder de código cerrado en términos de capacidades confiables como alineación de valores, seguridad y controlabilidad, y necesita una mayor optimización.
resultados de la evaluación de alineación de valores
resultados de evaluación seguros y controlables
resultados confiables de la evaluación de habilidades
introducción al "laboratorio conjunto de desarrollo de seguridad de inteligencia artificial generativa del área de la gran bahía"
el "laboratorio conjunto para el desarrollo de la seguridad de la inteligencia artificial generativa en el área de la gran bahía" es iniciado conjuntamente por la oficina de asuntos del ciberespacio del comité provincial de guangdong del partido comunista de china y la sucursal de guangdong del centro nacional de emergencias de internet huawei. tencent, la universidad sun yat-sen, la administración del ciberespacio del comité municipal de guangzhou, shenzhen la oficina de información de internet del comité municipal del partido, la oficina de información de internet del comité municipal del partido de dongguan y la agencia de desarrollo de shenzhen loop participaron conjuntamente en la construcción. el "laboratorio conjunto" está comprometido con la evaluación y el juicio de los riesgos potenciales de la inteligencia artificial, la prevención prospectiva y la investigación de orientación de restricción, explorando paradigmas de gobernanza para el desarrollo confiable, controlable y seguro de la inteligencia artificial, sirviendo activamente al desarrollo innovador de inteligencia artificial generativa y apoyar firmemente la era de la inteligencia artificial la construcción de un sistema integral de gestión de redes promoverá conjuntamente que la inteligencia artificial esté "orientada a las personas y al bien" y se esforzará por ayudar a que la economía digital se desarrolle con mayor calidad. un alto nivel de seguridad.
nanfang.com, reportero del estudio de guangdong, he minhui
informe/comentarios