pesado! "classificação de avaliação de capacidade de credibilidade de grandes modelos" é lançada em todo o país.
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
recentemente, o "laboratório conjunto de desenvolvimento de segurança de inteligência artificial gerativa da área da grande baía" lançou o "ranking de avaliação de credibilidade de grandes modelos" em todo o país. várias empresas conhecidas, como alibaba "qwen2-72b" e baidu "ernie-4.0", classificaram os modelos. estão na lista.
o primeiro sistema de avaliação de benchmarking doméstico "quadro de governança de segurança de inteligência artificial" versão 1.0
recentemente, o comitê técnico nacional de padronização de segurança cibernética lançou oficialmente a versão 1.0 da "estrutura de governança de segurança de inteligência artificial" (referida como "estrutura") no fórum principal da semana nacional de publicidade em segurança cibernética. este quadro não é apenas um documento técnico, mas também uma nova prática para a governação global da inteligência artificial. pretende fornecer orientações para o desenvolvimento seguro, fiável e sustentável da tecnologia de ia na china e em todo o mundo.
o "laboratório conjunto de desenvolvimento de segurança de inteligência artificial gerativa da área da grande baía" (referido como "laboratório conjunto"), de acordo com a estrutura, "é inclusivo e prudente, garantindo segurança, governança ágil e orientada para o risco, integrando tecnologia e gestão, resposta colaborativa, cooperação aberta e compartilhamento com base no princípio de "governança compartilhada" e medidas preventivas tanto em tecnologia quanto em governança, pesquisamos e formulamos o primeiro modelo em grande escala de segurança, credibilidade e sistema de avaliação de classificação quantitativa do país que compara com o "estrutura". este sistema de avaliação combina as “medidas provisórias para a gestão de serviços de inteligência artificial generativa” e os “requisitos básicos para a segurança dos serviços de inteligência artificial generativa”, centrando-se no benchmarking do “framework”, centrando-se em três direções principais e 13 aspectos: valor alinhamento, segurança e controlabilidade e capacidades confiáveis divida as dimensões em uma avaliação abrangente do conteúdo e comportamento gerados pelo modelo.
a primeira no país a divulgar o “ranking de avaliação de capacidade de credibilidade de grandes modelos”
o "laboratório conjunto" selecionou 22 dos mais recentes grandes modelos nacionais e estrangeiros como objetos de avaliação, incluindo 17 modelos nacionais e 5 modelos estrangeiros (huawei e tencent são as unidades de construção conjunta do "laboratório conjunto", e seus modelos não participam na avaliação). de acordo com o sistema de avaliação de 13 dimensões foi avaliado de forma abrangente e objetiva, com um conjunto de dados de avaliação de mais de 34.000 dados, suportando os idiomas chinês e inglês, e finalmente formou a "avaliação de capacidade de credibilidade de grande modelo". classificação".
lista de avaliação confiável de grandes modelos domésticos
lista de avaliação confiável de grandes modelos estrangeiros
os resultados da avaliação mostram que os grandes modelos nacionais apresentam forte competitividade na avaliação da fiabilidade. a diferença entre os modelos de topo em cada dimensão de fiabilidade é pequena, 88,2% dos modelos atingiram 10a nas 13 dimensões globais de fiabilidade. globalmente, os grandes modelos nacionais apresentam um desempenho notável em termos de fiabilidade, especialmente em termos de alinhamento de valores e controlabilidade de segurança, reflectindo a melhoria constante da tecnologia nacional e a sua elevada adaptabilidade a políticas e regulamentos. por exemplo, entre as cinco dimensões de alinhamento de valor, 16 dos 17 modelos atingiram pelo menos o nível 4a (94,1%), mas apenas 4 modelos atingiram o nível 5a (23,5%), indicando que ainda há espaço para maior otimização. entre as quatro subcategorias da dimensão segurança e controlável, 3 modelos atingiram 3a e os 14 restantes atingiram 4a, representando 82,4%.
no entanto, os resultados da avaliação também revelaram algumas deficiências, especialmente nas quatro dimensões da confiabilidade da capacidade. as classificações dos modelos variaram de 1a a 4a, com apenas 29,4% dos modelos atingindo 4a. isso é causado principalmente por diferenças nas capacidades do modelo básico, indicando que ainda há espaço para melhorias nas capacidades, consistência e estabilidade do modelo básico. além disso, ainda existe uma lacuna significativa entre o grande modelo de código aberto llama-3.1 e o grande modelo de código fechado líder em termos de capacidades confiáveis, como alinhamento de valor, segurança e controlabilidade, e precisa de maior otimização.
resultados da avaliação de alinhamento de valor
resultados de avaliação seguros e controláveis
resultados confiáveis de avaliação de habilidades
introdução ao "laboratório conjunto de desenvolvimento de segurança de inteligência artificial gerativa da área da grande baía"
o "laboratório conjunto para o desenvolvimento da segurança da inteligência artificial gerativa na área da grande baía" é iniciado conjuntamente pelo gabinete de assuntos ciberespaciais do comitê provincial de guangdong do partido comunista da china e pela seção de guangdong do centro nacional de emergência da internet, huawei. tencent, universidade sun yat-sen, administração do ciberespaço do comitê municipal de guangzhou, shenzhen o escritório de informações da internet do comitê do partido municipal, o escritório de informações da internet do comitê do partido municipal de dongguan e a agência de desenvolvimento do loop de shenzhen participaram conjuntamente da construção. o "laboratório conjunto" está comprometido com a avaliação e julgamento dos riscos potenciais da inteligência artificial, pesquisa prospectiva de prevenção e orientação de contenção, explorando paradigmas de governança para o desenvolvimento confiável, controlável e seguro da inteligência artificial, servindo ativamente o desenvolvimento inovador de inteligência artificial generativa e apoiar fortemente a era da inteligência artificial a construção de um sistema abrangente de gerenciamento de rede promoverá conjuntamente a inteligência artificial para ser "orientada para as pessoas e para o bem" e se esforçará para ajudar a economia digital a se desenvolver com maior qualidade. um alto nível de segurança.
nanfang.com, repórter do estudo de guangdong, he minhui
