무거운! '대형모델 신뢰성 역량 평가랭킹'이 전국 출시됩니다.
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
최근 '대만 지역 생성 인공지능 보안 개발 공동 연구소'는 알리바바 'qwen2-72b', 바이두 'ernie-4.0' 등 다수의 유명 기업이 전국적으로 '대형 모델 신뢰성 평가 순위'를 발표했습니다. 목록에 있습니다.
국내 최초 벤치마킹 '인공지능 보안 거버넌스 프레임워크' 버전 1.0 평가 시스템
최근 국가사이버보안표준화기술위원회는 국가사이버보안홍보주간 메인포럼에서 '인공지능 보안 거버넌스 프레임워크'(이하 '프레임워크') 버전 1.0을 공식 발표했다. 이 프레임워크는 기술 문서일 뿐만 아니라 글로벌 인공 지능 거버넌스를 위한 새로운 관행이기도 합니다. 이는 중국과 전 세계에서 ai 기술의 안전하고 신뢰할 수 있으며 지속 가능한 개발을 위한 지침을 제공하기 위한 것입니다.
프레임워크에 따르면 "greater bay area 생성 인공 지능 보안 개발 공동 연구소"("공동 연구소"라고 함)는 "포괄적이고 신중하며 안전, 위험 지향적, 민첩한 거버넌스, 기술 및 관리 통합을 보장합니다. 협력적 대응, 개방적 협력, 공유 '공유 거버넌스' 원칙과 기술 및 거버넌스 예방 조치를 기반으로 국내 최초의 대규모 모델 보안, 신뢰성 및 벤치마킹하는 정량 등급 평가 시스템을 연구하고 공식화했습니다. "뼈대". 이 평가 시스템은 "생성 인공 지능 서비스 관리를 위한 임시 조치"와 "생성 인공 지능 서비스 보안을 위한 기본 요구 사항"을 결합하여 "프레임워크"를 벤치마킹하는 데 중점을 두고 3가지 주요 방향과 13가지 측면에 중점을 둡니다. 가치 정렬, 안전성 및 제어 가능성, 신뢰할 수 있는 기능을 모델의 생성된 콘텐츠 및 동작에 대한 포괄적인 평가로 나눕니다.
국내 최초로 '대형모델 신뢰성 역량 평가 순위' 발표
'공동연구소'는 국내 모델 17개, 해외 모델 5개 등 국내외 최신 대형 모델 22개를 평가 대상으로 선정했다(화웨이와 텐센트는 '공동연구소'의 공동 구축 단위로 해당 모델은 참여하지 않는다). 13차원 평가 시스템은 종합적이고 객관적으로 평가되었으며, 34,000개 이상의 데이터로 구성된 평가 데이터 세트로 중국어와 영어를 모두 지원하고 최종적으로 "대형 모델 신뢰성 능력 평가"를 형성했습니다. 순위".
국내 대형모델 신뢰도 평가리스트
해외 대형 모델의 신뢰 평가 목록
평가 결과, 국내 대형 모델은 신뢰도 평가에서 상위 모델 간의 격차가 88.2%로 전체 13개 신뢰도 차원에서 10a를 달성한 것으로 나타났다. 전반적으로 국산 대형 모델은 국내 기술의 꾸준한 발전과 정책 및 규제에 대한 높은 적응성을 반영하여 신뢰성 측면, 특히 가치 일치성 및 보안 제어성 측면에서 탁월한 성능을 발휘합니다. 예를 들어 가치 정렬의 5개 차원 중 17개 모델 중 16개 모델(94.1%)이 최소 4a 수준에 도달했지만, 4개 모델만 5a 수준(23.5%)에 도달해 아직 더 최적화할 여지가 있음을 나타냅니다. 안전성 및 제어 가능 치수의 4개 하위 범주 중 3개 모델이 3a에 도달했고 나머지 14개 모델이 4a에 도달하여 82.4%를 차지했습니다.
그러나 평가 결과에서는 특히 성능 신뢰성의 4가지 차원에서 몇 가지 단점도 드러났습니다. 모델 등급은 1a에서 4a까지였으며, 4a에 도달한 모델은 29.4%에 불과했습니다. 이는 주로 기본 모델 기능의 차이로 인해 발생하며, 이는 모델 기반 기능, 일관성 및 안정성이 여전히 개선될 여지가 있음을 나타냅니다. 또한 가치 정렬, 보안, 제어 가능성 등 신뢰할 수 있는 기능 측면에서 오픈 소스 대형 모델 llama-3.1과 선도적인 폐쇄 소스 대형 모델 사이에는 여전히 상당한 격차가 있으며 추가 최적화가 필요합니다.
가치 정렬 평가 결과
안전하고 통제 가능한 평가 결과
믿을 수 있는 능력평가 결과
"greater bay area 생성 인공 지능 보안 개발 공동 연구소"소개
"대만 지역 생성 인공 지능 보안 개발을 위한 공동 연구소"는 중국 공산당 광둥성 위원회 사이버 공간 사무국과 화웨이 국가 인터넷 비상 센터 광둥 지부가 공동으로 설립했습니다. 텐센트, 쑨원대학교, 광저우시 사이버공간관리국, 심천시당위원회 인터넷정보실, 둥관시당위원회 인터넷정보실, 심천루프개발청이 공동으로 건설에 참여했다. "공동 연구소"는 인공 지능의 잠재적 위험에 대한 평가 및 판단, 미래 지향적인 예방 및 억제 지침 연구, 신뢰할 수 있고 제어 가능하며 안전한 인공 지능 개발을 위한 거버넌스 패러다임을 탐색하고 혁신적인 개발에 적극적으로 봉사하는 데 전념하고 있습니다. 생성적 인공지능, 그리고 인공지능 시대를 강력하게 지지하는 종합 네트워크 관리 시스템의 구축은 인공지능이 '사람 중심, 선 중심'이 되도록 공동으로 촉진하고 디지털 경제가 더 높은 품질로 발전할 수 있도록 노력할 것입니다. 높은 수준의 보안.
nanfang.com, 광동 연구 기자 허민휘
