тяжелый! «рейтинг оценки достоверности крупных моделей» запущен по всей стране.
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
недавно «объединенная лаборатория по разработке безопасности генеративного искусственного интеллекта в районе большого залива» запустила «рейтинг оценки достоверности крупных моделей» по всей стране. ряд известных компаний, таких как alibaba «qwen2-72b» и baidu «ernie-4.0», оценили модели. есть в списке.
первая отечественная система оценки «система управления безопасностью искусственного интеллекта» версии 1.0.
недавно национальный технический комитет по стандартизации кибербезопасности официально представил версию 1.0 «структуры управления безопасностью искусственного интеллекта» (именуемой «рамка») на главном форуме национальной недели рекламы кибербезопасности. эта структура является не только техническим документом, но и новой практикой глобального управления искусственным интеллектом. она призвана обеспечить руководство для безопасного, надежного и устойчивого развития технологий искусственного интеллекта в китае и во всем мире.
«объединенная лаборатория по разработке безопасности генерирующего искусственного интеллекта в районе большого залива» (именуемая «объединенная лаборатория»), согласно рамочной программе, «является инклюзивной и разумной, обеспечивая безопасность, ориентированное на риск, гибкое управление, интеграцию технологий и управления, совместное реагирование, открытое сотрудничество и обмен. основываясь на принципе «совместного управления» и превентивных мерах в области технологий и управления, мы исследовали и сформулировали первую в стране крупномасштабную модель системы оценки безопасности, надежности и количественного рейтинга, которая сравнивается с "рамки". эта система оценки объединяет «временные меры по управлению услугами генеративного искусственного интеллекта» и «основные требования к безопасности услуг генеративного искусственного интеллекта» и фокусируется на сравнительном анализе «рамки». она фокусируется на трех основных направлениях и 13 аспектах: соответствие ценностей, безопасность и управляемость, а также надежные возможности. разделите измерения на комплексную оценку созданного содержания и поведения модели.
первым в стране опубликовал «рейтинг оценки достоверности крупных моделей»
«объединенная лаборатория» выбрала в качестве объектов оценки 22 новейшие крупные модели в стране и за рубежом, в том числе 17 отечественных моделей и 5 зарубежных моделей (huawei и tencent являются совместными строительными подразделениями «объединенной лаборатории», и их модели не участвуют в оценке). согласно 13-мерной системе оценки была всесторонне и объективно оценена с набором оценочных данных, состоящим из более чем 34 000 фрагментов данных, поддерживающих как китайский, так и английский языки, и, наконец, была сформирована «большая модель оценки достоверности». рейтинг».
список доверенных оценок отечественных крупных моделей
доверенный оценочный список зарубежных крупных моделей
результаты оценки показывают, что крупные отечественные модели демонстрируют сильную конкурентоспособность в оценке надежности. разрыв между ведущими моделями по каждому параметру надежности невелик. 88,2% моделей достигли 10а по общим 13 параметрам надежности. в целом отечественные крупные модели демонстрируют выдающиеся результаты с точки зрения надежности, особенно с точки зрения согласованности ценностей и управляемости безопасностью, что отражает постоянное совершенствование отечественных технологий и их высокую адаптируемость к политике и правилам. например, среди пяти измерений выравнивания ценностей 16 из 17 моделей достигли как минимум уровня 4а (94,1%), но только 4 модели достигли уровня 5а (23,5%), что указывает на то, что еще есть возможности для дальнейшей оптимизации. среди четырех подкатегорий безопасности и управляемости 3 модели достигли 3а, а остальные 14 — 4а, что составляет 82,4%.
однако результаты оценки также выявили некоторые недостатки, особенно по четырем параметрам надежности. рейтинг моделей варьировался от 1а до 4а, причем только 29,4% моделей достигли уровня 4а. в основном это вызвано различиями в возможностях базовой модели, что указывает на то, что еще есть возможности для улучшения базовых возможностей, согласованности и стабильности модели. кроме того, между большой моделью llama-3.1 с открытым исходным кодом и ведущей большой моделью с закрытым исходным кодом все еще существует значительный разрыв с точки зрения надежных возможностей, таких как согласование значений, безопасность и управляемость, и она нуждается в дальнейшей оптимизации.
результаты оценки соответствия ценностей
безопасные и контролируемые результаты оценки
надежные результаты оценки способностей
знакомство с «объединенной лабораторией разработки безопасности генеративного искусственного интеллекта в районе большого залива»
«объединенная лаборатория по разработке безопасности генеративного искусственного интеллекта в районе большого залива» создана по совместной инициативе управления по вопросам киберпространства комитета коммунистической партии китая провинции гуандун и отделения гуандунского национального центра по чрезвычайным ситуациям в интернете huawei. в строительстве совместно участвовали tencent, университет сунь ятсена, управление киберпространства муниципального комитета гуанчжоу, шэньчжэнь, управление по вопросам киберпространства муниципального комитета партии, управление по вопросам киберпространства муниципального комитета партии дунгуань и агентство развития шэньчжэньской петли. «объединенная лаборатория» занимается оценкой и оценкой потенциальных рисков искусственного интеллекта, перспективными исследованиями в области предотвращения и сдерживания, изучением парадигм управления для надежного, контролируемого и безопасного развития искусственного интеллекта, активно служа инновационному развитию генеративный искусственный интеллект и решительная поддержка эпохи искусственного интеллекта. создание комплексной системы сетевого управления будет совместно способствовать развитию искусственного интеллекта, чтобы «ставить людей на первое место и действовать во благо», а также стремиться помочь более качественному развитию цифровой экономики. высокий уровень безопасности.
nanfang.com, репортер исследования в провинции гуандун хэ минхуэй
