новости

Поток Мура с открытым исходным кодом, понимание большой модели MooER: обучение и вывод на основе отечественного полнофункционального графического процессора

2024-08-24

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

23 августа IT House сообщила, что MooER открыла исходный код большой модели распознавания звука — MooER, которая является первой в отрасли крупномасштабной моделью речи с открытым исходным кодом, основанной на отечественных полнофункциональных графических процессорах для обучения и вывода.

Основанная на интеллектуальной вычислительной платформе Moore Thread Kuae (KUAE), большая модель MooER завершила обучение 5000 часов аудиоданных и псевдометок за 38 часов.

MooER не только поддерживает распознавание китайской и английской речи, но также имеет возможности перевода речи с китайского на английский. В наборе тестов китайского-английского перевода Covost2 MooER-5K получил оценку BLEU 25,2, что близко к результатам промышленного уровня.

Команда Moore Thread AI в этой работе открыла исходный код кода вывода и модели, обученной на 5000 часах данных, и планирует в дальнейшем открыть исходный код обучающего кода и модели, обученной на 80 000 часов данных.

Структура модели MooER включает три части: кодировщик, адаптер и декодер (большая языковая модель, LLM). Конкретная шкала параметров модели следующая: