новости

nvidia запускает новую модель визуальной речи nveagle, которая может общаться, просматривая изображения

2024-09-02

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

2 сентября пинван сообщил, что, согласно официальным новостям nvidia, nvidia объединилась с исследовательскими группами технологического института джорджии, umd и hkpu для запуска новой модели визуального языка — nveagle.

сообщается, что nveagle может понимать сложные сцены реальной жизни и обеспечивать лучшую интерпретацию и реакцию посредством визуального ввода.суть его дизайна — преобразовать изображения в визуальную разметку, а затем объединить их с встраиванием текста для улучшения понимания визуальной информации. nveagle включает три версии: eagle-x5-7b, eagle-x5-13b и eagle-x5-13b-chat. среди них версии 7b и 13b в основном используются для общих задач визуального языка, а версия 13b-chat специально настроена для разговорного ии и может лучше взаимодействовать на основе визуального ввода.

изюминкой nveagle является внедрение механизма mixed expert (moe), который может динамически выбирать наиболее подходящий визуальный кодировщик на основе различных задач, что значительно улучшает возможности обработки сложной визуальной информации.модель была опубликована на hugging face для удобства использования исследователями и разработчиками.