2024-10-05
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
作者|王兆洋
在OpenAI Sora的主要技术负责人跑去Google、多个报道指出OpenAI Sora在内部因质量问题而导致难产的节骨眼,Meta毫不客气发了它的视频模型“Movie Gen”,并直接用一个完整的评测体系宣告自己打败了Sora们。
而且更狠的是,Meta还“杀人诛心”,虽然这模型目前和Sora一样还没对外开放,但它把新模型的95页技术报告(没有开源,但包含很多细节)公开,并且告诉大家:
这模型不仅效果上打败了Sora,而且用了新的技术路线——也就是证明了Sora的技术路线在今天也不再是最先进的了。
各位文生视频玩家们,别“抄”Sora了。
1
“媒体基座模型”
准确说,Meta发布的是一系列模型,一个为了实现“AI生成媒体内容”而创建的一个组合。这也是这个技术论文的标题的意思:Movie Gen: A Cast of Media Foundation Models
这个组合包括:
最大的基础文生视频生成模型 Movie Gen Video , 300 亿参数。
最大的基础视频生成音频模型 Movie Gen Audio ,130 亿参数。
进一步对 Movie Gen Video 模型进行后训练获得的 Personalized Movie Gen Video,用来根据个人的面部生成个性化视频。以及一种新的后训练过程,能够生成 Movie Gen Edit,用于精确编辑视频。