Mora:借助多智能体系统实现通用视频生成
微软的一个视频生成项目 Mora,利用 Agents 来复原 Sora 的能力,基本还原了 Sora 所有的能力,目前支持生成 1024*576 分辨率的 12 秒视频。
还原的能力包括:
1)将文本转换为视频
2)根据文本条件将图片转换为视频
3)扩展已生成的视频
4)进行视频到视频的编辑
5)串联视频以及
6)模拟数字世界
项目简介:
本论文提出了一种新型的多AI智能体框架——Mora。Mora融合了多个尖端视觉AI智能体,致力于复刻Sora所展示的通用视频生成能力。
具体来说,Mora能够运用多个视觉智能体,在多种任务中成功模仿Sora的视频生成能力。
我们的广泛实验结果显示,Mora在这些任务上的表现已经接近Sora。然而,如果从整体上评估,我们的模型与Sora之间还是存在一定的性能差距。
总的来说,我们希望这个项目能够引领未来视频生成技术的发展方向,通过多AI智能体的协同工作来实现。