FRESCO:实现零样本视频翻译的空间与时间匹配技术
终于有完整的视频转视频的项目了,不用在搞复杂的工作流,北大发布了FRESCO视频转视频项目
支持将视频转换为不同的风格,而且支持只转换视频的某一部分。代码已经开源。
项目介绍:
本文提出了FRESCO,它不仅考虑帧间对应,还引入了帧内对应,从而建立了一个更加稳定的时空约束机制。
这种改进确保了视频中跨帧语义相似内容的连续性。我们的方法不止是对注意力机制的指导,还包括对特征的显式更新,使得结果视频在时空上更加一致,极大地增强了视频的视觉连贯性。