DepthFM: 使用深度流匹配技术的快速单目深度预测
一个深度图分析模型,通过流匹配(Flow Matching)技术,可以有效地实现这一目标,因为它在解空间中形成的直线轨迹既高效又能保证质量。我们的研究表明,一个预训练的图像扩散模型(Image Diffusion Model)可以作为流匹配深度模型的合适先验,仅使用合成数据进行高效训练,就能泛化到真实图像的处理。我们还发现,加入一个辅助性的表面法线损失(Surface Normals Loss)可以进一步提升深度预测的准确性。得益于我们方法的生成式特性,模型能够可靠地评估其深度预测的准确性。在复杂自然场景的标准基准测试中,尽管只使用了少量合成数据进行训练,我们的模型仍然展现出了最先进的性能,并在计算成本上具有明显优势。
ComfyUI插件地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-DepthFM