Stability AI发布新架构图片生成模型Stable Cascade
Stability AI同时进行着多条线还又开新坑,发布了一个基于Würstchen架构的新的图片生成模型Stable Cascade,这个模型由三部分构成使得训练和微调变得非常容易。
他们还提供了了微调、ControlNet 和 LoRA 训练脚本。
除了标准的文本到图像生成之外,Stable Cascade 还可以执行图像变化和图像到图像生成。
会跟随模型一起发布的 Controlnet:
- 局部重绘:输入与文本提示附带的蒙版配对的图像。该模型根据提供的文本提示填充图像的遮罩部分。
- Canny Edge:通过跟踪输入到模型的现有图像的边缘来生成新图像。该测试也可以从草图进行扩展。
- 2x超分辨率:也可用于C阶段生成的潜在空间。
社区的支持也很快,ComfyUI已经官方支持了Stable Cascade的使用可以在这里查看工作流和对应的教程:https://gist.github.com/comfyanonymous/0f09119a342d0dd825bb2d99d19b781c
这里是可以在A1111 Web UI上使用Stable Cascade的插件:https://github.com/blue-pen5805/sdweb-easy-stablecascade-diffusers
还有人在第二天就实验了Stable Cascade的微调流程,发了第一个微调的模型:https://civitai.com/models/306144