ControlNet++：一站式图像生成和编辑的ControlNet！

ControlNet++: All-in-one ControlNet for image generations and editing!

关于模型的优势
像novelai一样使用桶式训练，可以生成任意宽高比的高分辨率图像
使用大量高质量数据（超过10000000张图片），数据集涵盖多种情况
像DALLE.3一样使用重新说明的提示词，使用CogVLM生成详细描述，具有良好的提示词跟随能力
在训练期间使用许多有用的技巧。包括但不限于数据增强、多重损失、多分辨率
与原始ControlNet相比使用几乎相同的参数。网络参数或计算量没有明显增加。
支持10+控制条件，与独立训练相比，在任何一个条件下都没有明显的性能下降
支持多条件生成，训练期间学习条件融合。无需设置超参数或设计提示词。
与其他开源SDXL模型兼容，如BluePencilXL, CounterfeitXL。与其他Lora模型兼容。

设计了一个新的架构，它可以支持10多种控制类型在条件文本到图像生成中，并且可以生成与midjourney视觉上相当的高分辨率图像。该网络基于原始的ControlNet架构，我们提出了两个新模块来：

1. 扩展原始的ControlNet以使用相同的网络参数支持不同的图像条件。

2. 支持多条件输入而不增加计算负担，这对于想要详细编辑图像的设计师来说尤其重要，不同的条件使用相同的条件编码器，不增加额外的计算或参数。我们在SDXL上进行了彻底的实验，并在控制能力和美学评分上都取得了优异的性能。我们将这种方法和模型发布给开源社区，让每个人都能享受到它。

模型下载地址：xinsir/controlnet-union-sdxl-1.0 · Hugging Face