ControlNet 是什么

一、为什么只有 Prompt 不够？

仅靠文字 Prompt，模型对 精确结构 的控制有限：

• 指定 Exact 姿势（手臂角度、站姿）→ 常随机；

• 复制线稿/边缘/深度 → 构图易漂；

• 建筑透视、房间布局 → 难稳定；

• 人物骨架 → 易多手多腿。

ControlNet 通过 额外条件图（或从参考图提取的条件）约束生成，使 结构跟参考走，内容跟 Prompt 走。

二、ControlNet 是什么？（通俗版）

ControlNet 是一类 附加神经网络，在扩散采样时 修改 MODEL 的行为，使其生成结果 符合某种空间条件。

类比：Prompt 是 「画什么主题」；ControlNet 是 「线条/骨架/深度必须长这样」 的 透明描稿。

三、与 Prompt、LoRA 的分工

组合常见：Prompt 描述场景 + OpenPose 锁姿势 + IP-Adapter 锁风格。

四、ComfyUI 中的基本流程

[参考图 Load Image]
        ↓
[预处理器]  →  条件图 (IMAGE)
        ↓
[Load ControlNet Model]
        ↓
[Apply ControlNet]  ← MODEL + CONDITIONING + control_image
        ↓
   修改后的 MODEL / CONDITIONING
        ↓
[KSampler] → [VAE Decode] → 出图

两条线并行：

1. Checkpoint → MODEL / CLIP → Prompt → KSampler；

2. 参考图 → 预处理 → ControlNet Apply → 注入 到 MODEL 或 CONDITIONING（视节点版本）。

五、预处理器（Preprocessor）

原始照片 rarely 直接进 ControlNet，往往先 提取 条件：

ComfyUI 常用 ControlNet Aux / AUX Preprocessor 类节点，或 Apply 节点内置选项。

六、ControlNet 强度与生效区间

Apply ControlNet 节点常见参数：

• strength 过高 → 僵硬、贴原图过死；

• 过低 → 控不住；

• 仅在前半段启用 → 先定结构，后半让 Prompt 润色细节（常见技巧）。

七、适用场景（何时用 ControlNet）

八、模型与 SD 版本

• SD1.5 ControlNet 不能用于 SDXL Checkpoint，反之亦然；

• 文件名常含 sd15 / sdxl；

• Flux 等有 专用 ControlNet，需单独下载与工作流。

路径：

ComfyUI/models/controlnet/

九、与 img2img 的关系

可 同时使用：img2img 保留色调 + ControlNet 锁姿势。

十、常见误解