ControlNet + IP-Adapter 联合案例

一、联合逻辑：谁管什么？

OpenPose (ControlNet)  →  身体姿势、肢体角度
IP-Adapter             →  画风、色调、面部气质、服装质感
Prompt                 →  具体场景、道具、质量词
LoRA（可选）           →  固定角色/品牌风

原则：结构用 ControlNet，外观气质用 IP-Adapter，文字补 叙事细节。

二、参考图准备（本案例）

建议 两张图（也可一张图兼顾，效果略差）：

若只有一张：

• 图 A = 图 B，OpenPose 取姿势，IP 取整体风格（weight 勿过高）。

三、工作流结构

[Checkpoint + CLIP + Prompt]

[图A] → OpenPose Pre → Apply ControlNet (OpenPose) ──┐
                                                      ├→ MODEL/COND 链 → KSampler
[图B] → IPAdapter Apply ──────────────────────────────┘

[Empty Latent] → KSampler → VAE Decode → Save

串联顺序（常见，可调）：

1. MODEL 先 IP-Adapter 再 ControlNet，或

2. CONDITIONING 上 ControlNet，MODEL 上 IP

以社区 SDXL OpenPose + IPAdapter 模板为准；关键是两者都接到 KSampler 前且 strength 分层。

四、分步搭建

步骤 1：文生图骨架

3-1 基础 + SDXL 1024（或 SD1.5 512）。

步骤 2：OpenPose 支路（6-3）

• Load ControlNet OpenPose；

• 图 A → OpenPose Pre → Apply；

• strength 0.85，end 1.0。

先只开 OpenPose Queue 一张，确认姿势 OK。

步骤 3：IP-Adapter 支路（6-5）

• 加载 IP-Adapter XL / SD15 对应模型；

• 图 B → IPAdapter Apply 接 MODEL；

• weight 0.55 起（风格）或 Face 0.75（脸）。

关闭 OpenPose 对比 或 固定 seed 加 IP 看差异。

步骤 4：合并两者

同时启用，Queue。

步骤 5：Prompt 示例

正向：1girl, blue dress, cherry blossom street, spring, soft lighting,
       masterpiece, best quality, highly detailed
负向：bad anatomy, bad hands, extra fingers, blurry, low quality

不要 在 Prompt 里写与 OpenPose 冲突的动作（参考是站姿勿写 sitting）。

五、联合调参顺序（重要）

1. 仅 ControlNet → 姿势对
2. 仅 IP-Adapter → 风格/脸对
3. 两者都开，CN strength 不变，IP weight 从低升高
4. 脸僵 → 降 IP weight 或缩短 IP end_at
5. 姿势跑 → 升 CN strength 或检查预处理
6. 整体糊 → 提 steps；略降双 weight

不要 第一步就把 CN 0.95 + IP 0.95 全开。

六、推荐参数起点（SDXL 人像）

七、变体案例

7.1 Canny + IP（静物/建筑）

• Canny 锁 外形；

• IP 锁 渲染风格；

• 无 OpenPose。

7.2 Depth + IP Face（场景人像）

• Depth 锁 空间；

• IP Face 锁 脸；

• Prompt 写 服装场景。

7.3 + LoRA 角色

Checkpoint → LoRA → IP → ControlNet → KSampler，LoRA strength 0.7，IP 0.5。

八、本章大纲练习（完整步骤）

用 OpenPose 控姿势 + IP-Adapter 控风格，完成 1 张人物图。

1. 图 A 全身姿势，图 B 目标风格插画；

2. SDXL + OpenPose CN + IP-Adapter Plus/标准；

3. Prompt 描述新场景服装；

4. 按第五节调参；

5. 保存 cn_pose_ip_style_v1.json + 出图。

九、常见问题