IP-Adapter 基础

一、IP-Adapter 是什么？

IP-Adapter（Image Prompt Adapter）通过 参考图 提取 图像嵌入（image embedding），注入扩散过程，使生成结果在 风格、构图、主体外观 上接近参考，而 不依赖 边缘/深度等显式条件图。

二者 常一起用：ControlNet 管骨架，IP-Adapter 管画风与人脸气质。

二、安装与模型

2.1 Custom Nodes

Manager 搜索安装：

• ComfyUI_IPAdapter_plus（社区主流，cubiq 等）

• 或 IPAdapter 相关整合包

Restart 后搜索节点 IPAdapter / Apply IPAdapter。

2.2 模型文件

常见路径：

ComfyUI/models/ipadapter/
ComfyUI/models/clip_vision/

需下载 IP-Adapter 权重 + CLIP Vision（节点 README 会列出具体文件名，如 ip-adapter_sd15.safetensors、CLIP-ViT-H-14 等）。

SD1.5 与 SDXL 的 IP-Adapter 不通用。

三、基础工作流结构

[Load Checkpoint]
    MODEL ──→ [IPAdapter Apply] ──→ KSampler (model)
    CLIP  ──→ Text Encode

[Load Image 参考图] ──→ [IPAdapter Apply] (image)

[Empty Latent] ──→ KSampler

常见节点组合：

1. IPAdapter Model Loader — 加载 IP-Adapter 权重；

2. Load CLIP Vision — 图像编码器；

3. IPAdapter Apply / IPAdapter Advanced — 合并到 MODEL 或 CONDITIONING。

四、风格迁移 vs 内容参考

4.1 风格迁移

• 参考图：整张画作、电影截图、配色板；

• 目标：新 Prompt 内容 + 参考的风格/色调；

• weight：0.5–0.75 常见，过高易「贴图感」。

Prompt：a cat sitting on a roof（新内容）
参考图：某油画作品（只要风格）

4.2 内容/形象参考

• 参考图：特定角色脸、服装、产品外形；

• 目标：生成 像参考 的主体；

• weight：0.7–0.9，常配合 face 专用 IP-Adapter（6-6）。

4.3 与 Prompt 关系

• IP-Adapter 强时，Prompt 宜简，避免与参考图冲突；

• 弱 IP + 强 Prompt → 更听文字。

五、核心参数

5.1 裁剪（crop）

参考图过大或主体小时：

• 使用 crop to focus 或手动裁 主体区域 再送入；

• 全图参考 → 整体构图都会被拉向参考。

六、搭建步骤（SDXL 风格迁移示例）

1. 文生图基础链（3-1）；

2. 安装 IP-Adapter 节点与模型；

3. Load Image 选 风格参考图；

4. MODEL 经 IPAdapter Apply 再进 KSampler；

5. Prompt 写 新 subject，不写参考图细节；

6. weight 0.65，Queue；

7. 对比 weight 0.4 / 0.8 各一张。

七、IP-Adapter vs img2img

可组合：低 denoise img2img + IP-Adapter 稳构图又跟风格。

八、常见问题