一、什么是「人物一致性」?
在 ComfyUI 语境下,通常指:
-
同一张脸 / 同一个角色 出现在不同 Prompt、场景、服装、姿势的图中;
-
观众能认出 「这是同一个人」,而非每次随机一张新脸。
难度来源:扩散模型默认 随机采样,不加约束时人脸、发型、体型都会变。
二、方案总览
|
方案 |
类型 |
是否需要参考图 |
训练 |
一致性强弱 |
上手难度 |
|---|---|---|---|---|---|
|
InstantID |
推理时注入身份 |
✅ 1 张脸 |
否 |
★★★★ |
中 |
|
IP-Adapter Face |
图像 embedding |
✅ 1 张+ |
否 |
★★★ |
中 |
|
PuLID |
身份嵌入 |
✅ 1 张脸 |
否 |
★★★★ |
中 |
|
FaceID / ReActor |
换脸/post |
✅ |
否 |
★★★(偏换脸) |
低–中 |
|
LoRA 角色训练 |
微调权重 |
数据集 10–30+ 张 |
是 |
★★★★★ |
高 |
|
纯 Prompt |
文字描述 |
否 |
否 |
★ |
低 |
本章重点:InstantID(7-2~7-5),并对比其他路线。
三、InstantID
特点
-
用 InsightFace 提取人脸 embedding;
-
IP-Adapter + InstantID ControlNet 双路注入;
-
支持 文生图 / 图生图;
-
可 image_kps 分离姿势与身份(7-5)。
适合
-
1 张参考照 → 多场景同人;
-
虚拟形象、写真套图、短剧角色;
-
不想训练 LoRA 的快速方案。
局限
-
侧脸、遮挡、多人脸需额外处理;
-
全身一致性 弱于脸部;
-
需安装专用节点与多个模型文件。
四、IP-Adapter Face / Full Face
特点
-
第 6 章已学,实现简单;
-
参考图 → CLIP Vision embedding → 注入 MODEL。
与 InstantID 对比
|
|
IP-Adapter Face |
InstantID |
|---|---|---|
|
脸部一致 |
较好 |
通常更好 |
|
姿势控制 |
弱 |
强(ControlNet kps) |
|
节点/模型 |
较少 |
较多 |
|
「烧脸」过拟合 |
相对少 |
过高 weight 可能过 |
选型:快速试脸、风格为主 → IP Face; 强身份 + 换姿势 → InstantID。
五、PuLID
特点
-
另一套 身份保持 框架,社区有 ComfyUI 节点;
-
强调 解耦身份与风格;
-
与 InstantID 二选一即可,不必全装。
适合
-
对比测试谁在你数据上更稳;
-
部分工作流对 写实 或 特定画风 更友好。
建议
先掌握 InstantID 再试 PuLID,避免同时混用多套身份节点导致冲突。
六、ReActor / Face Swap 类
特点
-
生成后再换脸 或 pipeline 中 swap;
-
更偏 「把 A 脸贴到 B 图」 而非从头生成同人。
适合
-
已有成图,只改脸;
-
视频帧换脸(需注意合规)。
与 InstantID 区别
InstantID 是 生成阶段 注入身份;ReActor 常是 后处理,边缘与光照需额外修。
七、LoRA 角色训练
特点
-
用 10–30+ 张 同一角色图训练小 LoRA;
-
触发词 + LoRA → 全身、服装、画风 都可绑在角色上;
-
一致性最强、最稳定,可商用资产化。
适合
-
长期 IP、漫画主角、品牌虚拟人;
-
批量产线同一角色;
-
愿意投入 数据集 + 训练时间。
局限
-
训练门槛高(7-7);
-
新角度需补图再训;
-
过拟合风险。
与 InstantID 组合
LoRA 定角色 + InstantID 锁脸 或 LoRA 单独 即可,视质量要求。
八、选型决策树
只有 1 张脸图、要快、不训练?
└→ InstantID(本章主力)或 PuLID
已有成图只想换脸?
└→ ReActor / Face Swap
要长期同一角色、几十上百张?
└→ LoRA 训练(7-7)
只是「大概像」、重风格?
└→ IP-Adapter Face(6-6)
必须最强合规可控资产?
└→ 自拍/授权素材 + LoRA + 书面授权
九、质量与输入图关系
无论哪种方案,参考图质量决定上限:
|
参考图 |
效果 |
|---|---|
|
正脸、清晰、光照均匀 |
最佳 |
|
侧脸 >45° |
身份漂移 |
|
墨镜、口罩、头发遮脸 |
易失败 |
|
多人 |
需指定脸或裁剪 |
十、合规与伦理(必读)
|
风险 |
说明 |
|---|---|
|
未授权真人 |
可能侵犯肖像权;商用需授权 |
|
Deepfake |
伪造他人身份违法风险 |
|
公众人物 |
平台与法律限制更严 |
教程与练习请使用 自有照片、虚拟角色、明确授权素材。
(大纲 7-8 节专讲合规,本章各节均应遵守。)