LoRA 角色训练入门

一、为什么训练 LoRA？

结论：InstantID 出图/扩数据集 → LoRA 固化角色 → 日常用 LoRA + 可选 InstantID。

二、训练前要准备什么

2.1 硬件（参考）

2.2 基模选择

• SD1.5 或 SDXL 与你要用的 推理 Checkpoint 一致；

• 训练 SDXL LoRA → 推理用 SDXL + 该 LoRA。

2.3 数据集规模

质量 > 数量：清晰、多角度、多表情、多背景（或统一背景视风格）。

三、数据集准备

3.1 图片来源

• 7-4 InstantID 同角色多场景 生成 + 人工筛选；

• 7-6 三视图 + 表情 sheet；

• 真人拍摄（需授权）；

• 已有插画统一风格。

3.2 图片要求

• 分辨率 512+（SD1.5）或 1024+（SDXL），可中心裁剪；

• 同一角色，避免混入他人；

• 少水印、少文字；

• 文件名无中文路径问题（部分训练脚本）。

3.3 目录结构（Kohya 常见）

dataset/
  ├── 10_mychar/          ← 重复次数前缀 10_
  │     ├── 001.png
  │     ├── 002.png
  │     └── ...
  └── regularization/     ← 可选，防过拟合

10_ 表示每 epoch 每张重复 10 次（示例，按工具说明调整）。

3.4 打标（Caption）

每张图对应 .txt 同名文件，或 JSON/CSV 集中管理。

内容：

mychar, 1girl, blue hair, red eyes, school uniform, smile, outdoor

• 触发词 mychar（自定义，唯一）；

• 描述 可变 元素（表情、背景）；

• 不要 每张 caption 完全相同（易过拟合）；

• 可选 WD14 反推（4-6）后人工改。

四、训练工具路线

4.1 Kohya_ss（最常用）

• 独立 GUI / 脚本，不在 ComfyUI 内；

• 支持 SD1.5 / SDXL LoRA；

• Windows 常用 kohya_ss 整合包。

基本流程：

1. 选 LoRA 训练模式；

2. 指定 基模 path；

3. 指定 dataset 文件夹；

4. 设 network dim / alpha（如 32/16 入门）；

5. learning rate、steps、batch 用预设或教程推荐；

6. 开始训练 → 输出 .safetensors 到 output/。

4.2 ComfyUI 内训练节点

社区有 ComfyUI-Train、SD-Trainer 等 Custom Nodes，可在 ComfyUI 画布配置训练。

优点：与推理同环境；
缺点：文档分散，新手 建议先 Kohya 跑通一次。

4.3 关键超参（入门默认，非唯一真理）

以 Kohya 预设 + 社区角色 LoRA 教程 为准，训练 loss 曲线异常再调。

五、训练后接入 ComfyUI

1. 复制 mychar_v1.safetensors → ComfyUI/models/loras/；

2. 文生图链 Load LoRA（5-3）；

3. Prompt 加 触发词 mychar；

4. strength 0.7–0.9 试；

5. 与 InstantID 同用：LoRA 定角色，InstantID 加强脸（weight 略降避免冲突）。

六、InstantID → LoRA 推荐流水线

1. InstantID 7-4 生成 20–40 张同角色（多场景）
2. 人工删崩图、重复图
3. WD14 打标 + 统一 trigger
4. Kohya 训练 SDXL LoRA
5. ComfyUI：LoRA 为主，InstantID 可选补脸
6. 7-6 补三视图纳入 v2 数据集再训

七、过拟合与欠拟合

八、合规

• 训练 他人照片 需 书面授权；

• 虚拟角色也建议 内部规范 记录素材来源；

• 商用 LoRA 注意 基模 LICENSE（SDXL、Flux 等条款不同）。