一、什么是视频转绘?
输入:一段视频(或 I2V 结果)
输出:运动与构图相近,视觉风格改变 的视频
原片 / 实拍 / 3D 预览
↓ 结构约束(depth / canny / pose)
转绘模型 + 风格 Prompt / Reference
↓
动漫风 / 指定 IP 风 / 品牌色
与 T2V:T2V 从无到有;转绘 保留时序结构。
二、为何需要转绘?
|
场景 |
说明 |
|---|---|
|
AI 漫剧 |
多镜统一 线稿/赛璐璐 |
|
真人预演 |
实拍 → 动漫预览 |
|
I2V 后处理 |
Wan 写实 → 目标画风 |
|
老片修复风 |
统一胶片/动画 look |
三、Pipeline 架构
[Load Video] 或 [VHS Load Video]
↓
[ControlNet Preprocessor] 逐帧或 batch
depth / lineart / openpose / softedge
↓
[Video Diffusion 采样]
AnimateDiff + SD LoRA
或 Wan V2V / Stable Video Diffusion img2vid
↓
[Optional: IPAdapter 参考图] 锁风格
↓
[Video Combine]
四、结构约束选型
|
预处理器 |
保留什么 |
适用 |
|---|---|---|
|
Depth |
空间层次 |
场景、走位 |
|
Lineart / Canny |
轮廓 |
动漫线稿风 |
|
OpenPose |
人体姿态 |
人物动戏 |
|
Soft Edge |
柔和边缘 |
写实转绘 |
原则:动作用 pose/depth;风格用 Prompt + IPAdapter。
五、AnimateDiff 转绘(经典)
实拍/3D → OpenPose 序列
+
AnimateDiff + ControlNet (pose)
+
风格 LoRA + Prompt "anime style, ..."
↓
动漫风视频
优点:LoRA 多;缺点:长片 flicker,质量低于 Wan。
六、Wan / 新一代 V2V
Wan 生态逐步支持 video-to-video 或 参考驱动:
-
输入视频 latent + 风格 Prompt;
-
与 I2V 共用 VAE/CLIP;
-
关注 WanVideoWrapper 与官方模板 V2V 条目。
建议:主片 Wan I2V → 若画风不对,再 轻量转绘 或 直接在 I2V 前用风格化分镜(更稳)。
七、风格统一三板斧
7.1 固定 Reference
-
IPAdapter 一张 风格板 / 角色设定图;
-
全项目 同一 reference 权重。
7.2 固定 LoRA + 触发词
-
漫剧 角色 LoRA + 画风 LoRA;
-
每镜 Prompt 同一前缀。
7.3 调色后统一(9 章 / 8-5)
-
转绘后仍可能 色偏;
-
剪辑软件 LUT 一条 压全片。
八、角色一致(跨镜)
|
层级 |
手段 |
|---|---|
|
静帧 |
InstantID / IPAdapter(第 7 章) |
|
I2V |
同一设定分镜 作首帧(10-5) |
|
转绘 |
Reference + pose 双约束 |
|
剪辑 |
相邻镜 色匹配 |
勿指望 单条 V2V 自动 跨镜换脸一致——靠 资产库 + 分镜。
九、性能与分段
|
问题 |
做法 |
|---|---|
|
长视频 OOM |
按秒分段 转绘 + 重叠 1 帧混合 |
|
闪烁 |
降 cfg;加强 control;减风格词冲突 |
|
慢 |
降分辨率 → 10-9 放大 |