一、任务定义
角色参考图(单人) + 动作参考视频(真人/模板)
↓
动作迁移模型
↓
角色按参考动作运动的视频
与 I2V 区别:
|
I2V |
动作迁移 |
|---|---|
|
首帧 + Prompt 猜 运动 |
显式 参考动作轨迹 |
|
适合氛围、微动 |
适合 舞蹈、体操、固定套路 |
二、主流方案概览
|
方案 |
说明 |
ComfyUI |
|---|---|---|
|
MimicMotion |
腾讯等开源路线,pose 驱动 |
|
|
Animate Anyone |
单图 + pose 序列 |
AnimateAnyone 类 custom nodes |
|
Wan 2.2 Animate-14B |
阿里视频生态 角色动画/重动画 |
WanVideoWrapper / 官方后续模板 |
|
ControlNet OpenPose 视频 |
老方案,逐帧 pose |
AnimateDiff + OpenPose |
趋势:Wan Animate 与 统一视频 DiT 整合;MimicMotion 仍常见于 舞蹈复刻 教程。
三、MimicMotion 典型流程
[Load Image] 角色立绘 / 全身
[Load Video] 参考动作(或提取 pose)
↓
[Pose Estimation] DWPose / OpenPose 等
↓
[MimicMotion Sampler / 专用节点]
↓
[Video Combine]
3.1 参考视频要求
-
单人、全身入镜 最佳;
-
稳定光照、少遮挡;
-
分辨率不必过高,pose 清晰 即可;
-
时长建议 先 3–5 秒 试跑。
3.2 角色图要求
-
全身或至少含关键关节;
-
与参考 视角相近(正面对正面);
-
背景简洁减少 伪影。
四、Wan Animate-14B(了解)
Wan 2.2 扩展中的 Animate 面向 角色动画 / 重动画:
-
输入:角色 + 驱动信号(视频/pose);
-
与 I2V、S2V 同属 Wan 生态;
-
安装:ComfyUI-WanVideoWrapper 或关注官方 Templates 更新。
选型:已深度用 Wan I2V → 优先试 Wan Animate 统一模型;否则 MimicMotion 社区流 资料多。
五、Animate Anyone 类工作流
角色图 → Reference UNet / Adapter
Pose 序列(来自视频) → ControlNet / Pose Guider
↓
逐段或整段生成
特点:对 SD 系 友好;长视频需 分段 + 衔接。
六、参数与质量
|
因素 |
建议 |
|---|---|
|
参考视频 FPS |
与输出一致或略低后补帧(10-9) |
|
角色比例 |
与 pose 骨架 scale 对齐 |
|
服装复杂 |
易闪烁,缩短 clip |
|
侧脸 / 遮挡 |
换参考或降预期 |
七、后处理链
动作迁移输出(常 512p)
↓
10-9 放大 + 补帧
↓
10-7 转绘统一画风(可选)
↓
剪辑合成
八、合规提醒(8-7)
-
勿 未授权用真人视频驱动 可识别他人;
-
商业项目需 模特授权;
-
平台对 深度伪造 有审核规则。
九、常见问题
|
问题 |
处理 |
|---|---|
|
肢体扭曲 |
检查 pose 质量;换 DWPose |
|
脸崩 |
缩短;后接 face fix 静帧模型逐帧(慢) |
|
与角色图不像 |
加强 reference;用更接近的视角 |
|
闪 |
负向 flicker;10-9 时序稳定(有限) |