一、ComfyUI 做视频的优势
|
优势 |
说明 |
|---|---|
|
节点编排 |
采样、条件、后处理可复用、可版本管理 |
|
模型并存 |
Wan / Hunyuan / CogVideo / AnimateDiff 同画布切换 |
|
批处理 |
同一工作流改 Prompt 连跑多镜头 |
|
与静帧衔接 |
分镜图(第 7 章)→ I2V → 放大(10-9)一条链 |
劣势:显存要求高、生成慢、时序一致性难——需专门概念(10-2)。
二、能力全景图
ComfyUI 视频能力
│
┌─────────┬─────────┼─────────┬─────────┐
▼ ▼ ▼ ▼ ▼
T2V I2V 转绘/V2V 动作迁移 口型/音频
文生视频 图生视频 风格统一 MimicMotion S2V
│ │ │ │ │
Wan T2V Wan I2V ControlNet Animate Wan S2V
Hunyuan 首尾帧 IPAdapter 参考视频 SadTalker
三、六大任务类型
3.1 文生视频 T2V(Text-to-Video)
-
输入:文字 Prompt
-
输出:无参考图的视频片段
-
代表:Wan 2.2 T2V-A14B、HunyuanVideo、CogVideoX
-
适用:概念片、空镜、无分镜的创意探索
-
详见:10-4
3.2 图生视频 I2V(Image-to-Video)
-
输入:起始帧(+ 可选尾帧 / Prompt)
-
输出:以图为起点的动态视频
-
代表:Wan 2.2 I2V-A14B、Wan TI2V-5B
-
适用:分镜动效、产品展示、漫剧单镜(10-10)
-
详见:10-5
3.3 视频转绘 / 风格统一
-
输入:原视频 + 风格/参考
-
输出:内容相近、画风改变的视频
-
代表:AnimateDiff + ControlNet、Wan V2V、Stable Video Diffusion 变体
-
适用:真人转动漫、统一漫剧画风
-
详见:10-7
3.4 动作迁移
-
输入:角色图 + 参考动作视频
-
输出:角色按参考动作运动
-
代表:MimicMotion、Wan Animate-14B、Animate Anyone 类节点
-
适用:舞蹈、带货手势、模板化动作
-
详见:10-6
3.5 口型 / 说话头
-
输入:人像 + 音频
-
输出:嘴型与语音同步的视频
-
代表:Wan S2V-14B、SadTalker、LivePortrait
-
适用:数字人、配音漫剧
-
详见:10-8
3.6 后处理:放大与补帧
-
输入:低分辨率 / 低帧率视频
-
输出:更清晰或更流畅的视频
-
代表:RIFE / FILM 补帧、视频版 Upscale、Wan 后处理链
-
详见:10-9
四、与静帧工作流的差异
|
维度 |
静帧(第 3–6 章) |
视频(第 10 章) |
|---|---|---|
|
输出 |
单张 IMAGE |
帧序列 / VIDEO |
|
显存 |
相对低 |
随帧数线性或超线性增长 |
|
采样 |
一次 KSampler |
常 3D 时空采样 或多步专家切换 |
|
一致性 |
单图 |
跨帧人物/背景不漂移 |
|
时间 |
秒级 |
分钟~小时级 |
五、模型代际(2025–2026 认知)
|
代际 |
代表 |
特点 |
|---|---|---|
|
经典 |
AnimateDiff |
SD1.5/SDXL + 运动模块,易上手、质量有限 |
|
原生视频 DiT |
Wan 2.1/2.2、HunyuanVideo |
专用视频权重,T2V/I2V 质量高 |
|
MoE 双专家 |
Wan 2.2 A14B |
high_noise + low_noise 分阶段去噪 |
|
统一轻量 |
Wan TI2V-5B |
单模型 T2V+I2V,720p,VRAM 友好 |
学习建议:AnimateDiff 了解即可(10-3);实战 以 Wan 2.2 为主(10-4、10-5)。
六、ComfyUI 中的视频节点形态
-
官方原生模板:
Workflow → Browse Templates → Video -
自定义节点包:ComfyUI-WanVideoWrapper、ComfyUI-VideoHelperSuite(VHS)等
-
输出:
Save Video/ VHSVideo Combine→ mp4 / webm
七、典型业务映射
|
业务 |
推荐能力组合 |
|---|---|
|
短视频空镜 |
T2V(10-4) |
|
产品 5 秒动效 |
I2V(10-5) |
|
AI 漫剧单镜 |
分镜静帧 → I2V → 剪辑(10-10) |
|
数字人口播 |
口型(10-8) |
|
舞蹈复刻 |
动作迁移(10-6) |
|
交付前精修 |
放大 + 补帧(10-9) |
八、硬件预期(粗略)
|
目标 |
显存参考 |
|---|---|
|
Wan TI2V-5B,512–720p,5s |
8–12 GB(量化更低) |
|
Wan A14B T2V/I2V |
24 GB+ 或 FP8/GGUF + offload |
|
AnimateDiff SD1.5 短 clip |
6–8 GB |
|
4K 视频后处理 |
视放大模型,常 12 GB+ |