一、任务定义
输入：人物图/视频 + 音频（台词）
输出：嘴型与语音同步的视频典型用途：数字人口播、AI 漫剧 对白镜、虚拟主播。
二、技术路线对比
|
路线 |
代表 |
输入 |
特点 |
|---|---|---|---|
|
Speech-to-Video |
Wan S2V-14B |
图 + 音频 |
原生生成 说话片段，质量高、VRAM 高 |
|
Talking Head |
SadTalker |
单图 + 音频 |
经典，头部为主，易部署 |
|
Portrait Animation |
LivePortrait |
图/视频 + 驱动 |
表情迁移强，可接音频驱动 |
|
后期对口型 |
Wav2Lip 等 |
已有视频 + 音频 |
改嘴，易 糊/假 |
ComfyUI 多为 custom nodes 封装 上述模型。
三、Wan S2V-14B（概览）
阿里 Wan 2.2 扩展：Speech / Audio to Video
[Load Image] 人像
[Load Audio] 台词 wav/mp3
↓
[Wan S2V 采样链]
↓
说话视频 clip-
与 T2V/I2V 同生态（UMT5、VAE 等）；
-
适合 ** chest-up 口播**；
-
安装见 WanVideoWrapper / 官方后续文档。
优势：口型与 整体微表情 一体；劣势：显存、时长限制。
四、SadTalker 工作流（常见）
[Load Image] 正面照
[Load Audio]
↓
[SadTalker Node] preprocess + generate
↓
mp4|
建议 |
说明 |
|---|---|
|
正面、清晰嘴部 |
侧脸失败率高 |
|
音频干净 |
降噪、无 BGM 更佳 |
|
短句 |
长音频 分段 再拼接 |
节点包：ComfyUI-SadTalker 等（以社区当前维护为准）。
五、LivePortrait（概览）
-
驱动源：另一视频或音频推导的表情；
-
用途：换脸式表演、表情迁移；
-
与口型：可组合 但 pipeline 复杂。
适合 已有表演参考 的数字人，而非纯音频。
六、Pipeline 组合（漫剧对白镜）
方案 A：S2V 一步
角色设定图 + 配音 → Wan S2V → 剪辑方案 B：I2V + 口型
分镜静帧 → I2V 微动（10-5）→ Wav2Lip/SadTalker 对口型方案 C：静帧幻灯 + 口型
单帧 + SadTalker → cheapest，嘴动身不动|
方案 |
质量 |
成本 |
|---|---|---|
|
A |
高 |
VRAM + 调参 |
|
B |
中 |
两步 artefact |
|
C |
低–中 |
快、易批量 |
七、音频准备
-
格式：wav 16k/44.1k 常见；
-
逐句导出 对齐分镜；
-
TTS 需 商业授权（11 章合规）；
-
语速稳定减少 口型拉扯。
八、合规（8-7 必读）
-
未经授权 克隆真人声音/面孔 违法风险；
-
平台 AI 标识 要求；
-
商业 TTS 看 服务条款。
九、常见问题
|
问题 |
处理 |
|---|---|
|
嘴 blur |
提高输入分辨率；换 S2V |
|
音画不同步 |
检查 fps；剪辑对齐 |
|
脸抖 |
SadTalker 3D 参数；减 head motion |
|
OOM |
缩短音频；降分辨率 |