latentsync.md

LatentSync REST 对口型接入

Blabber 通过 multipart REST 接口调用独立部署的 bytedance/LatentSync。普通 action 渲染仍是默认功能，不依赖该服务。

接口契约

默认地址为 http://127.0.0.1:8000/lip-sync，请求方式与手工测试命令一致：

curl.exe -X POST "http://127.0.0.1:8000/lip-sync" `
  -F "video=@input.webm" `
  -F "audio=@audio.mp3" `
  --output result.mp4

接口要求：

• 请求方法：POST
• 请求格式：multipart/form-data
• 文件字段：video 和 audio
• 成功响应：视频二进制，推荐 Content-Type: video/mp4
• 失败响应：非 2xx 状态码，并在 JSON detail、error、message 或正文中返回原因

配置 Blabber

在网页“服务器配置”中填写，或编辑 mvp/.env：

LATENTSYNC_API_URL=http://127.0.0.1:8000/lip-sync
LATENTSYNC_TIMEOUT=1800

如果 LatentSync 位于虚拟机中，请将 127.0.0.1 替换为宿主机可访问的虚拟机 IP。 网页中的“测试 LatentSync”会发送不含媒体文件的空 multipart 请求；服务返回 400、415 或 422 表示接口可达且正在校验必填文件。

处理与回退

逐句 PodcastTTS 音频
        ↓
当前 speaker 的透明 action 片段
        ↓
灰底 RGB 代理视频 + 16 kHz 单声道 WAV
        ↓
multipart POST /lip-sync（video + audio）
        ↓
下载 MP4 并恢复原 action Alpha
        ↓
场景、前景、字幕与总音频合成

Blabber 按台词顺序提交任务，避免同时占满单卡显存。默认失败策略为逐句回退：无法 检测人脸、服务超时或推理失败的台词使用原说话动作，其他成功片段仍使用 LatentSync。结果报告写入最终视频同名 JSON manifest，增强版视频为 final-studio-lipsync.mp4，不会覆盖基础版 final-studio.mp4。