Mobile and Web Real-time Live Streaming Digital Human!

实时数字人 全网最快

Notes：目前项目主要维护DH_live_mini, 目前最快的数字人方案，没有之一，项目含有网页推理的案例，不依赖任何GPU，可在任何手机设备实时运行。原版DH_live已不再或支持，希望慎重考虑使用。原版使用方法参见here。

DHLive_mini手机浏览器直接推理bilibili video

News

• 2025-01-26 最小化简化网页资源包，gzip资源小于2MB。简化视频数据，数据大小减半
• 2025-02-09 增加ASR入口、增加一键切换形象。

数字人方案对比

方案名称	单帧算力（Mflops）	使用方式	脸部分辨率	适用设备
Ultralight-Digital-Human（mobile）	1100	单人训练	160	中高端手机APP
DH_live_mini	39	无须训练	128	所有设备，网页&APP&小程序
DH_live	55046	无须训练	256	30系以上显卡
duix.ai	1200	单人训练	160	中高端手机APP

checkpoint

All checkpoint files are moved to baiduNetDisk

Key Features

• 最低算力: 推理一帧的算力39 Mflops，有多小？小于手机端大部分的人脸检测算法。
• 最小存储：整个网页资源可以压缩到3MB！
• 无须训练: 开箱即用，无需复杂的训练过程。

Easy Usage (Gradio)

第一次使用请运行此Gradio。

python app.py

Usage

Create Environment

First, navigate to the checkpoint directory and unzip the model file:

conda create -n dh_live python=3.11
conda activate dh_live
pip install torch --index-url https://download.pytorch.org/whl/cu124
pip install -r requirements.txt
cd checkpoint

unzip checkpoint files from baiduNetDisk

Prepare Your Video

python data_preparation_mini.py video_data/000002/talk.mp4 video_data/000002/video.mp4 video_data/000002
python data_preparation_web.py video_data/000002

处理后的视频信息将存储在 ./video_data 目录中。

Run with Audio File

语音文件必须是单通道16K Hz的wav文件格式。

python demo_mini.py video_data/000002/assets video_data/audio0.wav 1.mp4

Web demo

请将新形象包中的assets文件(譬如video_data/000002/assets)替换 assets 文件夹中的对应文件

python web_demo/server.py

可以打开 localhost:8888/static/MiniLive.html。

License

DH_live is licensed under the MIT License.

联系

进入QQ群聊，分享看法和最新咨询。	加我好友，请备注“进群”，拉你进去微信交流群。