AI数字人越来越强了！推荐一款最新本地部署生成AI数字人工具：栩栩如生，以假乱真！

2025-01-15 22:57:51 | 来源: AICG工具箱

之前给大家介绍过一款叫做SadTalker的AI项目，可以将一张图片制作成数字人视频。但使用SadTalker制作的数字人视频，往往比较生硬，只能动嘴，头部、身体等其他肢体基本没有任何移动，因此很容易被看出是AI生成的数字人。

今天介绍一款全新的数字人AI项目，叫做SadTalker-Video-Lip-Sync。

该项目基于SadTalker进行了升级，通过以视频文件方式进行语音驱动生成唇形，并且对面部进行了画面增强，使合成的数字人更为流畅、真实以及自然。

以下是SadTalker生成的视频，可以看到基本只有嘴在动，很呆：

以下是SadTalker-Video-Lip-Sync生成的视频，可以看到整个数字人说话的动作就自然流畅多了，用该工具生成的数字人视频效果也会大幅提升：

项目准备工作：

①目前仅支持N卡，且需要至少6G以上显存才可使用;

②使用期间建议使用魔法，可能需要下载部分模型到本地。

手把手教你本地部署

部署SadTalker-Video-Lip-Sync比较复杂，没关系，我来手把手教你本地部署。

①将项目克隆到本地：

下载git并安装，在你想要部署SadTalker-Video-Lip-Sync的位置，右键点击，选择“Git Bash Here”。

然后输入以下指令，下载项目：

Git Clone https://github.com/Zz-ww/SadTalker-Video-Lip-Sync#sadtalker-video-lip-sync.git

等待几分钟即可下载成功。

②安装Python：

推荐下载Anaconda（一个傻瓜式整合Python的软件）

安装过程推荐查看往期内容：青春就是用来失败的 | 训练灌篮高手专属AI绘画模型

③创建虚拟环境：

打开Anaconda，选择“CMD.exe”

在打开的命令提示窗口，输入以下代码，以新建一个Python环境：

conda create -n SVLS python==3.8

新建完成后，继续输入以下代码，来激活刚才生成的SVLS环境：

conda activate SVLS

④第三方依赖库安装：

在刚才的窗口输入以下代码，进入之前下载SadTalker-Video-Lip-Sync根目录：

cd 部署的SadTalker-Video-Lip-Sync本地路径

然后输入以下代码，安装作者注明的第三方依赖库：

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url

conda install ffmpeg

pip install -r requirements.txt

#如需使用DAIN模型进行补帧需安装paddle

# CUDA 11.2

python -m pip install paddlepaddle-gpu==2.3.2.post112 \

-f

⑤安装FFmpeg：

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，是SadTalker-Video-Lip-Sync运行的必要支持程序。安装和设置可查看往期内容：AI一键让照片说话，无限且免费！

⑥运行SadTalker-Video-Lip-Sync：

输入以下代码，就可以运行了。

conda activate SVLS

cd 部署的SadTalker-Video-Lip-Sync本地路径

python inference.py

上手试试

部署完成后，将需要处理的文件，放置在以下文件目录中：

音频文件：

examples/driven_audio/bus_chinese.wav

视频文件：

examples/source_image/input.mp4

需要注意以下几点：

①音频文件名称必须是“bus_chinese.wav”，视频文件名称必须是“input.mp4”;

②原视频素材中的人脸区域尽量保持固定，不要运动区域过大;

③原视频素材最好是保持闭着嘴的状态;

④音频时长和视频时长尽量一致。

运行结束后，结果在“results”文件夹内，打开最近时间的这个文件夹，后缀是“_full.mp4”的文件就是最终结果视频。

最终得出的数字人效果如下：

自行部署还是比较麻烦的，我也制作了离线整合包，并发布在了星球里。

作者的公众号二维码丨扫一扫，关注我

关注我，不懂技术也可以学习AI。

资深大厂产品经理Glen，鹅厂、字节、华为工作经历。

让一部分人，看见AI并连接。