JoyVASA - 一张照片生成说话视频，京东最新开源数字人 本地一键整合包下载

无言***

JoyVASA - 一张照片生成说话视频，京东最新开源数字人 本地一键整合包下载

JoyVASA 是由京东健康团队和浙江大学联合研发的开源项目，和其他类似数字人项目一样，支持一张图片加一段语音驱动生成数字人说话视频。

JoyVASA 在快手的 LivePortrait 的基础上，新增音频驱动，支持人像和动物两种模式生成，而且对于硬件优化提升很大，纯CPU也可以运行，生成速度有了大幅度提升。
实测一段5秒的驱动音频，生成速度大概在15秒左右。CPU可能慢一些，但是提升幅度也是很大的。




使用教程：（CPU和独立显卡都可以运行，建议独显，速度更快。CUDA版本需要12.X支持，如果你是CUDA11.X，参考本站多CUDA版本共存教程）
整个操作和 LivePortrait 差不多，所以看下LivePortrait 的操作基本就会了
上传一张参考图像，这里注意，动画选项要对应，比如人物就选择人物模式，动物就选择动物模式，否则会报错。
上传一段驱动音频
点击生成即可。
高级参数可以根据需要设置，和 LivePortrait基本一致。

有一点很重要，上传参考图建议是长宽等比，如不是，开启自动裁切，否则生成结果会翻车。


部分用户报错：

python::CreateExecutionProviderInstance CUDA_PATH is set but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page  (https://onnxruntime.ai/docs/exec ... r.html#requirements),  make sure they're in the PATH, and that your GPU is supported.

修复补丁：https://pan.quark.cn/s/2a39b254ad82 下载后，拷贝到一键包根目录，双击执行，等待完成即可。


下载地址：（下载前，请先阅读 使用说明 再下载，避免不必要的问题和纠纷）
夸克网盘：https://pan.quark.cn/s/6df469ca2b96
百度网盘：

游客，上上宾会员可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 50碎银 下载该资源立即购买

ns***

试试能否对得上口型先，谢谢分享

ns***

RuntimeError: C:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:866 onnxruntime::python::CreateExecutionProviderInstance CUDA_PATH is set but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page  (https://onnxruntime.ai/docs/exec ... r.html#requirements),  make sure they're in the PATH, and that your GPU is supported.

请问下这个错误要如何解决，重新安装过也不行？

无言***

nsctt 发表于 2024-11-24 15:09
RuntimeError: C:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:866 onnxruntime::python: ...

需要安装cuda12.X

ns***

无言以对 发表于 2024-11-24 15:14
需要安装cuda12.X

已经安装了最新版都还是出这个提示喔，请教下还有什么办法可以解决问题？

无言***

nsctt 发表于 2024-11-24 16:19
已经安装了最新版都还是出这个提示喔，请教下还有什么办法可以解决问题？ ...

好像不是cuda问题，等我发个补丁

ns***

无言以对 发表于 2024-11-24 16:36
好像不是cuda问题，等我发个补丁

感谢你发布补丁，谢谢

ns***

不好意思，你补丁用了后，可以运行出界面，但是在生成时就错误：
2024-11-25 08:55:52.2434901 [Ennxruntimeefault, provider_bridge_ort.cc:1862 onnxruntime::TryGetProviderInfo_CUDA] D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1539 onnxruntime:roviderLibrary::Get [ONNXRuntimeError] : 1 : FAIL : LoadLibrary failed with error 126 "" when trying to load "E:\BaiduNetdiskDownload\JoyVASA\deepface\lib\site-packages\onnxruntime\capi\onnxruntime_providers_cuda.dll"

是否补丁还是有问题？有劳帮忙看看，谢谢

无言***

nsctt 发表于 2024-11-25 08:58
不好意思，你补丁用了后，可以运行出界面，但是在生成时就错误：
2024-11-25 08:55:52.2434901 [Ennxruntim ...

cuda和onnx版本不匹配，CUDA版本需要12.X支持

ns***

无言以对 发表于 2024-11-25 10:44
cuda和onnx版本不匹配，CUDA版本需要12.X支持

我的CUDA是12.6版本喔，请楼主帮忙看下是否要降低版本？