JoyVASA - 一张照片生成说话视频，京东最新开源数字人 本地一键整合包下载
JoyVASA 是由京东健康团队和浙江大学联合研发的开源项目，和其他类似数字人项目一样，支持一张图片加一段语音驱动生成数字人说话视频。
JoyVASA 在快手的 LivePortrait 的基础上，新增音频驱动，支持人像和动物两种模式生成，而且对于硬件优化提升很大，纯CPU也可以运行，生成速度有了大幅度提升。
实测一段5秒的驱动音频，生成速度大概在15秒左右。CPU可能慢一些，但是提升幅度也是很大的。
https://pic.imgdb.cn/item/6741add4d29ded1a8cf65a33.gif
使用教程：（CPU和独立显卡都可以运行，建议独显，速度更快。CUDA版本需要12.X支持，如果你是CUDA11.X，参考本站多CUDA版本共存教程）
整个操作和 LivePortrait 差不多，所以看下LivePortrait 的操作基本就会了
上传一张参考图像，这里注意，动画选项要对应，比如人物就选择人物模式，动物就选择动物模式，否则会报错。
上传一段驱动音频
点击生成即可。
高级参数可以根据需要设置，和 LivePortrait基本一致。
有一点很重要，上传参考图建议是长宽等比，如不是，开启自动裁切，否则生成结果会翻车。
部分用户报错：
python::CreateExecutionProviderInstance CUDA_PATH is set but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page(https://onnxruntime.ai/docs/exec ... r.html#requirements),make sure they're in the PATH, and that your GPU is supported.
修复补丁：https://pan.quark.cn/s/2a39b254ad82 下载后，拷贝到一键包根目录，双击执行，等待完成即可。
下载地址：（下载前，请先阅读 使用说明 再下载，避免不必要的问题和纠纷）
夸克网盘：https://pan.quark.cn/s/6df469ca2b96
百度网盘：
**** 本内容需购买 ****
试试能否对得上口型先，谢谢分享 RuntimeError: C:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:866 onnxruntime::python::CreateExecutionProviderInstance CUDA_PATH is set but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page(https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements),make sure they're in the PATH, and that your GPU is supported.
请问下这个错误要如何解决，重新安装过也不行？
nsctt 发表于 2024-11-24 15:09
RuntimeError: C:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:866 onnxruntime::python: ...
需要安装cuda12.X 无言以对 发表于 2024-11-24 15:14
需要安装cuda12.X
已经安装了最新版都还是出这个提示喔，请教下还有什么办法可以解决问题？ nsctt 发表于 2024-11-24 16:19
已经安装了最新版都还是出这个提示喔，请教下还有什么办法可以解决问题？ ...
好像不是cuda问题，等我发个补丁 无言以对 发表于 2024-11-24 16:36
好像不是cuda问题，等我发个补丁
感谢你发布补丁，谢谢 不好意思，你补丁用了后，可以运行出界面，但是在生成时就错误：
2024-11-25 08:55:52.2434901 D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1539 onnxruntime::ProviderLibrary::Get : 1 : FAIL : LoadLibrary failed with error 126 "" when trying to load "E:\BaiduNetdiskDownload\JoyVASA\deepface\lib\site-packages\onnxruntime\capi\onnxruntime_providers_cuda.dll"
是否补丁还是有问题？有劳帮忙看看，谢谢
nsctt 发表于 2024-11-25 08:58
不好意思，你补丁用了后，可以运行出界面，但是在生成时就错误：
2024-11-25 08:55:52.2434901
cuda和onnx版本不匹配，CUDA版本需要12.X支持 无言以对 发表于 2024-11-25 10:44
cuda和onnx版本不匹配，CUDA版本需要12.X支持
我的CUDA是12.6版本喔，请楼主帮忙看下是否要降低版本？
页:
[1]