无言以对 发表于 2025-6-26 12:15:18

Float - 音频驱动人像生成数字人说话视频 支持情感控制 支持50系显卡 一键整合包下载


Float 是一个基于流匹配生成模型的音频驱动谈话肖像视频生成方法。支持上传一张任务肖像图和音频生成逼真的说话视频,且支持语音驱动的情感标签(比如开心、难过、失望等),因此它可以在推理阶段重新定向谈话肖像的情感,生成富有各种情感的数字人说话视频。
Float 通过创新的技术方法,实现了音频驱动谈话肖像视频的高效、高质量生成,为虚拟主播、游戏开发、电影制作等领域提供了有力的技术支持。


应用领域

1. ‌虚拟主播与数字人‌ ‌
直播与娱乐‌:FLOAT能够生成高质量的谈话肖像视频,使得虚拟主播在直播、短视频等娱乐平台上更加生动、自然。这为用户提供了全新的互动体验,同时降低了虚拟内容制作的门槛。 ‌
品牌代言与营销‌:企业可以利用FLOAT技术创建虚拟形象作为品牌代言人,进行产品推广和营销活动。这种新颖的营销方式能够吸引更多年轻消费者的关注,提升品牌形象和市场竞争力。

2. ‌游戏开发‌ ‌
角色动画‌:在游戏开发中,FLOAT技术可以用于生成游戏角色的谈话动画,增强游戏的沉浸感和互动性。这尤其适用于角色扮演、冒险解谜等类型的游戏。 ‌
NPC交互‌:通过FLOAT技术,游戏中的非玩家角色(NPC)可以拥有更加真实、自然的谈话动画,提升玩家与NPC之间的交互体验。

3. ‌电影与动画制作‌ ‌
特效制作‌:在电影和动画制作中,FLOAT技术可以用于生成逼真的谈话肖像特效,为影片增添更多的视觉冲击力。 ‌
角色设计‌:动画师可以利用FLOAT技术快速生成角色的谈话动画,提高动画制作的效率和质量。

4. ‌在线教育与远程会议‌ ‌虚拟课堂‌:在在线教育中,FLOAT技术可以用于创建虚拟讲师形象,为学生提供更加生动、有趣的课堂学习体验。 ‌
远程会议‌:在远程会议中,FLOAT技术可以用于生成与会者的谈话肖像视频,增强会议的互动性和沉浸感。


使用教程:(建议N卡,显存6G起。支持50系显卡,基于CUDA12.8)

上传一张人物肖像照片和一段驱动音频,设置相关参数,生成即可。
视频教程:https://www.toutiao.com/video/7520183781982994983/


下载地址:
123云盘:https://www.123684.com/s/OYeA-WG1Bh 提取码:7788
百度网盘:**** 本内容需购买 ****

解压密码:https://deepfaces.cc/ 复制这个完整的网址即是解压密码,不要有空格,复制粘贴即可

lujun1996 发表于 2025-6-26 14:53:25

音频驱动生成的数字人非常的多啊,真不知道怎么选

轩辕 发表于 2025-6-26 18:28:59

大佬,点生成视频显示失败,怎么办?报错生成失败: OpenCV(4.11.0) D:\a\opencv-python\opencv-python\opencv\modules\imgproc\src\color.cpp:199: error: (-215:Assertion failed) !_src.empty() in function 'cv::cvtColor'

无言以对 发表于 2025-6-26 18:45:38

轩辕 发表于 2025-6-26 18:28
大佬,点生成视频显示失败,怎么办?报错生成失败: OpenCV(4.11.0) D:\a\opencv-python\opencv-python\open ...

图片路径,文件名不要有中文,图片不要用乱七八糟的格式,最好是标准的jpg或者其他常见图片格式

轩辕 发表于 2025-6-26 19:59:09

大佬,已经换成全英文路径和jpg图片了,还是报这个错误呀

无言以对 发表于 2025-6-26 21:23:20

轩辕 发表于 2025-6-26 19:59
大佬,已经换成全英文路径和jpg图片了,还是报这个错误呀

用软件目录assets里的图片试试

ynwaii0126 发表于 2025-6-26 22:45:26

期待更新,能用原图就更好了~~

来日方长 发表于 2025-6-26 23:19:17

这个效果很赞
但不裁切那个选项不能勾,勾了生成的跟鬼一样:L

轩辕 发表于 2025-6-27 01:06:28

无言以对 发表于 2025-6-26 21:23
用软件目录assets里的图片试试

大佬,用assets里的图片依然是报同样的错误提示

leocheung 发表于 2025-6-27 02:48:29

首先谢谢UP,我试了一下,稍远的镜头,中远距离对不了口型,动物也不行 ,请问有没有能让动物对口型的呢
页: [1] 2
查看完整版本: Float - 音频驱动人像生成数字人说话视频 支持情感控制 支持50系显卡 一键整合包下载