MimicMotion - 一张图片实现视频跳舞，腾讯开源照片跳舞模型 本地一键整合包下载

无言***

MimicMotion - 一张图片实现视频跳舞，腾讯开源照片跳舞模型 本地一键整合包下载 ... ... ... ... ... ...

近期，腾讯联合上海交通大学开源了一个可控视频生成框架：MimicMotion，类似阿里的全民舞王，只需要上传一张照片，然后再上传一段人物的舞蹈或者动作视频，就可以生成以照片中人物为原型的动作或者舞蹈视频了。

MimicMotion 可以根据我们上传的视频生成任意长度的高质量视频。通过渐进式潜融合策略，不管多长的视频都可以使用固定的资源进行生成，理论上多长的视频生成都只是时间问题，不会爆显存了。

并且通过置信度感知姿态引导「这是指在生成视频的过程中，系统会考虑它对于每个动作的确定程度。如果系统对某个动作非常确定，它就会更自信地生成这个动作；如果不太确定，它可能会更谨慎一些。」，让生成的视频更加流畅，过渡更加平滑。

而且基于姿态置信度的区域损失放大显著缓解了图像的失真情况，更好的保证了视频生成的质量。

这个对显卡要求较高，N卡，显存16G起可玩，请先确认自己的显卡是否能运行再下载！

如果报错，请跟帖贴出报错信息，看到会回复。

MimicMotion简介

MimicMotion 是由腾讯公司推出的一款人工智能人像动态视频生成框架。该框架利用先进的技术，能够根据用户提供的单个参考图像和一系列要模仿的姿势，生成高质量、姿势引导的人类动作视频。MimicMotion 的核心在于其置信度感知的姿态引导技术，确保视频帧的高质量和时间上的平滑过渡。

项目地址：https://tencent.github.io/MimicMotion/

功能特色

MimicMotion 的功能特色包括：

• 生成多样化视频：能够根据用户提供的姿态指导生成各种动作的视频内容，如舞蹈、运动或日常活动。
• 控制视频长度：用户可以指定视频的持续时间，从几秒的短片段到几分钟甚至更长的完整视频。
• 姿态引导控制：使用参考姿态作为条件，确保视频内容在动作上与指定姿态保持一致，实现高度定制化的视频生成。
• 细节质量保证：特别关注视频中的细节，尤其是手部等容易失真的区域，通过置信度感知的策略提供更清晰的视觉效果。
• 时间平滑性：确保视频帧之间的过渡平滑，避免卡顿或不连贯的现象，使视频看起来更加流畅自然。
• 减少图像失真：通过置信度感知的姿态引导，减少由于姿态估计不准确导致的图像失真。
• 长视频生成：采用渐进式潜在融合技术，生成长视频时保持高时间连贯性。
• 资源消耗控制：优化算法以确保资源消耗保持在合理范围内，即使在生成较长视频时也能有效地管理计算资源。
  

官方案例

使用教程

1.下载解压一键包，双击一键启动，等待自动进入WebUI界面

2、上传一张 参考图片 和 参考视频

“

这里还需要提一下，如果视频中的人物是全身的话，上传照片中的人物也尽量用全身照，要不然出来的效果可能没那么好。

如果视频中的人物是半身的，那也可以上传半身的照片。

半身照，人物脸部的细节比较到位，人物的脸部就不太容易崩坏，人物一致性保持的还是相当不错的。

”

3、高级设置参数可以默认，也可以调节帧率、分辨率等参数，最后点生成即可。

注：目前整个项目生成速度较慢，尤其是参数越高，速度越慢，请根据自己的显卡设置参数。

下载地址：（下载前，请先阅读 使用说明 再下载，避免不必要的问题和纠纷）

游客，上上宾会员可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 66碎银 下载该资源立即购买

sz***

这个厉害了，期盼。。。。。。

djm***

卖这么贵啊！

djm***

楼主免费发一下吧！看看好不好用！

weihu1***

生成一个8秒钟非高清视频4070tis显卡得要一小时，请问这个正常吗

无言***

weihu19940327 发表于 2024-8-15 17:13
生成一个8秒钟非高清视频4070tis显卡得要一小时，请问这个正常吗

正常，4090生成10s也要半个小时
这个技术目前最大的瓶颈就是太吃显卡了。

hon***

大佬请看下报错截图~~~

无言***

hongdw 发表于 2024-8-18 18:52
大佬请看下报错截图~~~

报错是超标了，视频是不是太长了？

do***

哎，显示不行

hai***

显卡不够，真的好难受