MimicMotion - 一张图片实现视频跳舞，腾讯开源照片跳舞模型 本地一键整合包下载
近期，腾讯联合上海交通大学开源了一个可控视频生成框架：MimicMotion，类似阿里的全民舞王，只需要上传一张照片，然后再上传一段人物的舞蹈或者动作视频，就可以生成以照片中人物为原型的动作或者舞蹈视频了。
MimicMotion 可以根据我们上传的视频生成任意长度的高质量视频。通过渐进式潜融合策略，不管多长的视频都可以使用固定的资源进行生成，理论上多长的视频生成都只是时间问题，不会爆显存了。
并且通过置信度感知姿态引导「这是指在生成视频的过程中，系统会考虑它对于每个动作的确定程度。如果系统对某个动作非常确定，它就会更自信地生成这个动作；如果不太确定，它可能会更谨慎一些。」，让生成的视频更加流畅，过渡更加平滑。而且基于姿态置信度的区域损失放大显著缓解了图像的失真情况，更好的保证了视频生成的质量。
这个对显卡要求较高，N卡，显存16G起可玩，请先确认自己的显卡是否能运行再下载！如果报错，请跟帖贴出报错信息，看到会回复。
MimicMotion简介MimicMotion 是由腾讯公司推出的一款人工智能人像动态视频生成框架。该框架利用先进的技术，能够根据用户提供的单个参考图像和一系列要模仿的姿势，生成高质量、姿势引导的人类动作视频。MimicMotion 的核心在于其置信度感知的姿态引导技术，确保视频帧的高质量和时间上的平滑过渡。项目地址：https://tencent.github.io/MimicMotion/
功能特色MimicMotion 的功能特色包括：
[*]生成多样化视频：能够根据用户提供的姿态指导生成各种动作的视频内容，如舞蹈、运动或日常活动。
[*]控制视频长度：用户可以指定视频的持续时间，从几秒的短片段到几分钟甚至更长的完整视频。
[*]姿态引导控制：使用参考姿态作为条件，确保视频内容在动作上与指定姿态保持一致，实现高度定制化的视频生成。
[*]细节质量保证：特别关注视频中的细节，尤其是手部等容易失真的区域，通过置信度感知的策略提供更清晰的视觉效果。
[*]时间平滑性：确保视频帧之间的过渡平滑，避免卡顿或不连贯的现象，使视频看起来更加流畅自然。
[*]减少图像失真：通过置信度感知的姿态引导，减少由于姿态估计不准确导致的图像失真。
[*]长视频生成：采用渐进式潜在融合技术，生成长视频时保持高时间连贯性。
[*]资源消耗控制：优化算法以确保资源消耗保持在合理范围内，即使在生成较长视频时也能有效地管理计算资源。
官方案例
https://pic.imgdb.cn/item/6695df3cd9c307b7e9594cea.gif
https://pic.imgdb.cn/item/6695df5cd9c307b7e9596fdf.gif
https://pic.imgdb.cn/item/6695df80d9c307b7e95996a5.webp
使用教程1.下载解压一键包，双击一键启动，等待自动进入WebUI界面2、上传一张 参考图片 和 参考视频“这里还需要提一下，如果视频中的人物是全身的话，上传照片中的人物也尽量用全身照，要不然出来的效果可能没那么好。如果视频中的人物是半身的，那也可以上传半身的照片。半身照，人物脸部的细节比较到位，人物的脸部就不太容易崩坏，人物一致性保持的还是相当不错的。”3、高级设置参数可以默认，也可以调节帧率、分辨率等参数，最后点生成即可。注：目前整个项目生成速度较慢，尤其是参数越高，速度越慢，请根据自己的显卡设置参数。
下载地址：（下载前，请先阅读 使用说明 再下载，避免不必要的问题和纠纷）**** 本内容需购买 ****
这个厉害了，期盼。。。。。。 卖这么贵啊！
楼主免费发一下吧！看看好不好用！ 生成一个8秒钟非高清视频4070tis显卡得要一小时，请问这个正常吗 weihu19940327 发表于 2024-8-15 17:13
生成一个8秒钟非高清视频4070tis显卡得要一小时，请问这个正常吗
:lol正常，4090生成10s也要半个小时
这个技术目前最大的瓶颈就是太吃显卡了。 大佬请看下报错截图~~~ hongdw 发表于 2024-8-18 18:52
大佬请看下报错截图~~~
报错是超标了，视频是不是太长了？ 哎，显示不行 显卡不够，真的好难受