EasyAnimate - 阿里开源视频生成项目，国产版Sora，高质量长视频生成 本地一键整合包下载 ... ... ...
EasyAnimate是阿里云人工智能平台PAI自主研发的DiT-based视频生成框架，它提供了完整的高清长视频生成解决方案，包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。在预训练模型的基础上，EasyAnimate可通过少量图片的LoRA微调来改变生成视频的风格，相比已有方案具有更好的扩展性和完整性。
目前支持最大分辨率960x960，最长144帧的视频推理，512x512分辨率最低可用12G显存实现推理。可一键生成长达6s的视频内容。
Sora一直没了消息，可灵又收费了。前天智谱团队的清影虽然免费开放，但估计也会走可灵的老路，收费也只是时间问题。所以有条件的，还是建议自己本地部署，任何时候都可以使用这个技术，且不受任何限制。
下面是我用默认的提示词和参数生成的：
EasyAnimate提供多样化生成方案，不仅支持文字提示词生成视频，还支持图片生成视频。下面放出几张生成动图演示效果：
使用教程 官方提供支持512px，768px和960px三种分辨率视频推理，默认使用512px，而且一键包只内置了这个参数的模型，如果你的显卡足够强大，可以下载768和960的模型使用。
下载后，解压出来，将解压后的模型复制到一键包的models\Diffusion_Transformer路径下 最终的路径为：models\Diffusion_Transformer\EasyAnimateV3-XL-2-InP-768x768或models\Diffusion_Transformer\EasyAnimateV3-XL-2-InP-960x960
1、选择版本和模型，模型默认只下载了512x512px，下拉选择，第一次加载时间略长，需要等待一会。
EasyAnimate - 阿里开源视频生成项目，国产版Sora，高质量长视频生成 本地一键整合包下载 ... ... ... ... ...
测试了几个，提示词写的越详细，生成的效果越好，感觉整体使用和AI绘画软件 StableDiffusion 类似，无论是提示词还是参数设置。所以玩过AI绘画的，这些提示词和参数设置就很简单了。
2、下图的参数只需要调整视频分辨率和步数，显卡不好的，步数可以调小些。采样器种类也和AI绘画类似，不懂的可以多尝试几次。
EasyAnimate - 阿里开源视频生成项目，国产版Sora，高质量长视频生成 本地一键整合包下载 ... ... ... ... ...
3、支持图片是生成视频，提示词控制生成细节
EasyAnimate - 阿里开源视频生成项目，国产版Sora，高质量长视频生成 本地一键整合包下载 ... ... ... ... ...
4、所有参数设置完成后，点生成即可。生成时间根据显卡和生成参数决定。
总结下，目前开源的模型无论是生成效果还是推理速度都有待提升，且有很大的提升空间，目前视频生成类模型还有很多问题，尤其是对显卡要求极高，所以建议高端显卡用户体验，显卡太差的，生成时间略长。
下载地址：
| 
发表于 2024-7-27 23:05:38
发表于 2024-7-28 16:13:38
发表于 2024-7-29 12:23:25