StoryDiffusion 字节开源高质量图像和视频生成工具 本地一键包下载
StoryDiffusion是由字节跳动和南开大学合作推出的一款AI工具,它是一种新的图像和视频生成方法,通过一致性自注意力和语义运动预测器保持内容一致性,可生成连贯的复杂故事。该方法已在StableDiffusion模型上实现,并获得了显著的定量和定性结果。
温馨提示:这个生成比较吃显卡,建议N卡显存12G起,低于这个要求的就别下了。
字节开源:StoryDiffusion 高质量图像和视频生成 本地一键包下载
主要功能 1、魔法故事和视频展示:StoryDiffusion能够生成引人入胜的图像和视频故事; 2、漫画生成:它可以生成风格多样的漫画,同时确保角色风格和服装的一致性,支持连贯的故事叙述;
3、长视频生成: 通过图像语义运动预测器,StoryDiffusion能生成高质量的视频,无论是使用生成的图像还是用户输入的图像;
4、卡通角色生成:该工具能创建风格一致的卡通角色;
5、多角色生成:能够在图像序列中维持多个角色的身份一致性。
漫画生成操作 使用 StoryDiffusion 制作漫画非常简单。用户只需提供相关的输入条件图像或文本提示,即可生成漫画风格的图像序列。 通过调整参数和输入内容,用户可以创造出各种不同风格和主题的作品。 研究团队提供了在线演示Demo示例,可自由体验。
用户可以通过以下步骤来生成自己的漫画故事: 1、选择一个预训练模型。 2、选择角色生成模式,添加提示词或选择漫画风格。 3、在“Comic description”选项中添加漫画的完整剧情。 4、调整生成参数,如角色数量和图像分辨率。 5、点击生成按钮,StoryDiffusion将根据脚本生成带有字幕的漫画,单击即可下载生成的漫画。
在线试用:https://huggingface.co/spaces/YupengZhou/StoryDiffusion (需要魔法)
项目地址:https://github.com/HVision-NKU/StoryDiffusion
根据项目演示,StoryDiffusion 可以生成各种风格的漫画,在讲述连贯故事的同时,保持了角色风格和服装的一致性。
StoryDiffusion 可以同时保持多个角色的身份,并在一系列图像中生成一致的角色。
此外,StoryDiffusion 还能够以生成的一致图像或用户输入的图像为条件,生成高质量的视频。
下载地址:
游客, 上上宾会员可免费下载该资源, 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 50碎银 下载该资源 立即购买
|