我们知道stable-diffusion-webui是用来生成图片的,视频本质上就是图片的连续播放,那么stable-diffusion-webui是否就可以生成视频呢?答案是肯定的。本文介绍一种方法,使用stable-diffusion-webui来生成视频。
具体的方法是:安装AnimateDiff 来基于rtx5060显卡 8G显存来生成视频。
🚀 第一步:环境与安装
我们需要先配置好基础环境并安装插件。
- 环境准备:需要确保已安装
stable-diffusion-webui,并且 WebUI 版本 ≥ v1.6.0,Python 版本为 3.10.x(不支持3.11及以上)。RTX 5060显卡的8GB显存足以支持基础动画生成任务。 - 安装插件:
- 推荐方法:启动WebUI,进入“Extensions” -> “Install from URL”,粘贴仓库地址:
https://github.com/continue-revolution/sd-webui-animatediff,点击“Install”。安装完成后重启WebUI。 有可能默认自带,如果已经安装则跳过即可。
看到下面的内容就算安装成功: - 备选方法:在扩展列表的“Available”页面中,点击“Load from”,搜索“AnimateDiff”并点击“Install”。
- 下载运动模块(关键):模型是插件的核心,负责定义物体的运动方式,必须手动下载。
- 下载地址:访问 huggingface.co/guoyww/animatediff。对于8GB显存,推荐下载
mm_sd_v15_v2.ckpt或mm_sd_v15_v2.safetensors,它们专为SD 1.5模型设计,性能稳定。 - 放置路径:下载后,将模型文件放入
stable-diffusion-webui\extensions\sd-webui-animatediff\model 文件夹中。完成后重启WebUI以加载插件和模型。
加载:
✨ 第二步:生成你的第一个Demo视频
环境就绪后,我们来动手生成一个视频Demo。
- 基础设置:在WebUI主界面(
txt2img或img2img),编写正反向提示词。选择一个SD 1.5系列的基础模型(Base Model),建议设置分辨率为 512x512。
因为我们配置的是mm_sd_v15_v2.safetensors 视频生成模型,所以我们这里需要将生成的图片的模型设置为sd_v15_v2.safetensors。提前下载好并放到stable-diffusion-webui\extensions\sd-webui-animatediff\model 文件夹中
- 配置AnimateDiff参数:找到页面上的
AnimateDiff 折叠面板并展开,参考下图进行设置:
- 运动模块:在下拉菜单中选择已下载的模型文件(如
mm_sd_v15_v2.safetensors)。 - 总帧数 (Total Frames):设为
16。8GB显存建议从16帧开始。 - 帧率 (FPS):通常选
8。 - 输出格式 (Output Format):生成为预览,建议选择
GIF 或 MP4。 - 其他参数:采样方法推荐
DPM++ 2M Karras,迭代步数可设为 25,种子设为 -1(随机)。
- 生成与查看:点击页面右上角的“Generate”按钮。等待片刻后,生成的视频会出现在结果区域。
🔧 第三步:8GB显存的专属优化
为了在8GB显存上获得更流畅的体验,进行以下优化至关重要。
- 1. 启用内置优化选项:
- 启动器设置:如果你使用“绘世”等启动器,可在一键启动器的高级选项中,勾选
--medvram 或 --lowvram - WebUI设置:进入“Settings” -> “Optimizations”,确保已启用xformers或SDP来节省显存。
- 2. 参数调整的艺术:在显卡承受范围内,可参考以下参数调整:
- 运动强度:在
AnimateDiff 面板的 Advanced 选项中找到 Motion Scale。8GB显存下,建议保持在 0.8 - 1.0 的保守范围。 - 分辨率与帧数:
- 推荐配置(480x480):对于8GB显存,480x480是速度和质量的绝佳平衡点。
- 进阶配置(640x480):在480x480基础上提升宽度,可增加画面信息量。
- 极限测试(512x768):偶尔尝试竖屏高分辨率。如果显存溢出(OOM),可启用
cpu_offload 和 vae_slicing 技术,它们能将8GB显存的峰值占用降低约35%。
生成视频是一项创造性的工作,可以从上面建议的保守参数开始,逐步探索。希望这份指南能帮你迈出AI视频制作的第一步~