ComfyUI+Stable Video Diffusion图片生成视频
解决方法:
网友说pytorch 要最少1.10以上,1.13可行,cuda118
python 环境要3.10, 不然node会加载失败
本人的是python3.10.6,PyTorch Version: 1.12.1+cu113
1、模型下载,下载svd.safetensors
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
2、Comfy UI安装
https://github.com/comfyanonymous/ComfyUI
解压找到ComfyUI_windows_portable\ComfyUI\custom_nodes目录,在地址栏上输入cmd打开命令行窗口,下载Comfy UI Manager ,执行git clone https://github.com/ltdrdata/ComfyUI-Manager
3、将svd.safetensors复制到ComfyUI_windows_portable\ComfyUI\models\checkpoints下
4、回到ComfyUI_windows_portable\ComfyUI\目录,下载依赖包,执行pip install -r requirements.txt
5、回到ComfyUI_windows_portable\ComfyUI\目录,启动ComfyUI,执行python main.py ,浏览器访问http://127.0.0.1:8188/
6、如果新版本的ComfyUI右侧菜单不见了,可以在设置里禁用新菜单即可
7、svd工作流json文件下载:
https://drive.google.com/file/d/17UQXmDRvPLLI7c6g76LlZF4BjMuoRHQa/view
8、点击右侧菜单的“加载”,选择刚下载的SVD Workflow.json,会报错,再点击“Manager”经理,点击“Insalll Missing Custom Nodes”勾选所有依赖下载后重启ComfyUI即可
9、流程节点参数调整
Checkopint加载器(仅图像):选择svd.safetensors
加载图像:选择图片即可
SVD_img2vid条件:宽度高度只能是576*1024或者1024*576,动态bucketID控制画面速度快慢,帧率是补帧的意思,不用调整,可以用其他软件补帧。增强控制画面里元素运动的数量。
10、点击右侧菜单里的Queue Prompt开始生成视频,视频出来后右键下载预览视频即可。
