内容比较多,须要一些耐心,紧张是下载,安装难度不是很大。
如果希望能够得心应手的利用这些工具,各种参数可以逐步体会

23年末到现在AI视频一贯很火,特殊GTP的SORA,但目前为止还是期货。

我们就自己动手搭一个开源的,效果也是杠杠的。
下面天生视频的效果

视频加载中...

自己安装SD模型生成视频ComfyUI对象的安装和运用

Stable Diffuision是一个自己可控的选择,其他的pika、pixvert等也是类似的效果。

须要下载的内容:

内容比较多比较大,但想象一下自己可以做其他公司能做的东西

视频天生的逻辑:

看不懂也没紧要,我也没仔细看

详细天生的视频效果,可以到这个地方先理解一下:https://animatelcm.github.io/

一小部分的截图

铺垫的差不多了,喜好动手的下面我们可以一步一步来:

系统哀求操作系统:Windows 10/11, MacOS 10.15+, 或 Linux(Ubuntu 18.04+, CentOS 7+)内存:至少8GB RAM(推举16GB或以上)硬盘:至少10GB的空闲存储空间Python版本:3.7或更高步骤1:安装Python

访问Python官网下载得当的Python版本。

安装Python时,确保选中“Add Python to PATH”选项,以便在命令行中直接调用Python。

步骤2:安装Git(可选)Windows: 访问Git官网下载安装程序并安装。
MacOS: 在终端中运行 brew install git(若未安装Homebrew请先安装Homebrew)。
Linux: 在终端中运行 sudo apt-get install git(Ubuntu为例)。

开始安装须要的工具和软件

1、安装 ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git

pip install -r requirements.txt

2、安装ComfyUI- Manager (管理自定义的node,例如SVD视频天生的节点等)

cd ComfyUI/custom_nodes

git clone https://github.com/ltdrdata/ComfyUI-Manager.git

cd .. ; python main.py (回到上一级目录,启动 ComfyUI)

浏览器访问,可以看到Manager已经安装好了

3、通过ComfyUI-Manager 安装第三方的nodes

Manager的菜单

4、安装AnimateDiff视频天生模型和工具

这些安装可以通过Manager去安装也可以手动安装,反正韶光紧张花不才载上了

ComfyUI-AnimateDiff-Evolved改进了 ComfyUI 的 AnimateDiff 集成,以及可在 AnimateDiff 之外利用的被称为“进化采样”的高等采样选项。

cd custom_nodes

git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git

5、安装快速的编码器TAESD,用于生产内容的预览等

默认安装包括低分辨率的快速潜在预览方法。

要利用 TAESD (https://github.com/madebyollin/taesd)实现更高质量的预览,

请下载 taesd_decoder.pth【https://github.com/madebyollin/taesd/raw/main/taesd_decoder.pth】(适用于 SD1.x 和 SD2.x)

taesdxl_decoder.pth【https://github.com/madebyollin/taesd/raw/main/taesdxl_decoder.pth】(适用于 SDXL)模型,

并将其放置在 models/vae_approx 文件夹中。

安装后,重新启动 ComfyUI 以启用高质量预览。

模型的下载(提示语:A solo redhead woman, with blue eyes and long hair styled on one side up, is captured in a photo flirting to the camera while holding an electric guitar, wearing a black skirt and pleated skirt, while wearing headphones and showcasing her mesmerizing red lips.)

推举的模型,看着挺好看

将模型文件下载放到 models/checkpoints目录下

wget https://civitai.com/models/84728?modelVersionId=90072

ComfyUI的workflow文件可以在这边下载,是一个json文件,可以用Load选择倒入ComfyUI

https://civitai.com/models/323639?modelVersionId=362834

导入json文件的一部分(太大了)

针对模型中利用到的各种checkpoints(模型,更换下载下来的模型)

我用的是ByteDance的模型(https://huggingface.co/ByteDance/SDXL-Lightning/tree/main)可以根据自己喜好,我是选择了2step的模型,天生效果和速率都还行。

图片天生模型

缺失落的模型下载,点实行,如果模型缺失落,会涌现赤色框框。

记住模型名字,然后到 Manager的安装模型的地方去下载并安装

启动模型安装

搜索模型,然后install

模型查询和安装

缺失落的Clip模型我安装的是这个

clip模型

须要的模型文件都比较大,可以更换的有很多,可以根据须要自己下载:

实在找不到的,可以到这些地方来下载。

1. AnimateLCM Lora & Motion module(https://civitai.com/models/290375?modelVersionId=326487)

2. Dreamshaper SDXL Lightning (or any SDXL checkpoint combined with Lightning Lora) (https://civitai.com/models/112902?modelVersionId=354657)

3. Photon (or any SD1.5 checkpoint)(https://civitai.com/models/84728?modelVersionId=90072)

4. SparseCtrl rgb (available in comfy manager)(https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_sparsectrl_rgb.ckpt)

5. IP-Adaper (available in comfy manager)

6. Clip vision for IP-Adapter (available in comfy manager)(https://huggingface.co/h94/IP-Adapter/blob/main/models/image_encoder/pytorch_model.bin)

看到日志里面有个缺点,ipadapter_file 找不到对应的目录,选择不到下载模型文件

后来在 folder_paths.py 文件中按照目录构造,添加了一个居然就ok了

folder_names_and_paths["ipadapter_file"] = ([os.path.join(models_dir, "ipadapter")], [])

各种模型缺失落,通过Manger,搜索添加后。
总算可以天生视频了。

运行途中可以看到preview的效果。

天生途中

总结一下:

1、软件安装(python、ComfyUI等),workflow的json文件下载(https://civitai.com/models/323639?modelVersionId=362834)。
也便是主界面上Load的Json文件2、节点安装,首先安装Manager,然后通过Manager安装各种模型以及节点3、碰着找不到的模型,通过Manager去找比较好一些,自己找的随意马虎目录找不到4、模型文件常日比较大,下载比较费韶光,要有耐心5、天生过程韶光比较长,要有点耐心

欢迎关注和留言,有问题一起磋商。