内容比较多,须要一些耐心,紧张是下载,安装难度不是很大。如果希望能够得心应手的利用这些工具,各种参数可以逐步体会
23年末到现在AI视频一贯很火,特殊GTP的SORA,但目前为止还是期货。
我们就自己动手搭一个开源的,效果也是杠杠的。下面天生视频的效果
视频加载中...
Stable Diffuision是一个自己可控的选择,其他的pika、pixvert等也是类似的效果。
须要下载的内容:
内容比较多比较大,但想象一下自己可以做其他公司能做的东西
视频天生的逻辑:
看不懂也没紧要,我也没仔细看
详细天生的视频效果,可以到这个地方先理解一下:https://animatelcm.github.io/
一小部分的截图
铺垫的差不多了,喜好动手的下面我们可以一步一步来:
系统哀求操作系统:Windows 10/11, MacOS 10.15+, 或 Linux(Ubuntu 18.04+, CentOS 7+)内存:至少8GB RAM(推举16GB或以上)硬盘:至少10GB的空闲存储空间Python版本:3.7或更高步骤1:安装Python访问Python官网下载得当的Python版本。
安装Python时,确保选中“Add Python to PATH”选项,以便在命令行中直接调用Python。
步骤2:安装Git(可选)Windows: 访问Git官网下载安装程序并安装。MacOS: 在终端中运行 brew install git(若未安装Homebrew请先安装Homebrew)。Linux: 在终端中运行 sudo apt-get install git(Ubuntu为例)。开始安装须要的工具和软件
1、安装 ComfyUIgit clone https://github.com/comfyanonymous/ComfyUI.git
pip install -r requirements.txt
2、安装ComfyUI- Manager (管理自定义的node,例如SVD视频天生的节点等)cd ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
cd .. ; python main.py (回到上一级目录,启动 ComfyUI)
浏览器访问,可以看到Manager已经安装好了
3、通过ComfyUI-Manager 安装第三方的nodes
Manager的菜单
4、安装AnimateDiff视频天生模型和工具这些安装可以通过Manager去安装也可以手动安装,反正韶光紧张花不才载上了
ComfyUI-AnimateDiff-Evolved改进了 ComfyUI 的 AnimateDiff 集成,以及可在 AnimateDiff 之外利用的被称为“进化采样”的高等采样选项。
cd custom_nodes
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git
5、安装快速的编码器TAESD,用于生产内容的预览等默认安装包括低分辨率的快速潜在预览方法。
要利用 TAESD (https://github.com/madebyollin/taesd)实现更高质量的预览,
请下载 taesd_decoder.pth【https://github.com/madebyollin/taesd/raw/main/taesd_decoder.pth】(适用于 SD1.x 和 SD2.x)
taesdxl_decoder.pth【https://github.com/madebyollin/taesd/raw/main/taesdxl_decoder.pth】(适用于 SDXL)模型,
并将其放置在 models/vae_approx 文件夹中。
安装后,重新启动 ComfyUI 以启用高质量预览。
模型的下载(提示语:A solo redhead woman, with blue eyes and long hair styled on one side up, is captured in a photo flirting to the camera while holding an electric guitar, wearing a black skirt and pleated skirt, while wearing headphones and showcasing her mesmerizing red lips.)
推举的模型,看着挺好看
将模型文件下载放到 models/checkpoints目录下
wget https://civitai.com/models/84728?modelVersionId=90072
ComfyUI的workflow文件可以在这边下载,是一个json文件,可以用Load选择倒入ComfyUI
https://civitai.com/models/323639?modelVersionId=362834
导入json文件的一部分(太大了)
针对模型中利用到的各种checkpoints(模型,更换下载下来的模型)我用的是ByteDance的模型(https://huggingface.co/ByteDance/SDXL-Lightning/tree/main)可以根据自己喜好,我是选择了2step的模型,天生效果和速率都还行。
图片天生模型
缺失落的模型下载,点实行,如果模型缺失落,会涌现赤色框框。
记住模型名字,然后到 Manager的安装模型的地方去下载并安装
启动模型安装
搜索模型,然后install
模型查询和安装
缺失落的Clip模型我安装的是这个
clip模型
须要的模型文件都比较大,可以更换的有很多,可以根据须要自己下载:
实在找不到的,可以到这些地方来下载。
1. AnimateLCM Lora & Motion module(https://civitai.com/models/290375?modelVersionId=326487)
2. Dreamshaper SDXL Lightning (or any SDXL checkpoint combined with Lightning Lora) (https://civitai.com/models/112902?modelVersionId=354657)
3. Photon (or any SD1.5 checkpoint)(https://civitai.com/models/84728?modelVersionId=90072)
4. SparseCtrl rgb (available in comfy manager)(https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_sparsectrl_rgb.ckpt)
5. IP-Adaper (available in comfy manager)
6. Clip vision for IP-Adapter (available in comfy manager)(https://huggingface.co/h94/IP-Adapter/blob/main/models/image_encoder/pytorch_model.bin)
看到日志里面有个缺点,ipadapter_file 找不到对应的目录,选择不到下载模型文件
后来在 folder_paths.py 文件中按照目录构造,添加了一个居然就ok了
folder_names_and_paths["ipadapter_file"] = ([os.path.join(models_dir, "ipadapter")], [])
各种模型缺失落,通过Manger,搜索添加后。总算可以天生视频了。
运行途中可以看到preview的效果。
天生途中
总结一下:
1、软件安装(python、ComfyUI等),workflow的json文件下载(https://civitai.com/models/323639?modelVersionId=362834)。也便是主界面上Load的Json文件2、节点安装,首先安装Manager,然后通过Manager安装各种模型以及节点3、碰着找不到的模型,通过Manager去找比较好一些,自己找的随意马虎目录找不到4、模型文件常日比较大,下载比较费韶光,要有耐心5、天生过程韶光比较长,要有点耐心
欢迎关注和留言,有问题一起磋商。