在本文中,让我们来看看可以为你供应帮助的六大开源图像天生模型。如果你须要在WebGL运用中为3D模型自动设置AI天生的纹理,可以是用DreamTexture.js开拓包,非常方便:
https://tools.nsdt.cloud/DreamTexture
1、DeepFloyd IF在 Stability AI 的支持下,DeepFloyd 研究小组的开源文本到图像模型 DeepFloyd IF 结合了逼真的视觉效果和措辞理解。 它采取模块化设计,具有固定的文本编码器和三个互连的像素扩散模块。 初始模块根据文本提示天生 64×64 px 图像,而后续超分辨率模块则创建分辨率不断增加的图像:256×256 px 和 1024×1024 px。 全体模型利用源自 T5 转换器的冻结文本编码器来提取文本嵌入。 然后将这些嵌入用于 UNet 架构,并通过交叉把稳力和把稳力池进行增强。 结果,该模型超越了现有模型,在 COCO 数据集上取得了令人印象深刻的零样本 FID 分数 6.66。
可以在这里查看DeepFloyd IF的 GitHub 存储库。
2、Stable Diffusion
潜在文本到图像模型 Stable Diffusion v1-5 将自动编码器与扩散模型合并,以创建照片般逼真的图像。 它已经在广泛的 laion-aesthetics v2 5+ 数据集上进行了演习,并在 512×512 像素的分辨率下微调了超过 595k 步,该模型具有基于任何给定文本输入天生高度逼真的图像的卓越能力。
Stable Diffusion可以灵巧地从各种潜在空间天生图像,而不是局限于一组固定的文本提示。 它对大型图像数据集的演习使其能够更深入地理解图像特色,从而天生更逼真的图像。
Stable Diffusion v1-5 可在 Diffusers 库和 RunwayML GitHub 存储库中访问。 可以访问这里查看源码。
3、OpenjourneyOpenjourney 是一个免费的开源文本到图像模型,它在超过 124k Midjourney v4 图像的数据集上进行演习,以 Midjourney 风格天生 AI 艺术。 这是稳定扩散的微调。
Openjourney 由领先的提示工程网站 PromptHero 开拓,是 HuggingFace 高下载量第二高的文本到图像模型,仅次于 Stable Diffusion。 用户更喜好 Openjourney,由于它能够以最少的输入天生令人印象深刻的图像,并且适宜作为微调的基本模型。
单击此处访问Openjourney模型。
4、Dream Shaper深受粉丝喜好的 Dream Shaper V7 基于扩散模型架构构建,引入了 LoRA 支持和整体真实感方面的改进。 它建立在版本 6 中的增强功能的根本上,个中包括增加的 LoRA 支持、总体样式改进以及更好的 1024 像素高度天生(只管建议在利用此功能时小心)。
Dream Shaper天生具有噪声抵消的逼真图像,并通过 booru 标签增强动漫风格的天生。 它还提高了较低分辨率下的眼睛性能,作为早期版本的“修复”。 3.32 版“剪辑修复”的影响可能与 3.31 版有所不同,建议将其用于混音。 它还涉及修复和修复。
如果想理解有关Dream Shaper的更多信息,请查看此内容。
5、Dreamlike PhotorealDreamlike Photoreal 2.0 是基于稳定扩散 1.5 的真实感模型。 由 DreamlikeArt 制作,你可以通过将照片合并到提示中来增强天生图像的真实感。
为了得到最佳结果,请利用非方形纵横比。 对付肖像风格的照片,建议利用垂直纵横比,而水平纵横比更适宜风景照片。 Dreamlike Photoreal模型是在尺寸为 768×768 像素的图像上进行演习的,只管它也可以有效处理更高分辨率(如 768x1024px 或 1024x768px)。
Dreamlike Photoreal在做事器级 A100 GPU 上运行,均匀天生速率为 4 秒,超越 8 倍 RTX 3090 GPU 的性能。 它能够同时处理多达 30 个图像并同时天生多达 4 个图像,确保了高效的事情流程。 它包括多种功能,如放大、自然措辞编辑、面部增强、姿势、深度、草图复制等。
可以在这里访问Dreamlike Photoreal模型。
6、Waifu Diffusion末了但并非最不主要的一点是,我们有 Waifu Diffusion,它是稳定扩散模型的微调版本 (1.3),源自稳定扩散 v1.4。 该模型专门用于天生逼真的动漫风格图像,并因其令人印象深刻的多样性和高品质而得到认可。
Waifu Diffusion模型在从 booru 网站得到的 680k 文本图像样本数据集上进行演习。可以在这里查看Waifu Diffusion的 GitHub 存储库。
原文链接:http://www.bimant.com/blog/top6-text-to-image-ai-models/