字节跳动的研究团队开拓了一种名为PULID(Pure and Lightning ID Customization)的前辈文本到图像天生技能。这项技能能够在单张参考图像的根本上,快速天生具有高度个性化特色的图像和视频,同时保持身份ID的精确度和图像的可塑性。
视频加载中...
PULID的紧张功能包括:
风格变更:轻松改变图像风格,保留身份特色。知识产权(IP)领悟:无缝整合不同IP元素,创造独特视觉效果。配饰修正:调度角色配饰,保持整体折衷性。重新情境化:将角色置于不同背景,保留核心身份特色。属性编辑:细致调度角色属性,如发型、肤色等。艺术风格转换:实现风格平滑过渡,供应多样化视觉选择。ID稠浊:领悟多个身份特色,创造富有层次的角色形象。PULID的上风: PULID技能许可用户对预演习的T2I扩散模型进行个性化定制,匹配独特身份特色。与传统基于微调的方法比较,PULID供应了一个经济高效的个性化图像天生办理方案,战胜了原始模型行为滋扰和风格退化问题。
技能事理: PULID通过精心设计的算法和演习过程,在天生个性化图像的同时,最大程度地保持了原始模型的行为和图像的风格同等性。
效果评估: 文章通过比拟有无对齐丢失的演习模型,展示了PULID技能在嵌入身份ID时的上风,避免了原始模型行为的扰乱。
实际运用案例:
手办玩偶:天生具有卡通风格的角色手办图像。测试图:
效果图:
woman,cartoon,solo,Popmart Blind Box, Super Mario, 3d
矢量插画:创作具有扁平化剪纸风格的人物肖像。
测试图:
效果图:
portrait, flat papercut style, silhouette, clean cuts, paper
油画风格:绘制具有印象派画风的肖像画。
测试图:
效果图:
portrait, impressionist painting, loose brushwork, vibrant color, light and shadow play
项目资源:
GitHub地址:https://github.com/ToTheBeginning/PuLID
技能论文:https://arxiv.org/pdf/2404.16022
在线体验:suanyun.cn
#ai##写真##头条创作寻衅赛##头条首发大赛#