本日要来先容的是要如何在Diffusion Model已经能够天生险些任何东西的时期来保护自己的照片或是艺术作品。如果还不熟习Diffusion Model是什么的朋友可以参考之前的影片。
现在很多有名的画家或创作者时时时都会在网路上看到一些跟自己风格险些千篇一律的作品，像是Hollie便是有名的插画家和角色设计师。Greg听说更是大家用Stable Diffusion的时候最常利用的风格之一，已经被用来产生10万多张AI作品了。
这里是一些AI学习他们的风格之后所画出来的图，要怎么样从AI的手中保护自己的风格是一个创作者们都在关注的议题。另一方面大家可能已经听说Midjourney停滞免费做事了，主因是越来越多逼真的假照片在网路上流传，像是川普被捕入狱、教宗穿潮服开潮车等等。公众人物乃至一样平常的民众要怎么样保护自己的照片不被拿去演习然后生出假的照片？
以是本日要来先容的技能便是Adversarial Attack对抗攻击。在先容对付天生式模型的对抗攻击之前，先来先容对抗攻击被研究得更多更久的领域，也便是要如何对抗分类器Classifier。分类器可以说是电脑视觉最根本的运用之一，给他一张圆他就能够见告你里面的是什么物品。
·第一大类的方法是贴贴纸，可以理解成你贴了那个神奇的贴纸模型就认不出你或是会把你认成别的东西。像是这个喷鼻香蕉，模型本来可以很大略地认出它是个喷鼻香蕉，但是如果你在桌上放了这个吐司贴纸，在模型的眼中它就变成吐司了。
或是现在监视系统、商家很常利用的人体辨识，你带了一个牌牌就彷佛穿上了透明年夜氅一样模型就看不见你了。但是这种人消逝在机器眼中的例子实在也有它的危险性，为什么？等一下有个更明显的例子。
·第二种对抗的方法是让图片穿上透明年夜氅，像是这边的熊猫和Stop Sign，我们在圆上加上人眼辨识不出来的变革，如这边像是杂讯的东西，但加上去之后就会对模型的认知造成很大的影响。加完之后，他们在模型的眼中就变成长臂猿和Yield Sign了。
由于加完之后人眼看不出差别，以是可以想像成帮图片穿上透明年夜氅。这个年夜氅是借由某些特殊的演习办法得到的，可以想像成帮每一张图订制的一个透明年夜氅的觉得。
个中这个Stop Sign变Yield Sign的例子，大家想想看如果被人拿去对自动驾驶的模型进行攻击是不是很危险？乃至你也不用是骇客，如果有像刚刚那种贴纸到处贴在交通标志上，是不是也很危险？以是说技能都是双面刃。
那我们要来先容怎么样对抗现在盛行的Diffusion Model。我们本日会先容从利用者端要怎么样避免自己的照片被客制化模型利用，以及要怎么保护自己的作品。还有对做事端而言，要怎么样让Model能够忘却特定的观点。那我们就开始吧。
客制化模型便是你可以供应一组特定的物品或人让模型特殊记住它。这里是一个我自己跑的例子，供应一些照片，通过一个叫做DreamBooth的方法，我就可以在prompt中任意地利用这个目标，来产生各种情境或是各种风格的图。
这里大略解释一下，演习模型的根本观点。要演习模型，大略来说你要为模型设计一些目标，让他们去学。举例来说，分类器的目标便是要把分类分好，ChatGPT的目标便是要谈天聊好等等。原来的Diffusion，我们可以大略地把它的演习目标，称之为一样平常目标。
DreamBooth要做的事便是去fine tune，也便是基于已经train好的Diffusion模型下去做微调，用你供应的照片和所谓的客制目标来演习。演习好的模型便是客制化完的DreamBooth。记住了利用者供应的这组目标人物，就可以天生各种包含这个人物的圆片。
以是我们现在想做的，便是去对抗这个演习过程。我们要做的，便是去找到适宜的透明年夜氅。这个年夜氅代表的便是之条件到的人眼看不出变革的眇小变革们。
以下用年夜氅表示图片穿上透明年夜氅后一样平常的人类是看不出差别的，要怎么去找到这个年夜氅？优化的目标有3个。
·首先穿上透明年夜氅后的图片被拿去演习，DreamBooth在客制目标下仍旧要表现得很好，让DreamBooth以为自己很属害，客制化仍旧做得很好。
·再来希望年夜氅只管即便透明，让人类觉得不出穿上前后的差别。
·末了最主要的这些穿上透明年夜氅后的图片要让DreamBooth在一样平常目标下表现得很烟，也便是说这个DreamBooth只是纯挚地自以为属害而已，仿照考都考得很好，但是大考考的范围完备不一样。
这里是一个实际的例子，穿上透明年夜氅后DreamBooth生出的客制化图就会看起来乱七八糟的，或是之条件到川普被拿来生各种有的没的照片，如果把它图片都穿上透明年夜氅，DreamBooth就无法生出正常的川普客制化圆了。
接下来要讲怎么样保护作品，这是由芝加哥(大学)团队所提出的GLAZE方法。
·首先先将你的作品造作风转换，然后开始优化年夜氅，一样这边的年夜氅代表的是很小人类看不出来的变革。优化的目标有两个，第一个当然在人类的眼中看起来要一样，第二个穿上年夜氅后的圆，希望他在模型的眼中风格和那张事先造作风转换的图是一样的。
这个方法有趣的地方在于可以自己选择要转换的风格来产生不同风格的透明年夜氅，像是油画、抽象画、毕卡索等等。这是一些paper中的例子，这里有三个创作者和他们的作品，这是他们没穿年夜氅作品被拿去演习之后模型就可以轻易地学到他们的风格。这是他们所搭配的年夜氅型号，这是他们穿上斗蓬后再被演习，在模型的眼中他们的风格就和梵谷、Norman、毕卡索一样了。
·末了要来先容对付供应做事的做事端要怎么让Model去忘却某些特定观点，为什么会须要这个功能？举例来说你可能不肯望你家模型生出的图被拿去做色情的用场，或是有些创作者可能跟你说，我不肯望你们用我的风格请把我的风格拿掉。
要怎么让模型忘却一个观点？这里举Edvard Munch作为例子，他便是那位画叫嚣的画家。我们用原版的Diffusion Model，以Edvard Munch跟空缺的句子作为prompt，来产生两张圆，然后我们就可以来改版我们的Diffusion Model。
我们一样用Edvard Munch作为prompt丢进去，然后我们希望所生出来的图，跟原版以Edvard Munch作为prompt生出来的图越不像越好，而跟空缺句子所生出来的圆越像越好。在这样子的目标的演习下，我们就能够得到改版的Diffusion，他就会逐渐以为这个Edvard Munch跟空缺差不多，也便是所谓「忘却了」这个观点。
这是一些paper中的例子，它们让模型忘却了像是梵谷、林布兰、毕卡索等风格，有趣的是他们乃至可以让模型忘却特定物体，像是法国号、高尔夫球等等。
以上提到的3篇都有open source，但是Anti-DreamBooth和Erasing Concept，两个可能都须要一些程式根本，比较好安装与利用。而GLAZE有供应完全的软体，增援Windows和Mac，要把稳他们目前Windows不担保在所有的主机都增援GPU，而Mac的版本也哀求至少要13.0版以上。大家有兴趣都可以玩玩看。
如果有问题或是想看我实际示范，也都欢迎不才面留言。
一个大略的总结，现在的Diffusion Model太猛了，我们须要有方法来限定它，对做事方来说要能够让供应的模型忘却特定的观点风格或是人物，对利用者而言，要能够利用各种透明斗蓬来保护自己的照片和作品。但是有攻就会有守，之后想必也会有方法来反制目前这些方法，以是攻防势必还会持续好一阵子。
那本日的分享就到这边，如果大家还有什么想知道的题目，也欢迎不才面留言。