那么，如何在视频中实现用户无感知、低本钱、流畅的广告植入呢？答案便是通过 AI 技能，自动识别视频中得当的广告位，并自动插入干系的广告素材。
2算法框架算法概述我们的算法由目标检测模块、区域分割模块、广告更换模块和环境光渲染模块四个部分组成。
(1)输入端是一段视频或者视频流输入到广告区域检测模块，检测广告植入区域和广告区域遮挡物；
(2)对广告植入区域进行处理，若有遮挡则进行遮挡处理，先将遮挡物分割出来。若无遮挡则不处理；
(3)将遮挡处理后的结果送入广告更换模块，打算基于前后帧的视角变换矩阵，将广告绘制到待植入区域中；
(4)对植入广告后的新视频帧送入环境光渲染模块，进行光芒环境领悟。
下面分模块描述每部分算法。
目标检测在一段视频中，到底哪些地方是得当植入广告的区域呢？一个很大略的思路便是对原来存在广告的区域进行更换。那么问题就转变成了检测广告。广告紧张分为两大类，一类是生活事情中的商品，自然广告；另一类是广告商做的广告牌广告，如公交亭后面的广告区域、街头的电子广告屏幕等等。本次算法紧张针对第二种进行谈论。
目标检测算法主流的紧张分为两类，一类是两阶段算法，另一类便是一阶段算法。在工业界，由于对检测速率和准确率等哀求较高，以是一阶段系列算法运用更广泛。本算法选取的是一阶段算法。在 5 帧/秒到 160 帧/秒范围内，其速率和精度都超过了大部分已知的目标检测器，在 GPU V100 已知的 30 帧/秒以上的实时目标检测器中，准确率最高。
算法网络网络紧张包含了 Input(输入)、Backbone(骨干网)、Neck(颈部)、Head(头部)这四个部分。首先，图片经由输入部分数据增强等一系列操作进行预处理后，被送入骨干网，骨干网部分对处理后的图片提取特色；随后，提取到的特色经由 Neck 模块特色领悟处理得到大、中、小三种尺寸的特色；终极，领悟后的特色被送入检测头，经由检测之后输出得到结果。
区域分割
在实际生活中，广告有时会被行人或其他物品遮挡。想象一下，在公交站台上，您正准备植入某个广告，但行人挡住了一部分广告内容。那么，如何透过行人进行广告植入呢？这便是我们分割技能发挥浸染的时候了。我们首先将遮挡物体进行分割，再插入广告，然后规复遮挡的行人或物品。通过这种方法，我们可以实现无缝广告插入，同时保持场景的完全性和真实性。
由于遮挡物的多样性和不愿定性，特定的行人分割模型或者其他多类的分割模型每每无法知足这种场景的需求。为理解决这个问题，我们利用处理图像分割任务的通用模型，完美地办理了多样性和不愿定性这两个难题。它能够准确地分割各种遮挡物体，无论是行人、物品还是其他障碍物，都能得到精确的分割结果。这样我们能够高效地处理各种遮挡情形，并为顺利进行广告植入，供应了更大的灵巧性和准确性。
处理图像分割任务的通用模型先容模型构造分为三部分：Prompt Encoder（提示编码器），Image Encoder（图像编码器）和 Mask Decoder（分割解码器）。模型支持点坐标、检测框、分割图和文本描述四种提示，提示编码器和图像编码器分别对提示和图像进行编码，再将抽取的提示特色和图像特色输入分割解码器中，终极得到分割图。
我们将算法模型和处理图像分割任务的通用模型串联，图片经由检测模型后输出检测框，然后将检测框和图片一起输入处理图像分割任务的通用模型中，得到检测目标的分割图。
广告更换
常规思路是利用检测器检测广告牌区域->进行仿射变换->植入广告。经实验证明，由于是对视频做广告植入，只管前后帧视角变革眇小，但是组合成视频后还是会抖动巨大。
既然植入广告的视频会抖动，那肯定是人为不雅观察到了前后帧植入广告区域的差异，能否打算前后帧视角变革，得到对应的视角变换矩阵后，再进行仿射变换植入广告呢？
实践是考验真理的唯一标准，经由多次实验，该理论是行得通的。我们分别考试测验了深度学习方法的 superPoint、MatchFormer 等角点检测和传统 Sift、Orb 等角点检测方法，实验证明 Sift 算法鲁棒性更好。
Sift（Scale-invariant feature transform）：尺度不变特色变换。Sift 算法是一种基于局部兴趣点的算法，因此不仅对图片大小和旋转不敏感，而且对光照、噪声等影响的抗击能力也非常精良，因此该算法有着非常强的鲁棒性，以是在目标检测和特色提取方向霸占着重要地位。
Sift 算法紧张分为四个步骤Scale-space extrema detection(空间尺度极值点检测)：通过利用高斯差分函数来打算并搜索所有尺度上的图像位置，用于识别对尺度和方向不变的潜在兴趣点。Keypoint localization(关键点定位)：通过拟合风雅的模型在每个候选位置上确定位置和尺度，关键点的选择依赖于它们的稳定程度。Orientation assignment(方向匹配)：基于局部图像的梯度方向，为每个关键点位置分配一个或多个方向，后续所有对图像数据的操作都是相对付关键点的方向、尺度和位置进行变换。Keypoint descripto(关键点描述)：在每个关键点周围的区域内以选定的比例打算局部图像梯度，这些梯度被变换成一种表示，这种表示许可比较大的局部形状的变形和光照变革。环境光渲染
在完成广告更换后，只管办理了抖动、遮挡等问题，但原场景特定的颜色、光芒、亮度等，会使得植入广告略显突兀。
那怎么才能使得广告融入主体呢？我们采取了环境光渲染策略，将广告和原场景更好地融为一体。
详细算法流程如下：
将图像从 RGB 转换为 ℓαβ 颜色空间统计和色彩校正3效果展示