最近可谓是足球的一场狂欢盛宴，大家不知道是走上了晒台，还是足球反买，别墅靠海。个中也有几场比赛引起了环球范围的谈论，例如阿根廷爆冷输给沙特的比赛，个中对付阿根廷几次越位的判罚引起了很大争议。而日本队上演了一出电影都不敢这么拍的剧情，在小组赛中依次降服德国和西班牙并以小组第一的身份成功在去世亡之组突围，并在对阵西班牙时一例界外球的判断引发了网络热议。另一场葡萄牙2比0降服乌拉圭的比赛中，C罗到底有没有顶到球也引发了网友的谈论。
虽然人工智能技能已经渗透到了生活的方方面面，但提到足球与AI的时候，大部分人的第一反应仍旧是这两者有什么关系吗，AI是怎么运用到足球中的呢？但其实在足球场景中科技前沿一贯致力于对运动员行为的智能剖析与自主剖断，AI与足球已经进行了深度结合，最近比赛中涌现的半自动越位技能的利用，足球内嵌传感器等等。在国外用AI进行足球智能剖析或者赞助球队演习的演习已经非常成熟，乃至达到了商用级别。例如Pixellot，是一家基于AI技能供应体育完全办理方案的公司，其与巴塞罗那足球俱乐部达成了互助协议，在演习场内支配四台相机矩阵来捕获园地全景，并自动追踪足球和球员的动作，供应天生演习视频等功能。下面就让我们浅谈下那些足球中的智能剖析技能。
二 足球视频智能剖析事理
首先，要回答为什么进行足球视频智能剖析，以及剖析视频中的什么内容呢？
技能的快速发展促进了视频记录和媒体存储设备的扩展和生产。 如今，每分钟约有 500 小时的视频内容上传到 YouTube 等网站，环球不同用户每天不雅观看约 50 亿个视频。 在这些视频中，体育视频特殊是足球比赛视频非常受欢迎，由于足球是天下上最具吸引力的运动之一。足球比赛的吸引力和盛行度引起了球迷的关注，足球视频常日是是被用户不雅观看次数最多的视频类目之一。 足球比赛的持续韶光长被视为其特点之一，这在某些情形下可以被视为上风，而在其他情形下则可以视为劣势。 如此长的持续韶光导致许多人不会完全不雅观看 90 分钟的足球比赛，然而另一方面，他们打算至少不雅观看最主要和最激动民气的比赛时候。 因此，通过图像/帧或视频处理对足球视频进行剖析的综合研究变得尤为主要。
如今，深度学习方法在图像和视频剖析中展现出了卓越的效果，足球视频智能剖析是指利用打算机视觉技能等检测并跟踪足球、球员等，并智能识别比赛中任意球、射门、进球等关键时候，对付剖析比赛统计数据、预测足球比赛结果、总结足球比赛视频等有主要浸染。
那么足球视频智能剖析都在做什么呢？要进行足球视频智能剖析，首先要找到足球视频中我们所关注的目标，有足球、球员、守门员、裁判、球场、球门、红黄牌，我们会不才文简要先容足球与球员的检测与跟踪。找到这些目标之后，须要将足球与球员的坐标投影到球场平面上，我们才能判断各种交互关系。末了，我们基于足球、球员的位置可以进行任意球、射门、进球等关键事宜的识别，这一部分会不才文关键事宜识别部分先容。
2.1 足球与球员的检测与跟踪
正如上文提到，足球视频智能剖析，首先要找到一段足球视频里我们所关注的目标，只有检测到这些基本目标后才能进行更智能的剖析。对付根本目标检测可以拆解为以下几个问题：
参考系统和球员位置映射(如何将球员位置从摄像机视图投影到2D平面)；物体检测(球员/球/裁判是什么以及在哪里)；工具跟踪(也便是如何跨帧跟踪实体)；球员识别(也便是如何跨帧识别球员)；球员身份识别(如何确定一名球员属于哪支球队)。
其详细流程为，给一定一段待处理的视频，我们利用目标检测（足球、球员检测）顺序处理每一帧，球场和球门的检测只须要在视频开始阶段处理；一旦我们有了一系列险些连续的检测结果，我们就可以开始跟踪每位球员并识别其所属的军队。 同时，我们通过摄像机估计足球场的位置，并将每个球员的位置从图像坐标系投影到球场俯视平面。接下来我们对个中涉及的部分技能进行先容。
2.1.1 足球与球员检测2.1.1.1 足球检测难点：
准确高效的足球和球员检测是足球视频智能剖析的关键要素。从足球比赛的长镜头视频片段中检测球是一个具有寻衅性的问题，使球定位变得困难的成分有以下几点。 首先，与场景中可见的其他物体比较，球非常小，而且它的大小根据位置的不同而有很大的不同，在足球比赛的长镜头记录中，当球位于球场的远端，与摄像机相对时，球可能看起来小至8个像素，当它在园地的近侧时，球会大到20个像素。 在如此小的尺寸下，很难将足球与球员身体的某些部位（例如头部或白袜子）或凌乱的背景区分开来（例如球场上的小垃圾或运动场广告的一部分）。
足球的形状也会发生变革，当它高速移动的时候会变得模糊，变成椭圆形而不是圆形，而且由于阴影和光照变革会导致我们看到球的颜色涌现变革。 当球员控球或足球被球员部分挡住的情形下检测也会变得困难，在这种情形下，基于运动背景减法的大略球检测方法会失落败。下图解释了足球外不雅观的变革和足球检测任务的难度。
2.1.1.2 球员检测难点：
球员比球的尺寸要大，常日更随意马虎被创造。但在某些情形下，球员的检测也可能会涌现问题。球员有时会彼此紧密打仗导致球员部分肢体被遮挡。由于在球场上绊倒和跌倒，他们也可能会摆出不屈常的姿势。下图展示了有关球员检测任务难度的示例图像。
2.1.1.3 足球与球员检测方案：
我们利用一个检测网络同时检测足球和球员，在模型构造设计上，采取双backbone的架构，并利用RepVGG的重参数化卷积模组，演习时学习多路特色，推理时合并为单路，加快推理速率。
为理解决足球目标过小的问题，在网络Neck部分利用FPN(Feature Pyramid Network )，可以更有效地将高分辨率但low level的特色图与编码high level特色具有更大感想熏染野的低分辨率特色图结合起来。这一操作通过更大的视觉语境可以将球与球员身体的部分和背景部分区分开来，提高了在困难场景下足球的定位和检测精度。详细来说，利用PAN，同时利用自顶向下和自下而上两条路径来领悟特色。
为理解决足球发生形变、模糊、遮挡导致的检测失落败问题，利用FairMOT的跟踪算法来建立足球的运动轨迹，纵然目标丢失时也能结合历史帧的轨迹预测目标所在的位置。
为理解决球员相互遮挡的问题，我们在grid的划分策略上做了处理。通用的单阶段目标检测方法常日将图像划分为相对粗略的网格（例如 YOLO 中的 7x7 网格），并且每个网格单元检测不超过一个具有特定纵横比的感兴趣目标。 当两个球员彼此靠近时，检测结果就会发生缺点。因此我们利用更密集的网格，对付 1920x1080 像素的输入图像，我们利用 480x270 网格（输入图像尺寸缩小 4 倍）进行足球检测，利用 120x68 网格（输入图像尺寸缩小 16 倍）进行球员检测，这样就可以将两个靠近的球员检测为两个独立的工具。
为理解决球员跌倒或其他奇怪姿势时的球员检测问题，我们还其余加入了瑜伽数据集进行演习，这个数据集里存在各种各样的瑜伽姿势，可以有效提升奇怪姿势下球员检测的精度。
同时在演习时，我们利用了Mosaic增强、RandAugment的数据增广办法，正则化利用Label Smoothing，标签匹配策略上采取SimOTA的动态匹配策略，来优化检测的效果。
2.1.1.4 足球与球员检测效果：
下面的视频展示了足球和球员的检测效果。
2.1.1.5 足球与球员的跟踪：
目前为止我们只是对每一帧实行相同操作，并没有建立韶光维度的联系。但是如果我们想通过检测结果建立每个球员的运动轨迹，同时想应对检测失落败的情形，就须要一个精准的多目标跟踪器，并配以卡尔曼滤波来完成我们的目标。跟踪器是完备基于位置的，并从球员检测器接管一系列检测框作为不雅观测结果，这些不雅观测结果与跟踪工具(卡尔曼滤波预测的结果)通过二分图匹配，将分配问题公式化为最小权重匹配问题进行求解。
然后，利用一个大略的跟踪逻辑定义被跟踪工具的生命周期（活动/非活动），并确保通过不雅观察更新卡尔曼状态。
2.1.2 球员所属军队、裁判、守门员
足球军队都是两支由在球场上穿着相同球衣的球员(加上裁判和守门员)组成的球队，可以利用K-means 算法对球员进行聚类。详细为利用球员检测框在HSV颜色空间年夜将两个球队聚类，并利用tf-idf权重过滤掉每个检测框中的绿色草地。裁判和守门员可以检测为一类分外的“离群值”，离球门更近的为守门员，同时还要根据进攻方向确定守门员的归属。
2.2 将足球和球员坐标映射到球场平面
这项任务须要将球员位置从2D图片中投影到球场的俯视平面上。详细来说我们首先选取几个关键点，球场禁区线的四个点，中场线的点，然后就可以布局仿射变换矩阵。在我们从图像中得到球员的坐标后，就可以利用仿射变换矩阵将球员坐标变换到球场平面上了。
2.3 关键事宜识别关键事宜识别紧张是指对足球比赛中的一些关键时候，例如射门、任意球、角球、进球等的识别。上文提到的足球和球员等目标的检测完成了对足球比赛中客不雅观存在工具的剖析，而关键事宜识别则上升到了事宜的维度，这里的事宜是指行为或者状态，射门、任意球、角球是行为，进球是状态。
足球、球员等目标的检测，与关键事宜识别这两者的关系就好比与识字和读书，识字意味着我们知道一句话中的每个字怎么读，但并不理解这句话所表达的意思，但读书就意味着不仅识字还能理解这句话所表达的意思，因此关键事宜识别是一种更高阶、更富含语义的行为。
关键事宜的识别一样平常是对某个时序片段的识别，如果利用LSTM对时序序列进行分类的办法，数据的获取与标注都是极大的问题，因此我们更多采取状态判断的办法对时序片段剖析，如果达到了所有我们所哀求的状态，则该事宜被成功识别，这种办法无需数据的依赖以及模型的演习。
2.3.1 射门识别
这一步须要用到足球检测，球员检测以及球门检测。对付待剖析的视频片段，射门识别是通过以下流程检测得到的：
打算足球的运动特色（速率、加速度、足球与球门位置关系），将运动特色与预设条件进行比对，确定一些候选射门片段。根据候选射门片段，确定候选射门者。对候选射门者进行人体姿态剖析，判断其是否知足射门姿势，如知足，则发生了射门行为。足球的运动特色，紧张包括足球运动过程中速率、加速度、与球门位置关系的打算。首先可以对根本目标检测到的足球进行跟踪，得到足球的运动轨迹，然后根据轨迹打算运动特色，并将运动特色与预设射门条件匹配。预设的射门条件是指足球的运动状态溘然改变，向球门的方向做加速运动。匹配紧张为对速率、加速度与位置向量的夹角是否知足阈值进行判断，速率方向是向量，加速度方向也是向量，位置向量是足球位置指向球门位置的向量，因此分别判断速率方向向量与位置向量，加速度方向向量与位置向量的夹角是否小于设定的阈值，这样确保了球是朝着球门做加速运动的，因此我们可以挑选出候选射门片段。
有了候选射门片段后，须要确定有哪些人可能发生了射门行为。详细确定候选射门者的方法为，对付候选射门片段，打算每一名球员与足球的间隔，如果间隔小于设定阈值，则作为候选射门者，画面里没涌现球员的帧会被忽略。
有了射门候选者后，我们仍不能确定一定是发生了射门，例如球员在传球时，足球碰到了某名球员从而发生反弹，弹向球门。因此我们须要进一步确定候选射门者，通过对候选射门者的身体姿态剖析，我们可以确定是不是发生了射门行为。像刚才提到的球反弹到其他球员身上知足射门条件的，此时候选射门者的身体姿势是不符合射门姿势的，因此该射门候选片段会被判断为无效射门。
2.3.2 进球识别
进球是一场足球比赛中最主要的时候，因此对付进球的自动检测对付足球视频智能剖析有重大意义。进球识别须要足球检测、球门检测。进球识别紧张有以下流程：
判断足球与球门的位置关系，如果足球在球门外则肯定没进球。判断足球运动轨迹，如果足球轨迹发生了大角度的突变，或者轨迹的运动速率逐渐衰减为0，则确定为进球。点击查看原文，获取更多福利！
https://developer.aliyun.com/article/1115429?utm_content=g_1000366262
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开拓者社区不拥有其著作权，亦不承担相应法律任务。详细规则请查看《阿里云开拓者社区用户做事协议》和《阿里云开拓者社区知识产权保护指引》。如果您创造本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将急速删除涉嫌侵权内容。