AI科技评论宣布

编辑 | 陈大鑫

6月28日，打算机视觉领域顶级会议 CVPR 2021 竞赛结果已全部揭晓，阿里巴巴视觉算法团队成绩领跑环球，共斩获16项天下冠军，覆盖图像及视频内容理解、遥感影像剖析、视觉问答等场景，多项研究可帮助盲人感知物理天下、识别农业领域磨难等。
CVPR是AI领域最顶级的学术会议之一，会议每年都会吸引环球顶级高校及Google、微软、Facebook等科技企业参加，近几年，该会议的主题逐渐从纯挚的学术互换延伸至学术与运用结合的探索，而中国企业也迎来了高光时候，在论文数量级竞赛冠军数上均有不俗表现。
据悉，阿里巴巴达摩院视觉实验室、手淘算法等团队这次参与了多项高难度视觉任务竞赛，终极在16项竞赛中击败国内外科技公司及高校，斩获16项天下冠军。
一、在ActivityNet Dense Video Captioning竞赛中，参赛团队算法须要基于一段视频天生前后连贯的句子描述，以帮助盲人理解视频内容。
AI基于视频天生前后连贯的句子描述
在该竞赛中，达摩院创新性采取SOTA视频网络及多模态特色领悟，同时办理了事宜序列描述的问题，可高效AI理解视频内容，终极以METEOR score 10.33的成绩得到第一名。
在其余两项竞赛中，达摩院AI算法还准确识别了盲人拍摄的低清晰度照片，帮助盲人看清图片内容。
二、视觉技能在农业场景的探索是近两年的热门话题，在本届CVPR中，达摩院经办了AGRICULTURE-VISION CHALLENGE监督和半监督两大赛道冠军。
竞赛须要参赛团队基于遥感航拍影像来识别农业磨难，例如农作物成长过程中的干旱、洪涝等农业磨难类型。
达摩院AI Earth精准识别农作物成长过程中的干旱、洪涝等农业磨难
达摩院AI Earth采取了对抗学习、颜色语义勾引、域归一化和双表征网络等方法，有效办理弱纹理、样本不平衡、颜色敏感、跨域等难题。
未来，该算法可运用于精准农业、农业资产盘点、农业磨难定损等领域。
三、视频行为理解是一贯都被认为是一项非常具有寻衅性的任务，达摩院针对该问题研发了技能框架 EMC2，办理了视频背景繁芜、视频人物相互遮挡及视频分辨率不敷等滋扰问题，终极在ActivityNet、AVA-Kinetics、Epic-Kitchens、HACS等视频理解竞赛中得到 5项冠军。
基于达摩院EMC2技能体系的算法斩获5项冠军
据先容，该技能体系已在视频搜索、版权保护、视频交互等场景利用。
达摩院参赛团队表示，“打算机视觉领域的研究热点每年都在变革，AI算法须要面临的任务场景也越来越繁芜，纯挚的算法创新很难在实际问题中有好的表现，我们的算法领悟了多项创新技能，并且在视频会议、农业、电商等领域大规模利用。
”
据先容，达摩院在CVPR期间还主理了第二届大规模商品图像识别竞赛，终极共有623支军队报名注册，冠军模型识别准确率超去年10%。
以下AI科技评论对以上达摩院AI EARTH经办CVPR农业遥感影像两项冠军做一详细先容。
一、AGRICULTURE-VISION CHALLENGE半监督赛道
1、背景
第二届 CVPR AGRICULTURE-VISION CHALLENGE 是基于遥感航拍影像的农业磨难识别寻衅赛，竞赛聚焦于农作物成长过程中干旱，洪涝等农业磨难类型识别，和监督任务不同的是，半监督竞赛有着大量的原始无标注数据，如果充分利用无标注数据是半监督竞赛差异于监督竞赛的难点。
2、成绩
针对半监督任务，达摩院通过增强数据增益和模型纠偏，来充分利用大量的无标签数据，终极达摩院以56.1 mIoU的成绩取得了半监督任务赛道的第一名，比较第二名提高了4.1个点。
3、农业竞赛的难点：
竞赛紧张有弱纹理，样本不平衡，颜色敏感，跨域等困难点。
4、算法创新先容
4.1 Semi-Supervised via Strong Augmentation
针对该数据集的半监督问题，达摩院根据自研的方法，首先利用teacher在有标签数据上进行演习，学习得到的模型，对无标签数据打伪标签，利用伪标签+有标签的数据结合在一起，利用strong augmentation的方法，如上图中间所示，进行student模型的演习，但是达摩院创造如果直接进行模型的演习结果并不会有明显的提升，以是达摩院利用最右侧的distribution-specify batch normalization的方法，将strongaug与weekaug进行不同的bn层统计，避免了strongaug对演习的影响。
4.2 Semi-Supervised via model calibration
在推理过程中须要确定伪标签是否精确，如果是非精确的话，那么就该当剔除。
一样平常来说通过卡阈值的方法可以实现部分的能力，但是模型的输出并不代表了置信度，也便是说大于阈值的区域并不是解释该结果对该区域有很大的把握是能够预测精确的。
以是根据此，达摩院首先对模型的数据进行纠正，让模型的输出与置信度之间构建联系。
达摩院通过对数据集的划分，分别在不同的数据集上进行推理测试，测试得到的结果打算ECE，通过ECE的反馈估计出合理的阈值范围，终极利用该阈值，打伪标签时，仅仅保留大于该阈值的区域，其他区域均划分为ignore区域。
5.未来运用处景？
干系技能可以运用在地物识别，农作物识别等领域；业务上，可以实现精准农业，农业资产盘点，农业磨难定损等业务中。
二、AGRICULTURE-VISION CHALLENGE监督赛道
1、背景
第二届CVPR AGRICULTURE-VISION CHALLENGE 是基于遥感航拍影像的农业磨难识别寻衅赛，竞赛聚焦于农作物成长过程中干旱，洪涝等农业磨难类型识别，具有地域广，韶光长和种别多等特点，是目前农业领域数据量最大，场景最繁芜的寻衅赛。
磨难图片展示
2、成绩
凭借在农业领域的履历，充分利用了农业竞赛的数据的特点，具有针对性的设计了数据处理，网络构造和组合优化等方法，终极达摩院以56.8 mIoU的成绩取得了监督任务赛道的第一名，比较第二名提高了3.4个点，比官方基线提升了13个点。
3、农业竞赛的难点：
竞赛紧张有弱纹理，样本不平衡，颜色敏感，跨域等困难点。
4、算法创新先容
4.1 针对跨域问题，达摩院通过域规范化的方法来减弱不同域间差别；针对弱纹理问题，通过网格级联来引入更多背景信息，增强前背景的比拟度。
4.2 针对样本不平衡问题，达摩院通过域内对抗学习和平衡采样来增加少样本对抗丢失，增加少样本泛化能力。
4.3 针对颜色敏感问题，达摩院用图像的颜色相似性来勾引高层语义特色的学习，来增加高层语义特色分布的颜色同等性。
4.4 MRFM泛化演习
该方法可以将原始模型进行扩展，增加演习参数提高模型演习的表达能力，但是由于竞赛对模型参数量有哀求，所以为了避免参数量的增加，达摩院通过公式打算，可以将上述的模型转换为最右侧的模型推理过程的形态。
该模块具有两个上风，一方面可以任意扩展，其余一方面在提升模型性能的同时，不会增加更多的参数。

阿里刚刚在CVPR竞赛中斩获16项冠军三项研究资助盲人看见世界

5、未来运用处景
达摩院未来干系技能可以运用在地物识别，农作物识别等领域；业务上，可以实现精准农业，农业资产盘点，农业磨难定损等业务中。
扫码直接加入CVPR2021顶会互换群：
由于微信"大众年夜众号试行乱序推送，您可能不再能定时收到AI科技评论的推送。
为了第一韶光收到AI科技评论的宣布， 请将“AI科技评论”设为星标账号在看”。