本次参加CVPR 2021竞赛的团队来自OPPO研究院智能感知与交互研究部和OPPO美国研究所，先后在多目标行为剖析、足球行为剖析、长视频理解、时空行为检测、跨模态剖析及人机交互识别六大赛道上取得精良的成绩。他们通过对算法的优化、演习，不断强化OPPO 的AI能力，让AI更好地为人类做事。
由OPPO智能感知首席科学家郭彦东与清华学者等共同揭橥的《View-Guided Point Cloud Completion》论文，被本次CVPR所收录。该论文通过实行有效的跨模态和跨级别领悟框架，为点云补全任务提出了一套视图勾引的全新办理方案。
郭彦东表示：“非常高兴OPPO研究院智能感知与交互研究部继CVPR 2020的首次亮相后，再度取得佳绩。去年我们夺得第一名的‘极度超级分辨率感知’技能，将模糊的照片‘算’得更清晰，‘手持设备视觉定位’技能让领悟定位更精准。而这次获奖的多目标行为剖析、时空行为检测、基于多张2D图片的3D人脸重修等技能，涉及行为识别、时空动作定位、人脸识别等更繁芜、前沿的领域，能够在智能制造、智能美颜、智能家居、聪慧办公、聪慧康健、聪慧出行等运用处景发挥主要浸染。我们希望通过不断的努力，让AI能够真正地为人所用，为我们带来更智能更便捷的生活。”
值得一提的是，OPPO在多目标行为剖析（Multi-Agent Behavior）赛道中收成颇丰，其所运用的AI算法能基于特色点信息准确判别、预测动物及人在繁芜交互内容下的行为。OPPO凭借着领先的AI算法能力，从环球240多个顶尖参赛团队中脱颖而出，得到子赛项少样本行为分类任务（Learning New Behavior）第一，及传统分类（Classical Classification）与标注风格迁移任务（Annotation Style Transfer）赛项的第二与第三名。目前，这项技能正在OPPO聪慧工厂发挥着保护浸染，工人们在这套算法的赞助下，可以避免关键生产环节的错漏错放，令自身和产线更安全。
多目标行为剖析赛道
从打算智能到人本智能，OPPO让AI更“懂”人
秉持着“科技为人 以善天下”的企业义务，OPPO正在环绕“以人为本”不断构建自身AI能力。在基于多张2D图片的3D人脸重修（3D Face Reconstruction From Multiple 2D Images）寻衅赛中，OPPO自研的AI算法所还原的三维人脸模型与真实人脸偏差仅为1mm旁边，在紧张指标成绩排名中取得第二名。该算法战胜了在实际生活中，特殊是动态视频拍摄时，由于动作导致的人脸五官点不明晰、表情夸年夜、乃至图片数据失落真等问题，
事实上，OPPO自研的人脸检测算法已能够识别635个人脸特色关键点，并实现30次/秒的高速运行。在不久前发布的OPPO Reno6上，依托于该算法架构的AI焕采美妆视频技能为用户轻松打造了动态的自然美妆效果。这项技能将推动人像视频技能“升维”进化，以3D级的特色点识别、令“上妆”效果更帖服；也将在社交平台上制作出更丰富更贴合的AR殊效，让用户在日常生活中享受到技能带来的美好瞬间。
基于多张2D图片的3D人脸重修赛项
让AI理解我们所处的韶光和空间
目前，OPPO的AI能力已发展到可以识别人在时空环境中的行为状态。在足球行为剖析（SoccerNet）赛道中，OPPO取得动作定位（Action Spotting）和回放定位（Replay Grounding）两个赛项第二名，仅次于百度。这项寻衅须要在一段足球比赛视频中辨别出十几种关键动作，包括越位、红牌这类根本规则繁芜，动作幅度小，人类都很难识别的行为。同时AI算法还须要打消摄影机位不同等滋扰成分，准确定位回放片段在原始比赛视频中发生的韶光点。不久的将来，这项技能将为体育爱好者们带来福利，在比赛后AI可以实时整理精彩集锦。在该技能的帮助下，手机相册也可以自动制作类似“精彩一周”的视频集锦，让用户可以随时回顾自己生活中的美好瞬间。
足球行为剖析赛道
在跨模态行为剖析（MMact）赛道上，OPPO分别在行为识别（Cross-Modal Action Recognition）与行为定位（Cross-Model Action Temporal Localization）两个子赛项中取得第二名。OPPO强大的AI算法仅通过视觉信息便可准确识别一段视频中人物在特定空间内发生的交谈、屈膝、走动等十余种动作。该技能未来有望广泛运用在家居场景，为家中老人、小孩、宠物带来更知心的照料。纵然父母不在身边，AI也可以在宝宝下意识做出危险性动作的时候，及时提醒父母，避免宝宝受到侵害。
此外，OPPO还在时空行为定位（AVA-Kinetics）赛道得到第三名。AVA数据集作为行业内第一个开辟时空行为检测的数据集，利用该数据集的定位赛项历来是人工智能的热门赛道之一，每年不乏国际顶尖科技公司与院校的有名团队参与个中。时空行为定位算法不仅可以准确识别视频中人们的行为，还可以同步定位其所处的韶光段和空间范围。这也意味着，OPPO的AI技能不仅能理解你在做什么，还可以在时空中“找到”你。
OPPO正在向更高维度的AI技能探索
本次CVPR上，OPPO在学术界前沿领域长视频理解（LOVEU, Long-form Video Understanding）寻衅中，得到两大赛项第三名。该赛道须要AI在预先没有特定分类标准的情形下，自行理解视频的意义并分割出其边界的韶光段落。因此，对算法的泛化性提出了极大寻衅，AI须要像人一样思考，理解视频中人类动作、颜色、物品、乃至光源的变革，并对变革点进行判断。未来，这项技能可以广泛运用在视频领域，作为AI处理视频的根本工序，为后续包括人脸识别、行为识别等AI任务的选择和实行奠定根本。
OPPO研究院美国研究所参与了稠密深度估计寻衅赛道，展示了能够基于2D图像输出稠密3D深度信息的技能，得到自监督学习赛项第二名的成绩，并得到“最佳创意奖”。该技能通过利用深度学习模型直接从普通图像输出深度信息，未来有可能替代ToF这样的深度传感器，带来体验更好的室内外导航。