2021欧洲杯足球赛近日“姗姗来迟”，牵动了无数球迷的心。精彩的球赛视频背后，令人意想不到的是AI技术正在重塑体育视频产业的内容生产方式。

在近期举办的国际计算机视觉与模式识别顶会CVPR 2021上，视频理解领域 具影响力的International Challenge on Activity Recognition (ActivityNet) workshop旗下多个竞赛公布榜单。竞赛吸引了百度、阿里、字节跳动、腾讯、华为等知名企业和清华、北大、斯坦福、麻省理工学院、中科院等国内外高校和机构参与。其中，全球首个以足球比赛视频的全方位理解为目标的SoccerNet-v2足球视频理解竞赛中，百度研究院以绝对优势夺取了全部两项任务的冠军。

百度拿下全部两项任务冠军

本届竞赛所使用的 SoccerNet-v2数据集在足球理解领域规模 大，包括500场来自2014到2017年三个赛季的欧洲足球五大联赛和欧洲冠军联赛的视频，视频总时长达到764小时，人工标注达30万个，成为国际AI团队间衡量足球视频理解能力的重要标准。

双任务项目夺冠 大幅提升基线平均mAP

本届SoccerNet-v2竞赛下设了事件定位(action spotting)和回放溯源(replay grounding)两个任务。其中，事件定位(action spotting)是从足球比赛实况转播视频中找到一些关键事件并确定其发生的时刻。关键事件包括17个类别，涵盖进球、点球、任意球、红牌、黄牌、角球等重要事件，以及犯规、越位、射正、射偏等人类也难以立刻分辨的事件。同时有一部分事件甚至并未被直接拍摄到，需要根据上下文来推测，这也是对视频动作识别和事件检测能力的一个挑战。

回放溯源是(replay grounding)是把足球比赛转播视频中的回放片段和原始事件进行匹配。在足球比赛视频中一个精彩事件发生之后往往有多次回放，且回放和原始事件之间可能会相隔长达上百秒，拍摄视角也经常不同，能否将回放片段和原始片段匹配是对超长距离视频理解能力的一项考察。

百度研究院图文转视频VidPress团队专注于算法研究和应用创新，此次拿下两项任务的冠军，展现出了超群的技术实力。系统采用两阶段的方法，首先特征提取器提取足球视频特征，再将提取出的特征作为 二阶段具体任务模块的输入，进行事件定位或者回放溯源。

事件定位和回放溯源的系统流程

在特征提取阶段，团队认为在足球视频上微调过的特征提取器更有利于提升事件定位和回放溯源两个下游任务的表现，因此在SoccerNetv2数据上微调了五种预训练的特征提取器模型：TPN、GTA、VTN、irCSN和I3D-Slow。这五种特征提取器模型均是 近年来视频理解领域在分类任务上表现优异的模型，在标准数据集Kinetics-400上的成绩也名列前茅。

在五种特征提取器模型之上，团队也充分利用数据，设计了多种微调特征提取器模型的策略、开发了提取特征的新方法。得到每种特征提取器在足球视频上提取的特征后，将五种特征连接起来并做了归一化处理，使得优化后的特征对足球比赛视频具有强大表达能力，为后面的下游任务打下了坚实基础。

在事件定位和回放溯源阶段采用了Transformer结构。Transformer架构的特点是更清晰、更标准化、模型容量大、扩展性强，能适应计算机视觉、自然语言等多种业务。Transformer结构在这两个任务中体现了对视觉语义特征的精确的时序处理能力，优于基线算法中Siamese网络的学习能力和训练速度。在训练过程中，事件定位采用了mix-up数据增强，更高效利用了训练数据、降低过拟合。在回放溯源的任务上，模型结构的更换使得训练时间减少到原来的八分之一。

结合前述的视觉信息语义化特征，以及为新的任务订制的Transformer结构，百度研究院在竞赛成绩上取得了较大幅度的领先。在事件定位任务上，把基线的平均mAP由52.54%提升到74.84%，提高了22.3个百分点，是 二名提升的近两倍；在回放溯源的任务上，把平均mAP由基线的40.75%提升到了71.90%，提高了31.15个百分点，比 二名63.91%的成绩高出8个百分点。

技术“照进”现实应用 智能视频生成工具应运而生

百度研究院之所以能够在该项竞赛中脱颖而出，离不开基于大规模视频数据的算法能力技术积累。