一种用于转播和球场监控场景的篮球进球检测方法及系统与流程

1.本发明属于计算机视觉技术领域，尤其涉及一种用于转播场景和球场监控场景下的篮球进球检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.利用计算机视觉的方法解决基于视频的篮球进球检测问题是一个重要且具有挑战性的任务。目前涌现出各类方法尝试从简单的场景层面解决该任务，但是在面临更复杂的具体应用场景时，存在诸多问题。发明人发现，一方面，现有的一些方法利用动态差分技术解决该问题，该方法适用于篮板背景在视频画面不移动的情况，因此难以广泛应用于各种场景；另一方面，现有的一些方法从视频帧中获取到篮球和篮框位置和大小信息，利用单帧图像中篮球和篮框的信息判定进球行为，该方法没有利用到视频序列的时序信息及进球时篮网区域的细节信息等，在精度方面有所不足，难以满足更高精度的任务要求。


技术实现要素：

4.本发明为了解决上述问题，提供一种用于转播和球场监控场景的篮球进球检测方法及系统，有效解决了现有方法适用范围小、检测精度难以提高等问题。
5.根据本发明实施例的第一个方面，提供了一种用于转播和球场监控场景的篮球进球检测方法，包括：利用深度检测网络获取输入视频中篮球和篮环位置坐标，并计算篮球和篮环两者距离，根据距离不同选择对应的跳帧参数，完成第一次位置检测；根据第一次位置检测结果，获取输入视频中多个候选视频片段，逐帧进行第二次位置检测，并记录候选视频片段中每帧的篮球和篮环位置坐标；将候选视频片段中每帧的篮球和篮环位置坐标，生成对应的篮球运动轨迹和篮环运动轨迹，并筛选出满足进球轨迹算法的候选检测片段；对于满足进球轨迹算法的候选检测片段，裁切出其进球时刻后若干帧篮网附近区域的图像块，利用预训练的分类网络筛选出图像块中最终进球帧片段及进球帧的集合。
6.进一步地，所述获取输入视频中篮球和篮环位置坐标，包括对输入视频，从第1帧视频帧图像开始利用预训练的深度检测网络输出对应的篮球和篮环的位置，计算两者距离，根据距离不同选择对应的跳帧参数，直至完成整个输出视频的第一次位置检测。
7.进一步地，所述获取输入视频中多个候选视频片段，具体为：通过跳帧的方法对输入的整场比赛视频进行检测后，利用篮球和篮环位置坐标筛选的出的篮球自上而下通过篮环附近范围时的片段。
8.具体地，在设置跳帧参数时，为兼顾在包含转播和监控各种场景下根据距离进行跳帧检测的准确性和算法运行速度，定义篮球和篮环的距离阈值为，
其中分别为视频帧图像的高和宽。当篮球和篮网的距离大于阈值或由于该帧没有检测到篮球或篮环导致该帧距离无法计算但上一次检测距离大于阈值时，认为篮球距篮环较远，设置跳帧参数为6。当篮球和篮网的距离小于阈值或由于该帧没有检测到篮球或篮环导致该帧距离无法计算但上一次检测距离小于阈值时，可认为篮球距篮环较近，设置跳帧参数为3。特别地，经过验证设置阈值可以确保不漏掉篮球距离篮环较近时的片段，保证检测准确性。
9.进一步地，所述完成整个输入视频的第一次位置检测后，输出为根据检测结果筛选出的若干个满足篮球自上而下通过篮环附近范围时的片段，将这些片段作为用于进球检测的候选片段。
10.进一步地，所述逐帧进行第二次位置检测，具体包括：利用预训练的深度检测网络逐帧对候选视频片段进行检测，用以获取准确的篮球运动轨迹和篮环运动轨迹。
11.进一步地，所述的逐帧对进球检测候选片段第二次位置检测，还包括：对个别没有检测到的篮球或篮环位置坐标的帧，采用插值法补齐。
12.进一步地，所述篮网附近区域的图像块是利用获取的篮环位置信息从原视频图像帧中裁取的包含篮环和篮网区域的图像块，所述图像块包含了进球时刻篮球、篮环和篮网的细节信息。具体地，篮球、篮环和篮网的细节特征是指裁取的图像块中所包含的篮球、篮环和篮网的相对位置关系、篮网的摆动情况、篮球和篮网的遮挡关系等情况。利用以上细节信息可以对进球情况做进一步判断。
13.进一步地，所述轨迹算法，具体包括分别根据每个候选检测片段的篮球和篮环位置坐标生成对应的篮球运动轨迹和篮环运动轨迹。
14.本发明第二方面提供了一种用于转播和球场监控场景的篮球进球检测系统，包括：位置坐标提取单元，用于获取视频帧中篮球和篮环位置坐标，以供后续单元筛选候选进球片段及生成篮球和篮环在图像坐标下的运动轨迹；候选片段筛选单元，用于根据视频中获取的篮球和篮环位置信息，从输入视频中筛选出若干视频片段，供后续轨迹算法使用；轨迹特征筛选单元，用于从候选片段中筛选出满足进球轨迹算法的候选片段，记录每个片段对应的进球帧；篮网区域特征筛选单元，用于对满足进球轨迹算法的候选片段，进一步分析其进球时刻篮网区域细节特征，筛选出最终的进球片段及进球帧的集合。
15.与现有技术相比，本发明的有益效果是：（1）本发明针对常规方法不能适用于转播场景的问题，率先尝试对输入视频利用预训练的目标检测算法进行预处理，将输入视频拆分为候选片段，再利用篮球和篮环轨迹进行检测，以实现相应功能。
16.（2）本发明所述方案针对由于投影原因，单纯从轨迹条件判断进球行为会引入部分非进球片段的情况，本发明所述方案进一步创造性地引入了篮环和篮网区域细节特征检测的方法，最终提升了进球检测准确性。
附图说明
17.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
18.图1为本发明提供的一种用于转播和球场监控场景的篮球进球检测方法流程图。
具体实施方式
19.下面结合附图与实施例对本发明作进一步说明。
20.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
21.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
22.实施例1：本实施例提供一种用于转播和球场监控场景的篮球进球检测方法，包括：对输入视频，从第1帧视频帧图像开始利用预训练的深度检测网络输出对应的篮球和篮环的位置，计算两者距离，根据距离不同选择对应的跳帧参数，直至完成整个输出视频的第一次位置检测；分析以上第一次位置检测结果，筛选出若干个在篮球自上而下通过篮环附近范围时的片段，作为进球检测候选片段；对上一步筛选出的所有候选检测片段，逐帧进行第二次位置检测，记录每个视频段每帧的篮球和篮环位置，对个别没有检测到的篮球或篮环位置坐标的帧，采用插值法补齐；分别根据每个候选检测片段的篮球和篮环位置坐标生成对应的篮球运动轨迹和篮环运动轨迹，从中筛选出满足进球轨迹算法的候选检测片段，并记录对应的进球时刻的帧编号；对满足进球轨迹要求的候选片段，进一步裁切出其进球时刻后几帧篮网附近区域的图像块，利用预训练的分类算法进一步筛选出最终的进球片段及进球帧的集合。
23.具体的，图1展示了本发明所述方案中篮球进球检测方法流程图，为了便于理解，结合图1，对所述方案详细流程进行详细说明：步骤s0，收集包含转播场景、球场监控场景等篮球比赛的图像，利用诸如labelimg等代表性标注工具，对图像内篮球和篮环位置进行标注；步骤s1，利用以上的标注数据训练一个用于目标检测的深度神经网络，训练后的目标检测网络可以对输入的视频帧图像输出对应的篮球和篮环的边框坐标；步骤s2，收集转播场景、球场监控场景下篮球比赛中实际进球和不进球时的投篮、上篮及扣篮等视频片段，从视频片段中截取篮球接触篮环瞬间及后几帧的图像，从截取的图像中裁切出包含篮环和篮网区域的图像块，并对裁切后的图像块按照实际进球和不进球的情况进行分类，以组建用于训练分类神经网络的数据集；
步骤s3，利用以上分类的图像块数据训练一个用于分类的深度神经网络，训练后的分类网络可以对输入的篮环和篮网区域的图片块输出对应的进球的概率；步骤s4，算法执行时，输入一段比赛视频，从第1帧视频帧图像开始利用检测网络输出该帧图像对应的篮球和篮环的位置，计算两者距离，根据距离值选择则跳过多少帧进行下一次检测，根据距离进行跳帧检测的目的是在保证算法准确的情况下加快执行效率，执行以上过程直至完成这个输入比赛视频的检测；步骤s5，分析以上比赛视频的检测结果，根据篮球和篮环的坐标变化信息筛选出若干个在篮球自上而下通过篮环附近范围时的片段，这些片段作为后续进球检测的候选片段，将其按照先后顺序编号为，其中，为候选检测片段总个数,并且记录每个候选片段在整个比赛视频中的开始帧和结束帧；步骤s6，对上一步筛选出的所有个候选片段，利用检测网络逐帧进行篮球和篮环位置检测，记录每帧的篮球坐标和篮环位置坐标,其中为图像帧在输入视频的中的帧编号；步骤s7，以上位置检测结果中，个别帧会存在篮球或者篮环漏检的情况，此时对漏检的帧采用插值法补齐坐标，利用补齐后的坐标分别生成准确的篮球运动轨迹和篮环运动轨迹，其中,为候选检测片段总数；步骤s8，根据以上个候选检测片段的篮球和篮环运动轨迹，筛选出满足进球轨迹算法的视频片段，记录满足进球轨迹算法的视频段个数为。并且记录每个视频段对应的被判断为进球帧的编号，其中为对应的视频片段的编号，满足；步骤s9，对以上个满足进球轨迹算法的视频段，分别裁取第、和帧对应的篮环和篮网区域的图像块，其中为轨迹片段的编号，满足，为第个视频段被判断为进球时刻的帧编号；步骤s10，对以上个视频段对应的篮环和篮网区域图像块，分别利用预训练的深度分类网络根据其细节特征输出对应的进球概率，从而筛选出满足进球时篮环和篮网区域细节特征的视频段，记视频段总数为。
24.步骤s11，根据步骤s8和步骤s10的结果，最终获取所有个视频段对应的进球帧的集合，至此算法执行完成。
25.本实施例中，筛选出满足进球轨迹算法的候选检测片段，具体为：针对生成的篮球运动轨迹和篮环运动轨迹，定义满足进球情况的轨迹为：在以上轨迹中存在某帧，满足在该帧时篮球中心坐标位于篮环中心坐标上方且篮球边框位于篮环边框宽度范围内，而在下一帧时篮球中心坐标位于篮环中心坐标下方且篮球边框位于篮环边框宽度范围内，同时该帧也被定义为这个轨迹对应的进球帧。根据以上进球轨迹算法定
义，筛选出满足进球轨迹算法的候选检测片段，并记录每个候选检测片段对应的进球帧。
26.本实施例中，利用预训练的分类网络筛选出图像块中最终进球帧片段及进球帧的集合，具体为：其中用于分类的深度神经网络预训练的过程包括：收集包含转播场景、球场监控场景等篮球比赛进球瞬间及后几帧的比赛图像，裁切出包含篮环和篮网区域的图像块，对裁切后的图像块按照实际进球和不进球的情况进行分类，并按照一定比例划分训练集和验证集，利用该数据集训练一个用于二分类的深度神经网络，训练后的分类网络可以对输入的篮环和篮网区域的图片块输出进球的概率。
27.本发明所提出的一种用于转播场景和球场监控场景下的篮球进球检测方法及系统引入了利用轨迹信息及进球时刻篮环和篮网区域细节特征用于进球检测的过程，扩大了进球检测算法的适用场景，并且显著提高了检测的准确性。具体而言，针对常规方法不能适用于转播比赛场景的问题，率先尝试利用预训练的目标检测算法对输入视频进行预处理，将输入视频拆分为候选片段，再利用篮球和篮环轨迹进行进球检测，以实现相应功能。此外，针对由于投影原因导致部分非进球的片段也会满足进球的轨迹条件，仅利用轨迹算法最终容易造成误检的问题，进一步创造性地引入了篮环和篮网区域细节特征检测的方法，最终提升了进球检测准确性。
28.实施例2：本实施例提供一种用于转播和球场监控场景的篮球进球检测系统，包括：位置坐标提取单元，用于获取视频帧中篮球和篮环位置坐标，以供后续单元筛选候选进球片段及生成篮球和篮环在图像坐标下的运动轨迹；候选片段筛选单元，用于根据视频中获取的篮球和篮环位置信息，从输入视频中筛选出若干视频片段，供后续轨迹算法使用；轨迹特征筛选单元，用于从候选片段中筛选出满足进球轨迹算法的候选片段，记录每个片段对应的进球帧；篮网区域特征筛选单元，用于对满足进球轨迹算法的候选片段，进一步分析其进球时刻篮网区域细节特征，筛选出最终的进球片段及进球帧的集合。
29.所述系统的工作方法与实施例1提供的用于转播和球场监控场景的篮球进球检测方法相同，这里不再赘述。
30.实施例3：数据集和评估指标为验证所述方法有效性，本发明根据具体应用场景构建了用于测试的数据集，数据集包括电视转播场景比赛及球场监控场景比赛。其中电视转播场景比赛包含中国男子篮球职业联赛（cba）和中国大学生篮球联赛（cuba）两类场景共计10场比赛，球场监控场景比赛包含25个不同场地的比赛监控视频。为用于评估，标注每场比赛的进球时刻和进球个数作为真实值，并报告由常用指标精确率（precision）和召回率（recall）评测的结果。数据集的统计信息见表1。
31.表1数据集统计信息
对比方法将本发明方法与以下方法进行比较：1）基于动态差分的方法；2）基于单帧图像检测的方法。
32.实施过程的详细信息本发明使用基于nvidia rtx 2080 ti gpu加速的pytorch框架实现。训练时对于深度检测模型及深度分类模型，均用xavier方法随机初始化模型参数，优化算法采用adam，batch size参数对于深度检测模型设置为16，对于深度分类模型设置为64。测试时，batch size均设置为1。
33.实验结果表2实验结果表2显示了本发明方法在测试数据集上与其他方法的比较结果。有以下观察结果：1）本发明所述方法在包含比赛转播及球场监控的场景下，检测精确率指标均最高，这证明了本发明所述方法检测的精确性。2）同时本发明方法在各场景下的召回率指标也处于领先，表示本发明方法可以更多的从对应场景中找出进球片段，具有较好的应用前景。
34.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
35.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。