一种基于卷积神经网络的篮球进球得分判断方法及系统与流程

本发明涉及视频检测领域，具体涉及一种基于卷积神经网络的篮球进球得分判断方法及系统。

背景技术：

现今对篮球比赛视频中进球进行判定的方法如下：

人工判断：通过人来全程观看篮球比赛视频，在观看过程中人工判断是否进球，利用该方法进行判定的准确率最高，但是具有工作效率过低、时间成本太高，尤其是现在各级别篮球比赛每天就有几十到几百场，无法实现全人工筛选所有视频中的进球。

《基于图像处理的篮球进球判定方法及系统》(cn107303428a)中提出检测各图像帧中篮球的空间位置，且根据各个图像帧中篮球的空间位置的连线确定篮球的运动轨迹，根据篮球的运动轨迹是否经过篮筐的空间位置判断球员投篮是否进球的方法。但该方法存在要求摄像机镜头固定位置不动，然后才能利用篮球的运动轨迹是否经过篮筐来判断是否进球的缺陷；而且往往由于视角的问题导致出现误判，比如三不沾投篮，虽然篮球经过了篮筐区域，但是并未进球，而该方法仅仅依靠篮球的运动轨迹，往往会将该类投篮误判为进球。

《一种基于视频的篮球进球检测方法和装置》(cn105701460b)中提出构建基于卷积神经网络和递归神经网络的递归卷积神经网络模型，并利用具有标签的篮球视频的图片库样本集对递归卷积神经网络模型进行训练；从而利用训练好的递归卷积神经网络模型处理待检测篮球视频的图像，获得输出向量；根据该输出向量来判断当前篮球视频中是否出现了进球。该方法用到了递归卷积神经网络，而该类网络往往由于梯度消失问题而难于训练；同时该方法只能对单个视频片段进行处理，判断该视频片段是否是进球片段，而不能处理实时视频流。且现有对篮球进球的检测技术均只能检测篮球进球情况，无法判断篮球进球得分，故需要对现有技术做进一步改进。

技术实现要素：

本发明针对现有技术中的缺点，提供了一种基于卷积神经网络的篮球进球得分判断方法及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种基于卷积神经网络的篮球进球得分判断方法，包括以下步骤：

获取比赛视频片段及其标注数据，并按照预设的比例将比赛视频片段及其标注数据划分为训练集、验证集和测试集，所述标注数据包括进球数据和得分数据；

构建进球分类模型，利用训练集中比赛视频片段及其进球数据训练进球分类模型，获得多个进球中间分类模型，并利用验证集和测试集对各进球中间分类模型进行验证测试，根据验证测试结果获取最优的进球中间分类模型作为进球分类模型输出；构建得分分类模型，利用训练集中比赛视频片段及其得分数据训练得分分类模型，获得多个得分中间分类模型，并利用验证集和测试集对各得分中间分类模型进行验证测试，根据验证测试结果获取最优的得分中间分类模型作为得分分类模型输出；

获取待判定视频片段，将所述待判定视频片段输入进球分类模型，获得进球分类结果，根据所述进球分类结果从待判定视频片段中提取进球片段；

将所述进球片段输入得分分类模型，获得相应的得分。

作为本发明一种基于卷积神经网络的篮球进球得分判断方法的改进：

所述进球数据包括进球和不进球，得分数据包括1分球、2分球和3分球。

作为本发明一种基于卷积神经网络的篮球进球得分判断方法的进一步改进：

按照80～96：2～10:2～10的比例将比赛视频片段及其标注数据划分为训练集、验证集和测试集，且验证集和测试集中比赛视频片段及其标注数据的比例为1:1。

作为本发明一种基于卷积神经网络的篮球进球得分判断方法的进一步改进，所述待判定视频片段的获取方法为：从待判定比赛视频拆分获得时长为t的视频片段作为待判定视频片段。

作为本发明一种基于卷积神经网络的篮球进球得分判断方法的进一步改进，所述待判定视频片段的获取方法为：

提取待判定比赛视频中投篮时刻，根据所述投篮时刻截取时长为t的视频片段作为待判定视频片段。

为解决上述技术问题，本发明还提出一种基于卷积神经网络的篮球进球得分判断系统，包括：

视频片段获取模块，用于获取比赛视频片段及其标注数据，并按照预设的比例将比赛视频片段及其标注数据划分为训练集、验证集和测试集，所述标注数据包括进球数据和得分数据；

模型构建模块，用于构建进球分类模型，利用训练集中比赛视频片段及其进球数据训练进球分类模型，获得多个进球中间分类模型，并利用验证集和测试集对各进球中间分类模型进行验证测试，根据验证测试结果获取最优的进球中间分类模型作为进球分类模型输出；构建得分分类模型，利用训练集中比赛视频片段及其得分数据训练得分分类模型，获得多个得分中间分类模型，并利用验证集和测试集对各得分中间分类模型进行验证测试，根据验证测试结果获取最优的得分中间分类模型作为得分分类模型输出；

进球分类结果输出模块，用于获取待判定视频片段，将所述待判定视频片段输入进球分类模型，获得进球分类结果，并根据所述进球分类结果从待判定视频片段中提取进球片段；

得分输出模块，用于将所述进球片段输入得分分类模型，获得相应的得分。

作为本发明一种基于卷积神经网络的篮球进球得分判断系统的改进：

所述进球数据包括进球和不进球，得分数据包括1分球、2分球和3分球。

作为本发明一种基于卷积神经网络的篮球进球得分判断系统的进一步改进：

所述视频片段获取模块按照80～96：2～10:2～10的比例将比赛视频片段及其标注数据划分为训练集、验证集和测试集，且验证集和测试集中比赛视频片段及其标注数据的比例为1:1。

作为本发明一种基于卷积神经网络的篮球进球得分判断系统的进一步改进，所述进球分类结果输出模块包括待判定视频片段获取单元、进球分类结果输出单元和进球片段获取单元；

所述待判定视频片段获取单元，用于从待判定比赛视频拆分获得时长为t的视频片段作为待判定视频片段。

作为本发明一种基于卷积神经网络的篮球进球得分判断系统的进一步改进，所述进球分类结果输出模块包括待判定视频片段获取单元、进球分类结果输出单元和进球片段获取单元；

所述待判定视频片段获取单元，用于提取待判定比赛视频中投篮时刻，根据所述投篮时刻截取时长为t的视频片段作为待判定视频片段。

注：上述进球分类结果输出单元用于将所述待判定视频片段输入进球分类模型，获得进球分类结果；

进球片段获取单元，用于根据所述进球分类结果从待判定视频片段中提取进球片段；

本发明由于采用了以上技术方案，具有显著的技术效果：本发明能够获取待判定视频片段进球分类结果，输出相应得分。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于卷积神经网络的篮球进球得分判断方法的工作流程示意图；

图2是图1中步骤s300和s400的工作流程示意图；

图3是本发明一种基于卷积神经网络的篮球进球得分判断系统的模块连接示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1、一种基于卷积神经网络的篮球进球得分判断方法，如图1或图2所示，包括以下步骤：

s1、从待判定视频片段中提取进球片段：

待判定视频片段的获取方法包括：

从待判定比赛视频拆分获得时长为t的视频片段作为待判定视频片段；利用现有技术预处理待判定比赛视频，获取投篮时刻，根据投篮时刻截取时长为t的视频片段作为待判定视频片段。

注：t为预设值，相关领域的技术人员可根据实际需要自行设定，本实施例中t设置为5s。

首先基于深度学习算法训练获得进球分类模型，利用该进球分类模型对待判定视频片段进行处理，输出相应的进球分类结果(进球/不进球)，根据所得进球分类结果从待判定视频片段中提取进球片段。

具体步骤为：

1.1、构建进球分类模型：

采集各类篮球比赛视频的比赛视频片段(时长为t)，人工对所得各比赛视频片段进行标注，获得与比赛视频片段一一对应的标注数据；标注数据包括进球数据和得分数据，进球数据包括进球和不进球，得分数据包括1分球(罚球)、2分球、3分球，且当进球数据为不进球时，得分数据为空。

本实施例中将各比赛视频片段及其标注数据按照94:3:3的比例，随机分为训练集、验证集和测试集，验证集和测试集中的数据比例为1:1。

基于卷积神经网络构建进球分类模型，利用上述训练集中比赛视频片段及其进球数据对进球分类模型进行训练，获得若干个进球中间分类模型，此时采用验证集对各进球中间分类模型进行验证，获取验证结果最优的进球中间分类模型，再采用检测集对该进球中间分类模型进行测试，当测试结果与验证结果相匹配时输出该进球中间分类模型作为进球分类模型。所得进球分类模型为二分类模型，输出结果为进球、不进球。

注：当检测结果与验证结果的差小于预设的阈值时，判定检测结果与验证结果相匹配相匹配，测试集测试进球中间分类模型用于避免过拟合。

例如可采用基于2d的只对空间信息进行建模的卷积网络如alexnet、vgg-16、vgg-19、googlenet、resnet、densenet等；基于3d卷积的c3d、i3d；对全局信息进行建模的non-localnetwork；基于two-stream的双流网络tsn、slowfastnetwork等卷积神经网络构建进球分类模型。

注：上述神经网络的名称均为相关领域的专业名词，故无需给出相应的中文解释。

本实施例中采用two-stream的双流网络tsn(temporalsegmentnetworks，时域分段网络)构建进球分类模型，本实施例训练获得的进球分类模型的进球、不进球测试结果的准确率均在98％以上。

注：双流网络tsn包含两路信息，分别是基于rgb的对空间信息进行建模的网络、基于光流或rgbdiff(rdgdiff是连续两帧rgb值的差)的对时间信息进行建模的网络，本实施例基于时间效率的考虑，在对时间信息进行建模的网络中使用了rgbdiff对网络进行训练。

1.2、获取待判定视频片段的进球分类结果，根据进球分类结果提取进球片段：

依次将各待判定视频片段输入步骤1.1所得进球分类模型中，进球分类模型输出相应的进球分类结果(进球/不进球)，提取进球分类结果为进球的待判定视频片段作为进球片段。

s2、判断进球片段对应的得分：

首先基于深度学习算法训练获得得分分类模型，利用该得分分类模型对进球片段进行处理，输出相应的得分(1分球/2分球/3分球)。

具体步骤为：

2.1、构建得分分类模型：

分别提取训练集和测试集中进球的比赛视频片段及其标注数据。

基于卷积神经网络构建得分分类模型，利用上述训练集中比赛视频片段及其得分数据对得分分类模型进行训练，获得若干个得分中间分类模型，此时采用验证集中比赛视频片段及其得分数据对各得分中间分类模型进行验证，获取验证结果最优的得分中间分类模型，再采用测试集中比赛视频片段及其得分数据对该得分中间分类模型进行测试，当测试结果与验证结果相匹配(避免过拟合)时输出该得分中间分类模型作为得分分类模型。该得分分类模型为三分类模型，输出结果为1分球、2分球、3分球。

本实施例中采用two-stream的双流网络tsn(temporalsegmentnetworks，时域分段网络)构建得分分类模型(同步骤s1)，本实施例训练获得的得分分类模型的测试结果为：1分球的准确率在98％以上，2分球的准确率在98％以上，3分球的准确率在95％以上。

由于本实施例利用双流网络tsn基于rgb对空间信息进行建模的网络和基于rgbdiff对时间信息进行建模的网络进行整合，从而可以对各比赛视频片段的时空特征进行精准高效的建模，因而所训练获得的进球分类模型及得分分类模型的准确率和召回率均较高，可以极大的降低误判率。

本实施例中，进球分类模型和得分分类模型只需要对于待判定视频片段(5s)进行处理，均仅需1.5s左右即可完成处理，故能够实时对待判定视频片段进行进球得分判断。

2.2、获取进球片段的得分：

依次将各进球片段(步骤1.2所得)输入步骤2.1所得的得分分类模型中，得分分类模型输出相应的得分(1/2/3)，获得对应进球片段的具体进球得分。

对比例1、将上述进球分类模型更改为进球得分分类模型，取消得分分类模型，其余等同于实施例1。

构建进球得分分类模型的方法为：

本对比例中采用two-stream的双流网络tsn(temporalsegmentnetworks时域分段网络)构建进球得分分类模型，利用训练集中比赛视频片段及其标注数据对进球得分分类模型进行训练，并利用测试集对进球得分分类模型进行测试，输出测试结果最优的进球得分分类模型，所得进球得分分类模型为四分类模型，输出结果为不进球、1分球、2分球、3分球。

本对比例训练获得的得分分类模型的测试结果为：不进球的准确率为93％，1分球的准确率为96％，2分球的准确率为92％，3分球的准确率为85％。

即，将待拆分视频片段直接输入进球得分分类模型进行进球得分判断的准确率不如实施例1中先通过进球分类模型获取进球分类结果，获取进球片段，后通过得分分类模型为进球片段打分的准确率。

实施例2、一种基于卷积神经网络的篮球进球得分判断系统，如图3所示包括：

视频片段获取模块1，用于获取比赛视频片段及其标注数据，并按照预设的比例将比赛视频片段及其标注数据划分为训练集和测试集，所述标注数据包括进球数据和得分数据；其中进球数据包括进球和不进球，得分数据包括1分球、2分球和3分球。

视频片段获取模块1按照80～96：2～10:2～10的比例将比赛视频片段及其标注数据划分为训练集、验证集和测试集，且验证集和测试集中比赛视频片段及其标注数据的比例为1:1。本实施例中，按照94:3:3的比例将比赛视频片段及其标注数据划分为训练集、验证集和测试集。

本实施例中视频片段获取模块1被配置为：

从待判定比赛视频拆分获得时长为t的视频片段作为待判定视频片段。

还可配置为提取待判定比赛视频中投篮时刻，根据投篮时刻截取时长为t的视频片段作为待判定视频片段。

模型构建模块2，用于构建进球分类模型，利用训练集中比赛视频片段及其进球数据训练进球分类模型，并利用测试集对训练后的进球分类模型进行测试，输出测试结果最优的进球分类模型；还用于构建得分分类模型，利用训练集中比赛视频片段及其得分数据训练得分分类模型，并利用测试集对训练后的得分分类模型进行测试，输出测试结果最优的得分分类模型；

本实施例中，模型构建模块2采用双流网络tsn构建进球分类模型和得分分类模型。

进球分类结果输出模块3，用于获取待判定视频片段，将待判定视频片段输入进球分类模型，获得进球分类结果，并根据进球分类结果从待判定视频片段中提取进球片段；

进球分类结果输出模块3包括待判定视频片段获取单元、进球分类结果输出单元和进球片段获取单元；

待判定视频片段获取单元，用于从待判定比赛视频拆分获得时长为t的视频片段作为待判定视频片段，或用于提取待判定比赛视频中投篮时刻，根据所述投篮时刻截取时长为t的视频片段作为待判定视频片段。

进球分类结果输出单元用于将所述待判定视频片段输入进球分类模型，获得进球分类结果；

进球片段获取单元，用于根据所述进球分类结果从待判定视频片段中提取进球片段；

得分输出模块4，用于将进球片段输入得分分类模型，获得相应的得分。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。