一种冰壶球运动状态估计方法与流程

本发明涉及基于一种冰壶球运动状态估计方法，属于人工智能与图像处理领域。

背景技术：

冰壶是一项需要复杂策略和高超运动控制技术的运动，对于运动员的体力和智力水平要求较高，因而被称为“冰上象棋”，冰壶球的运动轨迹往往与其出手速度、出手角度、旋转角速度、冰面状况等因素关系密切。从冰壶球视频中实时地提取出冰壶球的运动信息有着广泛的应用前景，包括辅助冰壶运动员进行训练、提高观众对冰壶比赛的观赏体验、建立冰壶球运动学模型等。

但由于冰面比较光滑，且冰场均位于室内，由于室内光照的问题，冰面容易反光，以传统的图像处理方法进行处理，受到的干扰极大。且传统的图像处理方法难以估计冰壶球的实时运动状态。因此，迫切需要新型的处理方法对冰面实施监测以及对冰壶球的运动状态进行估计。

随着人工智能、图像识别的快速发展，使用深度学习模型对图像进行物体检测的方法越来越完善。与传统图像处理方法相比，深度学习模型能够通过海量数据学习到丰富的特征，再辅以数据增强等手段，能够较好的克服冰壶场地的光照变化和冰壶球表面的反光等干扰因素，预测的结果较为鲁棒。

技术实现要素：

本发明的目的是提出一种冰壶球运动状态估计方法，以解决目前现有的图像处理方法由于易受冰面反光影响预测冰壶球运动状态不够稳定准确的问题。

一种冰壶球运动状态估计方法，所述估计方法包括以下步骤：

步骤一：建立冰壶球数据集，训练冰壶球目标检测网络yolov3和转角检测网络；

步骤二：采用训练好的冰壶球目标检测网络yolov3对冰壶球比赛视频序列进行检测，获取冰壶球边界框信息；

步骤三：将所述冰壶球边界框信息取出，初始化冰壶球目标跟踪网络，在后续视频帧中持续跟踪冰壶球目标，获得冰壶球的中心坐标；

步骤四：根据所述冰壶球边界框信息，将该冰壶球从原始图像中截取出来，送入训练好的转角检测网络进行转角提取；

步骤五：通过坐标转换，将图像坐标系下的冰壶球的中心坐标和转角转换为冰壶赛场上的冰壶球坐标和转角。

进一步的，步骤一中包括以下步骤：

步骤一一、获取标注的冰壶球数据集，为每个冰壶球标注边界框和把手；

步骤一二、将标注好的冰壶球数据集划分为训练集和验证集，使用验证集数据训练冰壶球目标检测网络yolov3；

步骤一三、利用标注好的冰壶球把手数据集，训练转角检测网络。

进一步的，步骤二中包括以下步骤：

步骤二一、将图像输入至卷积神经网络，输出零至多个边界框，边界框的信息由[x1,y1,x2,y2]表示，其中(x1,y1)为冰壶球边界框的左上角坐标，(x2,y2)为冰壶球边界框的右下角坐标；

步骤二二、统计边界框的个数n，如果n≥1，执行步骤三，否则重新执行步骤二。

根据权利要求1所述的一种冰壶球运动状态估计方法，其特征在于，步骤三中包括以下步骤：

步骤三一、将步骤二输入图像检测得到的冰壶球边界框信息出，用以初始化冰壶球目标跟踪网络；

步骤三二、取出视频序列的下一帧图像xt，输入冰壶球目标跟踪网络，得到第t帧图像xt中的冰壶球的边界框通过边界框计算该帧中冰壶球的中心坐标：

进一步的，步骤四中包括以下步骤：

步骤四一、将图像xt中区域的图像块取出，为满足转角检测网络的输入，将该图像块填补成正方形；

步骤四二、将填补后的正方形图片缩放到128*128大小，输入转角检测网络，得到输出通过得到第t帧中冰壶球把手在图像中的转角θ^t。

进一步的，步骤五中包括以下步骤：

步骤五一、通过单应性矩阵h，将冰壶球中心在图像坐标系中的坐标转换为冰壶赛场俯视图中的坐标：

步骤五二、将冰壶球把手在图像中的转角转化为在冰壶赛场俯视图中的转角。

本发明的主要优点是：本发明的一种冰壶球运动状态估计方法，使用深度学习模型通过海量数据学习到冰壶球以及把手的特征，并进行了数据增强，能够较好的克服冰壶场地的光照变化和冰壶球表面的反光等干扰因素，对冰壶球状态和把手转角的估计结果较为鲁棒。

附图说明

图1为本发明的一种冰壶球运动状态估计方法的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明提出了一种冰壶球运动状态估计方法的一实施例，所述估计方法包括以下步骤：

步骤一：建立冰壶球数据集，训练冰壶球目标检测网络yolov3和转角检测网络；

步骤二：采用训练好的冰壶球目标检测网络yolov3对冰壶球比赛视频序列进行检测，获取冰壶球边界框信息；

步骤三：将所述冰壶球边界框信息取出，初始化冰壶球目标跟踪网络siamrpn++，在后续视频帧中持续跟踪冰壶球目标，获得冰壶球的中心坐标；

步骤四：根据所述冰壶球边界框信息，将该冰壶球从原始图像中截取出来，送入训练好的转角检测网络进行转角提取；

步骤五：通过坐标转换，将图像坐标系下的冰壶球的中心坐标和转角转换为冰壶赛场上的冰壶球坐标和转角。

步骤一中包括以下步骤：

步骤一一、获取标注的冰壶球数据集，为每个冰壶球标注边界框和把手。冰壶球边界框的标注需要确定一个紧紧包围冰壶球的矩形框，冰壶球把手的标注需要确定一条线段，线段连接冰壶球把手的两端，这条线段将用于冰壶球转角检测的转角检测卷积神经网络的训练；

步骤一二、将标注好的冰壶球数据集划分为训练集和验证集，使用验证集数据训练冰壶球目标检测网络yolov3。该网络用于初始化目标跟踪模型。调整超参数，使得检测网络在验证集上的map最大；

步骤一三、利用标注好的冰壶球把手数据集，训练转角检测网络。该模型为回归模型，输入冰壶球的图片，输出冰壶球把手在图像中的角度。输入图像的尺寸为128*128，假设标注为冰壶球把手的线段的两个端点分别为a(x1,x2)和b(x2,y2)，计算出该线段相对于水平方向的转角θ(0≤θ≤π)，计算公式如下：

卷积神经网络的输出层采用sigmoid激活函数，输出值y在[0,1]之间，令将θ映射为[0,1]之间，作为卷积神经网络回归的目标。损失函数为交叉熵损失函数：

步骤二中包括以下步骤：

步骤二一、将图像输入至卷积神经网络，输出零至多个边界框，边界框的信息由[x1,y1,x2,y2]表示，其中(x1,y1)为冰壶球边界框的左上角坐标，(x2,y2)为冰壶球边界框的右下角坐标；

步骤二二、统计边界框的个数n，如果n≥1，执行步骤三，否则重新执行步骤二。

根据权利要求1所述的一种冰壶球运动状态估计方法，其特征在于，步骤三中包括以下步骤：

步骤三一、将步骤二输入图像检测得到的冰壶球边界框信息出，用以初始化冰壶球目标跟踪网络siamrpn++；

步骤三二、取出视频序列的下一帧图像xt，输入冰壶球目标跟踪网络siamrpn++，得到第t帧图像xt中的冰壶球的边界框通过边界框计算该帧中冰壶球的中心坐标：

步骤四中包括以下步骤：

步骤四一、将图像xt中区域的图像块取出，为满足转角检测网络的输入，将该图像块填补成正方形；

步骤四二、将填补后的正方形图片缩放到128*128大小，输入转角检测网络，得到输出通过得到第t帧中冰壶球把手在图像中的转角θ^t。

步骤五中包括以下步骤：

步骤五一、通过单应性矩阵h，将冰壶球中心在图像坐标系中的坐标转换为冰壶赛场俯视图中的坐标：

步骤五二、将冰壶球把手在图像中的转角转化为在冰壶赛场俯视图中的转角；

步骤五三、判断视频是否处理完毕，如果存在下一帧，则返回步骤三，否则处理结束。