一种基于计算机视觉的球场定位系统及方法与流程

本发明涉及计算机球场定位系统，尤其涉及一种基于计算机视觉的球场定位系统及方法。

背景技术：

在现有的各类运动比赛如足球、篮球、网球和乒乓球运动中，球员的体能数据，如在球场中的移动距离、移动速度以及球类的移动距离、移动速度的数据对于球员的数据分析扮演着很重要的角色。若要获取球员在球场中的移动距离、移动速度以及球类的移动距离、移动速度，则需要获得球员以及球类任一时刻在球场中的定位，所以球场定位系统非常重要。

现有的球场定位系统有两种方式：第一种为通过可穿戴传感器获得运动数据，但是此种方法在比赛中由于规则的限定，不能让球员佩戴可穿戴设备，所以在比赛中不能采用；第二种方法为多个基站进行立体时空维度的定位追踪演算法，其所需设备昂贵且繁杂，不利于广泛普及。综上所述，如何提供一种方便准确且不需要球员额外穿戴设备的球场定位系统与方法成为了一个亟待解决的问题。

技术实现要素：

发明目的：本发明提供一种基于计算机视觉的球场定位系统及方法，以解决现有技术中存在的不足之处。

技术方案：本发明基于计算机视觉的球场定位系统，包括采集设备校准模块、边线检测模块和定位计算模块；采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵；边线检测模块检测出边线在图像中的位置；定位计算模块通过计算获得球员或球类的定位数据。

球场定位系统还包括数据记录与存储模块，数据记录与存储模块通过视频与定位同步还原的方式进行实时数据存储。

外参数矩阵表示世界坐标系下的坐标经过旋转和平移落到另一坐标系下的过程；内参数矩阵表示通过相机及针孔成像从相机坐标系的坐标点转为图像像素坐标系点的过程；畸变矩阵表示理论坐标点和实际坐标点的偏差。

边线检测模块中的边线指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线。

基于计算机视觉的球场定位系统的定位方法，包括以下步骤：

1.对采集设备进行校准：对标定物拍摄多个不同方向的照片后，从照片中提取棋盘格角点，估算理想无畸变时的内参矩阵和外参矩阵，估计畸变系数并优化估计；

2.通过基于深度学习方法或轮廓颜色特征匹配的方法对球场边线进行检测；

3.定位计算，即获得边线在世界坐标系的坐标，以及球员或球类相对于边线的相对位置；

4.数据记录与存储，即通过视频与定位同步还原的方式进行实时数据存储。

步骤1中，在计算机中提取棋盘格的角点坐标，估算无畸变下的内参矩阵及外参矩阵，应用最小二乘法估算存在畸变时的畸变系数后，应用极大似然估计优化精度，获得最终内参矩阵、外参矩阵和畸变系数。

步骤2中，基于深度学习的方法，利用卷积神经网络学习标注的边线图片，获得边线分隔模型以在图像中分隔出边线。

使用轮廓或颜色特征匹配的方法，预设不同边线的特征，使用时进行在图像中的特征匹配，将边线检测出来。

基于计算机视觉的球场定位系统的定位方法中的步骤3包括以下步骤：

3.1.通过标定参数结合单目深度估计算法获得边线在真实坐标系的坐标；

3.2.通过基于深度学习获得检测球员或球类的目标检测模型得到球类或球员在图像坐标系想的位置信息，结合边线检测模块的边线在图像坐标系下的位置信息得到球员或者球类距离边线的距离和方向信息；

3.3.将步骤3.2中的信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系，得到球类或球员在真实世界坐标系下的位置，采用的公式为：公式如下pu＝ktpw，pu为像素坐标系下的球类或球员相对于边线的位置，k为相机内参矩阵，t为相机外参矩阵与畸变矩阵的乘积，pw为真实世界坐标系下的球类或球员相对于边线的位置。

步骤4中，通过步骤1至3的检测和记录球员和球类的位置数据，使用视频编码传输与定位同步还原的方式进行实时数据存储。

有益效果：本发明仅采用单个视频采集设备对球员和球类进行定位，使用方便准确且不需要球员额外穿戴设备，可以更加容易的获取关于球员运动状态的数据，对于运动数据分析提供了很大的支持。

附图说明

图1是本发明系统的结构示意图；

图2是本发明实例中的示意图；

图3是本发明实例中的棋盘格示意图；

图4是本发明专利中的篮球边线示意图。

具体实施方式

本发明用于网球、足球、拍球、乒乓球运动中，在此以篮球场球员和篮球定位为例进行说明。

如图1所示，本发明球场定位系统包括采集设备校准模块、边线检测模块以及定位计算模块；结合实际使用的篮球场景，加入数据记录与存储模块。

采集设备校准模块是得到所用的采集设备的外参数矩阵、内参数矩阵以及畸变矩阵。其中，外参数矩阵是用来表示真实世界中的点，该点即在世界坐标系下的坐标，经过怎样的旋转和平移落到另一真实世界点，即落到相机坐标系的坐标；内参数矩阵表示如何通过相机的镜头以及针孔成像从相机坐标系的坐标点转为图像像素坐标系的点；畸变矩阵是用来表示理论坐标点和实际坐标点的偏差。通过该校准模块可以完整的从真实世界点转为图像中像素坐标系的点，采用的校准方法为基于棋盘格表定法，具体步骤为：

1.1.打印一张棋盘格，作为标定物；

1.2.通过调整标定物或者相机的方向，为标定物拍摄一些不同方向的照片；

1.3.从照片中提取棋盘格角点；

1.4.估算理想无畸变情况下，内参矩阵和外参矩阵；

1.5.最小二乘法估计畸变系数；

1.6.极大似然法用以优化估计提升精度。

边线检测模块中的边线是指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线各类运动的可见的边线。该边线检测模块检测出边线在图像中的位置，用于定位计算模块。

本边线检测模块采用的方法有以下两种：

第一种，基于深度学习的方法，利用卷积神经网络学习标注的边线图片，获得边线分割模型，用于在图像中分割出边线。

第二种，使用轮廓或颜色特征匹配的方法，预设不同边线的特征，在使用时进行在图像中的特征匹配，将边线检测出来。

上述两种方法亦可结合使用，具体为，先用第一种方法初步检测，用第二种方法在第一种方法检测的结果基础上进行更加准确的修正；或者先用第二种方法初步检测，然后用第一种方法进行修正。据此，获得图像中边线的位置。

定位计算模块是指通过计算获得球员或者球类的定位数据，由于在边线检测模块中已经获得了边线的位置，则需要进一步确定的是：1.边线在实际世界坐标系下的真实位置；2.球员或者球类相对于边线的相对位置；3.在2中的相对位置转到世界坐标系下的转换方式。则对于1来说，要获得边线在真实世界坐标系的真实位置，则需要使用相机标定参数结合单目深度估计算法获得边线在真实世界坐标系的坐标；对于2来说，通过基于深度学习获得检测球员或球类的目标检测模型得到球类或者球员在图像坐标系下的位置信息，结合边线检测模块的边线在图像坐标系下的位置信息可以得到球员或者球类相对于边线的位置信息，即距离边线的距离信息和方向信息。将此相对位置信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系，公式如下:pu＝ktpw，pu为像素坐标系下的球类或球员相对于边线的位置，k为相机内参矩阵，t为相机外参矩阵与畸变矩阵的乘积，pw为真实世界坐标系下的球类或球员相对于边线的位置。至此，获得了球类或球员相对于边线的位置以及边线的真实世界坐标系下的位置，即可获得球类或者球员在真实世界坐标系下的位置。

如图2所示，本发明球场定位方法包括以下步骤：对采集设备校准、篮球场边线检测、定位计算、数据记录与存储。

本实施例的具体步骤如下：

1、对采集设备校准，如图3所示，先打印一个棋盘格，将其贴在一个平面上，作为标定物，通过调整此标定物的方向来获得不同角度和方向的照片，照片数量为10～20张，在计算机中提取棋盘格的角点坐标，估算无畸变情况下的内参矩阵及外参矩阵，应用最小二乘法估算存在畸变情况下的畸变系数，最后应用极大似然估计优化精度，获得更加准确的内参矩阵、外参矩阵以及畸变系数。

2、对篮球场边线检测，图4所示为定位篮球场三分线、罚球线、边界线等边线在图像中的位置。对篮球场边线检测时，所采用的方法主要有两种，第一种是根据基于深度学习的方法，具体为使用深度学习模型训练标注过篮球场罚球线、三分线等边线的数据，使用反向传播算法进行优化得到可以用于检测篮球场的边线获得边线位置和种类信息的模型；第二种是根据篮球场罚球线、三分线等边线的颜色与轮廓等特征设定匹配标准，在使用的时候在图像中找出跟预先设定的颜色与轮廓特征相似度超过设定阈值的特征区域即为篮球场边线。至此，篮球场边线检测模块构建完成，在使用的时候用此模块在图像中可以获得篮球场边界线的位置。

3、定位计算，此定位计算主要进行以下内容：1.边线在实际世界坐标系下的真实位置；2.球员或者球类相对于边线的相对位置；3.在2.中的相对位置转到世界坐标系下的转换方式。则对于1来说，要获得边线在真实世界坐标系的真实位置，则需要使用相机标定参数结合单目深度估计算法获得边线在真实世界坐标系的坐标；对于2来说，通过基于深度学习获得检测球员或球类的目标检测模型得到球类或者球员在图像坐标系下的位置信息，结合边线检测模块的边线在图像坐标系下的位置信息可以得到球员或者球类相对于边线的位置信息，即距离边线的距离信息和方向信息。3.将此相对位置信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系，公式如下pu＝ktpw，pu为像素坐标系下的球类或球员相对于边线的位置，k为相机内参矩阵，t为相机外参矩阵与畸变矩阵的乘积，pw为真实世界坐标系下的球类或球员相对于边线的位置。至此，获得了球类或球员相对于边线的位置以及边线的真实世界坐标系下的位置，即可获得球类或者球员在真实世界坐标系下的位置。

4、数据记录与存储，随着比赛或者训练进行，通过前述3个步骤在不断的检测和记录球员和球类的位置数据，使用视频与定位同步还原的方式进行实时数据存储，此步骤中使用5g高速视频编码传输技术，既将比赛或者训练能够实时传输，而且能够将任意时刻的球员运动状态记录到存储设备如本地或者云端。