一种羽毛球比赛分析的单目相机标定方法

1.本发明属于相机标定领域，具体涉及一种羽毛球比赛分析的单目相机标定方法。


背景技术：

2.在人工智能领域，尤其是计算机视觉领域，基于rgb图像的三维重建、三维姿态估计等任务伴随深度神经网络研究的发展，受到科研人员密切关注。由于模型训练验证用到的数据集或者野外数据等，往往并没有提供完整的相机内外参，但对于输入只有rgb图像的二维像素点的三维视觉任务，虽然依靠神经网络的学习也能得到不那么正确的三维结果，但是对于像羽毛球比赛视频分析这种对精度高要求的任务，任何能对模型提供额外特征输入的功能模块无疑都会提高模型输出精度的可能性。因此相机参数的标定在多数计算机视觉任务中尤为重要。
3.在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数(内参、外参、畸变参数)的过程就称之为相机标定(或摄像机标定)。
4.经典相机标定方法采用线性标定，即不考虑相机的畸变而只考虑空间坐标转换。每个坐标点有x,y两个变量，可列两个方程，相机内参有5个未知数，外参平移和旋转各3个，共有11个变量，因此至少需要6个特征点来求解。对于现代商用高端相机，由于内置畸变修正器件已经使得畸变矩阵的影响越来越弱。
5.常用的标定方法大致包括以下3类：(1)传统相机标定法，其依赖于标定信息已知的标定物，比如大小确定，特征点群位置确定，标定物的三维空间位置等等。通过建立标定物上坐标先验确定的三维点与图像上计算或者标定出来的二维点的对应关系。获取标定点对应的方程组，再使用优化算法估计出相机的内外参。由标定物的空间构成不同可以将其划分为三维标定物和平面标定物。传统相机标定法在标定过程中始终需要标定物，且对标定信息的选取有强依赖性。但是单目羽毛球比赛的分析中，无法得知转播相机的所有参数，也无法进入场地布置相机，更无法预先制作标定物给相机标定，整个标定过程的唯一输入信息就是唯一的一个视频序列，无法添加标定物后重新拍摄。因此传统方法不能直接用于相机信息受限的羽毛球比赛分析场景。
6.(2)主动视觉相机标定法，其是指通过控制相机做出某些指定动作，且不需要标定物，然后利用预知的动作信息特殊性可以计算出相机的内外参。基于主动视觉的相机标定法的优点是算法简单，往往能够获得线性解，故鲁棒性较高。但是缺点也很明显，预定义动作的选取大大提高了实验的复杂性，要求很高，且实验设备昂贵，不适合于运动参数位置或无法控制的场合。该主动视觉标定法依赖于一组动作信息已知的相机动作序列，要求相机移动，这在羽毛球单目视频分析中不可能实现，因为无法要求转播相机做出我们预先制定好的特殊动作。
7.(3)相机自标定法，其主要是利用场景中的一些平行或者正交的信息。其中空间平
行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。自标定方法灵活性强，可对相机进行在线定标。但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性和精度都很差。羽毛球比赛分析要求高精度的模型输出结果，所以对于相机标定参数的准确性有很高要求和依赖，相机自标定法的优点虽然解决了羽毛球比赛分析中的相机标定缺陷，但是其算法不稳定性直接导致了该方法不能满足该场景下的估计参数的高精确性。


技术实现要素：

8.鉴于上述，本发明的目的是提供一种羽毛球比赛分析的单目相机标定方法，以实现对单目相机标的准确标定。
9.为实现上述发明目的，实施例提供的一种羽毛球比赛分析的单目相机标定方法，包括以下步骤：
10.步骤1，将羽毛球场地视为标定板，并确定标定板上数量大于11的关键点，计算每个关键点的世界三维坐标和图上二维坐标；
11.步骤2，初始化相机焦距；
12.步骤3，根据相机焦距构建相机内参后，根据相机内参、所有关键点的世界三维坐标和图上二维坐标求解相机外参，并基于相机外参和相机内参对关键点进行图上投影，以得到投影点的投影二维坐标；
13.步骤4，基于投影点的投影二维坐标和关键点的图像二维坐标构建误差损失函数，以误差损失函数最小为目标采用优化算法更新相机焦距，直到满足迭代终止条件为止，得到优化的相机焦距，依据优化的相机焦距确定的候选相机内参和候选相机外参；
14.步骤5，依据候选相机内参和候选相机外参对所有关键点的世界三维坐标进行图上投影，观察基于投影点生成的重建羽毛球场地，当该重建羽毛球场地与作为标定板的羽毛球场地差别在预设差距范围内时，则认为候选相机内参和候选相机外参作为最终相机内参和最终相机外参，否则重新初始化相机焦距重新计算。
15.优选地，在标点板上确定16个关键点，分别为羽毛球场地的4个顶点、拦网的4个顶点、分布于羽毛球场的两条横向边缘线的2个中间点和两条纵向边缘线的4个平分点，以及2个中间点形成的线段与4个平分点形成的两条线段的2个交点。
16.优选地，根据相机焦距构建相机内参k(f)表示为：
[0017][0018]
其中，f表示相机焦距，w和h表示羽毛球场地图像的宽度和高度。
[0019]
优选地，采用以下公式根据相机内参、所有关键点的世界三维坐标和图上二维坐标求解相机外参：
[0020]
[0021]
其中，i表示关键点索引，n表示关键点数量，表示第i个关键点的世界三维坐标，表示第i个关键点的图上二维坐标，r为待求解的相机外参。
[0022]
优选地，所述误差损失函数采用不同的距离度量函数，包括投影点的投影二维坐标和关键点的图上二维坐标的曼哈顿距离、欧氏距离的平方期望。
[0023]
优选地，构建的误差损失函数f表示为：
[0024][0025]
其中，i表示关键点索引，n表示关键点数量，表示第i个关键点的图上二维坐标，表示第i个投影点的投影二维坐标。
[0026]
优选地，所述优化算法包括无约束最小化算法、有界约束最小化算法或约束最小化算法，其中，无约束最小化算法包括bfgs、trust-ncg；有界约束最小化算法包括nelder-mead、tnc；约束最小化算法包括cobyla、slsqp。
[0027]
优选地，当重建羽毛球场地与作为标定板的羽毛球场地差别在预设差距范围外时，还通过更换优化算法按照步骤3-5重新计算。
[0028]
与现有技术相比，具有的有益效果至少包括：
[0029]
以羽毛球场地视为标定板，并在标定板定义关键点，基于高端商用相机，简化相机内参表示方式，基于该机内参表示方式根据相机焦距构建相机内参后，构建标定方程并求解相机外参，依据相机内外参投影关键点，基于投影点坐标和关键点图上坐标来构建误差损失函数，以误差损失函数最小为目标采用优化算法更新相机焦距，同时配合可视化验证确定全局收敛的相机内参和相机外参，实现对单目相机的标定，且提高了标定准确性。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0031]
图1是实施例提供的羽毛球比赛分析的单目相机标定方法的流程图；
[0032]
图2是实施例提供的羽毛球场地中16个关键点的示意图；
[0033]
图3是实施例提供的根据投影点生成的全局不收敛的重建羽毛球场地；
[0034]
图4是实施例提供的根据投影点生成的全局收敛的重建羽毛球场地。
具体实施方式
[0035]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0036]
单目相机标定的原理如下所示：
[0037][0038]
参数解释：u,v表示rgb图像中的像素坐标，等号右侧第一个矩阵为相机内参矩阵与zc的比值，其中f表示相机焦距，单位为毫米mm，dx表示1个像素x方向宽度，dy表示1个像素y方向宽度，x0，y0表示主点偏移中x,y方向偏移量，zc表示相机坐标系下z坐标深度，以上单位皆为毫米mm，第二个矩阵为相机外参矩阵，r表示旋转矩阵，t表示平移向量。x，y，z表示世界坐标系下坐标。
[0039]
在在羽毛球比赛分析中，利用转播镜头直播的画面生成的视频进行单目相机参数的标定。转播相机的标定由于相机制作工艺其畸变矩阵的估计可以忽略，但是该任务的挑战在于转播相机是个黑箱，无法知道转播相机的规格参数也无法在比赛场地进行标定相关布置，该任务的输入就是唯一的一个视频，目标是仅通过这个视频进行相机标定。
[0040]
为了实现对羽毛球比赛分析的单目相机标定，实施例提供了一种单目目相机标定方法，通过改进传统相机标定方法，简化标定方程并构建球场关键点集合，从而生成相机内外参矩阵，最后利用自适应参数优化算法来估计相机内外参矩阵，通过遍历焦距f集合并可视化重投影特征点，实现可视化的准确性验证。
[0041]
图1是实施例提供的羽毛球比赛分析的单目相机标定方法的流程图。如图1所示，实施例提供的羽毛球比赛分析的单目相机标定方法，包括以下步骤：
[0042]
步骤1，将羽毛球场地视为标定板，并确定标定板上数量大于11的关键点，计算每个关键点的世界三维坐标和图上二维坐标。
[0043]
由于单目羽毛球比赛的分析只能针对转播镜头视频进行分析，但是转播镜头的型号无从得知，经典方法标定相机内外参很有难度，比如经典的棋盘格标定法，由于无法现场布置棋盘标定板，所以无法实现相机标定。因为转播镜头无法按要求移动，并且自适应标定的算法不稳定性，模型精度较低，这些因素导致在单目羽毛球视频分析中主动视觉标定法和自标定法无法选用，传统方法虽然无法预先放入标定板，但是经过调研分析发现，转播镜头一般是固定在比赛场地上方不动的，这给通过改进使用传统方法进行单目相机标定提供了可能性，虽然无法现场布置标定参数预知的标定板，但是羽毛球球场可以作为一个天然的标定板，通过和羽毛球专业教练研讨，确定了羽毛球场中特征不变的关键点集。由于构建的标定方程有11个为待求解变量，则需要11个关键点就可以满足求解要求。实施例中，选择在羽毛球场地确定16个关键点，如图1所示，分别为为羽毛球场地的4个顶点、拦网的4个顶点、分布于羽毛球场的两条横向边缘线的2个中间点和两条纵向边缘线的4个平分点，以及2个中间点形成的线段与4个平分点形成的两条线段的2个交点。通过在羽毛球场地确定关键点解决了传统方法无法在场地部署标定物的难题。
[0044]
实施例中，在确定好关键点后可以知道关键点的世界三维坐标，同时以羽毛球场地的中心为坐标原点，通过对关键点进行标注，得到关键点的图上二维坐标。
[0045]
步骤2，初始化相机焦距。
[0046]
相机焦距是认为随机初始化的，后面在求解过程中需要对相机焦距进行更新。实施例中，可以随机初始化一个相机焦距集合，方便后续优化算法选择。
[0047]
步骤3，据相机焦距构建相机内参后，根据相机内参、所有关键点的世界三维坐标和图上二维坐标求解相机外参，并基于相机外参和相机内参对关键点进行图上投影，以得到投影点的投影二维坐标。
[0048]
实施例中，以球网中心地面处为三维空间坐标原点，因为转播相机是高端商用相机，内部的畸变修正部件几乎可以不需要后续的畸变修正参数，也可以得到相对精确的内外参结果。因此相机内参中的s可以近似为0，而且不用考虑畸变修正矩阵。y0表示光心位置，可以取图像画幅的一半，例如图像宽为w，高为h，那么x0可以取w/2,y0可以取h/2，对于输入确定的图像，x0，y0都是常数，转播相机内部往往采用方形像素单元，即dx＝dy。那么对于相机内参的估计就可以简化为对相机焦距f/dx的估计，也就是对以像素为单位表示的焦距的估计，具体简化公式如下：
[0049][0050]
基于简化，根据相机焦距构建相机内参k(f)表示为：
[0051][0052]
其中，f表示相机焦距，该相机内参k(f)由5个参数简化为了1个f/d
x
，约束了优化空间。
[0053]
基于相机内参k(f)构建的标定方程为：
[0054][0055]
其中，i表示关键点索引，n表示关键点数量，表示第i个关键点的世界三维坐标，表示第i个关键点的图上二维坐标，[r/t]为待求解的相机外参。基于该标定方程，可以根据相机内参、所有关键点的世界三维坐标和图上二维坐标求解相机外参。
[0056]
实施例中，还根据基于相机外参和相机内参对关键点进行图上投影，得到投影点的投影二维坐标。
[0057]
步骤4，基于投影点的投影二维坐标和关键点的图像二维坐标构建误差损失函数，以误差损失函数最小为目标采用优化算法更新相机焦距，直到满足迭代终止条件为止，得到优化的相机焦距，依据优化的相机焦距确定的候选相机内参和候选相机外参。
[0058]
实施例中，构建的误差损失函数采用不同的距离度量函数，包括投影点的投影二维坐标和关键点的图上二维坐标的曼哈顿距离、欧氏距离的平方期望等。
[0059]
具体地，构建的误差损失函数f表示为：
[0060][0061]
其中，i表示关键点索引，n表示关键点数量，表示第i个关键点的图上二维坐标，表示第i个投影点的投影二维坐标。
[0062]
实施例中，优化求解采用的优化算法包括无约束最小化算法、有界约束最小化算法或约束最小化算法，其中，无约束最小化算法包括bfgs、trust-ncg；有界约束最小化算法包括nelder-mead、tnc；约束最小化算法包括cobyla、slsqp。
[0063]
通过迭代计算会收敛得到优化的相机焦距，依据优化的相机焦距计算的候选相机内参和候选相机外参。
[0064]
步骤5，依据候选相机内参和候选相机外参对所有关键点的世界三维坐标进行图上投影，观察基于投影点生成的重建羽毛球场地，当该重建羽毛球场地与作为标定板的羽毛球场地差别在预设差距范围内时，则认为候选相机内参和候选相机外参作为最终相机内参和最终相机外参，否则重新初始化相机焦距或更换优化算法重新计算。
[0065]
在获得候选相机内参和候选相机外参，还要进行正确性验证方，具体通过重投影可视化投影点二维坐标来可视化检验相机内外参结果的准确性，这一步是很关键的。因为采用的是神经网络类似的梯度下降算法，相机焦距收敛值只能保证是局部最优解，并不是全局最优解。因此可以通过可视化来判断估计的候选相机内参和候选相机外参是否准确，比如是否满秩，具体地，依据候选相机内参和候选相机外参对所有关键点的世界三维坐标进行图上投影，观察基于投影点生成的重建羽毛球场地，如果重建羽毛球场地与作为标定板的羽毛球场地差距很小，如图4所示，这说明求解的相机焦距是全局最优解，得到的候选相机内参和候选相机外参满秩，得到的候选相机内参和候选相机外参准确，直接作为最终相机内参和最终相机外参输出。如果重建羽毛球场地与作为标定板的羽毛球场地差距很大，如图3所示，这说明求解的相机焦距是局部最优解，得到的候选相机内参和候选相机外参不满秩，需要重新初始化相机焦距循环执行步骤2-步骤5，或更换优化算法循环执行步骤3-步骤5，或同时重新初始化相机焦距和更换优化算法后循环执行步骤2-步骤5，直到模生成了一个全局最优解的相机内参和相机外参。
[0066]
在羽毛球单目视频比赛分析中，通过上述相机标定方法，可以解决在标定场景几乎是黑盒的情况下完成相机标定，不需要相机移动，也不需要知道相机的任何参数，通过采用自定义的球场关键点集，并求解优化后的标定方程，生成一组精度较准确的相机内外参。对后续利用三维姿态估计或球路追踪分析单目羽毛球比赛视频提供了有效的相机参数，基于该相机参数，可以进一步运用计算机视觉相关算法(比如三维重建、单目三维姿态估计等)对转播视频分析，获取特定运动员的体能参数、击球特点，得失分偏好区间等。最后为羽毛球比赛运动员提供对方的数据资料或运动员的技术优劣点，达到智能化助力羽毛球比赛的目的。
[0067]
需要说明的是，上述实施例提供的单目相机标定方法，同样适用于举重、游泳等比赛场地，具体的，将举重场地、游泳池视为标定板，来确定关键点。
[0068]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理
解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。