从二维图像中获取人体骨骼关节三维信息的混合智能方法

本发明属于计算机视觉、图像处理，尤其属于体育比赛技术分析图像处理，特别涉及一种从二维图像中获取人体骨骼关节三维信息的混合智能方法。

背景技术：

1、从运动人体中获取人体骨骼关节的三维信息，在影视制作、体感控制、体育比赛分析、步态分析、智能监控等领域有广泛的应用价值。其中，获取真实高水平比赛中运动员的骨骼关节三维信息，是开展技战术分析或比赛表现分析(performance analysis)的关键。在对羽毛球的技战术分析与诊断过程中，获取主力运动员与主要对手的骨骼关节三维信息，能够帮助教练员和运动员改进技术和战术，还能发现对手的弱点。

2、目前，获取人体骨骼关节三维信息主要有三条技术线路。第一，动作捕获系统(motion capture)，如vicon。它在运动场地周围架设多个红外摄像机，并在运动员关节点上使用标记(marker)，然后根据标记进行三维重建。它的优点是有很高的重建精度，可以用于影视制作。它的缺点是需要在场地安装复杂设备，且反光标记会影响运动员的比赛表现，所以它无法用于真实比赛。第二，多摄像机三维重建系统(multi-camera 3dreconstruction)，如apas(ariel performance analysis system)运动分析系统。它需要在场地安装多台摄像机，也可以不需要标记但需要人工打点。它不但能够分析我方运动员，而且可以分析竞争对手，这使得它在体育科研中得到广泛应用。第三，单目三维重建系统(monocular 3d reconstruction)。它从单台一路摄像机视频中获取运动员的三维信息。因为它只需要二维视频，所以不需要在现场安装设备，仅根据电视转播视频就能够获取运动员的三维信息。所以它的适用范围非常广，尤其适合分析世界顶级运动员。

3、姿态估计(pose estimation)是近年来计算机视觉研究的热门方向。它使用机器学习方法，从二维图像序列中估计人体关节点的二维坐标，如openpose。它不需要标记，因此不会影响运动员的比赛表现。它在gpu的帮助下能够做到实时识别骨骼关节点。但是，它的缺点是只能得到运动员关节点的二维坐标，不能得到三维空间中的关节点的三维坐标。所以它无法用于体育比赛分析。

4、多摄像机姿态估计。为了克服姿态估计只能得到二维坐标的缺点，有研究者使用多个摄像机的姿态估计方法。它通过多个摄像机得到的多个视频流，然后对每个视频流独立完成二维姿态估计，再使用三角测量完成运动员骨骼关节的三维重建。它用机器学习方法代替操作人员完成对关节点的标记。所以，多摄像机姿态估计属于第二条技术路线(多摄像机三维重建系统)。它的缺点是难以处理人体复杂姿态下的遮挡问题(occlusion)，尤其是持拍手、非持拍手与身体躯干的相互遮挡，进而导致该方法在完成复杂技术动作的三维重建时存在极大误差。因此，这条技术路线尚未进入实用阶段。

技术实现思路

1、本发明根据现有技术的不足公开了一种从二维图像中获取人体骨骼关节三维信息的混合智能方法。本发明要解决的问题是提供一种能够避免视觉遮挡、准确性更高、重建误差小的单目重建人体骨骼关节三维信息的混合智能方法。

2、本发明通过以下技术方案实现：

3、从二维图像中获取人体骨骼关节三维信息的混合智能方法，其特征在于：针对特定的运动员进行构建并应用于该特定运动员的运动技术分析，包括以下步骤：

4、步骤1：在比赛现场架设2台摄像机，拍摄2路视频，并使用三角测量法得到特定运动员的14个关节点，然后得到13条线段组成的人体生物学模型，设li,j是从第i个关节点到第j个关节点的线段长度；

5、步骤2：根据针孔相机模型，并根据从二维图像中羽毛球场(u，v)到三维球场模型(x，y，z)的n个对应关系，其中n＞5；计算得到3*4的透视矩阵p：

6、

7、步骤3：三维重建顺序以踝关节优先，然后顺序进行；使用获取运动球体三维信息的方法得到三维重建起点，即踝关节是将它的图像坐标投影到球场地平面的三维坐标，令第i个关节点是踝关节点1，开始执行步骤4；

8、步骤4：如果第j个关节点是脖子，跳转到步骤5；

9、假设两个关节点之间的骨骼长度在运动过程中固定不变；已知第i个关节点的三维坐标(xi，yi，zi)，已知第i个关节点到第j个关节点的线段长度li，j，已知第j个关节点的图像坐标(uj，vj)，得到下列方程组：

10、(ujm31-m11)x+(ujm32-m12)y+(ujm33-m13)z+(ujm34-m14)＝0    (2)

11、(vjm31-m21)x+(vjm32-m22)y+(vjm33-m23)z+(vjm34-m24)＝0   (3)

12、

13、求解上述非线性方程组(2)～(4)的解；

14、将最终解作为第j个点的三维坐标，完成第j个点的三维重建；如果j是最后一个点，则跳转到步骤6；反之，将第j个点作为第i个点，跳转到步骤4；

15、步骤5：在按顺序三维重建过程中，同时使用左髋关节和右髋关节来进行脖子的重建；

16、设第j个点是脖子，第i个关节点是右髋关节，第k个关节点是左髋关节；令li，j是从右髋关节i到脖子j的线段长度，lk，j是从左髋关节k到脖子j的线段长度，(uj，vj)是第j个关节点脖子的图像坐标；求解非线性方程组(2)(3)(5)的解：

17、

18、将最终解作为第j个点的三维坐标，将第j个点作为第i个点，跳转到步骤4；

19、步骤6：重复步骤4或步骤5，直到完成14个关节点的三维重建。

20、所述步骤4中，公式(2)和(3)是图像坐标(uj，vj)对应的三维直线，公式(3)是以第i个关节点为圆心且半径为li,j的三维球体；因此，非线性方程组(2)～(4)的解就是三维直线与三维球体的交点；它的解共有3种情况：无解、唯一解和两个解。

21、(a)当解的情况是“无解”时，扩大li,j的值，求解非线性方程组(2)～(4)直到最终解；

22、(b)当解的情况是“唯一解”时，它就是最终解；

23、(c)当解的情况是“两个解”时，显示两个解的三维图形，操作人员根据羽毛球运动经验和图像选择其中一个解作为最终解。

24、所述步骤5中，在非线性方程组(2)(3)(5)中，公式(2)和(3)代表图像坐标(uj,vj)对应的三维直线，公式(5)表示以右髋关节为圆心且半径为li,j的三维球体与以左髋关节为圆心且半径为lk,j的三维球体相交形成的三维圆；非线性方程组(2)(3)(5)的解是三维直线与三维圆的交点；非线性方程组(2)(3)(5)的解有3种情况：无解、唯一解和两个解；处理方法同步骤4。

25、进一步所述步骤3中：三维重建顺序以踝关节优先，顺序依次是右踝关节、右膝关节、右髋关节、左踝关节、左膝关节、左髋关节、脖子、右肩关节、右肘关节、右手、球拍、左肩关节、左肘关节、左手。

26、本发明方法是具有实用价值的单目三维重建方法，它包括以下三个优点：

27、第一，本发明方法用人脑解决遮挡问题。计算机视觉姿态估计方法的最大挑战是遮挡问题。例如，当运动员的上肢在二维图像中存在相互遮挡，或者躯干完全遮挡部分上肢时，姿态估计方法会出错。但是，操作人员(人脑)依然能够在这样的强遮挡条件下，不可思议的完成单目三维重建。本文将人脑的这种强大的遮挡处理能力与计算机视觉算法结合，提出了新的混合智能(human-machine hybrid intelligence)方法。

28、第二，本发明方法使用特定的人体生物学模型提高了单目三维重建的准确度。openpose方法使用通用人体模型来进行姿态估计。事实上，羽毛球项目中的运动员身高差异很大。如果使用通用人体模型，会导致三维重建的结果出现误差。因此，为了避免模型误差，本发明对每个特定运动员，测量了特定的人体生物学模型(骨骼关节模型)，并根据它开展单目三维重建。所以，与使用通用模型的通用方法相比，本发明提出的新方法在准确度上更可信。

29、第三，本发明使用两点法完成起始点的测量。2014年，本发明人完成了《一种获取运动球体三维信息的方法》201410785238.x的发明专利。该方法能够从二维图像中获得击球点的三维坐标。前期实验结果证明，该方法重建人体不同关节点时存在不同的测量误差。其中，踝关节的测量误差最小，空中击球点的测量误差最大。本发明选择测量误差最小的踝关节作为三维重建的起始点，然后根据人体链式结构(如脚-膝盖-髋关节)逐步完成三维重建。这样的重建顺序，非常便于操作人员操作，而且能够将误差控制在最小范围。

30、此外，本发明方法还有如下两个特色：

31、第一，将运动器械引入生物学模型。在网球、羽毛球等持拍运动项目中，运动器械(球拍)扮演了重要角色。但是，目前的计算机视觉方法尚未在数学模型中包含运动器械这一非人体的刚体结构。而本发明在人体生物学模型中引入了球拍节点。这对于研究握拍、架拍、挥拍、击打等技术动作，具有特殊的体育学价值。所以，本发明方法可以直接应用于羽毛球队的技战术分析与诊断工作。

32、第二，将运动经验引入三维重建。单目三维重建的核心难题是从二维图像中恢复三维信息存在多个解(歧义性)。动作捕获系统或多摄像机三维重建系统，通过使用2个以上的摄像机来计算最优解(消除歧义性)。本发明使用具有运动经验的操作人员，来解决歧义性难题。尤其是可行解的差异不大时，操作人员的羽毛球运动经验，将为寻找最优解提供关键的证据。所以，本发明方法通过操作人员引入运动经验，提高三维重建的可信度。

33、综上，本发明所述单目三维重建是一种新颖的、实用的、有体育特色的混合智能方法。