基于多特征值融合的滑雪运动员姿态识别系统的制作方法

本发明涉及人体姿态识别技术领域，具体涉及一种基于多特征值融合的滑雪运动员姿态识别系统。

背景技术：

全世界的体育运动项目分门别类，但就每一项体育运动而言，都有其世界统一的竞技规则和素质标准，正是由于这样的“国际标准”，体育运动成为全球通用的语言之一。体育竞技类项目受到全球各界人士越来越多的关注，提高竞技水平也成为各国运动训练的终极目标。

滑雪运动是一种运动员在雪地上进行的速度、跳跃和滑降的竞赛运动，发展至今，滑雪运动分支越来越多，也越来越受到人们的喜欢。近年来，运动员科技训练中的运动分析成为运动员和教练员尤为关注的辅助训练方法之一。通过视频图像获取人体的运动参数，是现有最行之有效的方法，视频流包含大量人体运动信息，分析实时性得到进一步提高，在训练时可以即时予以结果分析与数据反馈，教练可以结合特定体育项目的领域知识，加之视频数据的量化信息，明确指出运动员现有技术水平中存在的缺点和不足并给出相应的改进方法。

但是，国内的大部分运动员参数获取与分析，只停留在一些金牌数量较多的优势项目，如乒乓球，游泳，跳水，皮划艇等。或者是关注度大的项目，如足球，篮球等。并没有大量针对滑雪类的体育竞技项目做系统的运动参数获取和分析研究，随着科学技术的发展，我国在智能体育投入了大量的研究，将各种科学技术应用于体育中，滑雪是人们最喜欢的冬季运动之一，所以对于滑雪的研究也就显得很有必要。

技术实现要素：

本发明的目的是针对现有技术的不足，而提出了一种基于多特征值融合的滑雪运动员姿态识别系统，该系统通过对滑雪运动员的姿态捕捉、动作识别、数据发送以及数据融合，实现对滑雪运动员动作再现，配合教练进行滑雪教学，规范滑雪运动员动作的作用。

为了实现上述目的，本发明采用如下技术方案：一种基于多特征值融合的滑雪运动员姿态识别系统，其特征在于，包括：可穿戴设备、移动端、服务器端以及界面展示端，所述可穿戴设备和移动端分别与服务器端通信连接；所述界面展示端与服务器端通信连接；

其中，可穿戴设备包括电源模块、zigbee控制器、mpu9150九轴姿态传感器、液晶显示器和无线天线，zigbee控制器通过iic总线与mpu9150九轴姿态传感器相连，zigbee控制器、mpu9150九轴姿态传感器、液晶显示器和无线天线均与电源模块电连接；液晶显示器和无线天线均与zigbee控制器相连；mpu9150九轴姿态传感器内置三轴陀螺仪、三轴加速度传感器和三轴磁力计；可穿戴设备穿戴在运动员关节处，用于获取运动员人体姿态信息，并将人体姿态信息传输至服务器端；

其中，移动端由网络摄像头和无线路由器构成，网络摄像头和无线路由器通信连接，网络摄像头采用双目摄像机的方式来获取图像，并对图像进行进行预处理和特征提取，获取运动员骨骼图像，并通过无线路由器将获取的运动员骨骼图像传送至服务器端；

其中，服务器端用于接收可穿戴设备和移动端向其发送的数据，并进行融合，形成运动员姿态图像。

进一步，所述zigbee控制器为cc2530芯片。

进一步，所述zigbee控制器与服务器端无线连接进行数据传输。

通过上述设计方案，本发明可以带来如下有益效果：

1、利用惯性传感器(mpu9150九轴姿态传感器)和计算机视觉(网络摄像头)相结合，使得到的数据更加准确，误差小，从而提高教学质量。

2、操作简单，可穿戴设备易于佩戴，不会对运动员自身产生影响。

3、适用范围广，也可以适用于其他运动。

4、操作简单，设备易于安装。

附图说明

下面结合附图对本发明的具体实施做进一步说明：

图1为本发明的基于多特征值融合的滑雪运动员姿态识别系统的结构框图；

图2为本发明的基于多特征值融合的滑雪运动员姿态识别系统架构示意图；

图3为本发明的基于多特征值融合的滑雪运动员姿态识别系统的可穿戴设备结构图；

图4为本发明的基于多特征值融合的滑雪运动员姿态识别系统采集人体骨架信息图；

图5为可穿戴设备佩戴图；

图6为双目摄像机的原理图。

图中：1-可穿戴设备；2-移动端；3-服务器端；4-界面展示端；5-电源模块；6-zigbee控制器；7-mpu9150九轴姿态传感器；8-液晶显示器；9-无线天线。

具体实施方式：

如图1及图2所示，本发明提出了一种基于多特征值融合的滑雪运动员姿态识别系统，包括可穿戴设备1、移动端2、服务器端3以及界面展示端4，所述可穿戴设备1和移动端2分别与服务器端3通信连接；所述界面展示端4与服务器端3通信连接。

其中，可穿戴设备1穿戴在人体的主要关节点附近，利用mpu9150九轴姿态传感器7获取运动信息，并且解算出主要关节点的姿态，用于获取运动员人体姿态信息，为后面数据的融合提供可靠的数据。

更进一步，上述解算人体姿态信息，通过mpu9150九轴姿态传感器7的三轴陀螺仪、三轴加速度传感器和三轴磁力计，能够提供准确可靠的横滚角(roll)，俯仰角(pitch)和偏航角(yaw)三个姿态角，本发明中通过四元数法来获取三个姿态角。四元数法是利用一种超复数的乘法来等效反映姿态变换的方法。相比欧拉角法，可以减少大量的计算量，提高姿态解算速度。四元数定义为

q＝q0+q1i+q2j+q3k(1)

其中q0，q1，q2，q3为实数，i、j及k既为互相正交的单位向量又是虚单位有i²＝j²＝k²＝ijk＝-1。首先定义初始四元数的值为q0＝1，q1＝0，q2＝0，q3＝0，定义三轴加速度传感器的值分别为ax、ay、az，三轴陀螺仪的值分别为gx、gy、gz，将三轴陀螺仪的值转化为弧度，

gx1＝gx×0.174(2)

gy1＝gy×0.174(3)

gz1＝gz×0.174(4)

上式中gx1、gy1、gz1是转化为弧度的值，随后将加速度的值进行归一化：

上式中ax1、ay1、az1是将加速度归一化的值。然后提取姿态矩阵中的重力分量，为重力分量矩阵，

设在物体坐标系下重力分量为vx、vy、vz，则

设e^x、e^y、e^z为三个轴上的误差元素，其计算公式为两个向量的叉乘

最后，用公式解出四元数的值(已知初始值q0＝1，q1＝0，q2＝0，q3＝0，wx、wy、wz为角速度的值，δt为周期时间)：

上式中q01、q11、q21、q31为解算出来的四元数值，并且将四元数归一化，为

上式中为四元数归一化后的值，通过反正切求取欧拉角,得：

通过上式中roll(横滚角)、pitch(俯仰角)和yaw(偏航角)三个角度，得到各个关节点摆动的角度，从而判断出人体的姿态。

其中，移动端2通过网络摄像头来采集人体运动的姿态图像，对人体图像进行捕捉，通过计算机视觉来识别人体姿态。

其中，服务器端3将可穿戴设备1和移动端2所发送的数据进行融合，提高姿态识别的准确性。

其中，界面展示端4可以重现运动员的姿态，更加直观的展示运动员的姿态。

所述可穿戴设备1包括惯性传感器和zigbee控制器，惯性传感器选择mpu9150九轴姿态传感器7，zigbee控制器6采用cc2530芯片。mpu9150九轴姿态传感器7与cc2530芯片通过iic总线进行连接。cc2530芯片是一款zigbee芯片，具有无线通信功能，分为移动节点、路由器节点和协调器节点，首先由路由器节点进行组网，移动节点和路由器节点加入网络，形成一个数据传输的网络，mpu9150九轴姿态传感器7和移动节点进行组合，将可穿戴设备1佩戴在人体的主要关节点附近，用来获取人体主要关节点的运动信息，当运动员运动的时候，会将采集的数据通过zigbee网络发送至服务器端3，为数据的融合做准备，mpu9150九轴姿态传感器7内置高精度三轴陀螺仪、三轴加速度传感器和三轴磁力计，采用高性能的微处理器和先进的动力学解算与卡尔曼动态滤波算法，能够快速的求解出当前的运动姿态。

所述移动端2是通过双目摄像机来获取运动员训练时的图像，对摄像机进行位置摆放，调整合适的位置，然后对其进行标定，确定内部和外部的参数，外部参数的标定是指摄像机坐标系相对于某一世界坐标系的三维位置和方向关系；内部参数的标定是摄像机固有的，包括焦距、比例因子、镜头畸变和估计偏差等。获取运动员运动时的图像。对获取的图像进行预处理和特征提取，主要包括图像对比的增强、噪声的去除、滤波、图像的增强和伪色彩处理，并且提取图像的点状特征、线状特征和区域特征。对于所提取的图像特征进行计算，建立特征之间的对应关系，将同一个空间物理点在不同图像的映像点对应起来，就可以得到所需的视差图像，从而得到深度图像，然后提取人体的骨骼数据，采用多级卷积神经网络，可以对外界的干扰起到一个很好的泛化效果，得到人体骨骼的rgb图，最后生成人体骨骼的图像。

所述服务器端3的主要功能是将获取的惯性传感器和摄像机数据进行融合比对，找出最优的运动姿态，使得所展示的人体姿态更加准确，并进行存储，解算出姿态的准确数据。

所述界面展示端4主要功能是直观的展示出运动员的姿态，为滑雪教学提供辅助性作用。复现滑雪动作，使滑雪者不断的提高自身技术水平。

图1、图2、图3、图4、图5及图6非限制性的提供了本发明的一个实施例，下面结合实施例对本发明做进一步的描述。

所述可穿戴设备1，如图4及图5所示，图4中指明了可穿戴设备1的佩戴位置，分别是骨骼节点1(脊柱)、骨骼节点5(左肘)的两侧、骨骼节点6(左腕)、骨骼节点8(右肘)的两侧、骨骼节点9(右腕)、骨骼节点11(左膝)的两侧、骨骼节点12(左踝)的上侧、骨骼节点15(右膝)的两侧和骨骼节点16(右踝)上侧等主要的关节的附近，并且给每一个可穿戴设备1进行编号，用来区别数据的来源，目的是采集主要关节点的运动信息。可穿戴设备1中负责数据传输的是cc2530芯片，每一个可穿戴设备1都是一个移动节点，首先由协调器节点进行组网形成一个网络，移动节点加入网络，随后mpu9150九轴姿态传感器7进行上电初始化，为数据的采集做准备工作，当人体开始运动时，设备会采集到人体运动的信息并且通过无线的形式发送给服务器端3。以下用骨骼节点5来做说明：骨骼节点5是左肘，可穿戴设备1佩戴在左肘的上下两侧，这样不会妨碍到运动员正常的滑雪动作，又能通过mpu9150九轴姿态传感器7来读取运动的数据，最后把所得数据进行融合，能够得到左肘的摆动角度，再与摄像机所获得的数据进行比对，从而获得左肘运动较为准确的姿态，达到姿态检测的目的。其中可穿戴设备1由cc2530芯片作为控制器，传感器采用mpu9150九轴姿态传感器7，数据传输由cc2530芯片完成。mpu9150九轴姿态传感器7集成有三轴加速度传感器、三轴陀螺仪、三轴磁力计，mpu9150九轴姿态传感器7采集的原始信号有线性加速度信号、陀螺仪信号和磁场信号。当运动员运动时，mpu9150九轴姿态传感器7会将其测量的模拟量转化为三个十六位可输出的数字量，得到的结果直接送到cc2530芯片进行处理，然后以无线的方式发送给服务器端3。服务器端3接受到数据后，由于惯性传感器具有很强的不稳定性，并伴随有偏移特性，加速度传感器在较短时间内信噪比表较小，在越长时间内加速度数据可靠性越差，三轴陀螺仪在较短的上电时间内则数据可靠性高，上电时间越长信噪比越小。在实际应用中，采集人体姿态数据时会有较多的数据噪点存在，数据噪点的存在影响对三轴陀螺仪、三轴加速度传感器和三轴磁力计的数据融合。所以服务器端3会对信息进行处理，提高信噪比，降低均方差，使其数据更具有明显的特征。

所述可穿戴设备1单个节点上，如图3所示，电源模块5、zigbee控制器6、mpu9150九轴姿态传感器7、液晶显示器8和无线天线9。电源模块5提供5v的稳压电源，为整个系统供电，zigbee控制器6负责对其他用电部分的控制，同时也是该设备中的核心处理模块，完成角度和加速度的数据采集，控制数据的上传功能。zigbee控制器6通过iic总线与mpu9150九轴姿态传感器7相连，该mpu9150九轴姿态传感器7中包含三轴陀螺仪、三轴加速度传感器和三轴磁力计，其中三轴陀螺仪可以得到人体运动在三个轴的转动角度，通过zigbee控制器6读取在液晶显示器8显示，并且通过无线天线9将数据以无线的形式进行发送。

所述移动端2是由网络摄像头和无线路由器构成的，其中网络摄像头采用双目摄像机的方式来获取图像，双目摄像机的原理如图6所示，系统将两个摄像机(左摄像机a和右摄像机b)摆放到同一高度，相当于人的左眼与右眼来共同观察空间上的一点，根据视差及成像规则，可以得到空间一点的三维坐标，从而可以得到像面上所有点的三维坐标。首先是对摄像机进行位置摆放，调整合适的位置，然后对其进行标定，确定内部和外部的参数，最后就可以来获取运动员运动时的图像。对获取的图像进行预处理和特征提取，主要包括图像对比的增强、噪声的去除、滤波、图像的增强和伪色彩处理，并且提取图像的点状特征、线状特征和区域特征。对于提取的图像特征进行计算，建立特征之间的对应关系，将同一个空间物理点在不同图像的映像点对应起来，就可以得到所需的视差图像，从而得到深度图像，从图像中提取出人体的十八个骨架节点坐标，采用多级卷积神经网络，对外界的光线、复杂的环境、噪音都具有很好的泛化作用，并将骨架坐标展成一列，生成骨架向量，用不同颜色的线对其进行着色，最后剔除背景信息获得rgb骨架图。

所述服务器端3的功能是收集移动端2和可穿戴设备1发送来的数据。对于本系统而言，对于传感器姿态角的解算是一项十分重要的过程，该算法解决了人体在三维空间中姿态信息的展示问题，本系统中所用的mpu9150九轴姿态传感器7将数据采集完成后需要传输至zigbee控制器6，而采集的信息无法在三维空间进行展示，需要运用数据融合算法进行数据的融合处理成姿态角度，这样就可以显示出人体在空间的运动姿态，本系统中选择了卡尔曼滤波算法，是一种利用方差与初始观测值进行估计获得做优结果的算法，对系统的参数具有时效性，该算法是一种递推线性最小方差估计，通过递推运算，用前一时刻的值与最新监测值的加权平均来更新现时刻状态估计。该算法所对应的状态向量是指一组能够描述系统的参数，可以是普通常量，也可以是变量或是估计对象，所对应的误差协方差矩阵不同，该矩阵表明了系统状态估计之间的不确定性及误差间的相互关系。本系统中使用卡尔曼滤波算法，使用加速度传感器与磁力计计算初始姿态角，通过陀螺仪构造系统的状态方程，采用卡尔曼滤波对系统状态方程进行更新，得到最优估计值，这样就能得到mpu9150九轴姿态传感器7的数据，从而和双目摄像机获得的图像信息进行对比和整合，从而提高姿态捕捉的准确性。

所述界面展示端4将服务器端3得出的运动姿态重现，能够清晰的复现运动时的姿态。将教练滑雪时的动作姿态与远动员的运动姿态进行对比，就能清楚的发现远动员在运动中动作的不足，从而规范学员的动作，达到现代化教学的目的。

显然，本发明适用于滑雪教学过程中，也适用于其他运动的教学。在教学训练中起着重要的作用，更好地提高教学的质量，能够使学员清晰的看到自己的不足，从而使他们更好地规范自己的动作，也能够增加教学的趣味性，因此本系统具有很高的推广价值。

除上述实施例外，本发明还可以由其他实施方式，凡采用等同替换或者等效变换形成的技术方案，均落在本发明权利要求的保护范围内。