一种基于二维骨架序列的人体运动评估方法与流程

本发明涉及一种基于二维骨架序列的人体运动评估方法。

背景技术：

随着人类社会的进步和人们生活的发展需求，智能视觉识别、自然人机交互、虚拟增强现实等人工智能技术在人们的生活中逐步广泛应用，其中通过视觉信息计算对图像序列中关节式物体(如人体)的姿态进行检测、匹配以及识别，是智能视觉和人机交互领域中的重要研究内容，可广泛应用于医疗康复训练、体育训练动作分析及评估、虚拟现实人机交互等多个领域。

传统的关节式物体的运动分析方法包括在人体上佩戴磁跟踪器、光学标签等接触式方式或者利用深度摄像头进行检测方式。因非接触式的视觉运动捕获方法相比其他方法更自然、更方便、成本更低，已成为当前的主流研究与应用方式。此外，微软kinect、因特尔realsense等深度摄像头虽然可采集彩色和深度图像，在人体骨架模型提取方面具有优势，但由于该类摄像头存在成本高、分辨率低等问题，且不适用现有监控设备，无法满足普通用户在运动评估、人机交互、虚拟现实等方面日益增长的需求，不利于推广应用。随着深度学习技术的发展，基于rgb图像的人体骨架提取方法被提出并已成为当前的研究热点，该类方法可在普通低成本摄像头或现有监控设备条件下利用处理单元提取二维人体骨架模型，且在计算机硬件技术的飞速发展下处理单元性能逐渐提升、成本逐步降低，因此，研究基于rgb图像的运动分析与评估方法具有重要的现实意义，一方面可有效缓解医疗康复、体育运动、舞蹈训练等辅助设备资源不足的现状，另一方面将患者或运动者置身于虚拟场景之中，增加功能锻炼的趣味性、规范性和依从性，使得用户可按照合理的方式坚持长期锻炼，增强训练效果。

技术实现要素：

本发明要解决的技术问题是提供一种基于二维骨架序列的人体运动评估方法，在采用低成本rgb摄像头条件下可对人体运动进行准确评估与趋势分析，在体育、武术、舞蹈等动作训练与指导方面的具有较好的应用价值。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于二维骨架序列的人体运动评估方法，包括以下步骤：

通过摄像头获取包含人体的rgb图像，提取该rgb图像中的二维人体骨架，人体骨架中具有若干关节点；

对人体骨架的初始位姿进行校正；

提取人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征，并形成特征矩阵，关节点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚，关键部位角度是指相邻的两个关节点之间形成的角度；

建立测试骨架序列与标准骨架序列的矩阵坐标系，根据特征矩阵及对应帧差异度计算模型，对测试骨架序列与标准骨架序列的前后段进行搜索，得到匹配路径起末端点，并分别以起末点为参考点进行双向并行搜索，直至完成测试骨架序列和标准骨架序列的最优路径匹配，得到测试骨架序列与标准骨架序列的累积差异值。

以人体骨架重心位置为原点建立坐标系，对人体骨架中各个关节点的坐标进行归一化处理，设人体骨架重心坐标为即则归一化前后关节点坐标转换公式：

所述进行初始位姿校正时，获取人体骨架的最小外界矩形，并换算出与标准骨架序列的最小外接矩形的比例因子，同时对运动者骨架进行对称性分析，使得运动者以最佳的位置和方向适配标准骨架序列；

以人体骨架重心位置为坐标系原点，设第i个关节点的坐标为(xi,yi)，所有人体骨架关节点集合表示为r(x,y)，通过对人体张开双臂正向面对摄像头所处姿态的几何分析，可得骨架最小外接矩形计算式为：

left＝x8

right＝x12

则最小外接矩形的宽w、高h分别为：

h＝bottom-top

w＝right-left

设γx为标准骨架与人体初始状态的骨架在x方向上的比例，γy为标准骨架与人体初始状态的骨架在y方向上的比例，计算式如下：

其中w0、h0分别为标准骨架序列宽度和高度；

以坐标系y轴为对称轴对人体的人体初始状态的骨架序列进行对称性分析，定义对称度为c，计算公式如下：

若|c-c0|越小，则代表人体初始状态的骨架序列与标准骨架序列越匹配，其中c0为标准骨架序列对称度。

提取人体运动骨架序列特征，包括人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征；

关节点坐标：人体在某一时刻的身体各关节位置坐标，设定第m帧第i个关节点的坐标为通过比例校正后的坐标为

关键部位角度：第m帧的第i关节点对应的第j个角度表示为计算式为：

其中p、q关节点为与j关节点成角度的相邻关节点，(γxxp,γyyp)、(γxxq,γyyq)分别p、q关节点的坐标，其中将简写为建立约束条件：

关节点速度：第i个关节点第m帧的速度为：

其中为第i个关节点第m帧的位置，δt为帧时间间隔，此处设为单位时间即1，n取5，考虑越近邻的帧影响越大，设wk值在保持总和为1情况下随近邻帧逐步变化，上式可简化为：

关节点速度波动误差：引入波动误差进行运动平稳性评估，计算公式为：

所述测试骨架序列与标准骨架序列的对应帧匹配计算过程具体如下：

采用差异度来表征当前测试骨架序列和标准骨架序列的匹配程度，即差异度越小，则越匹配，差异度越大则越不匹配，差异度大于0；

根据关节点坐标关键部位角度关节点速度及速度波动误差erri^m四个参量为特征量来计算对应帧差异程度，并建立运动者运动骨架序列与标准骨架序列的差异度计算模型，其公式如下：

其中f^m、分别为当前运动骨架序列第m帧和标准骨架序列第n帧的差异度特征矩阵，λ为影响因子的权重行向量，e为各关节点的权重列向量，此处将λ和e分别取为等权重的4阶单位行向量和18阶单位列向量。

根据差异度计算模型对测试骨架序列与标准骨架序列对应帧进行计算，并在测试骨架序列和标准骨架序列构成的序列矩阵坐标系中寻找一条时间校准最优匹配路径，即两运动序列累积差异度最小的路径；

设s和t分别是长度为n的标准骨架序列和长度为m的测试骨架序列，即

则sm和tn间的差异度为d(sm,tn)，简写为d(m,n)，全局匹配路径的差异度累积和为

将差异度计算模型公式代入得

其中，差异度模型公式为

其中k为匹配对应帧数，k取值范围为[1,m+n]；

设置标准骨架序列和测试骨架序列对齐的全局路径为g＝g1,g2,...,gk,...,gk，需要搜索最佳起末匹配点即g1和gk，设起点搜索约束区间为m∈[1,a],n∈[1,b]，末点搜索约束区间为m∈[c,m],n∈[d,n]，起点为(a,b)，末点为(c,d)，则起末点搜索公式如下：

对于末匹配点gk,k∈[2,k-1]，设其局部路径节点为(m,n)，差异度为dk(m,n)，若以起点(a,b)开始，则建立路径向前搜索递推公式：

其中m∈(a,c-1),n∈(b,d-1),e∈[m,m+1],f∈[n,n+1],k∈[1,k-2]；

若以末点(c,d)开始，则建立路径向后搜索递推公式：

其中m∈(a+1,c),n∈(b+1,d),e∈[m-1,m],f∈[n-1,n],k∈[3,k]；

设向前和向后搜索路径的当前搜索节点坐标分别为gf(mf,nf)和gb(mb,nb)，在向前和向后的双向搜索过程中，若mb-mf≤1，则表明向前和向后搜索路径相遇，此时计算向前和向后搜索路径的当前搜索节点的距离dist(gf,gb)，定义两搜索路径对接条件ω为：dist(gf,gb)≤1或nf-nb≤0，若不满足条件ω，即表明向前和向后搜索路径无法对接或形成的全局路径不是最优路径，则向前和向后搜索路径继续搜索，且对于向前搜索路径，实时计算当前搜索点与向后搜索路径的最小距离，记最小距离点为gb,min；对于向后搜索路径，需实时计算当前搜索点与向前搜索路径的最小距离，标记最小距离点为gf,min)；在此过程中若任一搜索路径满足条件ω，则停止搜索，并以将满足条件ω的搜索路径与另一搜索路径对接，对接点为gb,min或gf,min，得到最优搜索路径。

在搜索时还建立搜索约束条件，在对每个局部路径点搜索完成后，对该搜索点进行约束判断，以避免搜索的路径不合理情况，以起点(a,b)和末点(c,d)为端点构建直线l，求解路径搜索点p到直线l的距离|pq|，pq垂直l于q，则|pq|≤r，其中r为最大波动幅度，该r为一个预设值。

本发明可在普通低成本摄像头或现有监控设备条件下利用处理单元提取的二维人体骨架模型进行运动分析与评估，解决传统深度摄像头方式存在的成本高、分辨率低、通用性差及推广应用不便等问题，且本发明通过提取关节点坐标、关键部位角度、关节点速度及速度波动误差四类代表性特征及差异度计算模型建立，可准确对测试运动序列和标准运动序列进行评估，提出并行搜索策略可加速运动匹配过程，提高算法的实时性，可广泛应用于医疗康复训练、体育训练动作分析及评估、虚拟现实人机交互等多个领域。

在具体应用时，可有效缓解医疗康复、体育运动、舞蹈训练等辅助设备资源不足的现状；将患者或运动者置身于虚拟场景之中，增加功能锻炼的趣味性、规范性和依从性，使得用户可按照合理的方式坚持长期锻炼，增强训练效果。

附图说明

附图1为本发明流程示意图；

附图2为本发明人体骨架示意图；

附图3为本发明中人体骨架形成角度的状态示意图；

附图4为本发明中人体的运动规整示意图；

附图5为本发明的计算流程示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1-5所示，本发明揭示了一种基于二维骨架序列的人体运动评估方法，包括以下步骤：

通过摄像头获取包含人体的rgb图像，采用深度卷积神经网络模型方法提取该rgb图像中的二维人体骨架，人体骨架中具有若干关节点。关节点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚，在本实施例中，设定有18个关节点。

对人体骨架的初始位姿进行校正。

提取人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征，并形成特征矩阵，关键部位角度是指相邻的两个关节之间形成的角度。本实施例中取胸颈处、左肩、右肩、左肘、右肘、左髋、右髋、左膝、右膝关节与邻近关节所成9个角度值为关键部位角度。

建立测试骨架序列与标准骨架序列的矩阵坐标系，根据特征矩阵及对应帧差异度计算模型，对测试骨架序列与标准骨架序列的前后段进行搜索，得到匹配路径起末端点，并分别以起末点为参考点进行双向并行搜索，直至完成测试骨架序列和标准骨架序列的最优路径匹配，得到测试骨架序列与标准骨架序列的累积差异值。

每幅骨架图像用18个节点在摄像机坐标系中的坐标来表示。由于从图像提取的骨架数据为图像坐标系下的像素坐标，为了消除人所处图像位置对运动评估结果的影响，同时考虑到人在运动时重心是整个身体中位置变化最平稳的点，本实施例建立以人体骨架重心位置为原点的坐标系对骨架数据进行坐标归一化处理。人体张开双臂正向面对摄像头，以胸颈处、右髋和左髋三个关节点构成三角形的重心位置近似为人体骨架重心。设原始图像坐标系下人体骨架第i个关节点的坐标为原始图像坐标系下的重心坐标为归一化后人体骨架第i个关节点的坐标为(xi,yi)，为简化计算，以胸颈处、右髋和左髋三个节点构成三角形的重心位置近似为骨架重心坐标为即则归一化前后关节点坐标转换公式：

所述进行初始位姿校正时，获取人体骨架的最小外界矩形，并换算出与标准骨架序列的最小外接矩形的比例因子，同时对运动者骨架进行对称性分析，使得运动者以最佳的位置和方向适配标准骨架序列。

以人体骨架重心位置为坐标系原点，设第i个关节点的坐标为(xi,yi)，所有人体骨架关节点集合表示为r(x,y)，通过对人体张开双臂正向面对摄像头所处姿态的几何分析，可得骨架最小外接矩形计算式为：

left＝x8

right＝x12

则最小外接矩形的宽w、高h分别为：

h＝bottom-top

w＝right-left

设γx为标准骨架与人体初始状态的骨架在x方向上的比例，γy为标准骨架与人体初始状态的骨架在y方向上的比例，计算式如下：

其中w0、h0分别为标准骨架序列宽度和高度；

以坐标系y轴为对称轴对人体的人体初始状态的骨架序列进行对称性分析，定义对称度为c，计算公式如下：

若|c-c0|越小，则代表人体初始状态的骨架序列与标准骨架序列越匹配，其中c0为标准骨架序列对称度。

提取人体运动骨架序列特征，包括人体骨架关节点坐标、关键部位角度、关节点速度及其波动误差四类特征；

人体在某一时刻的身体各关节位置坐标，设定第m帧第i个关节点的坐标为通过比例校正后的坐标为第m帧的第i关节点对应的第j个角度表示为考虑到人体关节之间的约束性，取9个角度作为关键部位角度，计算式为：

其中p、q关节点为与j关节点成角度的相邻关节点，(γxxp,γyyp)、(γxxq,γyyq)分别p、q关节点的坐标，其中将简写为建立约束条件：比例校正是指采用校正比例因子γx、γy对坐标进行处理，得到

考虑相邻连续多帧的影响进行当前帧速度估计，计算每个关节点相对于人体骨架原点的相对运动速率，考虑相邻n帧之间的关系，第i个关节点第m帧的速度为：

其中为第i个关节点第m帧的位置，δt为帧时间间隔，此处设为单位时间即1，n取5，考虑越近邻的帧影响越大，设wk值在保持总和为1情况下随近邻帧逐步变化，上式可简化为：

另外，引入波动误差进行运动平稳性评估，计算公式为：

所述测试骨架序列与标准骨架序列的对应帧匹配计算过程具体如下：

采用差异度来表征当前测试骨架序列和标准骨架序列的匹配程度，即差异度越小，则越匹配，差异度越大则越不匹配，差异度大于0；

根据关节点坐标关键部位角度关节点速度及速度波动误差erri^m四个参量为特征量来计算对应帧差异程度，并建立运动者运动骨架序列与标准骨架序列的差异度计算模型，其公式如下：

其中f^m、分别为当前运动骨架序列第m帧和标准骨架序列第n帧的差异度特征矩阵，λ为影响因子的权重行向量，e为各关节点的权重列向量，此处将λ和e分别取为等权重的4阶单位行向量和18阶单位列向量。

为了降低计算复杂度，并保证匹配精度，对运动骨架序列进行隔帧采样。在运动评估过程中，对运动者采集的测试骨架序列的起始和结束部分与标准骨架序列很难保持一致，为了避免测试骨架序列与标准骨架序列前后不对应的情况，对两序列的前后段进行起末端点搜索，同时建立从起末点分别出发的双向搜索规则，提升了计算效率。

所述根据差异度计算模型对测试骨架序列与标准骨架序列对应帧进行计算，并在测试骨架序列和标准骨架序列构成的序列矩阵坐标系中寻找一条时间校准最优匹配路径，即两运动序列累积差异度最小的路径。

设s和t分别是长度为n的标准骨架序列和长度为m的测试骨架序列，即

则sm和tn间的差异度为d(sm,tn)，简写为d(m,n)，全局匹配路径的差异度累积和为

将差异度计算模型公式代入得到

差异度模型公式为

其中k为匹配对应帧数，k取值范围为[1,m+n]；

设置标准骨架序列和测试骨架序列对齐的全局路径为g＝g1,g2,...,gk,...,gk，需要搜索最佳起末匹配点即g1和gk，设起点搜索约束区间为m∈[1,a],n∈[1,b]，末点搜索约束区间为m∈[c,m],n∈[d,n]，起点为(a,b)，末点为(c,d)，则起末点搜索公式如下：

对于末匹配点gk,k∈[2,k-1]，设其局部路径节点为(m,n)，差异度为dk(m,n)，若以起点(a,b)开始，则建立路径向前搜索递推公式：

其中m∈(a,c-1),n∈(b,d-1),e∈[m,m+1],f∈[n,n+1],k∈[1,k-2]；

若以末点(c,d)开始，则建立路径向后搜索递推公式：

其中m∈(a+1,c),n∈(b+1,d),e∈[m-1,m],f∈[n-1,n],k∈[3,k]；

设向前和向后搜索路径的当前搜索节点坐标分别为gf(mf,nf)和gb(mb,nb)，在向前和向后的双向搜索过程中，若mb-mf≤1，则表明向前和向后搜索路径相遇，此时计算向前和向后搜索路径的当前搜索节点的距离dist(gf,gb)，定义两搜索路径对接条件ω为：dist(gf,gb)≤1或nf-nb≤0，若不满足条件ω，即表明向前和向后搜索路径无法对接或形成的全局路径不是最优路径，则向前和向后搜索路径继续搜索，且对于向前搜索路径，实时计算当前搜索点与向后搜索路径的最小距离，记最小距离点为gb,min；对于向后搜索路径，需实时计算当前搜索点与向前搜索路径的最小距离，标记最小距离点为gf,min)；在此过程中若任一搜索路径满足条件ω，则停止搜索，并以将满足条件ω的搜索路径与另一搜索路径对接，对接点为gb,min或gf,min，得到最优搜索路径。

搜索时还建立搜索约束条件，在对每个局部路径点搜索完成后，对该搜索点进行约束判断，以避免搜索的路径不合理情况，以起点(a,b)和末点(c,d)为端点构建直线l，求解路径搜索点p到直线l的距离|pq|，pq垂直l于q，则|pq|≤r，其中r为最大波动幅度，该r为一个预设值。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。