一种基于生理特征纠错的下肢关节点提取方法与流程

本发明涉及下肢关节点提取方法，具体涉及一种基于生理特征纠错的下肢关节点提取方法。

背景技术：

人体姿态估计是一种从图像或视频中识别人体关节点位置的技术。人体姿态估计技术是计算机视觉领域的热点研究方向之一，其在公共安防、医学影像、步态分析、无人驾驶等方面均有广泛的应用。人体姿态估计的难点在于人体姿态本身的多样性；以及图像或视频背景的复杂性，如光照变化、遮挡等。

随着计算机视觉和卷积神经网络的发展，基于深度学习的人体姿态估计成为目前主流的人体姿态估计方法。依据图像或视频中人的数量分为单人姿态估计和多人姿态估计两类。单人的人体姿态估计方法主要包含基于坐标回归、基于热力图回归和基于坐标和热力图混合检测的方法。多人的人体姿态估计问题可以通过两种途径实现：一是首先将多人分割成独立的单人，其次采用单人的人体姿态估计方法识别。该方法称为自顶向下的方法；二是基于图论的自底向上的方法。

基于卷积神经网络生成的热力图可以预测人体关节点坐标值及其置信度。这种热力图回归方法对于体位顺置的情况识别结果良好；对于体位倒置的情况整体识别结果较差：上肢关节点识别较好，髋部以下的下肢关节点识别误差较大，甚至出现严重错误或无法识别。

技术实现要素：

本发明的目的在于提供一种基于生理特征纠错的下肢关节点提取方法，用以解决现有技术对下肢关节点识别误差较大，甚至出现严重错误或无法识别的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于生理特征纠错的下肢关节点提取方法，按照以下步骤执行：

步骤1、获取待提取下肢关节点的图像；

步骤2、提取所述图像中的下肢关节点，所述的下肢关节点包括左膝关节点、右膝关节点、左踝关节点、右踝关节点、左髋关节点hl以及右髋关节点hr，其中h表示髋关节点；

所述的左膝关节点包括第一左膝关节点kl1和第二左膝关节点kl2；所述的右膝关节点包括第一右膝关节点kr1和第二右膝关节点kr2，其中k表示膝关节点；

所述的左踝关节点包括第一左踝关节点ol1和第二左踝关节点ol2；所述的右踝关节点包括第一右踝关节点or1和第二右踝关节点or2，其中o表示踝关节点；

步骤3、获得膝关节点识别生理特征向量集合sk，所述的膝关节点识别生理特征向量集合sk包括四个膝关节点识别生理特征向量组，每个向量组包含两个向量；其中

步骤4、采用步骤4.1至步骤4.4对所述的膝关节点识别生理特征向量集合sk进行筛除，获得一个膝关节点识别生理特征向量组：

步骤5、根据步骤4获得的膝关节点识别生理特征向量组中包含的两个膝关节点，获得提取后的左膝关节点kl以及提取后的右膝关节点kr，其中k表示提取后的膝关节点；

步骤6、根据步骤5获得的提取后的左膝关节点kl以及提取后的右膝关节点kr，获得四个踝关节点识别生理特征向量组，每个向量组包含两个向量，其中

步骤7、采用步骤4.2的方法对所述的踝关节点识别生理特征向量组进行处理，获得一个踝关节点识别生理特征向量组；

步骤8、根据步骤7获得的踝关节点识别生理特征向量组中包含的两个踝关节点，获得提取后的的左踝关节点ol以及提取后的右踝关节点ol，其中o表示提取后的踝关节点；

步骤4.1、判断生理特征向量集合中是否存在任一生理特征向量组满足该组中的两个向量直接相交，若存在执行步骤4.2；否则执行步骤4.3；

步骤4.2、将生理特征向量集合中两个向量直接相交的生理特征向量组删除后，判断生理特征向量集合中剩余的多个生理特征向量组中是否存在任一生理特征向量组中的两个向量分别沿各自方向延伸后相交，若存在则从生理特征向量集合中删除两个向量分别沿各自方向延伸后相交的生理特征向量组，获得一个膝关节点识别生理特征向量组；否则直接获得一个膝关节点识别生理特征向量组；

步骤4.3、采用步骤4.3.1至步骤4.3.4对生理特征向量集合进行处理，获得一个膝关节点识别生理特征向量组：

步骤4.3.1、获得颈部关节点，将颈部关节点与左髋关节点hl以及右髋关节点hr连接，获得左躯干向量和右躯干向量其中表示躯干向量；

步骤4.3.2、判断生理特征向量集合中是否存在任一生理特征向量组中的向量与左躯干向量或右躯干向量直接相交，若存在，则从生理特征向量集合中删除有与左躯干向量或右躯干向量相交的向量的生理特征向量组后，执行步骤4.3.3；否则直接执行步骤4.3.3；

步骤4.3.3、判断生理特征集合中剩余的多个生理特征向量组中是否存在任一生理特征向量组中的两个向量分别沿各自方向延伸后相交，若存在则从生理特征向量集合中删除两个向量分别沿各自方向延伸后相交的生理特征向量组后，获得一个膝关节点识别生理特征向量组；否则直接获得一个膝关节点识别生理特征向量组。

进一步的，所述的步骤2中提取所述图像中的下肢关节点时，采用人体姿态估计卷积神经网络进行提取。

本发明与现有技术相比具有以下技术特点:

1、本发明提供的基于生理特征纠错的下肢关节点提取方法是通过选取多余候选点及其置信度，结合人体生理体征来实现下肢正确关节点提取的方法，无需利用庞大的数据集进行复杂神经网络的训练，而是利用简单高效的数学模型作为神经网络的后处理部分，从而纠正一般神经网络下肢关节点的错误标注情况。

2、本发明提供的基于生理特征纠错的下肢关节点提取方法考虑到普通神经网络对于人体髋关节及上半身定位精度较高等特点，利用人体体位出现倒置时，两髋关节点之间的距离大于同一个膝盖区域内不同关节候选点之间的距离，且小于两膝盖之间的距离这一人体生理特征，并结合关节点间连线的限制条件，从而得到一个快速筛选关节点，最终对估计错误的人体下半身姿态的修正方法，避免了复杂耗时的神经网络的训练。

附图说明

图1为本发明提供的基于生理特征纠错的下肢关节点提取方法流程图；

图2为本发明的一个实施例中提供的采用paf网络提取下肢关节点的结果示意图；

图3为本发明的一个实施例中提供的基于人体生理特征的向量绑定及筛选策略示意图；

图4为本发明的一个实施例中提供的向量组内的向量直接相交的三种情况示意图，其中图4(a)为普通卷积神经网络预测的两个左膝候选关节点分别在两个右膝候选关键点左侧的情况，图4(b)为预测的两个左膝候选关节点中的一个定位在与之相邻的右膝候选关节点右侧的情况，图4(c)为预测的两个左膝候选关节点均定位在两个右膝候选关键点右侧的情况；

图5为本发明的一个实施例中提供的向量组内的向量不直接相交的情况示意图；

图6为本发明的一个实施例中提取到的关节点示意图；

图7为本发明的实验结果对比图，其中图7(a)是直接利用paf网络进行倒置人体姿态估计得到的结果示意图，图7(b)是在paf网络后利用本模型对倒置人体姿态进行后处理得到的结果示意图。

具体实施方式

在本实施例中公开了一种基于生理特征纠错的下肢关节点提取方法，在本发明中对下肢关节点提取时需要具有以下三个先验条件：

(1)网络预测的每一类关节点都有若干不同置信度的候选点；

(2)网络在对关节点进行检测时，出现的关节点需定位在人体的关节上；

(3)待检测的人体姿态中两髋关节点之间的距离，要大于同一个膝盖区域内不同关节候选点之间的距离，且小于两膝盖之间的距离。

本实施例中提供的方法结合人体生理特征，针对人体髋部以下关节点进行修正，从而更好的估计人体姿态，如图1所示，本实施例中提供的方法按照以下步骤执行：

步骤1、获取待提取下肢关节点的图像；

在本实施例中，待提取下肢关节点的图像如图2所示；

步骤2、提取所述图像中的下肢关节点，所述的下肢关节点包括左膝关节点、右膝关节点、左踝关节点、右踝关节点、左髋关节点hl以及右髋关节点hr，其中h表示髋关节点，l表示左侧，r表示右侧；

所述的左膝关节点包括第一左膝关节点kl1和第二左膝关节点kl2，其中k表示膝关节点；

所述的右膝关节点包括第一右膝关节点kr1和第二右膝关节点kr2；

所述的左踝关节点包括第一左踝关节点ol1和第二左踝关节点ol2,其中o表示踝关节点；

所述的右踝关节点包括第一右踝关节点or1和第二右踝关节点or2；

在本实施例中，所述图像中的下肢关节点是从普通的使用mscoco或者mpii数据集训练的神经网络中得到的，该方法相当于一种神经网络的后处理，用于改善网络的预测情况。本方法能从更普遍更复杂的人类活动场景中提取出人体关节点，作为一种优选的实施方式，提取所述图像中的下肢关节点时，采用人体姿态估计卷积神经网络进行提取。

用能够对人体不同类别关节点生成相应热力图的人体姿态估计网络(如paf网络等)提取髋部以下的两膝和两脚踝四类关节点，原因在于，热力图上不同位置具有不同的置信度，代表某一类关节点定位在某处的概率，因而便于针对每一类关节点提取其置信度排名最高的两个候选关节点。本步骤为前提步骤，任何的针对不同类别关节点生成相应热力图的人体姿态估计网络都可以用来提取本步骤所需的两膝和两脚踝关节点。

在本实施例中，基于人体姿态估计卷积神经网络提取髋部以下两膝、两脚踝四类关节点，对于每一类关节点保留置信度排名最高的两个关节点作为候选点。目前做人体姿态估计的主流神经网络，大多是使用热力图得到不同类别关节点的预测位置及其置信度大小，利用常规的神经网络在确定某一关节点位置时，往往直接选取具有最高置信度的关节点位置，但在人体姿态倒置时置信度最高的关节点往往不一定是估计正确的点，又由于一张热力图可以估计一类关节点的位置，导致了同一张热力图上就会出现具有不同置信度的某关节点的位置，从而出现了某一关节点的最优点和次优点等。

利用paf网络得到不同类别关节点的热力图，热力图的数量与关节点类别数相同，热力图的不同区域代表网络估计的具有不同置信度的关节点的位置。

由于大量实验表明，多数网络在估计倒置人体姿态时，对人体上半身姿态如髋部及以上关节点具有较好的定位能力，因此本步骤只针对两膝关节和两脚踝关节，分别提取已定位在人体关节上的置信度排名最高的两个候选关节点。

步骤3、获得膝关节点识别生理特征向量集合sk，所述的膝关节点识别生理特征向量集合sk包括四个膝关节点识别生理特征向量组，每个生理特征向量组包含一对向量；

其中k表示膝关节；

在本实施例中，首先选取定位在两膝上的四个候选点，连接两髋关节和两类膝关节点中的所有关节点，得到预测的向量集合其中左髋关节点为hl，右髋关节点为hr，定位在左膝位置的关节点是kl1和kr1，定位右膝位置的关节点是kl2和kr2。下标中字母表示预测的类别，序号表示置信度高低；

遍历s中的每一个向量，保留预测的左左相连以及右右相连的向量，删除其余向量，可得

穷举法建立向量组，可得删除由同一个髋关节点引出的不符合生理特征的向量组，获得膝关节点识别生理特征向量集合

步骤4、采用步骤4.1至步骤4.4对所述的膝关节点识别生理特征向量集合sk进行筛除，获得一对膝关节点连接向量：

步骤4.1、判断生理特征向量集合中是否存在任一生理特征向量组满足该组中的两个向量直接相交，若存在执行步骤4.2；否则执行步骤4.3；

步骤4.2、将生理特征向量集合中两个向量直接相交的生理特征向量组删除后，判断生理特征向量集合中剩余的多个生理特征向量组中是否存在任一生理特征向量组中的两个向量分别沿各自方向延伸后相交，若存在则从生理特征向量集合中删除两个向量分别沿各自方向延伸后相交的生理特征向量组后，获得一个生理特征向量组包含一对膝关节点连接向量；否则直接获得一对膝关节点连接向量；

在利用本方法对向量组进行删除时，基于人体姿态的特点，对特征向量集合最终删除后有且仅有一个向量组保留，该向量组中包含的向量实际上是关节点的连接向量。因此，选出正确的向量组就能从而获得正确的关节点。在两次删除时一共会删除三组，有可能是第一次删三组第二次删0组，第一次删两组第二次删一组...该方法也适用于步骤4.3.1至4.3.3。

步骤4.3、采用步骤4.3.1至步骤4.3.4对生理特征向量集合进行处理，获得一对膝关节点连接向量：

步骤4.3.1、获得颈部关节点，将颈部关节点与左髋关节点hl以及右髋关节点hr连接，获得左躯干向量和右躯干向量其中表示躯干向量；

步骤4.3.2、判断生理特征向量集合中是否存在任一生理特征向量组中的向量与左躯干向量或右躯干向量直接相交，若存在，则从生理特征向量集合中删除有与左躯干向量或右躯干向量相交的向量的生理特征向量组后，执行步骤4.3.3；否则直接执行步骤4.3.3；

步骤4.3.3、判断生理特征集合中剩余的多个生理特征向量组中是否存在任一生理特征向量组中的两个向量分别沿各自方向延伸后相交，若存在则从生理特征向量集合中删除两个向量分别沿各自方向延伸后相交的生理特征向量组后，获得一个膝关节点识别生理特征向量组；否则直接获得一个膝关节点识别生理特征向量组。

在本实施例中，步骤4.2首先删除向量直接相交的向量组：

定义向量相交情况的表达式t1(·)：

其中ψ表示向量和向量相交；

进一步遍历中剩余向量组，删除向量延伸后相交的向量组：

定义：

a(γ)＝sin<si[0],si[1]>

即以si[0]向量为起点，si[1]向量为终点，则向量si[0]逆时针旋转至向量si[1]，转过的角度为γ，a(γ)表示旋转角度的正弦值；若向量旋转角度的正弦值a(γ)<0，则向量组中两向量分别沿各自方向延伸会相交，删除该向量组，并保留最终输出，可得正确的关节点连接向量组。

在本实施例中，步骤4.3中判断某向量组中任意一条向量所在线段与某一躯干线段相交，则删除该向量组，否则保留：

定义向量与躯干线段相交情况表达式t2(·)：

其中ψ表示向量和向量相交；

进一步遍历剩余向量组，删除向量延伸后相交的向量组：

定义：

a(γ)＝sin<si[0],si[1]>

即以si[0]向量为起点，si[1]向量为终点，则向量si[0]逆时针旋转至向量si[1]转过的角度为γ，a(γ)表示旋转角度的正弦值；若向量旋转角度的正弦值a(γ)<0，则向量组中两向量分别沿各自方向延伸会相交，删除该向量组，并保留最终输出，可得正确的关节点连接向量组。

在本实施例中，图4为本发明的提供的向量组内的向量直接相交的三种情况示意图。图4(a)为普通卷积神经网络预测的两个左膝候选关节点分别在两个右膝候选关键点左侧的情况，首先删除其中直接相交的向量组进一步对剩余向量集合中的向量沿各自方向延长，删除延长后相交的向量组最终保留正确连接的向量组图4(b)为预测的两个左膝候选关节点中的一个定位在了与之相邻的右膝候选关节点右侧的情况，首先删除其中直接相交的向量组进一步对剩余向量集合中的向量沿各自方向延长，删除延长后相交的向量组最终保留正确连接的向量组图4(c)为预测的两个左膝候选关节点均定位在两个右膝候选关键点右侧的情况，删除其中直接相交的向量组得到正确连接的向量组图5为本发明的提供的向量组内的向量不直接相交的情况示意图，在引入躯干线段的基础上，首先删除有元素与躯干线段直接相交的向量组进一步对剩余向量集合中的向量沿各自方向延长，删除延长后相交的向量组最终保留正确连接的向量组

步骤5、根据步骤4获得的一对膝关节点连接向量，获得提取后的左膝关节点kl以及提取后的右膝关节点kr,其中k表示提取后的膝关节点；

步骤6、根据步骤5获得的提取后的左膝关节点kl以及提取后的右膝关节点kr，获得四个踝关节点识别生理特征向量组，每个生理特征向量组包含一对向量，其中

在本实施例中，结合上述步骤保留的双膝关节点，以及步骤2筛选的置信度排名前二的两脚踝关节点，穷举连接所有可能的向量，得到膝踝预测向量集合。将预测集合中左左相连以及右右的向量保留，其余删除。穷举法建立向量组，并删除不符合生理特征(即同一个膝关节点连向了两个踝关节点)的向量组，获得踝关节点识别生理特征向量组

步骤7、采用步骤4.2的方法对所述的踝关节点识别生理特征向量组进行处理，获得一对踝关节点连接向量；

在本实施例中，因为s0中向量组内的向量只存在直接相交的情况，因此删除向量直接相交和延伸后相交的向量组，保留的即为正确的膝踝关节点连接向量组。

步骤8、根据步骤7获得的踝关节点识别生理特征向量组，获得提取后的的左踝关节点ol以及提取后的右踝关节点ol，其中o表示提取后的踝关节点；

步骤5和步骤8获得的提取后的的左膝关节点kl、提取后的右膝关节点kr、提取后的的左踝关节点ol以及提取后的右踝关节点ol，即为本发明最终获得的四个关节点。

如图6，最终得到的四个关节点是lhip、rhip、lknee、rknee。

图7(a)是直接利用paf网络进行逆序人体姿态估计得到的结果，图中滑冰女孩的上半身姿态利用诸如paf等普通人体姿态估计网络，均可得到估计较为准确的姿态，但下肢姿态往往估计错误，本发明提取了置信度排名前二的下肢关节点，因此图7(a)的下半身关节点各有两个，图示为穷举连接的髋膝向量组；图7(b)是在paf网络中加入本发明的后处理方法之后对倒置人体姿态估计得到的结果，本发明对paf网络估计得到的人体上半身姿态得以保留，并进一步筛选向量组，最终得到估计正确的髋膝向量组。由结果可知，本发明提供的方法在识别倒置人体姿态时，解决了卷积神经网络捕获的同类多个预测关节点中具有最高置信度的关节点并非是实际生理关节点的问题。本发明不仅有效解决了下肢关节点的识别问题，有助于整体人体姿态估计精确度的提升；作为一种后处理方法也具有普遍适用性，可作为任何利用热力图估计人体姿态的神经网络的后处理模块；且与重新选取数据集利用神经网络训练新模型相比大大减少了工作量。