基于二维图像的提取人体侧面腿部骨架的方法与流程

本发明涉及的是一种图像处理领域的技术，具体是一种基于二维图像的提取人体侧面腿部骨架的方法。

背景技术：

人体腿部骨架的提取一直是在计算机视觉领域中非常重要的研究课题。提取人体腿部骨架的信息具有十分重要的意义。其一，人体的腿部骨架本身就是一种人的运动行为，我们可以从中知道人体的腿部姿态和行为，比如：腿部骨架的位置可以用于识别人走路、抬腿、跑步等动作；其二，人体的腿部骨架信息可以作为一种中间信息，帮助理解更复杂的人的运动行为，比如：腿部骨架信息可以用于人的步态分析。

经过对现有技术的文献检索发现，目前正面的腿部骨架提取已经得到较好效果，但是人体侧身时，由于关节间严重遮挡等问题，效果仍然具有较大局限性。比如，Shotton等人在《Communications of the ACM》2013年第56卷第1期上发表的论文“Real-time human pose recognition in parts from single depth images”提出了使用随机森林的方法实时获得整体人体骨架，腿部骨架可以直接从整体骨架中选取。但是该方法在人体侧身时骨架提取精确度较低，其次该方法需要使用特殊的硬件，即深度摄像头。雷涛等人在《计算机应用研究》2010年第27卷第8期上发表的论文《复杂环境下的运动人体骨架提取算法术》中采用卡尔曼滤波的方法预测人体骨架点的位置。但是该方法需要人工标定前两帧的数据用于卡尔曼滤波的初始值，导致该方法只能用于后期的视频分析。

因此，对上述现有技术的问题分析促使我们去寻找一种更加简单又提取效果好的基于二维图像提取人体侧面时腿部骨架的方法，并希望该方法不使用特殊的硬件即深度摄像头、不需要人工标定预处理，并可以用于实时的检测提取。

技术实现要素：

本发明针对现有技术存在的上述不足，提出一种基于二维图像的提取人体侧面腿部骨架的方法，通过用自定义的腿部模型匹配人体腿部区域，得到最佳匹配时的腿部骨架点位置。

本发明是通过以下技术方案实现的：

本发明包括以下步骤：

步骤一，对采集到的场景的彩色图设置坐标系并进行预处理，根据人体直立时的彩色图与平均场景背景图得到人体前景二值图和人体腿部骨骼估计长度；

步骤二，以人体高度数值的一半为纵坐标搜索得到脊柱底部坐标，并分割出人体腿部区域二值图；

步骤三，从人体腿部区域二值图中提取出人体膝盖骨架点坐标，并对大腿区域二值图进行更新；

步骤四，从更新后的大腿区域二值图中提取人体脚踝骨架点；

步骤五，依次连接得到的脊柱底部坐标、人体膝盖骨架点和人体脚踝骨架点，得到两条单侧腿部骨架；

步骤六，判断所得两条单侧腿部骨架的左、右侧，最终得到完整的人体腿部骨架。

技术效果

与现有技术相比，本发明所述的方法可以在人体侧面场景下精确提取人体腿部骨架点位置。实验表明，Shotton等人在《Communications of the ACM》2013年第56卷第1期上发表的论文“Real-time human pose recognition in parts from single depth images”的算法在人体侧面时腿部骨架点位置平均提取误差在14.79像素/骨架点，本发明的平均提取误差在5.21像素/骨架点，效果优于上述算法。同时经过测试，本发明所述的方法平均耗时仅15.8ms，可以在实时的系统中使用。

附图说明

图1是人体腿部骨架的示意图；

图2是判断人体侧面的朝向示意图；

图3是本发明方法的流程图。

具体实施方式

本实施例包括以下步骤:

步骤一，对采集到的场景的彩色图设置坐标系并进行预处理，根据人体直立时的彩色图与平均场景背景图得到人体前景二值图和人体腿部骨骼估计长度，具体为：

1.1采集若干帧场景的彩色背景图，对这些彩色背景图的像素值求平均值，得到平均场景背景图B。

1.2采集人体直立时的彩色图F，使用帧差法得到人体前景二值图I＝F-B，计算前景图中人体的高度l，设置人体腿部骨骼长度为取多帧人体直立时的彩色图，将得到的腿部骨骼长度平均后得到人体腿部骨骼估计长度l_bone。

所述的坐标系，x轴为图像长度方向，y轴为图像宽度方向。

步骤二，以人体高度数值的一半为纵坐标搜索得到脊柱底部坐标，并分割出人体腿部区域二值图，具体步骤为：

2.1取前景图中的人体高度数值的一半作为y_b；

2.2在高度为y_b的人体前景区域行里搜索离人体前景区域边界最远的一点，即脊柱底部的坐标p_base＝(x_b,y_b)；

2.3分割前景人体区域，区域的下半部分为人体腿部区域二值图I_leg。

步骤三，从人体腿部区域二值图中提取出人体膝盖骨架点坐标，并对大腿区域二值图进行更新，具体步骤如下：

3.1两个膝盖的坐标点为：和分别为人体两条大腿与x轴的夹角，均设置初始值为0。

3.2以为中轴线，划分出宽度为的矩形区域为生成的大腿区域二值图I_thigh；

3.3找到使大腿区域二值图I_thigh和人体腿部区域二值图I_leg的重合面积最大时，即得和从而得到对应的膝盖骨架点位置和根据该膝盖骨架点位置生成的更新后大腿区域二值图为

步骤四，从更新后的大腿区域二值图中提取人体脚踝骨架点，具体步骤如下：

4.1根据更新后大腿区域二值图求得非大腿区域二值图

4.2两个脚踝的坐标点分别为和为人体两条小腿与x轴的夹角，均设置初始值为0。

4.3以为中轴线，画出宽度为的矩形区域为小腿区域二值图I_calf；

4.4找到使小腿区域二值图I_calf和非大腿区域二值图I_leg’的重合面积最大时，即的和从而得到对应的脚踝骨架点位置和

3.3和4.4中所述的寻找最大重合面积的方法使用Kennedy在2010年所著的由Springer出版的《Encyclopedia of Machine Learning》一书中提到的粒子群优化算法。

步骤五，依次连接得到的脊柱底部坐标、人体膝盖骨架点和人体脚踝骨架点，得到两条单侧腿部骨架；

步骤六，判断所得两条单侧腿部骨架的左、右侧，具体步骤如下：

6.1判断脚踝处人体前景区域里脚掌的朝向，得到人体侧面朝向姿态；

所述的判断方法为：遍历脚踝处的人体前景边缘点，计算每个点到脚踝骨架点之间水平方向上的距离，找到距离最大的点。如果该点在脚踝点的左侧，则人体朝向左侧，人体右侧靠前；否则，人体朝向右侧，人体左侧靠前；

6.2对彩色图中人体腿部区域的纹理进行边缘提取，得到边缘图E。本实施例中，使用Canny在1986年《IEEE Transactions on Pattern Analysis and Machine Intelligence》上发表的论文“A computational approach to edge detection”中提到的方法进行边缘提取；

6.3找出单侧完整骨架中穿越图E中边缘较少的骨架，并进一步判断：当步骤6.1中得到左侧人体靠前，则该骨架为左腿骨架，另一条骨架为右腿骨架；当右侧人体靠前，则该骨架为右腿骨架，另一条骨架为左腿骨架。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。