一种基于深度学习和红点激光相结合的人体躯干测量方法与流程

本发明提供了一种基于深度学习和红点激光相结合的人体躯干测量方法，涉及深度学习、计算机视觉技术领域。

背景技术：

人体测量学发展至今，测量工具由最初的皮尺、卷尺，发展到了计算机、传感器以及激光等高精度测量工具，测量的方法经过不断完善，已经具有很高的精度和效率。从技术发展来看，人体测量技术可以分为普通测量技术和三维数字化人体测量技术。

1、普通人体测量

普通人体测量仪器可以采用一般的人体生理测量的有关仪器，包括人体测高仪、直角规、弯角规、三脚平行规、软尺、测齿规、立方定颅器、平行定点仪等，其数据处理采用人工处理或者人工输入与计算机处理相结合的方式。此种测量方式耗时耗力，数据处理容易出错，数据应用不灵活，但成本低廉，具有一定的适用性。

2、三维数字化人体测量技术

近年来，国内外纺织服装工业计算机辅助设计(cad)技术日趋成熟，促进了三维人体测量技术的发展。美国、法国、加拿大、英国、德国和日本等服装业发达的国家在20世纪70年代中期开始提出了许多新的测量原理和方法。我国在这方面的研究起步较晚，但在近几年有一些研究机构先后开展了研究工作，并取得了一些研究成果和积累了一定的经验。从仪器本体的原理来讲，三维数字化人体测量分为手动接触式、手动非接触式、自动接触式、自动非接触式等。

2.1三维人体手动测量技术

手动三维测量技术又可分为接触式测量技术与非接触式测量技术。

(1)手动接触式三维数字化测量

美国佛罗里达faro技术公司的faroarm是典型的手动接触式数字化测量仪。测量时，操作者手持faro手臂，其末端的探针接触被测人体的表面时按下按钮，测量人体表面点的空间位置。三维数据信息记录下探针所测点的x、y、z坐标和探针手柄方向，并采用dsp技术通过rs232串口线连接到各种应用软件包上。

(2)手动非接触式三维数字化测量

对于非接触式三维人体测量技术的研究，美国、英国、德国等发达国家开始得较早典型的是英国的lass技术和美国tc2开发的白光相位测量技术。

2.2三维人体自动测量技术

三维人体自动测量是实现服装数字化设计、三维虚拟试衣和量身定做等应用的前提。它可分为接触式和非接触式测量两种。

(1)接触式自动测量

接触式自动测量主要用于标准人台表面人体型值点的测量。具体方法是：应用三坐标测量仪测量并记录人台不同部位的型值点，其中曲面曲率较大处的测量间隔密，型值点多；曲面较平坦处的测量间隔疏，型值点少。该方法不适合于真实人体的测量。

(2)非接触式自动测量

非接触式自动测量主要用于获取真实人体特征数据。非接触三维人体自动测量弥补了常规的接触式自动测量的不足，主要特点是快速、准确、效率高等。它是现代图像测量技术的一个分支，以现代光学为基础，融光电子学、计算机图像学、信息处理、计算机视觉等科学技术于一体的测量技术。它在测量被测对象时把图像当作检测和传递信息的手段或载体加以利用，其目的是从图像中提取有用的信息。

本发明把红点激光测距技术与时下流行的深度学习技术相结合，提出了一种基于深度学习和红点激光相结合的测距方法。该方法是一种非接触式自动测量方法，通过与基于深度学习的人体躯干识别相结合，达到对人体躯干测量的能力，并且可以完成对识别的多个人体测量的要求。

技术实现要素：

本发明解决的技术问题是：针对现有的非接触测量方法对人体躯干测量设备过于昂贵且计算量大的问题，提供一种人体躯干识别和红点激光相结合的测量方法，具有能够对现实场景下人体躯干进行基于识别的非接触测量的优点。

本发明提供一种基于深度学习和红点激光相结合的人体躯干测量方法，包括以下步骤：

步骤(1)、首先将两个红点激光发射器与摄像机固定，并保证两束光线平行，并且与摄像机的投影平面垂直，即与摄像机的光轴平行，使得摄像机能捕获到清晰的两个红点，记录两个红点激光发射器的实际距离；该步骤中，摄像机进行了标定，如标定摄像机的参数，包括内部参数和/或外部参数。步骤(1)中使用两束平行激光的好处是无论激光照在何处，由于摄像机的光轴始终与光线平行，摄像机采集到的画面里两个红点的实际距离始终不变。而当激光照在人身体上时，人体躯干和红点到摄像机的距离相同，在图像坐标系里他们的比例与世界坐标系里的比例也近似相等，因此可以方便的计算出人体躯干的长度。

步骤(2)、由步骤(1)标定后的摄像机模块捕获现实场景下的图像。

步骤(3)、将步骤(2)捕获的图像输入到基于opencv的红点检测模块，检测并识别出图像中的激光红点，如果输入图像包含能够识别到的红点，则输出两个红点在输入图像中的坐标位置，如果输入图像不包含可以识别到的红点，则返回到步骤(2)。

步骤(4)、将步骤(2)中摄像机模块捕获的图像输入到基于深度学习的人体躯干检测模块，检测并识别出图像中的人体躯干，如果输入图像包含能够识别到的人体，则输出各个人体关键点在输入图像中的坐标位置，并且将人体关键点的位置连结，得到完整的人体躯干；如果输入图像不包含能够识别到的人体，则返回到步骤(2)。步骤(4)基于深度学习的人体躯干检测模块的输入图像来自于摄像机模块捕获的图像。提出了一种openpose的人体躯干检测与识别算法，首先回归出人体关键点的位置，然后连结各个关键点，得到完整的人体躯干。

步骤(5)、根据步骤(3)得到的两个红点的位置和步骤(4)得到的人体关键点的位置，分别计算两个红点的像素距离和人体躯干的像素长度；根据红点激光的实际距离，得到像素距离与实际距离的映射；根据该映射以及人体躯干的像素长度计算出人体躯干的实际长度。

上述方法中，摄像机为单目相机。标定后的单目相机模块捕获现实场景下的图像，此时人体应正对着相机并保持与激光方向垂直，以方便计算。

上述方法中，摄像机的正前方需要有一定范围的空间，如被测量的人站在距离摄像机2～10米的范围内，这样能够保证摄像机能够采集到完整且清晰的人体。

上述方法中，步骤(3)中红点检测模块检测并识别处图像中激光红点的步骤具体包括：首先将输入图像从rgb空间转换到hsv空间，对于h、s、v三个通道分别进行阈值分割，然后进行区域合并，得到红点的二值图像，最后进行轮廓提取，得到红点在输入图像中的坐标位置。

本发明的原理在于：

本发明提出了一种基于深度学习与红点激光相结合的人体躯干测量方法，克服了现有的非接触测量方法对人体躯干测量设备过于昂贵且计算量大的缺点。本方法适用于室内场景下适当距离内利用深度学习方法可以识别到的人体躯干的测量。本方法包含四个步骤：将两个红点激光发射器与摄像机固定，并保证两束光线平行，并且与摄像机的光轴平行，使得摄像机能捕获到清晰的两个红点，记录两个红点激光发射器的实际距离；利用标定后的摄像机捕获现实场景中的图像；然后把摄像机捕获的图像输入到基于opencv的红点检测模块，由该模块给出图像中两个红点的位置；把摄像机捕获的图像输入到基于深度学习的人体躯干识别模块，由该模块给出图像中包含的人体关键点在图像中的位置；最后根据得到的红点位置和人体关键点的位置，可以计算出两个红点的像素距离和人体躯干的像素长度，并根据红点激光的实际距离，可以得到像素距离与实际距离的映射，从而计算出人体躯干的实际长度。

本发明的内容主要包括以下方面：

采集系统的搭建。将两个红点激光发射器与摄像机固定，并保证两束光线平行，并且与摄像机的光轴平行，使得摄像机能捕获到清晰的两个红点。摄像机的正前方需要有一定范围的空间，需要被测量的人站在距离摄像机2～10米的范围内，保证摄像机能够采集到完整且清晰的人体。同时记录两个红点激光发射器的实际距离。

图像的获取。人体躯干识别模块和红点识别模块的输入图像来自于标定后的摄像机模块捕获的图像，使用的摄像机为单目相机。

图像中激光红点的位置检测。该模块使用的是基于opencv的红点识别方法，首先将图像从rgb空间转换到hsv空间，对于h、s、v三个通道分别进行阈值分割，然后进行区域合并，得到激光红点的二值图像，最后进行轮廓提取，得到激光红点的位置。

基于深度学习的人体躯干检测。该模块使用的是基于深度学习人体躯干检测算法—openpose。该方法的主要思想是采用大卷积核来获得大的感受野，对所有出现的人进行回归，回归各个人的关节的点，然后根据centermap来去除掉对其他人的响应，最后通过重复地对预测出来的heatmap进行refine得到最终的结果。

人体躯干长度的计算。在得到红点位置和人体关键点的位置后，可以计算出两个红点的像素距离和人体躯干的像素长度，并根据红点激光的实际距离，可以得到像素距离与实际距离的映射，从而计算出人体躯干的实际长度。

本发明与现有技术相比的优点在于：

本发明提出了用于测量人体躯干长度的基于深度学习与红点激光相结合的方法。该方法能够解决现有的非接触测量方法对人体躯干测量设备过于昂贵且计算量大的不足之处。在实际场景中，结合人体躯干检测与识别模块识别出人体关键点坐标位置，与红点检测模块相结合可以得到该图像中人体躯干的实际距离。

附图说明

图1为本发明一种基于深度学习和红点激光相结合的人体躯干测量方法的流程图；

图2为基于opencv的红点检测算法流程图；

图3为人体18个关键点示意图；

图4为基于深度学习的人体关键点识别网络结构示意图。

具体实施方式

下面结合附图说明对本发明做更详细地描述。

如图1所示，本发明的一种基于深度学习与红点激光相结合的人体躯干测量方法，实现流程包括：图像采集(经过标定后的单目相机、红点激光发射器)、基于opencv的激光红点识别、基于深度学习的人体躯干检测、人体躯干长度计算，具体的实施方式如下：

1、图像采集

在进行图像采集时，首先将两个红点激光发射器与摄像机固定，两束激光平行并且与摄像机的投影平面垂直，使得摄像机能捕获到清晰的两个红点，记录两个红点激光发射器的实际距离；该步骤中，摄像机进行了标定，如标定摄像机的参数，包括内部参数和/或外部参数。

本测量方法对红点激光发射器和摄像机的位置和人站立的位置都有一定的要求，其中红点激光发射器发射的两束激光要求平行，且它们需要与摄像机的投影平面垂直，即与摄像机的光轴平行。同时需要被测量的人站在距离摄像机2～10米的范围内，保证摄像机能够采集到完整且清晰的人体，因此摄像机的正前方需要有一定范围的空间。因此本方法的采集系统搭建首先将两个红点激光发射器与摄像机固定，并保证两束光线平行，并且与摄像机的光轴平行，使得摄像机能捕获到清晰的两个红点，记录两个红点激光发射器的实际距离。采集前，对摄像机的内部参数进行了标定。采集系统搭建完成后，使用本模块采集图像为红点检测模块和人体躯干识别模块提供图像输入。

2、激光红点识别

该模块的目的是利用基于opencv的红点识别算法来检测图像中的红点。该算法的主要思想是首先将图像从rgb空间转换到hsv空间，对于h、s、v三个通道分别进行阈值分割，然后进行区域合并，得到激光红点的二值图像，最后进行轮廓提取，得到激光红点的位置，流程图如图2所示。

hsv颜色空间的参数分别是：色调(h)，饱和度(s)，明度(v)。相比于rgb空间，hsv颜色空间更符合人眼感知特性，其在颜色分割领域的效果也更好。

由rgb到hsv的转换公式为：

v＝max(r,g,b)

将图像转换到hsv颜色空间后，对于h、s、v三个通道分别进行阈值分割。由于本方法采用的是红点激光，h通道红色的范围为0～10和156～180，并结合实验结果，将h范围确定为0～20和160～180，同时经过实验，确定s通道和v通道的范围分别为s：100～255，v：200～256。

在得到三个通道的分割图像后，对三个通道进行像素与操作，得到合并后的分割图像，该图像即为激光红点的二值图像，然后需要从二值图像中将激光红点的位置提取出来。本方法采用opencv的轮廓提取函数findcontous，从二值图像中提取分割结果的轮廓，并按照轮廓的面积大小排序，面积最大的两个区域即为激光红点所在的区域，选区区域的中心点作为红点激光的坐标。

3、人体躯干检测

考虑到识别的速度和精度，本方法使用目前性能较好的openpose算法，网络结构如图3所示。基于该算法的人体躯干识别模块的作用如下：

根据输入图像，输出识别到的各个人体关键点在输入图像中的坐标位置。人体关键点为事先预设好的18个关键点，这18个关键点如图3所示。

人体关键点检测采用的是convolutionalposemachine(cpm)模型的改进。cpm模型的算法思想主要是采用大卷积核来获得大的感受野，对所有出现的人进行回归，回归各个人的关节的点，然后根据centermap来去除掉对其他人的响应，最后通过重复地对预测出来的heatmap进行refine得到最终的结果。

算法的主要流程如下：

1)在每一个尺度下，计算各个关节的响应图。

2)对于每个关节，累加所有尺度的响应图，得到总响应图。

3)在每个关节的总响应图上，找出相应最大的点，为该关节点的位置。

openpose网络模型如图4所示，第一阶段是一个基本的卷积网络1(白色convs)，从彩色图像直接预测每个部件的响应。半身模型有9个部件，另外包含一个背景响应，共10层响应图。

第二阶段也是从彩色图像预测各部件响应，但是在卷积层中段多了一个串联层(红色concat)，把以下三个数据合一：

-阶段性的卷积结果(46*46*32)→纹理特征

-前一阶段各部件响应(46*46*10)→空间特征

-中心约束(46*46*1)

串联后的结果尺寸不变，深度变为32+10+1＝43。

第三阶段不再使用原始图像为输入，而是从第二阶段的中途取出一个深度为128的特征图(featureimage)作为输入。同样使用串联层综合三种因素：纹理特征+空间特征+中心约束。

第四阶段结构和第三阶段完全相同。在设计更复杂的网络时(例如全身模型)，只需调整部件数量(从10变为15)，并重复第三阶段结构即可。

将图像输入openpose模型后得到该图像的heatmap，其中包含了各个关键点的概率分布，对于每个关键点，选取其概率最大的位置作为该关键点的预测坐标。

4、人体躯干长度计算

在得到红点位置和人体关键点的位置后，可以计算出两个红点的像素距离和人体躯干的像素长度，并根据红点激光的实际距离，可以得到像素距离与实际距离的映射，最后根据该映射和人体躯干的像素长度而计算出人体躯干的实际长度。人体躯干实际长度lr的计算公式为：

其中lp表示人体躯干的像素长度，dr表示红点的实际距离，dp表示红点的像素距离。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。