一种复杂背景干扰下的人体尺寸自动提取方法

本发明属于人体尺寸测量领域，具体涉及了一种复杂背景干扰下的人体尺寸自动提取方法。

背景技术：

1、服装大规模个性化定制中，人体尺寸测量是服装定制的前提和关键所在。人体特征点定位准确性，关系到尺寸测量的可靠性和定制服装穿着的合体度。人体尺寸测量主要分为接触式测量和非接触式测量两大类。传统的手工测量方式，难以在短时间内测量大量人群，一方面难以做到大规模的上门测体服务；另一方面，用户也考虑到隐私性，不容易推广。非接触式三维扫描仪虽然可以提取详细的体型数据，但价格昂贵，便携性差，同样需要上门或到店测体，时效性差、成本较高。因此，亟需一种便利的自动人体尺寸提取方法，以提高量体的即时性、便捷性，降低测量成本，为服装企业快速生产定制服装提供有效的解决方案。

2、随着计算机技术的发展，基于二维图像的人体尺寸测量，拟合出人体三维尺寸的技术研究不断深入。不同于单件服装定制需要客户到店选款、手工量体、人工制版和放码，基于二维图像的人体尺寸测量摒弃了上述时间的冗余，具有高便捷性和低成本的优点。这种技术不仅为消费者提供了便利，也为服装企业开展大规模个性化定制提供了有效的解决思路。

3、人体关键点检测方法主要分为角点检测、链码检测和人体比例法三大类。角点检测法通过检测周围区域像素点在梯度方向和梯度幅值上异常点作为关键点。常用的角点检测方法有sift和harris等算法。此类检测算法效率较低，易受图像噪声影响。当人像边缘不平滑时，易提取出诸多无效特征点，增加了不必要的筛选工作。链码检测法通过生成人体轮廓链码，依据人体曲线走向和链码关键点方向，寻找人体轮廓的关键点。链码检测法在角点检测法的基础上进行了改进，保证检测点位于人体轮廓上，但是该方法易受图像边缘锯齿的影响，且无法提取轮廓中曲线凹凸不明显的特征点。人体比例法依据各部位区域的垂直位置与身高之间的比例关系划分人体部位。文献和专利结合人体比例和特征点检测算法，大致确定身体各个部位的区域，进而定位出关键部位的特征点。但对于具有特殊身材比例的人体定位，结果偏差较大。文献和专利采用简化的背景进行拍摄，被试者与背景颜色具有高区分度，使用阈值分割或边缘检测来提取人体。该方法对复杂背景和光照不良的图像效果较差，普适性较低。

4、可见，现有手工测量和三维扫描方式成本高，代价大。现有图像分析法对于人体图像的质量要求高，需要背景单一、光照良好、人体与背景亮度差明显，在复杂背景下的人体尺寸测量方面存在人体分割不全、测量不精准等问题。

技术实现思路

1、本发明的目的在于提供一种复杂背景干扰下的人体尺寸自动提取方法，有效降低复杂背景对人体特征点提取的干扰，提高特殊比例人群自动量体的鲁棒性。利用提取出的特征点实现人体二维尺寸测量，从而提高基于图像的测体技术的准确性。

2、为了解决上述技术问题，采用如下技术方案：

3、一种复杂背景干扰下的人体尺寸自动提取方法，其特征在于包括如下步骤：

4、(1)人像采集：通过手机摄像功能采集正面和侧面的人体照片，并测量身高；

5、(2)数据集制作：人工分割人体照片中的人体区域生成二值图像掩膜作为真实值；将人体区域与不同的背景图像融合，模拟实景拍摄环境，形成人像数据集；

6、(3)复杂背景下的人体自动分割：通过迁移学习策略，使用人像数据集训练神经网络模型，并采用该神经网络模型分割出人体照片中的人体区域形成二值图；

7、(4)基于骨架定位的人体分区：采用人体骨架定位算法提取人体躯干和四肢的2d骨架点坐标，定位人体的躯干和四肢；

8、(5)特征提取与数据：基于最小外接矩形、曲率和差值相结合的方法获得人体的二维特征点坐标；与人像数据集进行比对，定义人体形态类型，计算并输出人体尺寸。

9、优选后，所述步骤(1)，人体图像采集通过手机摄像功能来模拟实景拍摄条件，手机距离人体150cm左右，高度为90cm左右，确保相机视野能够覆盖完整的人体区域。

10、优选后，所述步骤(2)，分割人体照片中的人体区域生成二值图像掩膜作为真实值，将二值图像掩膜进行归一化，公式如下：

11、

12、gn是归一化后的像素灰度值，g是像素点的原始灰度值，gmin是图像中像素的最小灰度值，gmax是图像中像素的最大灰度值。

13、优选后，所述步骤(2)，将每张图像的人体区域与不同的背景图像融合，融合公式如下：

14、r(i,j)＝α(i,j)f(i,j)+(1-α(i,j))b(i,j) (2)

15、式(2)中，r(i,j)、f(i,j)、α(i,j)、b(i,j)分别为融合图、人体前景、掩模图和背景图像中第i行第j列的像素；

16、得到融合图后，通过进行随机旋转、翻转、颜色处理，模拟实景拍摄环境；按比例愁绪图像形成训练集和测试集，最终得到人像数据集。

17、优选后，所述步骤(3)神经网络模型采用多尺度交互式显著性目标检测模型minet，人体自动分割的步骤包括：

18、a、minet模型训练：minet模型采用预训练的vgg16的特征提取网络，并对其进行聚合交互策略模块处理，通过交互学习策略聚合特征；然后通过自交互模块处理从提取的特征中获取尺度信息；一致性增强损失处理被用于处理空间相干性问题；采用显著目标检测数据集作为训练集得到minet训练模型，minet用于处理复杂背景下的目标检测与分割；

19、b、迁移学习：将minet训练模型中骨干网络层的参数作为约束，具体包括：1)删除vgg-16网络的最后一个池化层，只保留特征提取网络；2)导入minet训练模型中五层特征提取网络的参数，并且进行冻结；3)采用所述步骤(2)中的人像数据集对minet训练模型的其余模块进行重新训练，得到基于迁移学习的多尺度交互式网络minettl，使目标领域共享原有领域的模型参数。

20、优选后，所述步骤(3)还包括：c、分割结果优化：在采用minettl网络分割的基础上，对分割图像进行孔洞填充，保留最大连通域，得到人体二值图，获得复杂背景下的人体分割。

21、优选后，所述步骤(3)人体骨架定位算法采用人体姿态识别算法mediapipe pose，通过该算法识别图像中的人体并提取22个人体骨架关键点的坐标信息，通过骨架关键点的坐标信息对人体不同部位区域进行分区，定位人体的躯干和四肢。

22、优选后，所述步骤(5)，基于最小外接矩形、曲率和差值相结合的方法获得人体的二维特征点坐标，包括如下步骤；

23、在利用人体骨架点坐标初步定位后，将提取的图像反相处理，利用最小外接矩形函数框选人体夹角，找到特征点所在的行或者列，获得特征点坐标；采用canny算子边缘检测方法提取人体轮廓，利用人体骨架点坐标对特征点进行初步定位后，对截取的轮廓进行曲线拟合，找到曲率最高的凹进点或凸出点，为特征点所在位置；公式如下：

24、

25、

26、式中，k为曲线上点的曲率，xp为人体轮廓曲线上凸出的特征点的横坐标，xc为人体轮廓曲线上凹进的特征点的横坐标，y″(xi)为第i个点的曲线函数的二阶导数，y′(xi)为该点的一阶导数；

27、基于人体骨架定位结果初步定位特征点所在区域，遍历区域内每一行像素的非零值之和，根据特征点性质判断采用非零值之和最大或最小的位置。

28、由于采用上述技术方案，具有以下有益效果：

29、(1)提出基于迁移学习的复杂背景图像人体廓形提取的方法，解决复杂环境背景对图像识别的障碍，提高人体廓形提取的准确形。

30、具体地，本方法通过复杂背景下的人像数据集对神经网络模型的非骨干网络部分进行迁移学习训练，提高模型分割人体的能力。相较于现有方法对于拍照环境的要求高、在复杂背景和光照不良的图片中难以准确分割人体部分，本方法能够精准分割复杂背景图像下的人体廓形，提高人体廓形提取的鲁棒性。

31、(2)提出基于骨架定位的人体特征点提取方法，提高特殊体型人群的尺寸测量准确性，降低无效测量的频率。

32、具体地，本方法相较于现有方法，能够对不同人体进行自适应分区，采用基于最小外接矩阵、曲率和差值结合的方法获得处于人体轮廓的夹角、人体轮廓曲线的曲率最大处、处于人体某部位最细或最粗位置等的人体二维特征点坐标，在输出特征点坐标的基础上进行计算，获得人体二维尺寸。