基于部位分割的人体再识别方法与流程

本发明属于计算机视觉与图像处理技术领域，特别是涉及一种基于部位分割的人体再识别方法。

背景技术：

随着计算机视觉技术的快速发展，由于人体再识别具有非接触性的特点，因此在公共安全、医疗保健、刑事侦查等方面有着广阔的应用前景。人体再识别作为行人姿态、动作、行为识别等高层应用的基础，具有重要的研究意义。

目前的人体再识别研究主要有两个方向：(1)基于特征表示的方法。虽然该类方法在一定程度可以提高再识别的准确性，但是仅从整体特性考虑人体目标，缺少了对人体目标的空间约束性信息。(2)基于距离度量学习的方法。该类方法中距离函数的性能好坏与样本的选取息息相关。当具有足够多的样本时，学习出的距离函数才能够普遍适用于多种环境下的再识别问题。而在样本数过少时，会出现过拟合现象。另外，实际操作时，训练数据样本需要人工标注，因此会消耗大量的人工时间成本。

基于部位分割的人体再识别属于上述第二种方法。该方法利用在再识别前做了大量的部位分割筛选的初期工作，能够较快速、准确地再识别出目标人体。正因为图像采集的同时需要处理和筛选且实时性要求较高，因此需要具有较高图像计算复杂度的微机系统。Farenzena M,Bazzani L,Perina A等[Person Re-identification by Symmetry-drivenAccumulation of Local Features[C].IEEE Conference on Computer Vision and PatternRecognition(CVPR),2010:2360–2367]将视频图像中人体除头部以外分为四个区域，分别提取并融合加权HSV直方图特征、最大稳定颜色区域(MSCR)和高频复杂结构块(RHSP)三种特征来判断是否是同一个人。该方法区域分割简单，但是鲁棒性较差，没有深层次地挖掘短间隔内多帧图像之间的区别。中国专利公开号CN105303152A中公开了一种将人体尺度空间划分与颜色通道结合来进行人体再识别的方法。每个颜色通道根据人体尺度空间划分的多层图像区域进行空间直方图计算。但多个颜色通道级联形成多通道空间直方图时受复杂多变的环境背景的影响较大，从而造成识别率低。

技术实现要素：

为了解决上述问题，本发明的目的在于提供一种基于部位分割的人体再识别方法。

为了达到上述目的，本发明提供的基于部位分割的人体再识别方法包括按顺序进行的下列步骤：

1)图像数据获取：首先利用Kinect摄像头采集待检测场景的多帧图像，然后从上述图像中提取出人体前景图像，去噪后依次按部位分割成部位图像并筛选、保存；将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；

2)粗识别：将需查询的人体目标部位图像和候选集中所有人体部位图像从RGB颜色空间转换到HSV颜色空间，之后获得颜色直方图，然后使用EMD(地球移动距离)度量颜色直方图间的相似性，并根据部位和拍摄角度的不同分配不同的权重，最后得到人体目标与候选集所有人体之间的总体EMD值并从小到大进行排序；

3)细识别：选取上述粗排序中排名前50％的候选集中人体数据，通过人体躯干部位衣物上的图案纹理及图案纹理位置的不同，将躯干部位图像在垂直、水平方向上分别投影，再分别计算人体目标与候选集中人体躯干部位垂直和水平方向上投影的皮尔逊相关系数，在粗排序的基础上进行细排序，最后由人工在细排序后的结果中寻找出目标人体。

在步骤1)中，所述的图像数据获取方法的具体步骤如下：

1.2)前景提取

1.1.1)利用微软Kinect深度摄像头和彩色摄像头分别采集待分析场景的多帧深度图像和RGB彩色图像；

1.1.2)将上述深度图像中的每一像素用2个字节，共16位表示，其中前13位表示该像素的深度值，后3位表示人体索引号，每一个在Kinect摄像头视界中的人体都会被分配一个不同的索引号，如果后3位全部为0，则表示不是人体；

1.1.3)将深度图像上属于人体区域的相应像素通过坐标映射对应到彩色坐标系下的彩色图像上；

1.1.4)在彩色图像上提取出从深度图像上映射来的人体前景像素，并复制到创建的空画布上而得到人体前景图像，由此实现人体前景提取；

1.2)图像去噪

使用开运算进行人体前景图像去噪，开运算单元选用9×9的方形算子；

1.3)基于深度骨骼点部位分割

1.3.1)坐标变换：将摄像头坐标系下的骨骼节点映射到彩色坐标系下，由此实现摄像头坐标系、深度坐标系、彩色坐标系的统一；

1.3.2)绘制旋转矩形：选取人体前景图像某部位上的两个骨骼节点P1、P2，以此两节点间的距离为旋转矩形的长，记为a；除了躯干部位的宽度设为长的2/3，其它部位宽度均设为长的1/2，记为b；两个骨骼节点P1、P2坐标的中点设为旋转矩形的旋转中心O，以两个骨骼节点P1、P2的连线与水平面的夹角为旋转角θ绘出旋转矩形；

按此绘制方法在人体前景图像上画出除头部和脚部之外的多个旋转矩形；

1.3.3)提取通过步骤1.3.2)获取到的每一旋转矩形的4个角坐标，记为p₁(x₁,y₁)，p₂(x₂,y₂)，p₃(x₃,y₃)，p₄(x₄,y₄)，再判断4个角的x坐标x₁,x₂,x₃,x₄和y坐标y₁,y₂,y₃,y₄的最大及最小值；将x和y坐标的最大最小值分别记为：x_max，x_min和y_max，y_min，得到旋转矩形最小外接矩形的4个角坐标，记为q₁(x_min,y_min)，q₂(x_max,y_min)，q₃(x_max,y_max)，q₄(x_min,y_max)；

1.3.4)根据步骤1.3.3)得到的旋转矩形的最小外接矩形4个角的坐标遍历人体前景图像，分割出的最小外接矩形内的像素即为人体部位，记为Part₁,Part₂,···,Part₉，分别表示躯干，右上臂，右下臂，左上臂，左下臂，右大腿，右小腿，左大腿，左小腿；

1.5)多帧部位图像评分

部位图像评分使用以下3项指标：

(1)非白色背景区域占整幅部位图像的比值

具体步骤为：

1.4.1)设背景部分为sum₁，前景部分为sum₂，并都初始化为0；

1.4.2)遍历部位图像，判断红绿蓝三颜色通道每一个像素是否为白色(255,255,255)，是则sum₁+1，否则sum₂+1；

设前景部分占整幅部位图像的比值为Δ，计算公式为：

(2)人体目标在Kinect摄像头视界中的总偏移度

人体目标在Kinect摄像头视界中在摄像头坐标系下X,Y,Z方向上的角度差分别记为α，β，γ，设总偏移度为χ，计算公式为：

(3)部位图像清晰度

采用均方误差法来判断该部位图像质量的好坏；

均方误差法首先计算原始理想部位图像和失真部位图像像素差值的均方值MSE，然后通过均方值的大小来确定失真部位图像的失真程度，计算公式为：

其中M,N分别为部位图像的长和宽，f_ij表示原始理想部位图像的像素值，设为1，f_ij'表示实际拍摄的部位图像的像素值，归一化为(0,1)；

将上述三项指标值分别乘以不同的权重，得到总体评分K，计算公式为：

最后将人体每一部位图像均取总体评分K最高的加以保存，其中，将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；

1.5)将部位图像尺寸分类归一化

将候选集中所有同一部位图像归一化到与需查询的人体目标相应部位图像相同的大小。

在步骤2)中，所述的粗识别的具体步骤如下：

2.2)颜色空间转换

将上述部位图像从RGB颜色空间转换到HSV颜色空间；

设(R,G,B)分别是一个颜色的红、绿和蓝分量，它们的值已归一化在0到1之间的实数；设max等于R,G和B中的最大者，min等于这些值中的最小者；H∈[0,360)是角度的色相角，S、V∈[0,1]是饱和度和亮度，转换公式如式(5)，(6)，(7)所示：

其中：

V＝max (7)

2.2)获得颜色直方图

2.2.1)设需要统计的特征的数目为dim；拆分HSV颜色空间中色相角H、饱和度S和亮度V三个分量，并将三个分量分别量化为36个间隔bin，记为dim_Hbin₁,dim_Hbin₂,…,dim_Hbin₃₆；dim_Sbin₁,dim_Sbin₂,…,dim_Sbin₃₆；dim_Vbin₁,dim_Vbin₂,…,dim_Vbin₃₆；

2.2.2)分别统计色相角H、饱和度S和亮度V三个分量上每个dim_ibin_i的像素个数，由此得到颜色直方图；

2.3)对上述颜色直方图进行相似性度量

采用EMD来度量颜色直方图之间的相似性，计算公式为：

其中f_ij表示代价函数对应于各个元素权重的大小，d_ij表示为第1个特征分布的第i个元素到第2个特征分布的第j个元素之间的欧式距离；

利用式(8)计算候选集里所有相应部位颜色直方图与需查询的人体目标该部位的颜色直方图的EMD值，并将人体9个部位的EMD值分别记为EMD₁，EMD₂，···，EMD₉；

2.4)分配权重并排序

2.4.1)给人体9个部位分配不同的权重，并根据上述9个部位的EMD值按式(9)计算总体EMD值，计算公式为：

2.4.2)记录候选集中所有人体目标的总体EMD值EMD_mean并从小到大进行粗排序。

在步骤3)中，所述的细识别的具体步骤如下：

3.1)计算垂直、水平投影

3.1.1)选取上述已保存的需查询的人体目标躯干部位图像与粗排序中排名前50％的候选集中所有躯干部位图像；

3.1.2)将上述所有躯干部位图像从彩色图像依此转化为灰度图像、二值图像；

3.1.3)统计上述二值图像中垂直和水平方向上每个间隔bin_i上白色像素的个数，分别记为dim₁bin_i，dim₂bin_i，由此得到垂直和水平投影后的直方图；

3.2)计算皮尔逊相关系数

计算上述二值图像中垂直和水平投影后的直方图的皮尔逊相关系数，具体步骤如下：

3.2.1)计算数学期望E(·)，公式为：

其中：p_k＝P{X＝x_k},k＝1,2,…是·的分布律；

3.2.2)由步骤3.2.1)中得到的数学期望E(·)计算方差，公式为：

3.2.3)由步骤3.2.1)中得到的数学期望E(·)计算协方差，公式为：

Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]} (12)

其中：X,Y分别表示需查询的人体目标的躯干部分直方图和候选集中人体躯干部分直方图；

3.2.4)由上述方差和协方差分别计算需查询的人体目标躯干部分垂直和水平投影后的直方图与候选集中人体躯干部分垂直和水平投影后的直方图的皮尔逊相关系数，公式为：

最后将上述计算得到的垂直和水平方向的皮尔逊相关系数从大到小进行细排序并记录，最后由人工在细排序后的结果中寻找出目标人体。

本发明提供的基于部位分割的人体再识别方法具有如下有益效果：

1、现代人衣服款式颜色多种多样，衣袖的颜色往往和躯干部分的颜色不一样，大腿和小腿处的裤子的颜色也会不一样。且在监控摄像头中，头部信息一般较为细微，不易找到区分度大的特征，而脚部偏小，不易采集。基于以上考虑，把人体除头以外，分割为：躯干、左/右上臂、左/右下臂、左/右大腿、左/右小腿共9个部位进行再识别具有较高的识别率。

2、粗识别可以提取出与查询集颜色相近的候选集人体，但无法缩小搜索范围。在粗识别的基础上，对于躯干部位图像，使用投影法可以提取出躯干部位的图案及图案的位置信息，进一步提高了识别率。

附图说明

图1为本发明提供的基于部位分割的人体再识别方法流程图。

图2为采用Kinect深度摄像头采集的待检测场景中的人体深度图像。

图3为人体前景图像提取过程示意图。

图4和图5分别为人体前景图像去噪前后效果图。

图6为标注有25个骨骼节点位置的标准男性蓝本示意图。

图7为人体骨骼在摄像头坐标系下的三维表示示意图。

图8为旋转矩形的绘制方法示意图。

图9为旋转矩形框出的人体部位示意图。

图10为旋转矩形最小外接矩形获取过程示意图。

图11为人体分割后的9个部位图像。

图12为人体目标在Kinect摄像头视界下的角度差示意图。

图13为皮尔逊相关系数度量过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于部位分割的人体再识别方法进行详细说明。

如图1所示，本发明提供的基于部位分割的人体再识别方法包括按顺序进行的下列步骤：

1)图像数据获取：首先利用Kinect摄像头采集待检测场景的多帧图像，然后从上述图像中提取出人体前景图像，去噪后依次按部位分割成部位图像并筛选、保存；将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；

具体步骤如下：

1.3)前景提取

1.1.1)利用微软Kinect深度摄像头和彩色摄像头分别采集待分析场景的多帧深度图像和RGB彩色图像；

1.1.2)将上述深度图像中的每一像素用2个字节，共16位表示，其中前13位表示该像素的深度值，后3位表示人体索引号，每一个在Kinect摄像头视界中的人体都会被分配一个不同的索引号，如果后3位全部为0，则表示不是人体，如图2所示；

1.1.3)由于在步骤1.1.2)中仅从深度图像上判断了每一像素是否属于某一人体，但并没有对应相应的彩色信息，因此，将深度图像上属于人体区域的相应像素通过坐标映射对应到彩色坐标系下的彩色图像上；

1.1.4)在彩色图像上提取出从深度图像上映射来的人体前景像素，并复制到创建的空画布上而得到人体前景图像，由此实现人体前景提取；前景提取整体流程如图3所示：

1.2)图像去噪

由于步骤1.1)中得到的人体前景图像存在一些细小的噪点，因此需要对其进行去噪处理。

本发明使用开运算进行人体前景图像去噪，开运算单元选用9×9的方形算子。图4和图5分别为去噪前后的效果图。

1.3)基于深度骨骼点部位分割

准确的部位分割可提高再识别的识别率。对于已经过去噪处理的人体前景图像，本发明的部位分割根据Kinect摄像头软件开发包中25个骨骼节点对应于人体的位置信息进行，如图6所示。

具体步骤如下：

1.3.1)坐标变换：人体骨骼节点在Kinect摄像头中的摄像头坐标系下三维表示如图7所示。

将摄像头坐标系下的骨骼节点映射到彩色坐标系下，由此实现摄像头坐标系、深度坐标系、彩色坐标系的统一。

1.3.2)绘制旋转矩形：选取人体前景图像某部位上的两个骨骼节点P1、P2，以此两节点间的距离为旋转矩形的长，记为a。除了躯干部位的宽度设为长的2/3，其它部位宽度均设为长的1/2，记为b。两个骨骼节点P1、P2坐标的中点设为旋转矩形的旋转中心O，以两个骨骼节点P1、P2的连线与水平面的夹角为旋转角θ绘出旋转矩形，如图8所示。

按此绘制方法在人体前景图像上画出除头部和脚部之外的多个旋转矩形，由各旋转矩形框出的各个部位的效果图如图9所示。去除头部是考虑到头部区域比较细微，不容易提取出有效信息。

1.3.3)提取通过步骤1.3.2)获取到的每一旋转矩形的4个角坐标，记为p₁(x₁,y₁)，p₂(x₂,y₂)，p₃(x₃,y₃)，p₄(x₄,y₄)，再判断4个角的x坐标x₁,x₂,x₃,x₄和y坐标y₁,y₂,y₃,y₄的最大及最小值。将x和y坐标的最大最小值分别记为：x_max，x_min和y_max，y_min，得到旋转矩形最小外接矩形的4个角坐标，记为q₁(x_min,y_min)，q₂(x_max,y_min)，q₃(x_max,y_max)，q₄(x_min,y_max)，如图10所示。

1.3.4)根据步骤1.3.3)得到的旋转矩形的最小外接矩形4个角的坐标遍历人体前景图像，分割出的最小外接矩形内的像素即为人体部位，记为Part₁,Part₂,…,Part₉，分别表示躯干，右上臂，右下臂，左上臂，左下臂，右大腿，右小腿，左大腿，左小腿。分割出的9个部位图像如图11所示。

1.6)多帧部位图像评分

在人群流动的场景下，考虑到Kinect摄像头可拍摄到的距离s是0.5-4.5米。通常人的步速v是2m/s，则人体目标可被跟踪直到该目标消失在Kinect摄像头的视界持续时间T大约为2s。设置Kinect摄像头拍摄间隔t是200ms，人体目标可被跟踪到的时间内可拍到帧数为w，由式计算得2s时间内可拍10帧图像。

由于拍摄过程运动的人体目标相对Kinect摄像头的角度和姿态动作在持续时间内差异较大，不同时刻可能会有不同的部位被遮挡，因此综合多帧数据，对丢失的部位使用其他帧数据相应部位进行补充。使用部位图像评分的策略，对该人体的9个部位图像进行评分并选择最优的部位图像进行保存。

其中，部位图像评分使用以下3项指标：

(1)非白色背景区域占整幅部位图像的比值。

具体步骤为：

1.4.1)设背景部分为sum₁，前景部分为sum₂，并都初始化为0；

1.4.2)遍历部位图像，判断红绿蓝三颜色通道每一个像素是否为白色(255,255,255)，是则sum₁+1，否则sum₂+1。

设前景部分占整幅部位图像的比值为Δ，计算公式为：

(2)人体目标在Kinect摄像头视界中的总偏移度

人体目标在Kinect摄像头视界中在摄像头坐标系下X,Y,Z方向上的角度差如图12所示，分别记为α，β，γ。设总偏移度为χ，计算公式为：

(3)部位图像清晰度

本发明采用均方误差法来判断该部位图像质量的好坏。

均方误差法首先计算原始理想部位图像和失真部位图像像素差值的均方值MSE，然后通过均方值的大小来确定失真部位图像的失真程度，计算公式为：

其中M,N分别为部位图像的长和宽，f_ij表示原始理想部位图像的像素值，设为1，f_ij'表示实际拍摄的部位图像的像素值，归一化为(0,1)。

将上述三项指标值分别乘以不同的权重，得到总体评分K，计算公式为：

最后将人体每一部位图像均取总体评分K最高的加以保存。其中，将所有需查询的人体部位图像保存为查询集，所有采集到的人体部位图像保存为候选集，并将采集到的人体部位图像按图像序号和部位进行保存；

1.5)将部位图像尺寸分类归一化

通过步骤1.1)到1.4)已实现人体目标获取及部位优选。由于不同人体目标拍摄距离和角度的不同，得到的相同部位图像尺寸大小也不尽相同。为了便于后续工作的进行，将候选集中所有同一部位图像归一化到与需查询的人体目标相应部位图像相同的大小。

2)粗识别：将需查询的人体目标部位图像和候选集中所有人体部位图像从RGB颜色空间转换到HSV颜色空间，之后获得颜色直方图，然后使用EMD(地球移动距离)度量颜色直方图间的相似性，并根据部位和拍摄角度的不同分配不同的权重，最后得到人体目标与候选集所有人体之间的总体EMD值并从小到大进行排序；

具体步骤如下：

2.3)颜色空间转换

Kinect摄像头采集的图像默认使用RGB颜色空间保存，由于HSV颜色空间在不同的光照条件下有着较小的变化，且在HSV颜色空间下提取的颜色直方图特征具有更好的区分度，因此须将上述部位图像从RGB颜色空间转换到HSV颜色空间。

设(R,G,B)分别是一个颜色的红、绿和蓝分量，它们的值已归一化在0到1之间的实数。设max等于R,G和B中的最大者，min等于这些值中的最小者。H∈[0,360)是角度的色相角，S、V∈[0,1]是饱和度和亮度，转换公式如式(5)，(6)，(7)所示：

其中：

V＝max (7)

2.2)获得颜色直方图

2.2.1)设需要统计的特征的数目为dim。拆分HSV颜色空间中色相角H、饱和度S和亮度V三个分量，并将三个分量分别量化为36个间隔bin，记为dim_Hbin₁,dim_Hbin₂,…,dim_Hbin₃₆；dim_Sbin₁,dim_Sbin₂,…,dim_Sbin₃₆；dim_Vbin₁,dim_Vbin₂,…,dim_Vbin₃₆。

2.2.2)分别统计色相角H、饱和度S和亮度V三个分量上每个dim_ibin_i的像素个数，由此得到颜色直方图；

2.3)对上述颜色直方图进行相似性度量

本发明采用EMD来度量颜色直方图之间的相似性，实现多对多的匹配，降低误匹配率，计算公式为：

其中f_ij表示代价函数对应于各个元素权重的大小，d_ij表示为第1个特征分布的第i个元素到第2个特征分布的第j个元素之间的欧式距离。

利用式(8)计算候选集里所有相应部位颜色直方图与需查询的人体目标该部位的颜色直方图的EMD值，并将人体9个部位的EMD值分别记为EMD₁，EMD₂，…，EMD₉。

2.4)分配权重并排序

2.4.1)给人体9个部位分配不同的权重，并根据上述9个部位的EMD值按式(9)计算总体EMD值，计算公式为：

2.4.2)记录候选集中所有人体目标的总体EMD值EMD_mean并从小到大进行粗排序。

3)细识别：上述步骤2)中使用颜色直方图方法从全局颜色特征出发，使得候选集中与人体目标颜色差异较大的人体排名靠后，而整体颜色特征与需查询的人体目标相似度高的候选集人体排名相近且靠前，但仍无法进一步确定人体目标的排名。因此，本步骤选取上述粗排序中排名前50％的候选集中人体数据，通过人体躯干部位衣物上的图案纹理及图案纹理位置的不同，将躯干部位图像在垂直、水平方向上分别投影，再分别计算人体目标与候选集中人体躯干部位垂直和水平方向上投影的皮尔逊相关系数，在粗排序的基础上进行细排序，最后由人工在细排序后的结果中寻找出目标人体。

图13是细排序中皮尔逊相关系数(Pearson Correlation Coefficient)度量的流程示意图。

具体步骤如下：

3.1)计算垂直、水平投影

3.1.1)选取上述已保存的需查询的人体目标躯干部位图像与粗排序中排名前50％的候选集中所有躯干部位图像；

3.1.2)将上述所有躯干部位图像从彩色图像依此转化为灰度图像、二值图像；

3.1.3)统计上述二值图像中垂直和水平方向上每个间隔bin_i上白色像素的个数，分别记为dim₁bin_i，dim₂bin_i，由此得到垂直和水平投影后的直方图；

3.2)计算皮尔逊相关系数

计算上述二值图像中垂直和水平投影后的直方图的皮尔逊相关系数。具体步骤如下：

3.2.1)计算数学期望E(·)，公式为：

其中：p_k＝P{X＝x_k},k＝1,2,…是·的分布律。

3.2.2)由步骤3.2.1)中得到的数学期望E(·)计算方差，公式为：

3.2.3)由步骤3.2.1)中得到的数学期望E(·)计算协方差，公式为：

Cov(X,Y)＝E{[X-E(X)][Y-E(Y)]} (12)

其中：X,Y分别表示需查询的人体目标的躯干部分直方图和候选集中人体躯干部分直方图。

3.2.4)由上述方差和协方差分别计算需查询的人体目标躯干部分垂直和水平投影后的直方图与候选集中人体躯干部分垂直和水平投影后的直方图的皮尔逊相关系数，公式为：

最后将上述计算得到的垂直和水平方向的皮尔逊相关系数从大到小进行细排序并记录，最后由人工在细排序后的结果中寻找出目标人体。优点是能够在不降低识别率的同时降低计算复杂度，提高处理效率

经过测试，本发明提供的方法能够较为快速准确地实现人体再识别。