一种基于空间约束的目标人体识别方法
【专利摘要】本发明公开了一种基于空间约束的目标人体识别方法，其提取待识别图像和图像目标库内的图像的前景区域，将图像目标库内的图像的前景区域分割成等大小且互相重叠的第一图像块，将待识别图像的前景区域分割成等大小且互相重叠的第二图像块，再提取第一图像块和第二图像块的特征向量，并找到第二图像块在图像目标库内的每幅图像中的最相似块，再分别提取第一图像块和第二图像块的最小距离块序列，然后计算得到待识别图像相对于图像目标库内的图像的匹配得分从而进行人体识别，优点在于将丰富的结构信息融入到匹配得分中去，有效地避免了拍摄角度、姿势和光线变化的影响，能有效识别不同人体的相似区域内的微小差别且不需要对待识别图像进行标记。
【专利说明】一种基于空间约束的目标人体识别方法
【技术领域】
[0001]本发明涉及一种目标人体识别方法，尤其是涉及一种基于空间约束的目标人体识别方法。
【背景技术】
[0002]目标人体识别(以下简称人体识别)是判断一个摄像头下出现的行人是否与另一个摄像头下出现的行人为同一行人，人体识别问题在计算机视觉领域中被称为非重叠的多摄像系统中的人体重现问题(Person Re-1dentification)。人体识别方法在智能视频监控领域具有重要的应用，其用途主要包括目标人体的提取、非重叠摄像系统中目标跟踪。随着智能监控的普及，人体识别方法受到更多的重视，从近几年来研究人员对人体识别方法的研究得知，目前人体识别方法仍然面临着巨大挑战:首先，摄像头所拍摄的图像分辨率较低，人脸识别或其他生物特征识别技术几乎难以应用于人体识别，这就使得人体识别的主要依据被限制在人体表观特征方面；其次，为了简化人体识别方法，通常假设同一行人在不同场景下的服饰不变，但在不同场景下(如图1a所示)，行人受到拍摄的角度、姿势、背景、光线、摄像机参数等因素的影响，依旧给人体识别带来了巨大的挑战。目前解决人体识别的方法主要有两种:有监督学习方法和无监督学习方法。
[0003]对于有监督学习方法，Prosser等人(B.Prosser, ff.Zheng, S.Gong, T.Xiang, andQ.Mary.Person re-1dentification by support vector ranking.1n BMVC, 2010.基于支持向量机排名的人体识别，英国机器视觉会议)将人体识别问题转化为排名问题，利用改进的SVM算法进行人体识别；Gray等人(D.Gray and H.Ta0.Viewpoint invariantpedestrian recognition with an ensemble of localized features.ECCV, 2008.结合多个局部特征的角度不变性的人体识别，欧洲计算机视觉国际会议)结合空间和颜色等局部特征，利用boosting算法进行人体识别；Schwartz等人(W.Schwartzand L.Davis.Learning discriminative appearance-based models using partialleast squares.1n XXII Brazilian Symposium on Computer Graphics and ImageProcessing(SIBGRAPI), 2009.基于偏最小二乘法识别表现特征的学习模型，二十二巴西研讨会的计算机图形图像处理)使用局部最小二乘法对提取的颜色、梯度、纹理这三个高维特征分别进行降维，并根据各自的识别能力给予不同的权值来进行人体识别；Li等人(ff.Li and X.Wang.Locally aligned feature transforms across views.1n CVPR, 2013.基于视角的局部特征转换，IEEE国际计算机视觉与模式识别会议)将两个不同摄像机下的图像先转化为不同的特征空间，再根据不同的特征空间分别进行度量学习，从而进行人体识别；Zheng 等 A (W.Zheng, S.Gong, and T.Xiang.Person re-1dentification byprobabilistic relative distance comparison.1n CVPR, 2011.基于相对距离的概率的比较的人体识别，IEEE国际计算机视觉与模式识别会议)把人体识别问题当成距离学习问题来进行人体识别；Weinberger 等人(K.Q.Weinberger and L.K.Saul.Fast solvers andefficient implementations for distance metric learning.1n ICML, 2008.快速有效的距离度量学习方法，机器学习国际会议)提出了 LMNN算法，该算法通过对同一类的距离更近，而非同一类的距离更远的惩罚学习来实现人体识别；Kostinger等人(M.Kostinger, M.Hirzer, P.ffohlhart, P.Roth,and H.Bischof.Large scale metric learning fromequivalence constraints.1n CVPR, 2012.基于等价约束的大尺度度量学习，IEEE国际计算机视觉与模式识别会议)利用一个宽松的距离度量学习来处理人体识别问题。这些有监督学习方法均需要先对人体样本进行标记后学习，当摄像头环境改变时，如拍摄角度、姿势和光线变化，需要重新对人体样本进行标记，不能有效地处理大量人体样本以及不同环境下的人体样本识别。
[0004]对于无监督学习方法，主要是提出更有效的特征向量直接计算图像之间的距离。M.Farenzena 等 A (M.Farenzena, L.Bazzani, A.Perina, V.Murino, and M.Cristan1.Person re-1dentification by symmetry-driven accumulation of local features.1nCVPR, 2010.基于对称性局部特征累加的人体识别，IEEE国际计算机视觉与模式识别会议)结合整体的HSV特征、最大稳定块的特征、重复出现多的块的特征这三个部分，计算两幅图像之间的距离来进行人体识别；R.Zhao 等人(R.Zhao, ff.0uyang, and X.Wang.UnsupervisedSalience Learning for Person Re-1dentification.1n CVPR2013.基于无监督突出特征学习的人体识别，IEEE国际计算机视觉与模式识别会议)根据获得的每个块的突出权值，在局部匹配过程中，根据突出权值来给予各个局部块在识别中的不同贡献从而实现人体识别；Y.Zhang 等人(Y.Zhang and S.L1.Gabor-LBP based region covariance descriptorfor person reidentification.Proc.1nt.Conference on Image and Graphics, 2011.基于局部区域协方差描述的Gabor-LBP的人体识别，图像和图形会议)在进行人体识别过程中，将LBP纹理特征与Gabor特征结合起来求地面距离，较好地避免了光照和姿势变化对人体识别的影响；Malocal 等人(B.Ma, Y.Su, and F.Jurie.Local descriptors encoded byfisher vectors for person re-1dentification.2012.基于余向量的局部描述的人体识另IJ)利用余向量来编码更高的局部特征统计，从而使人体识别效果有了较大改善。这些无监督学习方法都集中关注在特征设计和局部匹配上，但来自图像中的丰富结构信息未被计算，在遇到两个不同人体的相似区域时，难以对微小的差别进行区分，如图1b所示，无监督方法通过累计局部匹配，易将图1b中的具有相似区域的不同的人判断为同一个人。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种不需要对待识别图像进行标记，能有效避免拍摄角度、姿势和光线变化的影响且能有效识别不同人体的相似区域内的微小差别的基于空间约束的目标人体识别方法。
[0006]本发明解决上述技术问题所采用的技术方案为:一种基于空间约束的目标人体识别方法，其特征在于:包括以下步骤:
[0007]①假定有一个摄像头A，将摄像头A拍摄到的所有图像组合成一个图像目标库，然后提取图像目标库内每幅图像中的前景区域，图像目标库内每幅图像中的前景区域即为图像目标库内每幅图像中的人体，接着将图像目标库内每幅图像中的前景区域分割成大小相同且互相重叠的第一图像块，再提取图像目标库内每幅图像中的前景区域内的每个第一图像块的特征向量；[0008]②假定有一个摄像头B，将摄像头B实时拍摄到的图像作为待识别图像，然后提取待识别图像中的前景区域，待识别图像中的前景区域即为待识别图像中的人体，接着将待识别图像中的前景区域分割成大小相同且互相重叠的第二图像块，再提取待识别图像中的前景区域内的每个第二图像块的特征向量；
[0009]③根据图像目标库内每幅图像中的前景区域内的每个第一图像块的特征向量，获取图像目标库内每幅图像中的前景区域内的每个第一图像块的最小距离块序列，将图像目标库中的第q幅图像中的前景区域内中心像素点在第q幅图像中坐标位置为(i，j)的第一
图像块的最小距离块序列记为
【权利要求】
1.一种基于空间约束的目标人体识别方法，其特征在于:包括以下步骤: ①假定有一个摄像头A，将摄像头A拍摄到的所有图像组合成一个图像目标库，然后提取图像目标库内每幅图像中的前景区域，图像目标库内每幅图像中的前景区域即为图像目标库内每幅图像中的人体，接着将图像目标库内每幅图像中的前景区域分割成大小相同且互相重叠的第一图像块，再提取图像目标库内每幅图像中的前景区域内的每个第一图像块的特征向量； ②假定有一个摄像头B，将摄像头B实时拍摄到的图像作为待识别图像，然后提取待识别图像中的前景区域，待识别图像中的前景区域即为待识别图像中的人体，接着将待识别图像中的前景区域分割成大小相同且互相重叠的第二图像块，再提取待识别图像中的前景区域内的每个第二图像块的特征向量； ③根据图像目标库内每幅图像中的前景区域内的每个第一图像块的特征向量，获取图像目标库内每幅图像中的前景区域内的每个第一图像块的最小距离块序列，将图像目标库中的第q幅图像中的前景区域内中心像素点在第q幅图像中坐标位置为(i，j)的第一图像块的最小距离块序列记为
2.根据权利要求1所述的一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤①的具体过程为: ①-1、假定有一个摄像头A，将摄像头A拍摄到的所有图像集合成一个图像目标库； ①_2、将图像目标库内当前待处理的第q幅图像定义为当前图像，其中，IQ，Q表示图像目标库中的图像的数量； ①-3、对当前图像的HSV通道中的V通道进行均衡化处理，然后采用姿态估计提取当前图像中的前景区域，当前图像中的前景区域即为当前图像中的人体，再将当前图像中的前景区域分割成多个大小相同且互相重叠的第一图像块，将当前待处理的第一图像块定义为当前第一图像块； ①_4、提取当前第一图像块的LAB颜色特征，然后将当前第一图像块均匀分割成多个互不重叠的第一图像单元格，并根据所有第一图像单元格将当前第一图像块局部梯度量化为八个方向，再根据当前第一图像块的八个方向提取当前第一图像块的SIFT特征，最后根据当前第一图像块的LAB颜色特征和当前第一图像块的SIFT特征，获取当前第一图像块的特征向量，记为
3.根据权利要求2所述的一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤①-3中将当前图像中的前景区域分割成多个大小相同且相互重叠的第一图像块的过程为:以尺寸大小为10X10的滑动窗口在当前图像中每隔4个像素点移动，将当前图像分割成多个尺寸大小为10X10的第一图像块。
4.根据权利要求3所述的一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤①-4中第一图像单元格的尺寸大小为4X4。
5.根据权利要求4所述的一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤②的具体过程为: ②-1、假定有一个摄像头B，将摄像头B实时拍摄到的图像作为待识别图像，然后对待识别图像的HSV通道中的V通道进行均衡化处理，接着采用姿态估计提取待识别图像中的前景区域，待识别图像中的前景区域即为待识别图像中的人体，再将当前图像中的前景区域分割成大小相同且互相重叠的第二图像块，将当前处理的第二图像块定义为当前第二图像块； ②-2、提取当前第二图像块的LAB颜色特征，然后将当前第二图像块均匀分割成多个互不重叠的第二图像单元格，并根据所有的第二图像单元格将当前第二图像块局部梯度量化为八个方向，再根据当前第二图像块的八个方向提取当前第二图像块的的SIFT特征，再根据当前第二图像块的LAB颜色特征和当前第二图像块的SIFT特征，获取当前第二图像块的特征向量，记为c，C= I，其中，a是一个288维列向量，a为当前第二图像块的三个通道
b _分别进行三次采样后，再分别提取当前第二图像块的每个颜色通道的32维颜色直方图后获取到的第二图像块的LAB颜色特征，b是一个384维列向量，b中的元素为分别在当前第二图像块的三个颜色通道上提取当前第二图像块的每个方向上的16维特征后获取到的当前第二图像块的SIFT特征； ②-3、将下一个待处理的第二图像块作为当前第二图像块，然后返回步骤②-2继续执行，直到得到待识别图像中的前景区域内的所有第二图像块的特征向量。
6.根据权利要求5所述的一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤②-1中将待识别图像中的前景区域分割成多个大小相同且相互重叠的第二图像块的过程为:以尺寸大小为10X10的滑动窗口在待识别图像中每隔4个像素点移动，将待识别图像分割成多个尺寸大小为10X10的第二图像块。
7.根据权利要求6所述的`一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤②-2中的第二图像单元格的尺寸大小为4X4。
8.根据权利要求7所述的一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤④中采用最邻近结点算法，找出待识别图像中的前景区域内的每个第二图像块在图像目标库内的每幅图像中的前景区域内的最相似块的过程中，对于《4在图像目标库内的每幅图像中的前景区域内的第m行的所有第一图像块中，找出在图像目标库内的每幅图像中的前景区域内的最相似块，假设在图像目标库内的第q幅图像中的前景区域内的第m行的所有第一图像块中找出的最相似块为图像目标库内的第q幅图像中的前景区域内中心像素点在图像目标库内的第q幅图像中坐标位置为Oi^n1)的第一图像块，则将在图像目标库内的第q幅图像中的前景区域内的第m行的所有第一图像块中的最相似块记为a'l:l， 然后根据待识别图像中的前景区域内的每个第二图像块的特征向量以及待识别图像中的前景区域内的每个第二图像块在图像目标库内的每幅图像中的前景区域内的最相似块的特征向量，得到待识别图像中的前景区域内的每个第二图像块在图像目标库内的每幅图像中的匹配得分，对于在图像目标库内的第q幅图像中的匹配得分记为
9.根据权利要求8所述的一种基于空间约束的目标人体识别方法，其特征在于:所述的步骤⑤中将,相对于图像目标库内第q幅图像的空间约束的约束权值记为
10.根据权利要求9所述的一种基于空间约束的目标人体识别方法，其特征在于:所述
的步骤⑥中的&.记为
【文档编号】G06K9/00GK103679142SQ201310636477
【公开日】2014年3月26日 申请日期:2013年12月2日 优先权日:2013年12月2日
【发明者】陈普强, 郭立君, 柯伟扬, 张 荣, 赵杰煜 申请人:宁波大学