一种基于颜色拓扑结构的行人搜索识别方法
【专利摘要】本发明提出了一种基于颜色拓扑结构的行人搜索识别方法,主要包括四个步骤：第一，将行人图像通过均值漂移方法聚类分割成多个子区域；第二，计算每个子区域的中心点坐标、确定相邻子区域，并计算每个子区域和相邻子区域的梯度及颜色平均值的差值和每个子区域的权重，生成颜色拓扑结构特征；第三，对颜色拓扑结构特征作距离度量，并结合LBP、HOG特征基于EMD度量算法得到的度量值进行加权融合；最后，将所有候选行人图像和目标行人图像的相似性度量值按降序排序，将相似性最高的行人图像出现过的视频片段作为搜索结果返回。本发明能获得较高识别准确率，适用于室外远距离视频监控应用中的行人搜索识别。
【专利说明】—种基于颜色拓扑结构的行人搜索识别方法
【技术领域】
[0001]本发明涉及一种面向视频监控的行人搜索识别方法，尤其涉及一种基于颜色拓扑结构的行人搜索识别方法，属于计算机视觉和模式识别领域。
【背景技术】
[0002]智能视频监控技术是计算机视觉领域近年来新兴的研究方向，由于它具有非接触性，能够利用网络实现远程监控，极大减少人力和工作量，因此在城市安防、智能交通、军事侦查众多领域得到了广泛引用，具有重要的研究意义和应用前景。行人搜索识别广泛应用于指定行人搜索，多目标跟踪和跨摄像头目标接力跟踪等研究领域，是计算机视觉和模式识别领域重点关注的内容之一。
[0003]面向视频监控的行人搜索识别主要是从已存储的视频中找出包含有指定行人目标的视频片段。主要工作流程是对输入视频和要搜索的已存储视频作运动目标检测与分割:将输入视频中检测出的行人图像作为目标行人，将要搜索的已存储视频中检测出的行人图像作为候选行人；通过对目标行人图像和候选行人图像进行相似度度量，按照距离大小进行排序并返回排名靠前的行人图像所在的视频片段。排名越靠前的行人图像和目标行人身份相同的概率越大，从而实现视频中行人的搜索识别。
[0004]目前行人搜索识别方法主要分为基于生物特征的搜索识别和基于表观的搜索识别两种。其中基于生物特征有虹膜、指纹、人脸等，这些特征在室外监控场景中由于复杂背景的干扰、距离远都很难获取，因此不适用于室外监控的行人搜索识别。相比较而言，行人衣着的颜色、纹理等表观信息易获取且能够对行人进行较全面有效的描述，因此基于表观的行人搜索识别方法是目前主流的方法，该方法的主要工作分为图像特征提取和特征的相似度度量。
[0005]在基于表观的行人搜索识别中，提取的特征根据类型主要划分为颜色特征和纹理特征:(1)基于颜色的特征提取。应用最广泛的颜色特征是颜色统计直方图特征，它描述了图像颜色的统计分布信息。除此之外，也有方法针对主要的颜色信息进行了统计，他们认为使用主要的几种颜色足够表达目标表观并可以忽略那些精细的颜色带来的干扰，建立了主颜色光谱直方图表示模型来构建表现模型。(2)基于纹理的特征提取。常见的纹理特征有局部二值模式 LBP (Local Binary PatternC,梯度方向直方图 HOG (Histogram of OrientedGradientC,灰度共生矩阵等。其中LBP和HOG是基于结构的方法，灰度共生矩阵是基于统计数据的方法，它们都通过灰度的空间相关特性来进行建模，在图像中搜索重复的模式。
[0006]在基于表观的行人搜索识别中，相似性度量一般用各种距离公式对图像提取的特征进行度量，常见的距离度量公式有欧式距离、马氏距离、伯明翰距离等。现有方法中也常将多种特征分别进行相似性度量，并将多种特征的度量结果进行线性融合；也有方法将人划分为头部区域、上半身区域、下半身区域等多个区域分别进行相似性度量最后进行线性融合。
[0007]在上述已有的工作基础上，行人搜索识别工作面临许多困难，诸如来自背景的干扰、遮挡、光照变化、行人姿态变化和视角变化。针对这些问题研究人员已经提出一些解决方法:例如通过提取前景区域来减少背景干扰、通过直方图均衡化等图像处理来降低光照变化的影响，通过将图像分块并提取局部区域特征来增强在行人姿态变化和视角变化情况下的识别率。尽管如此，针对视频监控中的行人搜索识别技术仍然存在以下问题:
[0008]颜色特征在行人搜索识别领域被大多数方法所采用。实际环境中光照变化使得颜色特征不够鲁棒，将导致两方面问题:一方面，不同行人图像的颜色统计特征可能相同，使得不同行人目标被识别为相同行人目标；另一方面，同一行人不同图像的颜色统计特征可能相差很大，使得相同行人目标被识别为不同行人目标。以上问题将严重影响视频中行人身份识别的准确性。
[0009]虽然颜色统计信息在光照变化下不足够鲁棒，但颜色在物理空间上的分布信息却可以基本保持稳定。此外，根据已有对人眼识别的研究发现:人眼识别目标是一个从全局到局部的过程。而颜色在空间上的分布信息是一种全局的高层次语义特征，是人眼识别目标过程中的重要依据。因此颜色在空间上的分布能够较为准确地描述行人的外观，有效地进行视频中行人的搜索识别。
【发明内容】
[0010]本发明技术解决问题:克服现有技术的不足，提供一种新的基于颜色拓扑结构的行人搜索识别方法，该方法与当前主流方法相比可以较好地提高识别准确率，并且适用于实际的室外监控场景应用中的行人搜索识别。
[0011]为实现上述目的，本发明采用下述技术方案。
[0012]一种基于颜色拓扑结构的行人搜索识别方法，包括如下步骤:
[0013](I)采用均值漂移方法对行人图像进行分割，划分成多个互不重叠的子区域，使得颜色相近的像素点处于同一个子区域中；
[0014](2)计算每个子区域的中心点坐标，确定子区域在水平方向和垂直方向上的相邻子区域；
[0015](3)计算子区域与相邻子区域的梯度和颜色平均值的差值，并计算每个子区域的权值，分别将所有计算得到的梯度值和颜色平均值的差值作加权直方图统计作为颜色拓扑结构特征；
[0016](4)根据颜色拓扑结构特征，并结合局部二值模式(LBP)、方向梯度直方图(HOG)特征，分别计算目标行人图像和所有候选行人图像之间的相似性度量值，对计算得到的相似性度量值降序排列，将相似性最高的行人图像所在的视频片段作为搜索结果返回。
[0017]如上所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(2)中统计每个子区域中最左边和最右边的像素点位置的平均值作为每个子区域的中心点水平坐标，统计每个子区域中最上边和最下边像素点位置的平均值作为每个子区域的中心点垂直坐标。
[0018]如上所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(2)中为了确定哪些子区域是相邻的，本发明根据子区域中心点垂直坐标的大小将所有子区域分成若干层，同一层中的子区域根据中心点的水平坐标大小从左向右排列。水平方向上的相邻子区域定义为同一层内右边紧挨着的第一个子区域，垂直方向上的相邻子区域定义为下一行中与当前子区域水平坐标最近的子区域。
[0019]如上所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(3)中，和相邻子区域的梯度值通过以下公式计算得到:
【权利要求】
1.一种基于颜色拓扑结构的行人搜索识别方法，其特征在于包括如下步骤: (1)采用均值漂移方法对行人图像进行分割，划分成多个互不重叠的子区域，使得颜色相近的像素点处于同一个子区域中； (2)计算每个子区域的中心点坐标，确定子区域在水平方向和垂直方向上的相邻子区域； (3)计算子区域与相邻子区域的梯度、颜色平均值的差值和每个子区域的权值，分别对所有梯度值和颜色平均值的差值进行加权直方图统计；最后将梯度、颜色平均值的差值和颜色平均值的加权直方图组合成颜色拓扑结构特征； (4)根据颜色拓扑结构特征，并结合局部二值模式(LBP)、方向梯度直方图(HOG)特征，分别计算目标行人图像和所有候选行人图像之间的相似性度量值，对计算得到的相似性度量值降序排列，将相似性最高的行人图像所在的视频片段作为搜索结果返回。
2.如权利要求1所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(2)中统计每个子区域中最左边和最右边的像素点位置的平均值作为每个子区域的中心点水平坐标，统计每个子区域中最上边和最下边像素点位置的平均值作为每个子区域的中心点垂直坐标。
3.如权利要求1所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(2)中确定子区域在水平 方向和垂直方向上的相邻子区域方法为:根据子区域中心点垂直坐标的大小将所有子区域分成若干层，同一层中的子区域根据中心点的水平坐标大小从左向右排列；水平方向上的相邻子区域定义为同一层内右边紧挨着的第一个子区域，垂直方向上的相邻子区域定义为下一层中与当前子区域水平坐标最近的子区域。
4.如权利要求1所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(3)中，计算子区域与相邻子区域的梯度值通过以下公式计算得到:
GradientX (R1 ) = centj< (R1) - cent_x (R:' ) GradientY (Rt) = centjy (Rt) - centjy (RtN)(I),7 ^ ,GradientY(R1 ).......^AngleiR t) = arctan--1 St)/r + 90°GvadlentX( R1 ) 其中Rt代表每个子区域，i? V代表相邻子区域；cent_X(R)和cent_y (R)代表子区域R中心点的水平和垂直坐标；Angle (Rt)代表子区域Rt和相邻子区域i?产中心点的梯度，处于区间(0,180° )之中。
5.如权利要求1所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(3)中，颜色平均值的差值通过以下公式计算得到:1I_change (Ri) = a vgJI (R,) - avg_Ji (R,s ) S_changc (R, ) = avg_S (R,) - avg_S (R1' ))
V_chunge (R1 ) = avg_V (Rt) - avg_V (R.丨、.) 其中Rt代表每个子区域，i?产代表相邻子区域；aVg_H(R)，aVg_S(R)，aVg_V(R)分别代表子区域R上所有像素点在颜色空间HSV上的平均值；H_change (Rt)，S_change (Rt)，V_Change(Rt)是子区域Rt和相邻子区域i? v的颜色平均值的差值，处于区间(_255，255)之中。
6.如权利要求1所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(3)中，加权直方图通过以下方式得到:相邻子区域中心点的梯度统计各种梯度值出现概率得到36维特征；相邻子区域在HSV (Hue Saturat1n Value)三个通道的颜色平均值的差值统计各种差值出现概率得到72维特征；子区域颜色平均值统计直方图得到36维特征；颜色拓扑结构特征由相邻子区域的梯度统计直方图、颜色平均值的差值统计直方图和颜色平均值统计直方图共同组成，共144维。
7.如权利要求1所述的基于颜色拓扑结构的行人搜索识别方法，其特征在于所述步骤(4)中，对步骤(3)中组合成的颜色拓扑结构特征，根据伯明翰(Birmingham)距离进行相似性度量值计算，并与LBP、HOG特征根据EMD (Earth Mover’s Distance)距离计算得到的相似性度量值进行 加权融合，得到最终的相似性度量值。
【文档编号】G06K9/46GK104077605SQ201410344623
【公开日】2014年10月1日 申请日期:2014年7月18日 优先权日:2014年7月18日
【发明者】胡海苗, 曾国栋, 耿艳兵, 李波 申请人:北京航空航天大学