一种行人重识别方法与流程

本发明属于模式识别技术领域，更具体地，涉及一种行人重识别方法。

背景技术：

行人重识别是图像处理和模式识别研究的重要领域之一；所谓行人重识别，是指将某个待定的被搜索的目标行人(probe)作为搜索源，在其他的没有重复视线的摄像头所采集到的视频图像(gallery)里自动地找到这一搜索源的算法，其主要难点在于同一目标在不同场景下受光照、视角、遮挡等干扰因素的影响呈现出极大的类内差异。

现有技术从特征提取、距离度量的方面提出有针对性的解决方案；其中所涉及特征包括目标的空间位置、颜色和纹理信息；而距离度量则是基于标准数据库学习的特征提取方法；由于现实复杂场景中环境变化的干扰，通过这类方法对同一目标在不同摄像头下提取出的特征差异很大，可移植性差，为特征匹配带来困难；其原因一方面是标准数据库的图像是理想环境下采集的图像，与实时变化的实际环境场景不匹配；另一方面标准数据库的容量有限，不具备适应于现实场景的鲁棒性特征；如何提取更加鲁棒的特征、采用更加简单有效的度量方法是行人重识别的难点。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种行人重识别方法，其目的在于解决现有行人重识别技术基于标准数据库学习特征提取鲁棒性不足、度量算法可移植性差的问题。

为实现上述目的，按照本发明的一个方面，提供了一种行人重识别方法，包括如下步骤：

(1)将包含搜索源的所有图像归一化到统一的像素大小，并对归一化之和的图像进行色域转换和色度合并，以使得后续提取特征时图像的特征维度相同；

(2)将图像按照像素分成m行，以固定大小的滑动窗口在步骤(1)获得的图像上沿行的方向逐行滑动，遍历整张图像，获取各滑动窗口对应的颜色直方图；其中，m为正整数；

(3)对于同一行的颜色直方图，按照某一颜色模式在该行各颜色直方图中出现的次数从多到少排序，并将排在前N位的颜色直方图相加作为所述颜色模式在颜色直方图中的值，获得这一行对应的512维的直方图；其中，N为不小于2的正整数；

传统方法采用最大的颜色模式的统计量作为输出；而本发明在本步骤中，用多个较大颜色模式的直方图之和作为对应的颜色模式直方图，不仅解决了因目标人物在各图像中的尺度、角度差异造成的类内特征误差问题；而且有效降低了背景内无关因素对特征提取的干扰；

(4)按照步骤(3)获取所有的行对应的直方图，并将获得的所有直方图按照各行在图像中所处的顺序依次排列，获得512*m维向量；对该向量进行归一化处理，使之模长为1；将归一化之后的向量作为搜索源的特征向量；

(5)获取gallery图像与probe图像的特征度量距离

其中，xi是指probe图像特征向量的第i维特征，yi是指gallery待搜索图像中的第i维特征，n为特征的维度；

本步骤对现有重识别技术中直接采用欧氏距离度量特征间的差异的方法进行了改进，传统的欧氏距离一一对应的测距方式对特征的准确性要求很高，而复杂场景下的图像包含大量背景干扰，采用这种欧式距离度量特征间差异的方法可能增大类内距离，导致类内相似度降低；

而采用本步骤中的这种度量距离获取方法，使probe特征向量中特征值为0的维度不参与计算，由此，同一目标在其他视频图像下由于背景产生的直方图统计在计算中被忽略；并且，由于上述特征提取步骤中主颜色扩充增大了probe特征向量中特征值不为0的维度的权重；这种度量距离获取方法与主颜色扩充相结合，可大大提升匹配的准确度；

(6)将特征度量距离di作为判断相似度的标准，特征度量距离越小，相似度越高；将待搜索图像按照相似度大小降序排列，获得行人重识别结果。

优选地，上述行人重识别方法，其步骤(1)包括如下子步骤：

(1.1)对包含搜索源的所有图像进行归一化处理，获得大小相同的图像；(1.2)将上述图像由RGB域转化到HSV域；

(1.3)通过将各图像的H、S、V三个通道分别从256维缩减到8维将每32个相邻色度合为1个色度；

经过上述预处理后获得图像，各通道均有8个色度的维数，线性排列后形成8*8*8＝512维的颜色特征。

优选地，上述行人重识别方法，其步骤(2)中还包括对主颜色进行扩展的步骤，将主颜色扩展K倍，并将与主颜色相近的颜色模式扩展J倍；1<K<2，1<J<K；

其中，主颜色是指在某个滑动窗口中，其颜色分量的统计值超过滑动窗口总像素个数的50％的颜色模式；

与主颜色相近的颜色模式是指(H±a)SV、H(S±a)V、HS(V±a)的颜色模式；

其中，(H+1)SV是指H值比主颜色的H值大或小a，S、V值与主颜色相同的颜色模式；

H(S±a)V是指S值比主颜色的S值大或小a，H、V值与主颜色相同的颜色模式；

HS(V±a)是指V值比主颜色的V值大或小a，H、S值与主颜色相同的颜色模式；a为常数；

通过上述扩展，减小同一目标在不同场景下由于光线差异所产生的颜色偏差。

优选地，上述行人重识别方法，若扩展后某通道上的色度值大于8或者小于1，则不对该颜色模式进行扩展。

优选地，上述行人重识别方法，其步骤(4)与步骤(5)之间，还包括对搜索源进行切割的步骤：

(i)对包含搜索源图像进行多尺度水平切割，获得搜索源从全身像到半身像的多张图像；

(ii)对于切割后的每张图像，按照步骤(1)～(4)获取其特征向量；

通过上述处理提取搜索源在各个尺度下的特征向量，来提高现实场景中目标部分被遮挡、gallery图片上人像不完整的情况下目标匹配的准确度。

本发明提供的上述行人重识别技术，利用了多个颜色直方图结合主颜色扩展，并根据改进的欧式距离来度量搜索源与gallery中候选目标之间的相似度，具有提升在复杂监控视频图像中对特定目标进行跨摄像头重识别的准确率的效果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的行人重识别技术，通过对所有包含搜索源的图像进行归一化、色域转换以及色度合并的预处理，使得从每张图像上提取的特征向量的长度相同，便于在获取度量距离时快速匹配，起到加快重识别的速度的作用；

(2)本发明提供的行人重识别技术，采用滑动窗口获取颜色直方图，并选取图像每一行像素每个颜色模中较大分量的直方图之和作为特征向量；一方面能有效的解决行人视角的变化，特别是正面和侧面的变化导致搜索目标在图片中所占的比例的变化而引起的主要识别颜色在各图片中面积差异大的问题；另一方面，不直接用最大值输出还能起到有效避免较小干扰分量被放大导致匹配出现差错的问题；

(3)本发明提供的行人重识别技术，其优选方案对probe图像进行多尺度划分，选取probe的全身像到半身像的多个图像作为probe的联合特征，解决在视频图像中的行人图像残缺所导致的全身像和半身像的匹配问题，能有效匹配到gallery中同一目标的半身像或人像不全的图像；

(4)本发明提供的行人重识别技术，基于欧式距离进行改进获得度量距离，克服了现有行人重识别技术的度量学习过程中，在一个数据库上学习获得的参数到另一个数据库移植性差的缺陷，更具有普适性；并且节省了学习的时间，加快识别速度；

对于同一目标在不同场景下的多个图像，由于背景、光线、遮挡等因素的影响，现有技术采用欧式距离作为度量距离会增大类内的距离，导致相似度增加；本发明通过改进的欧式距离，使得probe特征向量特征值为0的维度不参与计算，由此起到忽略同一目标在不同图像中由于背景所产生的直方图写作用，结合主颜色扩展，可极大提升匹配效果，提高重辨识的准确度。

附图说明

图1是本发明实施例提供的行人重识别方法的流程示意图；

图2是本发明实施例中监控视频自动提取的gallery图片；

图3是本发明实施例中对probe进行分割获得的6幅目标图像；

图4是采用现有技术与采用本发明的方法的匹配效果对比示意图，其中，图(a)是采用现有技术仅取每个模式在每行所有直方图中最大分量作为特征输出导致微小信息放大进而导致匹配错误的示意图，图(b)是采用本发明实施例提供的多个较大直方图叠加后产生特征输出的正确匹配示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以下对本发明涉及的术语进行解释和说明。

probe：是包含搜索源目标的理想图像；

gallery：是被搜索目标图像组成的集合数据库，一般是由监控视频通过背景建模、目标跟踪的方法自动提取，不是理想的目标图像，可能包括目标不完整或者背景过多的干扰；

颜色直方图：是一种颜色特征，用于描述不同色彩在整幅图像中所占的比例；本发明实施例提供的行人重识别方法，其流程如图1所示意的，具体包括以下步骤：

(1)对包含目标的所有图像进行预处理，将所有图像归一化到相同大小，实施例中为128*48像素；

将归一化之后的图像由RGB域转化到HSV域；并将其中H、S、V三个通道均从256维缩减到8维，将每32个相邻色度合为1个色度，由此，三个通道都有8个色度的维数，线性排列后共形成8*8*8＝512维的颜色特征；

(2)以10*10像素的滑动窗口在图像上沿着行像素滑动，每次滑动5个像素；统计每个滑窗中像素的颜色直方图；

若在某个滑窗中某一颜色分量的统计值达到了整个滑窗总像素个数的50％以上，则把该颜色分类作为主颜色，进行扩展，将其数目扩大K倍；

为了解决不同场景光线明暗变化造成的颜色偏差，将与主颜色相近的颜色(H±1)SV、H(S±1)V、HS(V±1)的颜色模式也视为主颜色扩大至原先的J倍；1<K<2，1<J<K；

(3)统计每一行中所有的直方图，按照每一个颜色模式的直方图统计大小排序，选取这一模式在一行的所有滑窗的直方图中出现次数的最大、次大和第三大的直方图之和作为这一模式在对应行的输出；每一行得到一个向量作为此行的特征向量；

(4)获得一行的特征向量后，将滑窗移动到下一行，行与行之间的滑动窗口有重叠的，按照步骤(3)的方法对下一行像素的颜色模式进行统计；直到整个图像被遍历，完成所有行的特征向量提取；并将所有的特征向量归一化到模长为1的向量作为特征输出；

(5)为了解决图2所示意的搜索图片库gallery中人像不全的问题，把图像按照人体学构造在高度上分为十个等份，依次截取保留由上而下的9个等份，8个等份直到5个等份的半身像；

并将上述所长半身像的图像标准化到与原图同一像素大小尺度，获得图3所示的分割图；对每一幅图像按照上述步骤(1)～(4)进行特征提取，将获得的特征向量作为目标probe的联合特征；

实际应用中，从视频图像中自动提取出的行人图像出现残缺的问题主要集中在人体图像的下半身不完整，通过将搜索源probe图像由全身到半身进行共6个尺度的切割，保证在分割获得的图像中目标完整且没有多余背景；通过提取搜索源在各个尺度下的特征向量，来提高现实场景中目标部分被遮挡、gallery图片上人像不完整的情况下目标匹配的准确度；

(5)获取gallery图像与probe图像的特征度量距离

其中，xi是指probe图像特征向量的第i维特征，yi是指gallery待搜索图像中的第i维特征，n为特征的维度；

(7)根据上述度量距离来判断probe搜索源与gallery待搜索目标之间的相似度，特征度量距离越小，相似度越高；由此获得行人重识别结果。

图4所示，图4是采用现有技术与采用本发明的方法的匹配效果对比示意图；其中，图4(a)是采用现有技术仅取每个模式每行最大分量导致微小信息放大进而导致匹配错误的示意图；现有技术中，只取每个模式在每一行出现的最大值来解决视角变化的问题，干扰的微小的信息会被放大，进而影响匹配；图4(a)中，A所标识的部分是左图中女子的红色外套，B所标识的部分为右图中女子背的双肩包；右图中该女子的红色双肩包虽然在右图中的所占面积很小，但是由于与该图某几行像素的第一个滑窗几乎完全重合，导致红色在该滑窗中的统计量很大，最终输出的这几行的特征向量中因为统计量大而被保留成最终的目标特征，因而与左图的红衣女子匹配；对于左图中的红衣女子来说，虽然其红色外衣的颜色在左图中所占面积很大，但在特征向量提取过程中，对于每一行像素只统计该行滑窗中最大统计量输出，与图4(a)右图红色双肩包女子并无二异，因此匹配错误，将右图中的女子误认为是左图中的红衣女子；

本发明实施例中为了克服该问题，在步骤(3)的处理中，除了保留每一维度最大值之外，再选取第二大、第三大的值，相加后作为特征向量；实施例中，对于人体目标的图像而言，同一行像素的8个滑窗有3个以上的滑窗中均存在同一种目标的颜色，是行人的衣物识别所需要的特征，而背景或小的干扰色彩只存在周边的一两个滑窗中，统计最大的3个滑窗之和能减小背景颜色对直方图贡献的影响而加大目标对直方图的贡献；图4(b)则是采用本发明的方法进行改进后第一次命中的正确目标；其中，C和D均标识的是图中人物的红色外套；通过图4(a)与图4(b)对比可以看出，采用本发明的这种方法能有效降低只在一个直方图中出现的、较大面积的颜色的干扰，降低噪声，提升匹配准确度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。