一种行人重识别系统与方法与流程

本发明涉及图像识别领域，尤其是一种检索图像中特定行人的行人重识别系统，还涉及一种行人重识别方法。
背景技术：
：行人重识别旨在从具有不同摄像机视角的参考图像集中检索相同的行人。行人重识别是视频监控和公共安全中的一个重要且具有挑战性的课题，目前的行人重识别一般是通过待测图像与参考图像的图像相似度在参考图像数据集中进行检索，然后根据相似度的高低进行排序，然后将与待测图像相似度最高的参考图像作为top-1。对于行人重识别的相似度计算部分，由于受到摄像机角度和人体姿势的变化，行人重识别主要面临以下挑战：如图1中(a)所示，图像中的局部身体区域错位，红色框检测头部，但黄色框只能找到背景，提升了比较难度；如图1中(b)所示，遮挡，红色框可以检测到下半身区域，但在相应的黄色框中，下半身被遮挡；如图1中(c)所示，不同行人的相似外观，局部特征在此刻起重要作用，不同的行人可以通过红色和黄色检测框的细节信息来区分。此外，由于参考图像数据集中既存在正样本，又存在负样本，负样本对图像相似度计算存在干扰，由于正样本存在拍照角度、遮挡等问题，这会造成某些角度或没有遮挡的负样本与待测图像的相似度高于正样本与待测图像的相似度，那么采用现有技术中单纯依赖相似度计算得到的排序不准确，甚至出现负样本排到top-1的情况。技术实现要素：针对上述现有技术的不足，本发明提供一种行人重识别系统，解决现有技术中行人重识别准确率不高的技术问题，能够提高行人重识别准确率。为了解决上述技术问题，本发明采用了如下的技术方案：一种行人重识别系统，包括用于计算待测图像p与初始参考图像集g中各参考图像的图像相似度的多流特征距离融合系统以及用于根据图像相似度对参考图像进行排序的排序系统；所述多流特征距离融合系统包括逐级连接的多流特征提取网络、贡献系数自适应生成模块与距离融合模块；多流特征提取网络包括用于提取输入图像的特征图的特征图提取网络，所述特征图包括全局特征图与n个区域特征图，输入图像包括待测图像p与参考图像；多流特征提取网络还包括用于分别从各特征图中提取相应特征的特征提取网络；多流特征提取网络能够将特征图输出给贡献系数自适应生成模块，并能将提取到的特征输出给距离融合模块；贡献系数自适应生成模块包括激活比计算模块与用于根据各区域特征图的激活比计算各区域特征的贡献系数的贡献度映射模块；所述激活比是指区域特征图上的非零值点的数量与全局特征图上的非零值点的数量的比率；所述贡献系数是指全局特征或区域特征对融合距离的贡献程度；全局特征贡献系数恒为1；距离融合模块用于根据待测图像p的各特征与参考图像的各特征计算相应特征之间的特征距离，并利用各特征的贡献系数将各特征距离融合成多流特征距离；然后采用多流特征距离作为图像相似度指标：多流特征距离越小，图像相似度越高，多流特征距离越大，图像相似度越低。优选的，所述特征图提取网络包括用于在输入图像上分割出n-1个局部区域的区域分割网络、用于去除输入图像的背景的语义分割模块、用于提取输入图像的全局特征图的全局特征图提取网络以及用于根据区域分割网络所分割出的各局部区域在全局特征图上提取出相应区域特征图的池化模块；输入图像经语义分割模块去除背景后作为第n个区域特征图。优选的，所述区域分割网络为身体分割提取网络。优选的，所述激活比计算模块按如下公式计算激活比ar：其中，n表示特征图的维度，hl、wl分别是区域特征图的高度尺寸、宽度尺寸，hg、wg分别是全局特征图的高度尺寸、宽度尺寸；其中，p(i,j,k)表示区域特征图上特征点的值；其中，p(i,j,k)表示区域特征图上特征点的值。优选的，贡献度映射模块以激活比作为自变量，以贡献系数作为因变量，按如下映射函数将激活比映射出贡献系数：f(x)＝a/(1+e-d(x-c))+b；其中，x是激活比；e是自然常数；a、b、c和d均是公式参数，并根据激活比取值区间[μ1,μ2]与贡献系数取值区间[λ1,λ2]分别按以下公式计算：a＝γ2-γ1；b＝γ1；d＝min{d|f(μ1)-γ1＜0.01,f(μ2)-γ1＜0.01,d∈n*}；其中，表示n*表示正整数；0≤μ1≤1，0≤μ2≤1，0≤λ1≤1，0≤λ2≤1。优选的，距离融合模块按如下公式计算多流特征距离r：r＝cg.dg(ip,ig)+c1.d1(ip,ig)+......+cn.dn(ip,ig)其中，cg表示全局特征贡献系数；dg(ip,ig)表示待测图像的全局特征与参考图像的全局特征的特征距离，即欧氏距离；d1(ip,ig)......dn(ip,ig)分别表示待测图像的各区域特征到参考图像的各对应区域特征的欧氏距离。优选的，激活比取值区间采用激活比优化区间，以对激活比进行约束：贡献系数取值区间采用贡献系数优化区间，以对贡献系数进行约束：当激活比计算模块计算出的激活比在激活比优化区间外时，通过所述映射函数就能将激活比所对应的贡献系数映射到贡献系数优化区间内。优选的，所述排序系统包括初始排序列表生成模块：用于根据待试图像与各参考图像的图像相似度，从高到低进行排序，从而获得初始排序列表其中，是在初始排序列表中排在第i位的参考图像，n表示初始参考图像集g中参考图像总数量；还包括基于k邻域分布得分的重排序系统，用于在初始排序列表的基础上，根据k邻域分布得分对初始排序列表中的参考图像进行重新排序，并包括以下功能模块：扩展查询集生成模块：用于建立待试图像p的扩展查询集q(p,k)，按如下公式：q(p,k)＝{p}+n(p,k-1)；其中，p为待试图像，n(p,k-1)来自于初始排序列表ω(p,g)中的前k-1张参考图像，待试图像集重生成模块：用于根据初始排序列表生成新的待试图像集并且，参考图像集重生成模块：用于将待试图像p添加到初始参考图像集g中，从而得到新的参考图像集gnew＝{p}+g；临时排序列表生成模块：用于计算以pnew中各图像依次作为新的待试图像到新的参考图像集gnew中各参考图像的图像相似度，并根据图像相似度从高到低对新的参考图像集gnew中各参考图像进行排序，从而对应每个新的待试图像均获得临时排序列表；排序位置搜索模块：用于根据pnew中各新的待试图像所对应的临时排序列表，搜索扩展查询集q(p,k)中k张图像在各个临时排序列表中的排序位置l；得分计算模块：用于计算初始排序列表ω(p,g)中各参考图像的以下得分：位置得分sd-l、重叠得分sd-o以及离散得分sd-d；其中，的各项得分分别按如下公式计算：其中，扩展查询集q(p,k)中待试图像p在新的待试图像所对应的临时排序列表中的排序位置为l(p)；扩展查询集q(p,k)中参考图像在新的待试图像所对应的临时排序列表中的排序位置为待试图像p的权重系数为k-1张参考图像的权重系数均为其中，n(p,k)表示待试图像p的最近k领域，即初始排序列表ω(p,g)中的前k张参考图像组成的图像集；表示新的待试图像的最近k领域，即新的待试图像所对应的临时排序列表中的前k张参考图像组成的图像集；card[·]表示求n(p,k)与相同图像的数量；其中，var[·]表示方差计算；k领域分布得分构造模块：用于根据得分计算模块计算出的得分为各个初始排序列表ω(p,g)中各参考图像按以下任意一种方式构造k领域分布得分sd：以位置得分作为k领域分布得分：sd＝sd-l；以重叠得分作为k邻域分布得分：sd＝sd-o以位置得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-l×sd-o；以离散得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-d×sd-o；以位置得分、离散得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-l×sd-d×sd-o；重排序列表生成模块，用于根据初始排序列表ω(p,g)中各参考图像的k领域分布得分，从高到低，对初始排序列表ω(p,g)中各参考图像进行重新排序，从而得到基于k邻域分布得分的重排序列表。优选的，k值根据初始参考图像集g中同一目标对象所拥有的平均参考图像数量n进行确定，k的取值区间为[0.6n,0.7n]。本发明还提供一种行人重识别方法，采用本发明的行人重识别系统，包括以下步骤：步骤1：输入待测图像至多流特征提取网络，通过特征图提取网络提取待测图像的全局特征图与n个区域特征图；特征提取网络分别根据待测图像的全局特征图与n个区域特征图提取待测图像的全局特征与n个区域特征；并将待测图像的全局特征图与n个区域特征图发送给贡献度自适应模块，将待测图像的全局特征与n个区域特征发送给距离融合模块；步骤2：激活比计算模块根据待试图像的全局特征图与n个区域特征图，计算待测图像的各个区域特征图的激活比；步骤3：贡献度映射模块根据待测图像的各个区域特征图的激活比计算各区域特征的贡献系数；步骤4：将初始参考图像集g中各参考图像依次输入至多流特征提取网络，通过特征图提取网络依次提取各参考图像的全局特征图与n个区域特征图；特征提取网络分别根据各参考图像的全局特征图与n个区域特征图提取各参考图像的全局特征与n个区域特征；并依次将各参考图像的全局特征与n个区域特征发送给距离融合模块；步骤5：距离融合模块依次计算待测图像与各参考图像的各种特征距离；步骤6：距离融合模块获取待测图像的各特征的贡献系数，利用各特征的贡献系数依次将各参考图像与待测图像之间的各种特征距离融合成多流特征距离，使得每幅参考图像均对应一个多流特征距离；然后以多流特征距离作为图像相似度指标，并发送给排序系统；步骤7：排序系统根据待测图像与各参考图像所对应的多流特征距离的大小，按照从小到大的顺序对各参考图像进行排序，从而生成初始排序列表并发送给基于k邻域分布得分的重排序系统；步骤8：建立待试图像p的扩展查询集q(p,k)，按如下公式：q(p,k)＝{p}+n(p,k-1)；其中，p为待试图像，n(p,k-1)来自于初始排序列表ω(p,g)中的前k-1张参考图像，步骤9：将初始排序列表作为新的待试图像集并且，步骤10：将待试图像p添加到初始参考图像集g中，从而得到新的参考图像集gnew＝{p}+g；步骤11：遍历新的待试图像集pnew，计算以pnew中各图像依次作为新的待试图像到新的参考图像集gnew中各参考图像的相似度，并根据相似度从高到低对新的参考图像集gnew中各参考图像进行排序，从而对应每个新的待试图像均获得临时排序列表；步骤12：根据各新的待试图像所对应的临时排序列表，搜索扩展查询集q(p,k)中k张图像在各个临时排序列表中的排序位置l；步骤13：计算初始排序列表ω(p,g)中各参考图像的以下得分：位置得分sd-l、重叠得分sd-o以及离散得分sd-d；步骤14：构造各个初始排序列表ω(p,g)中各参考图像的k领域分布得分sd，按以下任意一种方式：以位置得分作为k领域分布得分：sd＝sd-l；以重叠得分作为k邻域分布得分：sd＝sd-o以位置得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-l×sd-o；以离散得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-d×sd-o；以位置得分、离散得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-l×sd-d×sd-o；步骤15：根据初始排序列表ω(p,g)中各参考图像的k领域分布得分，从高到低，对初始排序列表ω(p,g)中各参考图像进行重新排序，从而得到基于k邻域分布得分的重排序列表；步骤16：以重排序列表中前k张参考图像作为与待测图像具有同一行人的目标图像，从而完成行人重识别。与现有技术相比，本发明具有以下有益效果：1、本发明采用了多流特征距离作为图像相似度指标，多流特征距离不是简单的将各特征距离进行叠加，在进行距离融合时，考虑了全局特征与各个区域特征对融合距离的贡献程度，即引入了贡献系数，从而能够更好的判断整体相似度高，而局部具有差异的图像的相似性：在整体相似性高，但某一个或几个局部区域区别较小时，相应区域特征图像的激活比越小，则相应的区域特征贡献系数越小，那么多流特征距离的值越小，图像相似性越高；在整体相似性高，但某一个或几个局部细节区别较大时，相应区域特征图像的激活比越大，相应的区域特征贡献系数越大，那么多流特征距离的值越大，图像相似性越低，从而极大程度的排除了行人重识别中相似行人的干扰，对提高行人重识别准确性起到重要作用。2、采用身体分割提取网络作为区域分割网络，身体分割提取网络是根据身体区域进行区域分割的，解决了待测图像与参考图像的拍摄距离不同而导致相应身体区域发生错位的问题，对提高行人重识别准确性起到重要作用。3、本发明引入了基于k邻域分布得分的重排序系统，在初始排序列表的基础上，根据k邻域分布得分对初始排序列表中的参考图像进行重新排序，从而克服了单纯依赖图像相似度进行排序，而无法避免负样本干扰的缺陷，能够降低负样本对排序的干扰，对提高行人重识别准确性起到重要作用。4、本发明通过贡献系数自适应生成模块根据输入的特征图自动生成贡献系数，具有良好的自适应性。5、本发明的多流特征提取网络通过全局特征提取网络首先提取全局特征图；通过语义分割模块提取去除背景后的输入图像作为其中一幅区域特征图，从而减少环境变化带来的影响；区域分割网络先在输入图像上进行区域分割，从而确定各局部区域的位置，然后池化模块根据各局部区域的位置在全局特征图上提取出相应区域特征图，这样能够减少运算量。6、激活比取值区间与贡献系数取值区间的全区间均为[0,1]，在全区间上进行区间优化：主要是根据分段区间的分布概率来缩小取值区间，剔除掉分布概率小于阈值的分段区间，从而能够将贡献系数强制约束到分布概率较大的优化区间上，以提高识别精度。7、本发明提供的5种构造k领域分布得分sd的方式，均能在初始排序列表的基础上提高准确率。其中，尤其当sd＝sd-l×sd-d×sd-o时，具有最高的准确率。8、本发明中k值根据初始参考图像数据集的构成进行确定，根据大量实验统计，k的取值区间为[0.6n,0.7n]时，重排序能够获得最高的准确率。9、本发明针对影响行人重识别的两个主要方面，即图像相似度计算与图像排序，分别进行了改进，任意一方面的改进与现有技术相比，均能提高行人重识别的准确性。两方面改进的结合则能得到最优的行人重识别效果。附图说明图1是行人重识别所面临挑战的示意图；图2是多流特征距离融合网络的原理图；图3是身体分割提取网络的原理图；图4是特征图提取网络的原理图；图5是激活比的获取示意图；图6是各新的待试图像对应的临时排序列表的参考示意图；图7是重叠得分的计算原理示意图；图8是基于k邻域分布得分的图像重排序方法的效果示意图；图9是基于cuhk03数据集的激活比与贡献系数的映射关系图；图10是基于market1501数据集的激活比与贡献系数的映射关系图；图11是基于cuhk03数据集的不同取值区间下的重识别准确率对比图；图12是基于market1501数据集的不同取值区间下的重识别准确率对比图；图13是改变k值对图像数据集cuhk03的重识别性能评估图；图14是是改变k值对图像数据集market1501的重识别性能评估图。具体实施方式下面结合附图和优选实施方式对本发明作进一步的详细说明。一种行人重识别系统，包括用于计算待测图像p与初始参考图像集g中各参考图像的图像相似度的多流特征距离融合系统以及用于根据图像相似度对参考图像进行排序的排序系统；参考图2所示，多流特征距离融合系统包括逐级连接的多流特征提取网络、贡献系数自适应生成模块与距离融合模块；多流特征提取网络包括用于提取输入图像的特征图的特征图提取网络，所述特征图包括全局特征图与n个区域特征图，输入图像包括待测图像p与参考图像；多流特征提取网络还包括用于分别从各特征图中提取相应特征的特征提取网络；多流特征提取网络能够将特征图输出给贡献系数自适应生成模块，并能将提取到的特征输出给距离融合模块；贡献系数自适应生成模块包括激活比计算模块与用于根据各区域特征图的激活比计算各区域特征的贡献系数的贡献度映射模块；所述激活比是指区域特征图上的非零值点的数量与全局特征图上的非零值点的数量的比率；所述贡献系数是指全局特征或区域特征对融合距离的贡献程度；全局特征贡献系数恒为1；距离融合模块用于根据待测图像p的各特征与参考图像的各特征计算相应特征之间的特征距离，并利用各特征的贡献系数将各特征距离融合成多流特征距离；然后采用多流特征距离作为图像相似度指标：多流特征距离越小，图像相似度越高，多流特征距离越大，图像相似度越低。本具体实施方式中，所述特征图提取网络包括用于在输入图像上分割出n-1个局部区域的区域分割网络、用于去除输入图像的背景的语义分割模块、用于提取输入图像的全局特征图的全局特征图提取网络以及用于根据区域分割网络所分割出的各局部区域在全局特征图上提取出相应区域特征图的池化模块；输入图像经语义分割模块去除背景后作为第n个区域特征图。本具体实施方式中，所述区域分割网络为身体分割提取网络，如图3所示，身体分割提取网络采用全卷积架构的cnn神经网络，复杂度较低，输入图像并计算网络响应，根据最大化特征响应并将这些网络响应组合起来生成13个身体关键点，然后根据关键点生成包括头肩区域、胸腹区域和腰腿区域在内的三个身体局部区域。本具体实施方式中，所述多流特征提取网络包括用于在输入图像上分割出n-1个局部区域的区域分割网络、用于去除输入图像的背景的语义分割模块fcns、用于提取输入图像的全局特征图的全局特征图提取网络以及用于根据区域分割网络所分割出的各局部区域在全局特征图上提取出相应区域特征图的池化模块；输入图像经语义分割模块去除背景后作为第n个区域特征图。如图4所示，全局特征图提取网络采用cnn神经网络，并包括4个卷积层和一个inception模块，inception模块包括1×1convolutions，3×3convolutions，3×3maxpooling和filterconcatenation。另外，图中roipooling为池化模块，区域分割网络(身体分割网络bpen)先在输入图像上进行区域分割，从而确定各局部区域的位置，然后池化模块根据各局部区域的位置在全局特征图上提取出相应区域特征图，这样能够减少运算量。提取到全局特征图与各区域特征图后，特征提取网络再从全局特征图与各区域特征图上提取全局特征与各区域特征。特征提取网络包括一个全局特征提取网络与n个区域特征提取网络，全局特征提取网络与区域特征提取网络均采用由两个inception模块组成的cnn神经网络，从而提取到的全局特征与区域特征均为256维特征，维数过小不能表达特征，过大会增加计算复杂度。本具体实施方式中，所述激活比计算模块按如下公式计算激活比ar：其中，n表示特征图的维度，hl、wl分别是区域特征图的高度尺寸、宽度尺寸，hg、wg分别是全局特征图的高度尺寸、宽度尺寸；其中，p(i,j,k)表示区域特征图上特征点的值；其中，p(i,j,k)表示区域特征图上特征点的值。为了更好的说明激活比，以单个特征图为例，如图5所示，全局特征图大小为8×8,0和符号“+”分别表示零和非零值，三个不同颜色的边界框表示三个不同的身体区域。全局特征图中共有40个点非零，在相应的身体区域特征图中，非零值的数量分别为4,8和5，除以40得到0.1,0.2和0.125的激活比。在mask特征图(语义分割模块所提取的区域特征图)中的非零数是36，可以得出0.9的激活率。本具体实施方式中，贡献度映射模块以激活比作为自变量，以贡献系数作为因变量，按如下映射函数将激活比映射出贡献系数：f(x)＝a/(1+e-d(x-c))+b；其中，x是激活比；e是自然常数；a、b、c和d均是公式参数，并根据激活比取值区间[μ1,μ2]与贡献系数取值区间[λ1,λ2]分别按以下公式计算：a＝γ2-γ1；b＝γ1；d＝min{d|f(μ1)-γ1＜0.01,f(μ2)-γ1＜0.01,d∈n*}；其中，表示n*表示正整数；0≤μ1≤1，0≤μ2≤1，0≤λ1≤1，0≤λ2≤1。本具体实施方式中，距离融合模块按如下公式计算多流特征距离r：r＝cg.dg(ip,ig)+c1.d1(ip,ig)+......+cn.dn(ip,ig)其中，cg表示全局特征贡献系数；dg(ip,ig)表示待测图像的全局特征与参考图像的全局特征的特征距离，即欧氏距离；d1(ip,ig)......dn(ip,ig)分别表示待测图像的各区域特征到参考图像的各对应区域特征的欧氏距离。本具体实施方式中，激活比取值区间采用激活比优化区间，以对激活比进行约束：贡献系数取值区间采用贡献系数优化区间，以对贡献系数进行约束：当激活比计算模块计算出的激活比在激活比优化区间外时，通过所述映射函数就能将激活比所对应的贡献系数映射到贡献系数优化区间内。本具体实施方式中，激活比优化区间按如下方式确定：首先，获取具有s张图像的图像数据集，并提取各图像的全局特征图与n个区域特征图；然后，重复进行n次随机试验，每进行一次随机试验便计算出n×s个激活比，每幅图像均对应有n种类型的激活比；n次随机试验结束后，对于每种类型的激活比均获得包含n×s个激活比的激活比集合；最后，以区间长度δar将每种类型的激活比集合划分成若干分段区间；之后，计算每种类型的激活比的每个分段区间的分布概率，对于每种类型的激活比，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的激活比的激活比优化区间。本具体实施方式中，贡献系数优化区间按如下方式确定：首先，获取图像数据集，所述图像数据集中同一目标对象至少包含两张图像，将同一目标对象的一张图像作为参考图像放入批量参考集中，同一目标对象的其余图像作为测试图像放入批量测试集中；然后，以贡献系数组c＝[cg,c1,....,cn]作为区间变量，并采用区间优化算法对批量测试集进行m次测试，其中，cg表示全局特征贡献系数，保持cg＝1，c1,....,cn分别为与各区域特征对应的区域特征贡献系数；每次测试均采用模拟退火算法搜索最优贡献系数组h，其中，模拟退火算法的迭代次数为l，每迭代一次均根据参考图像的贡献系数组计算当前贡献系数组的损失函数，迭代完毕后获得一个最优贡献系数组h；测试完毕后获得由m个最优贡献系数组h组成的最优贡献系数集；最后，从最优贡献系数集中提取相同类型的区域特征贡献系数，并以区间长度δc将相同类型的区域特征贡献系数划分成若干分段区间；之后，计算每种类型区域特征贡献系数的每个分段区间的分布概率，对于每种类型的区域特征贡献系数，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的区域特征贡献系数的贡献系数优化区间。优化算法中还有一个细节需要注意，保持贡献系数cg等于1，因为该措施可以提供一个重要的基准线，防止一组实验产生多组最优解的，如解[c1,c2,......,cn]及其倍数解也可以达到同样的精度，这将增加下一步工作的难度并带来不可逆转的负面影响。为获得更准确的区间，基于每个贡献系数，处理获得的h，具体策略是计算每个分段区间内每种类型贡献系数的分布概率，如0～0.1,0.1～0.2等，然后去除概率低于设定阈值的分段区间。接下来将保留的分段区间合并生成所求区间。以贡献系数c1为例，在m重复随机化后，得到一组c1，并设置0.1作为每个分段区间的长度，计算得到贡献系数在不同区间的分布概率，假设它们是β1,β2,β3…β10并且β1,β2,β10均小于阈值，贡献系数c1在这三个区间内的概率非常低，所以丢弃0～0.1,0.1～0.2和0.9～1.0的区间，得到最终的g贡献系数优化区间为0.3～0.9。本具体实施方式中，所述排序系统包括初始排序列表生成模块：用于根据待试图像与各参考图像的图像相似度，从高到低进行排序，从而获得初始排序列表其中，是在初始排序列表中排在第i位的参考图像，n表示初始参考图像集g中参考图像总数量。本具体实施方式中，还包括基于k邻域分布得分的重排序系统，用于在初始排序列表的基础上，根据k邻域分布得分对初始排序列表中的参考图像进行重新排序，并包括以下功能模块：扩展查询集生成模块：用于建立待试图像p的扩展查询集q(p,k)，按如下公式：q(p,k)＝{p}+n(p,k-1)；其中，p为待试图像，n(p,k-1)来自于初始排序列表ω(p,g)中的前k-1张参考图像，待试图像集重生成模块：用于根据初始排序列表生成新的待试图像集并且，参考图像集重生成模块：用于将待试图像p添加到初始参考图像集g中，从而得到新的参考图像集gnew＝{p}+g；临时排序列表生成模块：用于计算以pnew中各图像依次作为新的待试图像到新的参考图像集gnew中各参考图像的图像相似度，并根据图像相似度从高到低对新的参考图像集gnew中各参考图像进行排序，从而对应每个新的待试图像均获得临时排序列表；参考图6所示，对应各新的测试图像新的参考图像集gnew中各参考图像均得到新排名，图6中i表示来新的自参考图像集gnew但不属于p的扩展查询集q(p,k)的图像。排序位置搜索模块：用于根据pnew中各新的待试图像所对应的临时排序列表，搜索扩展查询集q(p,k)中k张图像在各个临时排序列表中的排序位置，排序位置即排序中的序号，排序位置的倒数即为排序位置得分。得分计算模块：用于计算初始排序列表ω(p,g)中各参考图像的以下得分：位置得分sd-l、重叠得分sd-o以及离散得分sd-d；其中，gio的各项得分分别按如下公式计算：其中，扩展查询集q(p,k)中待试图像p在新的待试图像所对应的临时排序列表中的排序位置为l(p)；扩展查询集q(p,k)中参考图像在新的待试图像所对应的临时排序列表中的排序位置为待试图像p的权重系数为k-1张参考图像的权重系数均为其中，重叠得分的计算原理参考图7所示：n(p,k)表示待试图像p的最近k领域，即初始排序列表ω(p,g)中的前k张参考图像组成的图像集；表示新的待试图像的最近k领域，即新的待试图像所对应的临时排序列表中的前k张参考图像组成的图像集；card[·]表示求n(p,k)与相同图像的数量；其中，var[·]表示方差计算；k领域分布得分构造模块：用于根据得分计算模块计算出的得分为各个初始排序列表ω(p,g)中各参考图像按以下任意一种方式构造k领域分布得分sd：以位置得分作为k领域分布得分：sd＝sd-l；以重叠得分作为k邻域分布得分：sd＝sd-o以位置得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-l×sd-o；以离散得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-d×sd-o；以位置得分、离散得分与重叠得分的乘积作为k邻域分布得分：sd＝sd-l×sd-d×sd-o；重排序列表生成模块，用于根据初始排序列表ω(p,g)中各参考图像的k领域分布得分，从高到低，对初始排序列表ω(p,g)中各参考图像进行重新排序，从而得到基于k邻域分布得分的重排序列表。重排序效果可参考图8所示：设置k＝5；顶端:测试图像p和在初始排序表中前9个样本，其中n1-n2是负样本,p1-p7为正样本.测试图像p的查询扩展集q(p,5)由p,n1,p1,p2和n2组成,然后设置n1为新的测试图像。中间:图像n1的最近邻域n(n1,5)和q(p,5)在新的排名表中的5个位置标签,分别是39,1,504,437和47,得出分布和离散得分各为0.141和4.11×10-3。q(p,5)和n(n1,5)相同图像的数目为1,所以重叠的分为1,三种得分相乘得到最终得分0.58×10-3,利用相同的方法求取其余图像的得分。底端：根据得分高低修改排序表,发现正样本p1,p2,p3,p4和p5在最终的排名表中处于前五的位置。在两个大型数据集上评估本发明的有益效果：cuhk03和market1501。cuhk03由13164张图像组成，一共1467个行人，由两个不同的摄像头收集，包括手动标注的边界框和由可变形部件模型(deformablepartmodel，dpm)检测的边界框，在本文中采用单镜头模式，数据集可分为包含1367人的训练集和100人的测试集，从第二个摄像头选择图像作为测试集，从第一个摄像头视角的图像中每个行人随机选取一张图像组成参考图像集。market1501包含来自六个摄像机的1501个行人的32668张图像，它被分成两个部分：来自751个行人的12,936张图像作为训练集和来自750个行人的19,732个图像作为测试集，利用dpm检测边界框。采用与cuhk03数据集类似的测试协议。需要注意的是，一部分训练数据用于训练cnn，另一部分用于优化贡献度反馈模块。作为识别任务中的重要评价标准，采用累积匹配曲线(cumulativematchingcharacteristic，cmc)评价该行人重识别的性能，根据测试图像与参考图像之间的相似度排列排序列表。1、实现细节caffe用于部署cnn，基于mpii人体姿势数据集训练身体分割提取网络，以生成关键点和三个局部身体区域。在训练多流特征提取网络中的五个分类cnn模块时，每幅图像大小缩放为96×96像素，mini-batchsize设置为60，每个迭代包括1000个mini-batchsize。学习率，冲量和权重衰减分别设置为0.1,0.9和0.0005，模块权重根据随机梯度下降法(stochasticgradientdescent,sgd)更新，最终模型在70000次迭代完成时停止并用于测试。对于图像语义分割模块，将训练好的fcns嵌入到特征提取网络中，mask特征提取模块和全局特征提取模块在网络的前半部分共享权重参数。此外，roipooling模块用于获取三个身体局部区域的特征图，并缩放为24×24，然后输入到后续网络进行前向传播，在此工作中，采用softmax分类损失优化cnn并选择欧式距离计算图像之间的相似性和top-n排名算法进行行人重识别。整个实验在硬件平台上实现，配备geforcegtx1080gpu，16gb内存和inteli7cpu。2、与主流方法对比对于cuhk03和market1501数据集，本文将提出的多流贡献框架(mscf)和k分布重排序策略(mscf_rk)与主流方法进行比较，其中包含基于距离度量学习的方法：bow+kissme，lomo+xqda，warca，ldns和深度学习方法：gatedsiamese，mscan，dlpar，ssm，spindle和glad。对比结果如表1所示，发现本发明提出的行人重识别方法在cuhk03数据集上可以达到91.2％的top-1准确率，优于所有距离度量学习方法，比最佳的深度学习方法高2.7％。特别是在嵌入了重排序策略后，在表1中表示为mscf_rk，可以获得93.5％的top-1准确率，较不使用重排序方法提高了2.3％。对于market1501数据集，mscf可以在不使用重排序策略时达到最佳的82.9％准确率，比表中的最佳方法高0.7％，从该表的底部可以观察到重排序的策略可以带来2.8％的性能提升至85.7％。表13、激活比、贡献系数优化区间和映射关系的确定如前所述，在优化贡献度反馈模块的过程中，需要进行m次重复实验，m设置为100000，然后记录激活比和贡献系数的值，并计算其在每个分段区间中的分布概率，如表2与表3所示。表2.cuhk03和market1501数据集上四种特征在不同激活比区间的分布概率表3.cuhk03和market1501数据集上四种特征在不同贡献系数区间的分布概率在表2中，显示了不同分段区间中四个激活比的分布概率，将阈值设置为5％。通过融合分段区间，可以得出cuhk03数据集上激活比的四个特征的最佳区间为0.3～0.6,0.4～0.7,0.1～0.4和0.8～1，对于数据集market1501，它们分别为0.3～0.6,0.3～0.7,0.1～0.4和0.7～1。表3说明了不同分段区间内四个贡献系数的分布概率，得出在cuhk03数据集上贡献系数的四个最佳区间分别为0.2～0.6,0.1～0.6,0.1～0.5和0.1～0.4。对于market1501数据集，最优的区间为0.3～0.8,0.1～0.6,0～0.6和0～0.4。基于三种局部身体区域特征和无背景图像mask特征的四种激活比与贡献系数映射关系，图9和图10对应于cuhk03和market1501数据集。4、评估多流特征距离融合提出的网络管道是可以学习一个全局特征和四个局部特征多流cnn结构，能够进行多流特征距离融合，本文提出的方法是计算两幅图像间相应特征的欧氏距离，并将该距离与贡献系数相结合，以获得最终距离。表4.基于cuhk03和market1501数据集，对不同特征距离的评估为证明本文特征距离融合策略的有效性，首先比较基于五个独立特征距离的测试结果，实验结果如表4所示，显然所提出的方法优于所有单一特征距离，比表现最佳的全局特征距离高4.8％和4.6％。另外，本文还验证了mask特征的引入可以提高重识别性能，去除mask特征的特征距离融合方法在两个数据集上分别获得了90.3％和82.6％的top-1准确率，比本文mscf方法分别低0.9％和0.3％，虽然基于mask特征距离的重识别精度较低，只有34.6％和29.3％，但将其与其他特征距离相结合可以得到更好的提升。最后，为证明提出的多特征距离融合方法超出了特征融合的方法，进行了扩展实验，利用一个额外的cnn，以五个256维的特征为输入，生成全新的256维特征，然后计算两幅图像这两个特征之间的欧氏距离。可以分析它可以达到84.6％和77.9％的top-1准确率，与特征距离融合策略相比，在两个数据集上分别下降了6.6％和5％。以上结果证明了本文提出的多流特征距离融合方法的有效性，可以实现更高的重识别性能。5、评估贡献系数自适应生成模块前面已经提到，贡献度反馈模块可以根据来自inception结构中的filterconcatenation处理层的特征图生成一组贡献系数，如表5所示。表5基于cuhk03和market1501数据集inception模块中不同处理层生成的贡献系数对重识别性能影响的评估。优化与否的激活比区间与贡献系数区间之间的不同映射对重识别性能影响的评估，图11和图12分别对应于cuhk03和market1501数据集。为证明本发明选择filterconcatenation处理层之后的特征图生成贡献系数的合理性，进行了基于其他三个层的对比实验，实验结果如表5所示，“无贡献系数基准线”表示每个特征贡献系数为1。可以发现使用贡献度反馈模块与不使用该模块相比可以在两个数据集上分别增加1％和0.8％的top-1准确率。很明显，利用filterconcatenation处理层的特征图生成的贡献系数可以最大程度优化性能，在cuhk03数据集上，与选择其他处理层相比，可以实现1％，0.3％，0.2％的准确率提升，对于market1501数据集，提升分别为0.8％，0.6％和0.1％，因为这一层融合了更丰富的图像特征信息。区间优化算法用于将激活比和贡献系数约束在最佳范围。同样进行对比实验验证该方法的有效性，实验结果如图11与图12所示。full和opt表示完整区间[0,1]和优化后的区间，“full-full”表示将激活比全区间[0,1]映射到贡献系数全区间[0,1]，“full-opt”表示将激活比全区间[0,1]映射到优化后的贡献系数区间。可以发现“opt-opt”的表现超过了其他三种映射。在cuhk03数据集中，opt-opt的top-1准确率分别比full-full，full-opt和opt-full高3.4％，0.9％和1.5％，在market1501数据集上增幅为4.2％，1.3％和1.6％。6、整体评估基于k领域分布的图像重排序方法在具体实施方式中，将提出的基于k领域分布的图像重排序方法与其他现有的重排序方法进行比较，将没有使用任何重排序方法的识别性能作为基准线，如表6所示：表6重排序方法cuhk03market1501基准线91.282.9cdm91.583.3aqe91.383.1sca92.083.5k-nn91.983.4k-reciprocalneighbors92.184.1k分布重排序93.585.7将上下文相异性度量(contextualdissimilaritymeasure，cdm)，平均查询扩展(averagequeryexpansion，aqe)，稀疏上下文激活(sparsecontextualactivation，sca)，k-最近邻域重排序(k-nearestneighborre-ranking，k-nn)和k倒数编码(k-reciprocalencoding)与本发明的方法相比较。实验结果如表1所示，结果表明本发明的重排序方法可以实现有效的top-1准确率提高，cuhk03和market1501数据集的基准线分别为91.2％和82.9％，对应于两个数据集k的值为7和17，用k分布重排序可以获得2.3％和2.8％的提升，可以发现这种策略已经超过了其他方法。7、评估k领域分布得分的不同构造方式前面已经提到k分布重排序得分可由三部分组成：位置得分、离散得分和重叠得分，因此这三个独立得分和由其两两组合产生获得另外三个潜在得分：“位置得分×离散得分”、“位置得分×重叠得分”和“离散得分×重叠得分”可以组成六种得分类型。以数据集cuhk03为例，每种得分的实验结果见表7：可以发现包含三部分的得分达到最佳效果，优于其他分数组合，比性能最优的单种类型“重叠得分”和组合类型“离散得分×重叠得分”分别高0.3％和0.6％。值得注意的是，基于“离散得分”的效果较差，只能达到6.7％，与基准线91.2％相比下降较多，但舍弃这项得分后，“位置得分×重叠得分”组合获得了92.6％的top-1准确率，比含有三种分数的组合降低了0.9％。因此，将其与“位置得分”和“重叠得分”相组合以实现不同属性信息的互补并最终获得最佳性能提升。表7分数类型top-1位置得分92.9离散得分6.7重叠得分93.2位置得分×离散得分84.9位置得分×重叠得分92.6离散得分×重叠得分92.9位置得分×离散得分×重叠得分93.58、评估k值的影响参数影响：在k领域分布得分的图像重排序方法中，k值是可变的，之前呈现的所有图表中，对应于两个数据集取值为k＝7和k＝17，考虑到每个数据集的组成不同，评估改变k值对重识别性能的影响。如图13与图14所示，发现在两个数据集上当参数k取值在区间[6,14]和[9,23]之内时，性能优于基准线，对于cuhk03，提升为0.8～2.3％，当k＝7时，达到最佳的top-1准确率为93.5％，对于market1501，提升为0.5～2.8％，在k＝17时可获得85.7％的最高精度。两个数据集的参考图像集中同一行人平均有9.76和26.3张图像，可见当k的取值是该值的0.6～0.7倍时，提出的重排序策略可以实现较高的重识别性能。此外，当k超过一定阈值后，top-1准确率将逐渐降低，主要是因为较大的参数k将引入更多负样本并增加误差，以至于降低性能并提高计算复杂度。综上所述，本发明基于行人重识别提出了一种基于特征贡献度的多流贡献框架和一个高效的k分布重排序策略。首先讨论全局特征和局部特征可以应用于行人重识别，因此提出身体分割提取网络(bpen)来获取身体局部区域并实现身体区域对齐，并在此基础上，提出一种多流贡献框架(mscf)学习不同层面的行人特征，并将图像语义分割与行人重识别相结合，引入mask特征作为一种全新的局部特征。此外，为融合不同的特征距离，本发明首次提出贡献度的概念，在多流贡献框架(mscf)中引入贡献度反馈模块，给五个不同特征距离动态分配贡献系数，并且利用分段学习方法来增强系统鲁棒性。大量实验证明，本发明提出的基于身体分割提取网络的多流贡献框架和k分布重排序策略可以独立协同工作，实现行人重识别的性能提升。当前第1页12