基于协同尺度学习的行人重识别方法
【专利摘要】本发明公开了一种基于协同尺度学习的行人重识别方法，属于监控视频检索【技术领域】。本发明首先根据已标注训练样本集L中图像的颜色和纹理特征，进行尺度学习得到相应马氏距离中的协方差矩阵Mc和Mt；随机选择查询对象使用Mc和Mt进行马氏距离度量，得到相应排序结果，从中取得正样本和负样本生成新的已标注训练样本集L，更新Mc和Mt，直到未标注训练样本集U为空，得到最终的标注样本集L*，并融合颜色和纹理特征得到Mf，就可以使用基于Mf的马氏距离函数进行行人重识别。本发明在半监督框架下研究基于尺度学习的行人重识别技术，通过未标注样本辅助标注样本进行尺度学习，符合实际视频侦查应用标注训练样本难以获取的要求，能有效提升少标注样本下的重识别性能。
【专利说明】基于协同尺度学习的行人重识别方法
【技术领域】
[0001]本发明属于监控视频检索【技术领域】，尤其涉及一种基于协同尺度学习的行人重识别方法。
【背景技术】
[0002]在实际视频侦查中，侦查员主要根据特定行人对象在多摄像头下的活动画面和轨迹来快速排查、追踪和锁定嫌疑目标。传统基于人工浏览的视频侦查模式需要耗费大量的人力和时间、效率低下，极易贻误破案时机。行人重识别是一种针对特定行人对象的监控视频检索技术，即在照射区域无重叠的多摄像头下匹配同一行人对象。便于视频侦查员快速、准确地发现嫌疑目标活动画面和轨迹，对公安部门提高破案率、维护人民群众生命财产安全具有重要意义。
[0003]行人重识别技术主要包含两个步骤:特征提取和距离度量。在距离度量研究中，传统方法一般采用标准的距离函数度量行人间的相似性，如欧式距离、巴氏距离等。近年来，研究者研究基于尺度学习的行人重识别方法。通过训练样本学习一个合适距离函数，以便进行更准确的相似性度量。由于考虑了样本的特性，该方法常常比标准距离函数更加准确。例如文献I找到一个超平面，使得邻域内的同类点之间紧缩，不同类的点的间隔尽可能大(参见:Kilian Q.Weinberger, John Blitzer, and Lawrence K.Saul, “Distance metriclearning for large margin nearest neighbor classification，，，Journal of MachineLearning Research (JMLR) , Vol.10, PP.207 - 244, 2009.)。
[0004]为了保证学习得到的距离尺度的鲁棒性，现有基于尺度学习的方法一般需要大量的训练样本，例如使用一半数据作为训练样本、另一半作为测试样本。但是实际视频侦查应用的时效性要求很高，一旦案件发生，侦查人员往往需要在最短的时间内调回大量的视频监控数据进行嫌疑目标的分析研判。而人工标注的效率非常低下，标注训练样本难以充分获取，导致现有方法性能急剧下降。换个角度看，在实际视频侦查工作中，未标注样本数量远多于已标注样本，并且容易获取。通过未标注样本辅助已标注样本进行距离学习，可以在保证学习性能的前提下尽量减少对于训练样本数量的依赖。
【发明内容】
[0005]针对现有技术存在的不足，本发明提供了一种基于协同尺度学习的行人重识别方法，该方法在少量标注训练样本条件下，可以提升多摄像头下同一行人匹配的准确性。
[0006]本发明提出了一种基于协同尺度学习的行人重识别方法，其特征在于:设给定长
度为I的已标注训练样本集[=，已标注行人训练样本Xi，a和Xi，b分别是第i个标注行人在摄像头a和b下的图像，构成行人图像对，Ii是第i个标注行人的标识，i的取值为1，2，…，I ;长度为u的未标注行人训练样本集U = ，图像Xj是来源于摄像头a或b的第j个未标注行人训练样本，j的取值为1，2，…，u ;[0007]包括执行以下步骤，
[0008]步骤一，针对已标注训练样本集L，根据已标注训练样本集L中图像的颜色特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵M。；根据已标注训练样本集L中图像的纹理特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mt ；
[0009]步骤二，从未标注训练样本集U中随机选择m个摄像头a下的未标注行人训练样本X’ j,a作为查询对象、η个摄像头b下的未标注行人训练样本X’ j,b作为待查对象；针对每
个查询对象X’ j,a,使用Mc进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果% (^.?):在使用Mt进行马氏距离度量，按计算结果从高到低得到各待查对象{χ/.4"=ι的排序结果~ ；其中，m和η为预设参数；
[0010]步骤三，针对每个查询对象X’j,a，选取丨(a-；,? )和~ 中前P个结果中相同
的结果得到查询对象X’ U的正样本，取和rX1, 中后N个结果中相同的结果得
到查询对象X’ J- a的负样本,将所得正、负样本及查询对象X’ j，a加入当前的已标注训练样本集L中并从未标注训练样本集U中去掉，生成新的已标注训练样本集L，返回步骤一更新M。和Mt，直到未标注训练样本集U为空，得到最终的已标注训练样本集L，记为标注样本集L* ；其中，P和N为预设参数；
[0011]步骤四，对标注样本集I；中图像融合颜色特征和纹理特征并进行尺度学习，得到相应马氏距离中的协方差矩阵Mf，最后基于Mf进行测试。 [0012]而且，所述马氏距离的函数定义如下，
[0013]给定两个图像的特征向量OjPOb,两者的距离D (0a，Ob)定义为，
[0014]D(OalOb) = (Oa-Ob) tM (Oa-Ob)(I)
[0015]其中，M是一个半定矩阵，((^-(^是(Oa-Ob)的转置。
[0016]而且，通过极小化同一行人距离与不同行人距离的差值，求解M，求解时使用经典的随机梯度下降进行算法进行尺度学习得到结果。
[0017]与现有基于尺度学习的行人重识别技术相比，本发明具有以下优点:
[0018]I)本发明在半监督框架下研究基于尺度学习的行人重识别技术，通过未标注样本辅助标注样本进行尺度学习，符合实际视频侦查应用标注训练样本难以获取的要求；
[0019]2)提出一种新的半监督尺度学习方法，通过引入协同训练方法进行尺度学习，能有效提升少标注样本下的重识别性能。
【专利附图】
【附图说明】
[0020]图1为本发明实施例的流程图。
【具体实施方式】
[0021]本发明技术方案可采用计算机软件实现自动运行流程。以下结合附图和实施例详细说明本发明技术方案。[0022]实施例采用MATLAB7作为仿真实验平台，在常用的行人检索数据集VIPeR上进行测试。VIPeR数据集有两个摄像头下的632个行人图像对，两个摄像头之间存在明显的视角、光照等差异。如图1，实施例技术方案的流程如下:
[0023]给定长度为I的标注行人样本对集合
【权利要求】
1.一种基于协同尺度学习的行人重识别方法，其特征在于:设给定长度为I的已标注训练样本集i =，已标注行人训练样本X1-和 Xi，b分别是第i个标注行人在摄像头a和b下的图像，构成行人图像对，yi是第i个标注行人的标识，i的取值为1，2，…，I ;长度为u的未标注行人训练样本集U = |勺1二，图像Xj是来源于摄像头a或b的第j个未标注行人训练样本，j的取值为1，2，…，u ; 包括执行以下步骤， 步骤一，针对已标注训练样本集L，根据已标注训练样本集L中图像的颜色特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵M。；根据已标注训练样本集L中图像的纹理特征，并进行尺度学习，得到相应马氏距离中的协方差矩阵，记为投影矩阵Mt;步骤二，从未标注训练样本集U中随机选择m个摄像头a下的未标注行人训练样本X’ j，a作为查询对象、η个摄像头b下的未标注行人训练样本X’ j,b作为待查对象；针对每个查询对象X’ j,a,使用Mc进行马氏距离度量，按计算结果从高到低得到各待查对象的排序结果L 在使用Mt进行马氏距离度量，按计算结果从高到低得到各待查对象K.4;=1的排序结果^ (xu);其中，m和η为预设参数； 步骤三，针对每个查询对象x\a，选取中前P个结果中相同的结果得到查询对象X’ j,a的正样本，取中后N个结果中相同的结果得到查询对象X’ j,a的负样本,将所得正、负样本及查询对象X’ j，a加入当前的已标注训练样本集L中并从未标注训练样本集U中去掉，生成新的已标注训练样本集L，返回步骤一更新M。和Mt,直到未标注训练样本集U为空，得到最终的已标注训练样本集L，记为标注样本集L* ;其中，P和N为预设参数； 步骤四，对标注样本集L*中图像融合颜色特征和纹理特征并进行尺度学习，得到相应马氏距离中的协方差矩阵Mf，最后基于Mf进行测试。
2.如权利要求1所述的基于协同尺度学习的行人重识别方法，其特征在于:所述马氏距离的函数定义如下， 给定两个图像的特征向量1和(\，两者的距离D(Oa，Ob)定义为，
D(OalOb) = (Oa-Ob)1M(Oa-Ob) (I) 其中，M是一个半定矩阵，((^-(^是(Oa-Ob)的转置。
3.如权利要求2所述的基于协同尺度学习的行人重识别方法，其特征在于:通过极小化同一行人距离与不同行人距离的差值，求解M，求解时使用经典的随机梯度下降进行算法进行尺度学习得到结果。
【文档编号】G06K9/00GK103793702SQ201410071721
【公开日】2014年5月14日 申请日期:2014年2月28日 优先权日:2014年2月28日
【发明者】胡瑞敏, 冷清明, 梁超, 叶茫, 王正, 焦翠娜, 王亦民 申请人:武汉大学