一种基于不完整文本描述的特定行人检索方法
【技术领域】
[0001] 本发明属于监控视频检索技术领域，涉及一种行人检索方法，尤其涉及一种基于 不完整文本描述的特定行人检索方法。
【背景技术】
[0002] 传统的特定行人检索方法（行人重识别）都是基于行人的视觉影像，但在更加实 际的视频监控应用中，只能获得一些文本的描述，比如目击者向警察这样描述犯罪嫌疑人： "一个背着双肩包身穿红色休闲服的年轻女士"。这类行人特征描述很显然是不完整的，传 统的行人检索方法对此便无能为力。
[0003] 在上述情况下，仅依赖于给定的属性来解决特定行人检索问题是至关重要的。在 [文献1]中，这些特定属性主要从口头描述中抽象而来。相关的行人重识别研宄也提出了 一些基于属性的方法。Layne在[文献2]中使用了一种通过筛选和加权中层语义属性的方 法来描述行人；Liu在[文献1]中提出了 ARLTM(属性受限的潜在主题模型），将目标编码 进语义查询；Nguyen在[文献3]提出基于属性间关系的方法，该方法利用属性间的关系来 改善属性检测的结果。然而上述的方法不适合本文描述的问题，因为对于该问题，用于检索 的图片信息是无法获得的。因此需要研宄一种新方法来解决此问题。
[0004] 另外，正如[文献4]所描述的那样，用户提供的属性经常是不完整的。这些不完 整的属性很可能导致行人检索应用性能倒退（参见[文献1])。而且，从更广泛的层面上来 讲，这种属性补全问题主要采用传统的TBIR(基于标签的图片检索）。在监控视频检索领 域，这类问题是被忽视了的。
[0005] [文献 1]X. Liu, M. Song, Q.Zhao, D.Tao, and etal. Attribute-restricted latent topic model forpersonre-identification. In PR, 2012.
[0006] [文献 2] R. Layne，T. M. Hospedales，S. Gong，and Q. Mary. Person re-identification byattributes. In BMVC, 2012.
[0007] [文献 3] N. N. B，N. V. H，D. T. N，and et al. Attrel: An approach to person re-identification byexploitingattribute relationships. In MMM, 2015.
[0008] [文献 4]L Wu，R. Jin，and A. Jain. Tag completion for imageretrieval. In PAMI, 2013.
【发明内容】
[0009] 为了解决上述的技术问题，本发明提供了一种基于不完整文本描述的特定行人检 索方法。
[0010] 本发明所采用的技术方案是：一种基于不完整文本描述的特定行人检索方法，由 两部分组成：离线处理和在线处理；其特征在于：所述的离线处理包括对图像库中的训练 图片训练属性分类器和距离尺度学习；所述的在线处理首先把用户针对查询文本进行的不 完整的描述转化为一个初始属性向量，然后采用线性稀疏重建的方法将初始属性向量重建 成一个完整的向量I最后使用基于属性的尺度学习得到的矩阵M进行距离计算；使用训 练得到的属性分类器提取图像库中的测试图片属性向量，使用向量7 >图像库中测试图片 的属性向量和矩阵M，获得查询文本与图像库中的测试图片的距离，根据得到的距离进行升 序排列，即可相应的对图像库中的测试图片进行排名。
[0011] 作为优选，所述的离线处理，预先计算测试图片的视觉特征向量和属性向量，其中 将尺度学习引入到属性向量的距离计算；具体实现包括以下子步骤：
[0012] 步骤1. 1:采用线性SVM来训练属性分类器，训练数据包含两部分：视觉特征向量 和已标签化的属性；对于每一种属性，都会训练一个分类器，其中所有包含该属性的样本视 为正样本，而其余的则视为负样本；
[0013] 步骤1. 2 :在训练分类器的基础上，提取测试图片的属性向量；因为分类器对每个 属性的输出值是从负无穷到正无穷，所以使用logistic函数将输出值变换到（0, 1)区间 内；所述的logistic函数为：
[0014]
【主权项】
1. 一种基于不完整文本描述的特定行人检索方法，由两部分组成：离线处理和在线处 理；其特征在于：所述的离线处理包括对图像库中的训练图片训练属性分类器和距离尺度 学习；所述的在线处理首先把用户针对查询文本进行的不完整的描述转化为一个初始属性 向量，然后采用线性稀疏重建的方法将初始属性向量重建成一个完整的向量I最后使用 基于属性的尺度学习得到的矩阵M进行距离计算；使用训练得到的属性分类器提取图像库 中的测试图片属性向量，使用向量7 \图像库中测试图片的属性向量和矩阵M，获得查询文 本与图像库中的测试图片的距离，根据得到的距离进行升序排列，即可相应的对图像库中 的测试图片进行排名。
2. 根据权利要求1所述的基于不完整文本描述的特定行人检索方法，其特征在于：所 述的离线处理，预先计算测试图片的视觉特征向量和属性向量，其中将尺度学习引入到属 性向量的距离计算；具体实现包括以下子步骤： 步骤I. 1 :采用线性SVM来训练属性分类器，训练数据包含两部分：视觉特征向量和已 标签化的属性；对于每一种属性，都会训练一个分类器，其中所有包含该属性的样本视为正 样本，而其余的则视为负样本； 步骤1. 2 :在训练分类器的基础上，提取测试图片的属性向量；因为分类器对每个属性 的输出值是从负无穷到正无穷，所以使用logistic函数将输出值变换到（0, 1)区间内；所 述的logistic函数为：
其中，X为分类器的原始输出，y为变换值，表明拥有该属性的可能性； 步骤1. 3 :基于属性的尺度学习；给定一对样本Xi,XjUi,XjGRd)，它们之间的马氏距离 定义如下：
yij= 1表示相似样本对的协方差矩阵，yU= 0表示不相似样本对的协方差矩阵；矩阵M用来计算属性向量之间的距离。
3. 根据权利要求1所述的基于不完整文本描述的特定行人检索方法，其特征在于：所 述的在线处理，具体实现包括以下子步骤： 步骤2. 1 :把用户不完整的文本描述转化为一个初始属性向量t1Xn，其中n是指预定义 属性的个数，对于用户提供的属性，n标记为1，否则，n标记为O; 步骤2. 2 :对于初始属性向量t1Xn，给定训练属性矩阵^其中M是训练图像的个 数；令W表示重建的权重向量，第i组的重建权重定义为沿=叫 (i，j)表示权重向量w中第i组的第j个权重，则重建问题能用公式表示如下：
其中：^为字典矩阵，包含了训练图像的属性向量;Wmxi为客观的重建权重向量； 入为调整因子，用于平衡组的稀疏性；组的稀疏性2^=1Ibzl2将Ll范式和L2范式结合在一 起；定义一个对角矩阵Wi;i=exp(tJ，用来衡量t初始的重建权重； 步骤2. 2:使用线性稀疏重建，得到一个最优的权重矩阵W，则重建向量j=^u,。
【专利摘要】本发明公开了一种基于不完整文本描述的特定行人检索方法，主要思想是把用户不完整的文本描述转化为一个属性向量，然后采用一种属性完善的算法来丰富这个属性向量的描述能力。在检索阶段，基于完善后的属性向量的检索过程被分为成对的两个流程：离线处理和在线处理。对于离线处理，需要训练几个属性分类器来检测库中图片的属性；另外，还应从属性向量中学习一个距离度量标准。对于在线处理，首先采用线性稀疏重建方法来完善用户提供的属性，然后将离线学习得到的距离度量标准运用到完善后的属性向量中。实验证明，本发明的方法在两个具有代表性的数据集上获得了优越的性能。
【IPC分类】G06F17-30, G06K9-62
【公开号】CN104715071
【申请号】CN201510153983
【发明人】胡瑞敏, 叶茫, 梁超, 柳东静, 王正, 陈军, 刘俊
【申请人】武汉大学
【公开日】2015年6月17日
【申请日】2015年4月2日