一种基于多视角的车辆检索方法
【技术领域】
[0001] 本发明涉及一种车辆检索技术，具体涉及一种基于多视角的车辆检索方法。
【背景技术】
[0002] 车辆检索主要表现为不同地点不同视角的摄像机对同一车辆监控视频结果的匹 配，以期找出目标车辆的一种技术。其在智能交通系统、公安刑事侦查以及信息安全等领域 具有广泛的应用背景。
[0003] 正如Zehang Sun和ETreppid在《On-road vehicle detection:a review》一文 中提到相对于传统的车辆分类，车辆检索要求在一系列外形相似的车辆中找出特定目标的 车辆，这就使得工作变得更具挑战性；不仅如此，还要考虑到实际情况，诸如监控环境、天气 情况以及光照条件等因素的影响。一般来说，在实际的监控系统中，对于车辆的搜索和识 别主要表现在两个方面，其一是要保证对目标车辆视觉特征予以准确的选择，诸如尺度不 变特征变换和几何模糊等传统的图像描述方法，都是通过图像内部的兴趣点推导出来的； 近年来，基于边缘分布，质地和颜色等外观特征的提取也用来表示车辆模型，例如Xiaoyu Wang等在《An HOG-LBP human detector with partial occlusion handling》中提到的 局部二分模式，Dalai等在〈〈Histograms of oriented gradients for human detection)) 中提到的面向梯度的直方图和颜色直方图等，另外依据车辆属性的语义搜索系统也已经 创建；另一方面，车辆匹配的结果应该由选择特征的相似性来排列。如何构建二维和三 维模型是先前学者们提出来的衡量车辆相似性的方法，在《Optimal Edge-Based Shape Detection.》一文中H. Moon等提出了一种优化的二维模型方法。现今大多数度量学习的方 法曾经也被用来衡量目标的相似性，根据相似性距离度量使搜索结果重新排列，在《Ob ject Co-detection》一文中，Bao. S等人提到的通过衡量局部相似性能够检测到通过多视角观察 到的整体目标，并且也获得了较理想的效果。
[0004] 但是，由于在不同的视角情况下，加之车辆外观形态的可变性，导致了传统车辆检 测方法的不可行性。目前城市规模日益扩大，在海量监控视频中寻找特定车辆面临更大挑 战。
【发明内容】
[0005] 针对现今在海量监控视频中寻找特定车辆技术的不足，本发明提出了一种可行的 方法用来准确匹配城市监控系统中所得监控数据中的目标车辆，即在多视角下，采用基于 局部外观相似性的方法来实现目标车辆的检索。
[0006] 为了实现上述目标，本发明采用的技术方案为一种基于多视角的车辆检索方法， 预先建立车辆潜在姿态的方位划分模型，所述方位划分模型中，定义方位划分以摄像机正 面摄像点为基准点进行，平均划分为多个方位；预先设定每个方位分别关注的局部块，并建 立任意两个方位的局部块对应关系；执行如下步骤，
[0007] 步骤1，构建车辆查询库，对车辆查询库中每个用于车辆检测的图像，分别依次执 行以下操作，
[0008] (1)进行车辆识别，识别出图像中车辆区域，并对检测判定为车辆的区域进行车辆 姿态估计，然后根据方位划分模型得到车辆姿态所属方位；
[0009] (2)根据车辆姿态所属方位提取该方位所关注局部块的视觉特征并存储进车辆查 询库，根据局部块的视觉特征采用局部二维模型来表示检测到的车辆区域中目标车辆；
[0010] 步骤2,输入查询车辆图片I，进行车辆姿态估计，根据方位划分模型得到车辆姿 态所属方位，根据划分所得车辆姿态所属方位提取该方位所关注局部块的视觉特征，根据 局部块的视觉特征采用局部二维模型来表示查询车辆图片I中目标车辆；
[0011] 步骤3,将步骤2所得查询车辆图片I的相应局部块视觉特征，与车辆查询库中存 储的所有相关用于车辆检测的图像的局部块视觉特征，基于局部二维模型依据相关方位的 局部块对应关系进行视觉相似性比对，得到相似度，获取查询车辆图片I的车辆检索结果。
[0012] 而且，步骤1和步骤2中，根据局部块的视觉特征采用局部二维模型来表示目标车 辆，实现方式如下，
[0013] 设目标车辆用1表示，目标车辆在划分所得方位关注的n个局部块的特征数据分 别为Pl，. . .，pn，相应车辆局部数据集p= {Pl，. . .，pn}，用v表示目标车辆的方位，目标车辆 的局部二维模型为Vec= (r,V，p)。
[0014] 而且，步骤3中，任意给定两个车辆的局部二维模型，设记为车辆模型VeCl = (1'1，口1，￥1)和\^2=(1' 242，￥2)，定义能量函数￡(\^1，'\^2)来比较两个车辆模型的相似 性，
【主权项】
1. 一种基于多视角的车辆检索方法，其特征在于：预先建立车辆潜在姿态的方位划分 模型，所述方位划分模型中，定义方位划分以摄像机正面摄像点为基准点进行，平均划分为 多个方位；预先设定每个方位分别关注的局部块，并建立任意两个方位的局部块对应关系； 执行如下步骤， 步骤1，构建车辆查询库，对车辆查询库中每个用于车辆检测的图像，分别依次执行以 下操作， (1) 进行车辆识别，识别出图像中车辆区域，并对检测判定为车辆的区域进行车辆姿态 估计，然后根据方位划分模型得到车辆姿态所属方位； (2) 根据车辆姿态所属方位提取该方位所关注局部块的视觉特征并存储进车辆查询 库，根据局部块的视觉特征采用局部二维模型来表示检测到的车辆区域中目标车辆； 步骤2,输入查询车辆图片I，进行车辆姿态估计，根据方位划分模型得到车辆姿态所 属方位，根据划分所得车辆姿态所属方位提取该方位所关注局部块的视觉特征，根据局部 块的视觉特征采用局部二维模型来表示查询车辆图片I中目标车辆； 步骤3,将步骤2所得查询车辆图片I的相应局部块视觉特征，与车辆查询库中存储的 所有相关用于车辆检测的图像的局部块视觉特征，基于局部二维模型依据相关方位的局部 块对应关系进行视觉相似性比对，得到相似度，获取查询车辆图片I的车辆检索结果。
2. 根据权利要求1所述基于多视角的车辆检索方法，其特征在于：步骤1和步骤2中， 根据局部块的视觉特征采用局部二维模型来表示目标车辆，实现方式如下， 设目标车辆用r表示，目标车辆在划分所得方位关注的n个局部块的特征数据分别为 Pl，. . .，pn，相应车辆局部数据集P= {Pl，. . .，pn}，用v表示目标车辆的方位，目标车辆的局 部二维模型为Vec= (r,V，p)。
3.根据权利要求2所述基于多视角的车辆检索方法，其特征在于：步骤3中，任意给定 两个车辆的局部二维模型，设记为车辆模型VeCi= (r^PDVi)和Vec2= (1'2，口2，￥2)，定义能 量函救FAfcr一VfirO杏hk妨而个主無摁型的相似桦.
其中，为车辆模型VeCl和车辆模型Vec^势匹配，其中 淤（4, K2)为匹配函数，表示车辆模型VeCl的第i个局部块g与车辆模型Vec2的第 j个局部块M的相似性程度，其中，v1，v2分别表示车辆模型Veci的方位和车辆模型Vec2的 方位。
4.根据权利要求3所述基于多视角的车辆检索方法，其特征在于：局部块相似性程度 的计算实现如下， 通过特征向量来计算车辆模型的局部相似性从，其中以1表示车辆k1的第i个 局部块的特征，表示车辆k2的第j个局部块的特征，从#f)包括车辆k1的第i个局 部块和车辆k2的第j个局部块的各种特征的差异， 包含局部特征相似性权重w"的匹配函数公式如下， 其中，根据训练获取。
5.根据权利要求4所述基于多视角的车辆检索方法，其特征在于：训练获取局部特征 相似性权重，根据训练数据集采用如下公式得到，
其中，W是支持向量机的权重参数，该公式求取权重参数W的最优值，X表示约束系数，T表示数据样本总数，t表示单个样本，yt表示分类结果标记；义1为第&幅车辆图像中的第 i部分，为第匕幅车辆图像的方位，；7》为第k2幅车辆图像中的第j部分，为第匕幅 车辆图像的方位，￡_,,(以},{#}>必）为第1^幅车辆图像的车辆模型和第1^幅车辆图 像的车辆模型的势匹配。
【专利摘要】一种基于多视角的车辆检索方法，预先建立车辆潜在姿态的方位划分模型，所述方位划分模型中，定义方位划分以摄像机正面摄像点为基准点进行，平均划分为多个方位；预先设定每个方位分别关注的局部块，并建立任意两个方位的局部块对应关系；构建车辆查询库，对车辆查询库中每个用于车辆检测的图像和查询车辆图片，进行车辆姿态估计，根据方位划分模型得到车辆姿态所属方位，根据划分所得车辆姿态所属方位提取该方位所关注局部块的视觉特征，根据局部块的视觉特征采用局部二维模型来表示目标车辆；基于局部二维模型依据相关方位的局部块对应关系进行视觉相似性比对，得到相似度，获取车辆检索结果。
【IPC分类】G06T7-20, G06K9-62, G06K9-00
【公开号】CN104615998
【申请号】CN201510081237
【发明人】胡瑞敏, 熊明福, 方稳华, 梁超, 王晓, 郑淇, 陈军
【申请人】武汉大学
【公开日】2015年5月13日
【申请日】2015年2月15日