一种基于相似度学习的车辆检索方法
【技术领域】
:
[0001]本发明是关于视频、图像中相似车辆检索的一种方法，不但在一般场景下具有较高的检测率和精确度，而且在目标车辆存在较大的姿态和光照变化时，本方法依然具有很好的表现。
【背景技术】
:
[0002]当前城市各种道路和重要区域都设置有摄像头，采集到的车辆图片在维护治安中起到很重要的作用。传统的相似车辆检索都是基于车牌识别技术，但对于假牌车，套牌车的检索效果很差。为此，本发明提出一种不依赖车牌识别的相似车辆检索，可以有效的解决套牌车，无牌车无法检索的问题。
【发明内容】
:
[0003]本发明针对实际车辆检索应用的需求，设计了一种对光照变换和姿态变换具有较强鲁棒性的方法。
[0004]本发明由以下两部分构成:
[0005]1.特征提取模块
[0006]给定车辆区域，获得SIFT特征点和描述后，使用聚类算法对SIFT特征离散化。为了弥补SIFT特征缺少位置信息的缺陷，进一步使用邻域内离散SIFT特征分布生成邻域特征，作为最终的特征点描述。
[0007]2.相似度学习模块
[0008]每一个车辆图片由一批特征来表示，一对相似车辆图片的特征组成一个正样本，一对不同车辆图片的特征组成一个负样本。如此收集大量的正负样本后，利用随机森林方法进行相似度学习，获得分类器可以用来判断两个车辆是否相似，达到相似车辆检索的目的。
【附图说明】
:
[0009]后续结合附图的详细说明将更为清晰的解释本发明的特征，目的和优势，其中:
[0010]图1是本发明的整体架构示意图
[0011]图2是本发明的特征提取模块流程图
[0012]图3是本发明的相似度学习模块流程图
[0013]图4是本发明的详细训练流程图
[0014]图5是本发明的详细预测流程图
【具体实施方式】
:
[0015]现在，将参照附图描述本发明的优选实施例。
[0016]图1是表示本发明装置的整体架构示意图。
[0017]如图1所示，本发明由邻域特征提取模块和相似度学习模块两部分组成。邻域特征提取模块完成从车辆图片中获取一种对光照，姿态都有较好鲁棒性的局部特征。相似度学习模块通过合理的构造正负样本集，利用随机森林学习相似度评估模型，达到相似车辆检索的目的。
[0018]图2是表示本发明的邻域特征提取模块的流程图。
[0019]如图2所示，本发明优选实例的特征提取模块详细步骤如下:
[0020](S21)输入原始的车辆图片库。
[0021]车辆区域定义为车辆正面的一个矩形区域，上边缘到驾驶室车窗顶部，下边缘到车牌底部，左边缘到车辆驾驶室车窗左边界，右边缘到驾驶室车窗右边界。
[0022](S22)从图片库中提取SIFT特征集。
[0023]提取SIFT特征点首先需要建立图像的高斯金字塔，金字塔中像素的值如果超过邻域内其他像素，则选择改点作为特征点。从特征点邻域内生成一个128维的向量用来描述该特征点，这个向量就是SIFT特征。
[0024](S23)利用K均值聚类方法对SIFT特征集离散化。
[0025]从图片库中可以提取大量的SIFT特征集，利用K均值聚类对其作离散化。K均值聚类通过迭代的方式，把每一个SIFT特征划分到距离其最近的聚类中，最终SIFT特征集被划分成K个离散的聚类，认为同一个聚类的SIFT特征是一样的，则可以使用类编号表示SIFT特征，即离散SIFT特征。本发明的优选实例中取K值为100000。
[0026](S24)生成邻域特征
[0027]为了弥补SIFT特征缺少特征相对位置关系的缺陷，要把离散化的SIFT进一步转换成邻域特征。假设SIFT聚类个数为K，选择NX N的邻域，则邻域特征可以表示为一个整数序列，其元素的值不超过KXNXN。给定一个SIFT特征点，以其为中心定义一个NXN的邻域。按照如下规则生成一个矩阵:同一个子区域内，同一个离散SIFT特征出现多次只记录一次；如果第k个离散SIFT特征出现在第η个区域内，则矩阵第η行的第k个值置为1，否则置为0。最终的整数序列按照下面的步骤生成:初始序列为空，自左向右，自上而下扫描矩阵，如果第η行第k个值为1，则在序列中增加一个整数，值为(n-1) XK+k，忽略值为0的元素，由此得到一个整数序列，这个序列就是邻域特征。本发明的优先实例中K取100000，N取3
[0028]图3是本发明的相似度学习模块的流程图。
[0029]如图3所示，本发明优选实例的相似度学习模块的详细步骤如下:
[0030](S31)输入邻域特征
[0031](S32)构造训练样本
[0032]—个训练样本由三部分构成:图像A的邻域特征集，图像B的邻域特征集以及相似度标志Y。Y取1时表示正样本，其中A和B是相似车辆的不同图片；Y取0时表示负样本，其中Α和Β是不相似车辆的图片。
[0033](S33)随机森林训练模块
[0034]随机森林是随机树的集合，随机树由内节点和叶子节点构成，训练时内节点随机选定一个特征，按照样本中两个特征集是否包含该特征，把样本划分成两个不相交的集合，如此不断划分样本集，产生新的内节点，直至某终止条件时，生成一个叶子节点。叶子节点记录节点内正样本在节点内总样本中的比例，表示该叶子节点内正样本的置信度。训练过程中，三个重要的训练参数是，随机树允许的最大深度D，随机树的个数T以及节点内最小样本数L。本发明的优选实例中D取500，T取20000，L取1000.
[0035]图4是本发明的详细训练流程图。
[0036]如图4所示，本发明的优选实例的训练流程详细步骤如下:
[0037](S41)输入车辆图片库
[0038]具体要求和S21 —致
[0039](S42) SIFT 特征提取
[0040]具体操作和S22 —致
[0041](S43)K均值聚类训练
[0042]具体操作和S23 —致
[0043](S44)生成邻域特征
[0044]具体操作和S44 —致
[0045](S45)构造训练样本
[0046]具体操作和S32 —致
[0047](S46)训练随机森林
[0048]具体操作和S33 —致
[0049]图5是本发明的详细预测流程图。
[0050]如图5所示，本发明的优选实例的预测流程详细步骤如下:
[0051](S51)输入查询图片
[0052]查询图的要求和(S21)中的描述一致
[0053](S52)提取 SIFT 特征
[0054]具体操作和S22 —致
[0055](S53) K均值聚类预测模块
[0056]K均值聚类预测的具体流程是:计算样本到每一个聚类中心的距离，选取最小距离对应的聚类编号作为输出。
[0057](S54)生成邻域特征
[0058]具体操作和S24 —致
[0059](S55)随机森林预测模块
[0060]随机森林的预测是通过随机树的预测来实现的。查询图特征和图像库中每个车辆图片的特征组成一个查询样本，被分发给每一个随机树，查询样本从内节点向叶子节点移动，抵达内节点时按照训练时确定的内节点规则决定下一步移动方向，抵达叶子节点时把训练时确定的正样本置信度作为随机树的输出。所有随机树的输出经过投票后作为随机森林的输出，表示查询图和该库存图的相似度，最终按照相似度由大到小的次序输出查询结果Ο
[0061]尽管出于说明性目的已经公开本发明的优选实施例，但是本领域的普通技术人员将懂得各种变更，增加或是替代都是可能的，并不脱离如附带的权利要求书中所公开的本发明的精神和范围。
【主权项】
1.一种基于相似度学习的车辆检索方法，其特征在于，包括以下步骤: 步骤A:从图片中提取SIFT特征，利用K均值聚类方法对SIFT特征集离散化； 步骤B:基于离散SIFT特征，构造邻域特征； 步骤C:相似车辆图片对作为正样本，不相似车辆图片对作为负样本，收集大量的正负样本构成随机森林的训练集，进行相似度学习； 步骤D:给定一个车辆图库，输入一个测试车辆图，查询图库中和测试图相似的车辆。首先提取测试车辆图的邻域特征，依次和图库中每个车辆图的邻域特征组成测试样本，利用训练得到的随机森林模型判断二者相似度，达到相似车辆检索的目的。2.根据权利要求1所述的基于相似度学习的车辆检索方法，其特征在于所述步骤B的具体方法是:假设SIFT聚类个数为K，选择NXN的邻域，则邻域特征可以表示为一个整数序列，其元素的值不超过KXNXN。给定一个SIFT特征点，以其为中心定义一个NXN的邻域。按照如下规则生成一个矩阵:同一个子区域内，同一个离散SIFT特征出现多次只记录一次；如果第k个离散SIFT特征出现在第η个区域内，则矩阵第η行的第k个值置为1，否则置为0。最终的整数序列按照下面的步骤生成:初始序列为空，自左向右，自上而下扫描矩阵，如果第η行第k个值为1，则在序列中增加一个整数，值为(n-1) XK+k，忽略值为0的元素，由此得到一个整数序列，这个序列就是邻域特征。3.根据权利要求1所述的基于相似度学习的车辆检索方法，其特征在于所述步骤C的具体方法是:一个训练样本由三部分构成:图像A的邻域特征集，图像B的邻域特征集以及相似度标志Y。Y取1时表示正样本，其中A和B是相似车辆的不同图片；Y取0时表示负样本，其中Α和B是不相似车辆的图片。随机森林是随机树的集合，随机树由内节点和叶子节点构成，训练时内节点随机选定一个特征，按照样本中两个特征集是否包含该特征，把样本划分成两个不相交的集合，如此不断划分样本集，产生新的内节点，直至某终止条件时，生成一个叶子节点。叶子节点记录节点内正样本在节点内总样本中的比例，表示该叶子节点内正样本的置信度。训练过程中，三个重要的训练参数是，随机树允许的最大深度D，随机树的个数T以及节点内最小样本数L。4.根据权利要求1所述的基于相似度学习的车辆检索方法，其特征在于所述步骤D的具体方法是:从一个车辆图片上提取SIFT特征，计算SIFT特征到训练阶段确定的聚类中心的距离，距离最小的聚类中心作为离散SIFT特征，获得全部的离散SIFT特征后转换成邻域特征，如此得到两个图对应的邻域特征后，送入训练后的随机森林模型。随机森林的预测是通过随机树的预测来实现的，待测试的两组邻域特征，被分发给每一个随机树，查询样本从内节点向叶子节点移动，抵达内节点时按照训练时确定的内节点规则决定下一步移动方向，抵达叶子节点时把训练时确定的正样本置信度作为随机树的输出。所有随机树的输出经过投票后作为随机森林的输出，表示两个测试图的相似度，最终按照相似度由大到小的次序输出查询结果，达到相似车辆检索的目的。
【专利摘要】本发明公开了一种基于相似度学习的车辆检索方法，相对于传统基于车牌号码的车辆检索方法，本发明中的方法不仅有效避免了对车牌识别准确度的依赖，而且还可以对假牌车和套牌车进行检索，大大提高车辆检索的可用性和可靠性。本发明公开的方法首先提取图片中车辆区域的SIFT特征，利用聚类算法离散化后，转换成表述能力更强的邻域特征，作为基础的车辆描述特征，然后利用随机森林方法进行相似度学习，得到相似度预测模型可以用来判断图片中两个车辆是否属于相似车辆。
【IPC分类】G06F17/30, G06K9/46, G06K9/62
【公开号】CN105488099
【申请号】CN201510744990
【发明人】曾凡涛
【申请人】杭州全实鹰科技有限公司
【公开日】2016年4月13日
【申请日】2015年11月3日