基于大数据的车辆检索方法及装置与流程

本发明涉及车辆检测技术领域，具体而言，涉及一种基于大数据的车辆检索方法及装置。

背景技术：

随着我国经济的快速发展、城市规模的不断扩大、车辆数量的大幅增长以及社会安全意识的提高，越来越多的场合需要根据目标车辆图像在海量车辆图像中进行检索，得到目标车辆，比如，公安系统在案件侦破过程中，通常需要根据目标车辆图像在卡口海量记录中查找目标车辆。

现有技术提供有多种车辆检索方法，用于根据目标车辆图像在海量车辆图像中查找得到目标车辆，比如：提取目标车辆图像特征，如车牌号、车型特征、车身颜色等，将提取到的特征作为目标特征，提取数据库中各个车辆图像的图像特征，如车牌号、车型特征、车身颜色等，将该特征作为待匹配特征，计算目标特征与各个待匹配特征之间的距离，将距离最近的待匹配特征对应的车辆作为目标车辆。

发明人在研究中发现，由于存在套牌车，并且存在车型以及车身颜色相近的车，因此根据车牌号、车型特征和车身颜色检索目标车辆不够准确，容易造成误检索，因此现有技术中的车辆检索方法具有检索准确性差的问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于大数据的车辆检索方法及装置，提高目标车辆检索的准确性。

第一方面，本发明实施例提供了一种基于大数据的车辆检索方法，所述方法包括：在目标车辆图像中提取目标车辆的各个车辆检验标志；根据各个所述车辆检验标志之间的位置关系对各个所述车辆检验标志进行融合，得到多个融合区域，所述融合区域包括至少一个所述车辆检验标志；确定各个所述融合区域包含的各个所述车辆检验标志的形状和颜色；根据所述车辆检验标志的数量、所述融合区域的数量、各个所述融合区域包含的所述车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索所述目标车辆。

结合第一方面，本发明实施例提供了第一方面第一种可能的实施方式，其中，在目标车辆图像中提取目标车辆的各个车辆检验标志，包括：对所述目标车辆图像进行缩放，得到多个不同尺寸的子图像，计算各个所述子图像的特征图，对各个所述子图像的特征图进行滑窗分块，得到多个图像块；计算各个所述图像块对应车辆检验标志的置信度，将所述置信度超过预设阈值的多个所述图像块确定为各个所述车辆检验标志对应的图像块；确定各个所述车辆检验标志对应的图像块在所述目标车辆图像中对应的各个区域，在确定的各个所述区域中提取各个所述车辆检验标志。

结合第一方面，本发明实施例提供了第一方面第二种可能的实施方式，其中，根据各个所述车辆检验标志之间的位置关系对各个所述车辆检验标志进行融合，得到多个融合区域，包括：按照各个所述车辆检验标志的置信度由高到底的顺序对各个所述车辆检验标志进行排序，得到降序序列；在所述降序序列中确定当次融合对应的融合区域和各个被融合区域，利用所述融合区域遍历融合各个所述被融合区域，得到更新后的融合区域；根据所述更新后的融合区域更新所述降序序列，在更新后的所述降序序列中重复确定所述融合区域和各个所述被融合区域，重复上述遍历过程，直至每个所述车辆检验标志均被作为所述融合区域遍历过，将得到的多个更新后的融合区域作为最终得到的多个融合区域。

结合第一方面第二种可能的实施方式，本发明实施例提供了第一方面第三种可能的实施方式，其中，在所述降序序列中确定当次融合对应的融合区域和各个被融合区域，利用所述融合区域遍历融合各个所述被融合区域，得到更新后的融合区域，包括：确定当次融合对应的序号，在所述降序序列中，将所述序号对应的车辆检验标志作为所述当次融合对应的融合区域，将所述融合区域以外的各个车辆检验标志作为所述当次融合对应的各个被融合区域；根据所述融合区域的尺寸对所述融合区域进行扩展，根据当前被融合区域的尺寸对所述当前被融合区域进行扩展；判断扩展后的所述融合区域和扩展后的所述当前被融合区域是否相交以及相交的面积是否满足预设面积要求；若扩展后的所述融合区域和扩展后的所述当前被融合区域相交且相交的面积满足所述预设面积要求，则将所述融合区域和所述当前被融合区域融合，将融合结果作为一次更新后的融合区域；确定下一个被融合区域，对所述一次更新后的融合区域和所述下一个被融合区域重复上述扩展、判断、融合动作，直至不存在能够被融合的被融合区域，得到最终更新后的融合区域，将所述最终更新后的融合区域作为更新后的融合区域。

结合第一方面，本发明实施例提供了第一方面第四种可能的实施方式，其中，确定各个所述融合区域包含的各个所述车辆检验标志的形状和颜色，包括：在当前所述融合区域中，计算当前车辆检验标志的形状为矩形的置信度、以及所述当前车辆检验标志的形状为椭圆形的置信度，将最大的置信度的对应的形状作为所述当前车辆检验标志的形状；根据所述当前车辆检验标志中各个像素点的颜色分量的值确定各个所述像素点的颜色，统计所述当前车辆检验标志中各种颜色的像素点的数量，将数量最多的像素点对应的颜色作为所述当前车辆检验标志的颜色。

结合第一方面上述的实施方式，本发明实施例提供了第一方面第五种可能的实施方式，其中，根据所述车辆检验标志的数量、所述融合区域的数量、各个所述融合区域包含的所述车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索所述目标车辆，包括：确定各个所述待检索车辆图像中的车辆检验标志的数量，将所述数量与所述目标车辆相同的待检索车辆图像筛选出来作为第一集合；在所述第一集合中确定各个所述待检索车辆图像中的融合区域的数量，将所述数量与所述目标车辆相同的待检索车辆图像筛选出来作为第二集合；在所述第二集合中确定各个所述待检索车辆图像中的各个所述融合区域包含的车辆检验标志的数量、形状和颜色，根据各个所述待检索车辆图像中的各个所述融合区域包含的车辆检验标志的数量、形状和颜色在所述第二集合中确定所述目标车辆。

结合第一方面第五种可能的实施方式，本发明实施例提供了第一方面第六种可能的实施方式，其中，根据各个所述待检索车辆图像中的各个所述融合区域包含的车辆检验标志的数量、形状和颜色在所述第二集合中确定所述目标车辆，包括：在各个所述待检索车辆图像中确定各个所述融合区域包含的车辆检验标志的数量作为第一数量、各个所述融合区域包含的各类形状的车辆检验标志的数量作为第二数量，以及各个所述融合区域包含的各类颜色的车辆检验标志的数量作为第三数量；将所述第一数量、所述第二数量、所述第三数量均与所述目标车辆相同的待检索车辆作为所述目标车辆。

第二方面，本发明实施例提供了一种基于大数据的车辆检索装置，所述装置包括：标志提取模块，用于在目标车辆图像中提取目标车辆的各个车辆检验标志；区域融合模块，用于根据各个所述车辆检验标志之间的位置关系对各个所述车辆检验标志进行融合，得到多个融合区域，所述融合区域包括至少一个所述车辆检验标志；特征确定模块，用于确定各个所述融合区域包含的各个所述车辆检验标志的形状和颜色；车辆检索模块，用于根据所述车辆检验标志的数量、所述融合区域的数量、各个所述融合区域包含的所述车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索所述目标车辆。

结合第二方面，本发明实施例提供了第二方面第一种可能的实施方式，其中，所述标志提取模块包括：缩放切换子模块，用于对所述目标车辆图像进行缩放，得到多个不同尺寸的子图像，计算各个所述子图像的特征图，对各个所述子图像的特征图进行滑窗分块，得到多个图像块；阈值比较子模块，用于计算各个所述图像块对应车辆检验标志的置信度，将所述置信度超过预设阈值的多个所述图像块确定为各个所述车辆检验标志对应的图像块；特征提取子模块，用于确定各个所述车辆检验标志对应的图像块在所述目标车辆图像中对应的各个区域，在确定的各个所述区域中提取各个所述车辆检验标志。

结合第二方面，本发明实施例提供了第二方面第二种可能的实施方式，其中，所述区域融合模块包括：排序子模块，用于按照各个所述车辆检验标志的置信度由高到底的顺序对各个所述车辆检验标志进行排序，得到降序序列；遍历子模块，用于在所述降序序列中确定当次融合对应的融合区域和各个被融合区域，利用所述融合区域遍历融合各个所述被融合区域，得到更新后的融合区域；重复子模块，用于根据所述更新后的融合区域更新所述降序序列，在更新后的所述降序序列中重复确定所述融合区域和各个所述被融合区域，重复上述遍历过程，直至每个所述车辆检验标志均被作为所述融合区域遍历过，将得到的多个更新后的融合区域作为最终得到的多个融合区域。

结合第二方面第二种可能的实施方式，本发明实施例提供了第二方面第三种可能的实施方式，其中，所述遍历子模块具体用于：确定当次融合对应的序号，在所述降序序列中，将所述序号对应的车辆检验标志作为所述当次融合对应的融合区域，将所述融合区域以外的各个车辆检验标志作为所述当次融合对应的各个被融合区域；根据所述融合区域的尺寸对所述融合区域进行扩展，根据当前被融合区域的尺寸对所述当前被融合区域进行扩展；判断扩展后的所述融合区域和扩展后的所述当前被融合区域是否相交以及相交的面积是否满足预设面积要求；若扩展后的所述融合区域和扩展后的所述当前被融合区域相交且相交的面积满足所述预设面积要求，则将所述融合区域和所述当前被融合区域融合，将融合结果作为一次更新后的融合区域；确定下一个被融合区域，对所述一次更新后的融合区域和所述下一个被融合区域重复上述扩展、判断、融合动作，直至不存在能够被融合的被融合区域，得到最终更新后的融合区域，将所述最终更新后的融合区域作为更新后的融合区域。

结合第二方面，本发明实施例提供了第二方面第四种可能的实施方式，其中，所述特征确定模块包括：形状确定子模块，用于在当前所述融合区域中，计算当前车辆检验标志的形状为矩形的置信度、以及所述当前车辆检验标志的形状为椭圆形的置信度，将最大的置信度的对应的形状作为所述当前车辆检验标志的形状；颜色确定子模块，用于根据所述当前车辆检验标志中各个像素点的颜色分量的值确定各个所述像素点的颜色，统计所述当前车辆检验标志中各种颜色的像素点的数量，将数量最多的像素点对应的颜色作为所述当前车辆检验标志的颜色。

结合第二方面上述的实施方式，本发明实施例提供了第二方面第五种可能的实施方式，其中，所述车辆检索模块包括：第一筛选子模块，用于确定各个所述待检索车辆图像中的车辆检验标志的数量，将所述数量与所述目标车辆相同的待检索车辆图像筛选出来作为第一集合；第二筛选子模块，用于在所述第一集合中确定各个所述待检索车辆图像中的融合区域的数量，将所述数量与所述目标车辆相同的待检索车辆图像筛选出来作为第二集合；检索子模块，用于在所述第二集合中确定各个所述待检索车辆图像中的各个所述融合区域包含的车辆检验标志的数量、形状和颜色，根据各个所述待检索车辆图像中的各个所述融合区域包含的车辆检验标志的数量、形状和颜色在所述第二集合中确定所述目标车辆。

结合第二方面第五种可能的实施方式，本发明实施例提供了第二方面第六种可能的实施方式，其中，所述检索子模块具体用于：在各个所述待检索车辆图像中确定各个所述融合区域包含的车辆检验标志的数量作为第一数量、各个所述融合区域包含的各类形状的车辆检验标志的数量作为第二数量，以及各个所述融合区域包含的各类颜色的车辆检验标志的数量作为第三数量；将所述第一数量、所述第二数量、所述第三数量均与所述目标车辆相同的待检索车辆作为所述目标车辆。

本发明实施例中，首先在目标车辆图像中提取目标车辆的各个车辆检验标志，其次根据各个车辆检验标志之间的位置关系对各个车辆检验标志进行融合，得到多个融合区域，然后确定各个融合区域包含的各个车辆检验标志的形状和颜色，最后根据车辆检验标志的数量、融合区域的数量、各个融合区域包含的车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索目标车辆。由于车辆检验标志是能够区分各个车辆的标志，具有每个车辆均不同的唯一性，车辆检验标志是根据驾驶员的个人习惯粘贴的，能够反映车辆的检验情况以及驾驶员的粘贴习惯，因此与现有技术相比，通过本实施例中的方法及装置能够根据车辆检验标志检索车辆，提高目标车辆检索的准确性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的基于大数据的车辆检索方法的流程示意图；

图2示出了本发明实施例所提供了的区域融合示意图；

图3示出了本发明实施例所提供的基于大数据的车辆检索装置的模块组成示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中的车辆检索方法具有检索准确性差的问题，本发明提供了一种基于大数据的车辆检索方法及装置，下面结合实施例进行具体描述。

图1示出了本发明实施例所提供的基于大数据的车辆检索方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤S102，在目标车辆图像中提取目标车辆的各个车辆检验标志。

目标车辆图像为包含目标车辆的图像，目标车辆为待查找的车辆，本实施例的目的是在海量车辆图像中根据目标车辆图像查找到目标车辆，从而实现目标车辆的检索。

本发明实施例中，预先训练有车辆检验标志检测器，通过训练好的车辆检验标志检测器从目标车辆图像中提取目标车辆的各个车辆检验标志。车辆检验标志检测器的训练过程如下：首先获取正样本和负样本，正样本为标记有车辆检验标志的矩形区域的车窗图像，标记的方式可以是人工标记，负样本为不含车辆检验标志的车窗图像，将获取的正样本和负样本作为训练车辆检验标志检测器的训练图像集；其次将训练图像集中的所有正样本和所有负样本尺寸归一化；然后提取训练图像集中的所有正样本和所有负样本的聚合通道特征，聚合通道特征包括LUV色彩空间、梯度幅值和梯度方向三类特征；最后根据提取的聚合通道特征训练多个软级联分类器，将训练好的多个软级联分类器作为最终训练得到车辆检验标志检测器。

通过训练好的车辆检验标志检测器从目标车辆图像中提取目标车辆的各个车辆检验标志具体包括以下子步骤：

子步骤S1021，对目标车辆图像进行缩放，得到多个不同尺寸的子图像，计算各个子图像的特征图，对各个子图像的特征图进行滑窗分块，得到多个图像块。

具体地，将目标车辆图像缩放到不同的尺度，得到金字塔形状排列的分辨率逐步降低的多个子图像，该多个子图像组成图像集合。由于在训练车辆检验标志检测器时，对正负样本进行了归一化，使得训练好的车辆检验标志检测器只能够检测和正负样本中的车辆检验标志尺寸相近的车辆检验标志，对于过大或者过小的车辆检验标志无法实现精确检测，因此本子步骤中，需要对目标车辆图像进行缩放，得到多张尺寸不同的子图像，便于车辆检验标志检测器进行检测。

在得到多个不同尺寸的子图像之后，计算各个子图像的特征图，具体是计算各个子图像中每个像素点的聚合通道特征，某个子图像中所有像素点的聚合通道特征形成该子图像的特征图，对各个子图像的特征图按照设定窗口设定步长进行滑窗分块，得到多个图像块，其中，设定窗口在目标车辆图像上的大小与车辆检验标志检测器能够检测的车辆检验标志的大小一致，在各个特征图中的设定窗口的尺寸大小一致，从而在各个特征图中寻找到尺寸小于设定窗口的车辆检验标志，设定步长越小，检测精度越高，因此设定步长优选为1个像素。

子步骤S1022，计算各个图像块对应车辆检验标志的置信度，将置信度超过预设阈值的多个图像块确定为各个车辆检验标志对应的图像块。

计算各个图像块对应车辆检验标志的置信度，具体为，根据每个图像块中每个像素点的聚合通道特征以及上述训练好的各个软级联分类器的权重计算每个图像块中每个像素点的置信度，将当前图像块中所有像素点的置信度加和作为当前图像块的置信度，从而得到各个图像块对应车辆检验标志的置信度。

利用训练好的车辆检验标志检测器将置信度超过预设阈值的多个图像块确定为各个车辆检验标志对应的图像块，将置信度小于预设阈值的多个图像块确定为车窗背景区域对应的图像块。

子步骤S1023，确定各个车辆检验标志对应的图像块在目标车辆图像中对应的各个区域，在确定的各个区域中提取各个车辆检验标志。

由于子步骤S1022中确定的各个车辆检验标志对应的图像块是不同尺寸的子图像中的图像块，因此本步骤中，将各个车辆检验标志对应的图像块投射回目标车辆图像，即在目标车辆图像中确定各个车辆检验标志对应的图像块对应的各个区域，确定的各个区域即为各个车辆检验标志对应的区域。考虑到置信度大于预设阈值的图像块并不一定是包括完整的车辆检验标志的图像块，还可能是包括部分车辆检验标志的图像块，因此确定的区域中有些区域包括了完整的车辆检验标志，有些区域包括了部分的车辆检验标志，因此还需要根据非极大值抑制算法在确定的区域中确定各个最能够表征各个车辆检验标志的区域，其中，一个区域表征一个车辆检验标志，从确定的区域中提取车辆检验标志。

由于前述子步骤S1022计算了各个图像块对应车辆检验标志的置信度，而最终提取的车辆检验标志存在于某个图像块中，因此本步骤还能够输出各个车辆检验标志的置信度，并且能够输出各个车辆检验标志在目标车辆图像中的位置，即，各个车辆检验标志所在的矩形区域在目标车辆图像中的位置，以及输出目标车辆图像中包括的车辆检验标志的数量。

通过步骤S102，能够在目标车辆图像中提取各个车辆检验标志，车辆检验标志可以是年检标等车辆检验标志，从而为后续车辆检索奠定基础。

步骤S104，根据各个车辆检验标志之间的位置关系对各个车辆检验标志进行融合，得到多个融合区域，融合区域包括至少一个车辆检验标志。

考虑到车辆中存在多个车辆检验标志时，多个车辆检验标志中有些标志位置比较接近，有些标志相离比较远，因此能够根据各个车辆检验标志之间的位置关系对各个车辆检验标志进行融合，使位置相近的多个车辆检验标志形成融合区域，当存在有一个车辆检验标志与其他车辆检验标志都不相近时，该车辆检验标志独立作为一个融合区域。

本步骤具体包括以下子步骤：

子步骤S1041，按照各个车辆检验标志的置信度由高到底的顺序对各个车辆检验标志进行排序，得到降序序列。

子步骤S1042，在上述降序序列中确定当次融合对应的融合区域和各个被融合区域，利用融合区域遍历融合各个被融合区域，得到更新后的融合区域。

其中，融合区域是某个车辆检验标志所在的矩形区域，被融合区域是另一个车辆检验标志所在的矩形区域，利用融合区域遍历融合各个被融合区域，得到更新后的融合区域，指的是，将融合区域与当前被融合区域进行融合，若融合成功，则得到一次更新后的融合区域，利用一次更新后的融合区域继续融合下一个被融合区域，直至不存在能够融合的被融合区域为止，将多次更新后的融合区域作为更新后的融合区域。

本步骤具体包括以下动作：

(1)确定当次融合对应的序号，在降序序列中，将该序号对应的车辆检验标志作为当次融合对应的融合区域，将融合区域以外的各个车辆检验标志作为当次融合对应的各个被融合区域。

比如，当当次融合为第一次融合时，则当次融合对应的序号为1，则在降序序列中，将第一个车辆检验标志作为融合区域，其余的车辆检验标志作为被融合区域。每次融合之后，都会对降序序列进行更新，当当次融合为第n次融合时，则当次融合对应的序号为n，则在更新后的降序序列中，将第n个车辆检验标志作为融合区域，其余的车辆检验标志作为被融合区域。

(2)根据融合区域的尺寸对融合区域进行扩展，根据当前被融合区域的尺寸对当前被融合区域进行扩展。

图2示出了本发明实施例所提供了的区域融合示意图，如图2所示，取融合区域左上点坐标为(Left1，Top1)，右下点坐标为(Right1，Botton1),宽高为(Width1，Height1),当前被融合区域左上点坐标为(Left2，Top2)，右下点坐标为(Right2，Botton2),宽高为(Width2，Height2)。按照公式计算融合区域对应的Nh、Nv，将融合区域的左右和上下分别向外扩展Nh、Nv个像素，同理，计算当前被融合区域对应的Nh、Nv，将当前被融合区域的左右和上下分别向外扩展Nh、Nv个像素。Nh和Nv是与融合区域或当前被融合区域的矩形宽高成反比的计算值，λh和λv是预设的权重，本发明将λh设为1000，λv设为1200。需要说明的是，λh和λv是经验值，目的是设定Nh、Nv的初始值，保证在最开始融合时Nh、Nv可以有较大的值。根据车辆检验标志粘贴习惯，一般将检验标志垂直粘贴(水平粘贴阻碍司机视线)，因此增加垂直方向区域融合可能性，因此λv较λh大，垂直区域更容易重合。

(3)判断扩展后的融合区域和扩展后的当前被融合区域是否相交以及相交的面积是否满足预设面积要求。

判断扩展后的融合区域和扩展后的当前被融合区域是否相交可以是：比较扩展后的融合区域的左边界的坐标值和扩展后的当前被融合区域的左边界的坐标值，将二者中最大的坐标值作为第一坐标值；比较扩展后的融合区域的右边界的坐标值和扩展后的当前被融合区域的右边界的坐标值，将二者中最小的坐标值作为第二坐标值；比较扩展后的融合区域的上边界的坐标值和扩展后的当前被融合区域的上边界的坐标值，将二者中最大的坐标值作为第三坐标值；比较扩展后的融合区域的下边界的坐标值和扩展后的当前被融合区域的下边界的坐标值，将二者中最小的坐标值作为第四坐标值；如果第一坐标值小于第二坐标值，且第三坐标值小于第四坐标值，则扩展后的融合区域和扩展后的当前被融合区域相交，否则，不相交。

如图2所示，以扩展后的融合区域的左上点为原点，向右和向下为坐标轴正方向，第一坐标值为扩展后的当前被融合区域的左边界的坐标值，第二坐标值为扩展后的融合区域的右边界的坐标值，第一坐标值小于第二坐标值，第三坐标值为扩展后的当前被融合区域的上边界的坐标值，第四坐标值为扩展后的融合区域的下边界的坐标值，第三坐标值小于第四坐标值，因此图2中，确定扩展后的融合区域和扩展后的当前被融合区域相交。

其他实施方式中，也可以计算扩展后的融合区域和扩展后的当前被融合区域二者所在区域的外界矩形的长和宽，并计算扩展后的融合区域和扩展后的当前被融合区域的长之和，以及扩展后的融合区域和扩展后的当前被融合区域的宽之和，若外界矩形的长小于扩展后的融合区域和扩展后的当前被融合区域的长之和，且外界矩形的宽小于扩展后的融合区域和扩展后的当前被融合区域的宽之和，则扩展后的融合区域和扩展后的当前被融合区域相交。

在确定扩展后的融合区域和扩展后的当前被融合区域相交之后，还计算二者的交并比，即图2中二者的交集面积S1和二者的并集面积S2的比值，当该比值大于预设比值，如0.1时，确定二者相交的面积满足预设面积要求。

(4)若扩展后的融合区域和扩展后的当前被融合区域相交且相交的面积满足预设面积要求，则将融合区域和当前被融合区域融合，将融合结果作为一次更新后的融合区域。

当扩展后的融合区域和扩展后的当前被融合区域相交且相交的面积满足预设面积要求时，则将融合区域和当前被融合区域融合，将融合结果作为一次更新后的融合区域，并利用融合结果确定一次更新后的融合区域的位置信息，如图2所示，一次更新后的融合区域的四个顶点分别为Leftmin、Topmin、Rightmax和Bottommax。

(5)确定下一个被融合区域，对一次更新后的融合区域和下一个被融合区域重复上述扩展、判断、融合动作，直至不存在能够被融合的被融合区域，得到最终更新后的融合区域，将最终更新后的融合区域作为更新后的融合区域。

通过上述动作(1)到(4)，完成了融合区域和当前被融合区域的融合工作，接下来，确定下一个被融合区域，对一次更新后的融合区域和下一个被融合区域重复上述扩展、判断、融合动作，从而得到二次更新后的融合区域，以此循环，直至不存在能够被融合的被融合区域，得到最终更新后的融合区域，将最终更新后的融合区域作为更新后的融合区域。

由于在融合过程中，融合区域包含越来越多的车辆检验标志，因此融合区域的尺寸越来越大，因此可扩展的尺寸越来越小，因此与被融合区域融合的可能性越来越低。

本实施例中，由于是根据融合区域的尺寸对融合区域进行扩展，以及根据被融合区域的尺寸对被融合区域进行扩展，因此能够尽最大可能融合被融合区域，又避免在融合区域较大、距被融合区域较远时导致包含过多的非车辆检验标志特征被融合进去。

子步骤S1043，根据更新后的融合区域更新降序序列，在更新后的降序序列中重复确定融合区域和各个被融合区域，重复上述遍历过程，直至每个车辆检验标志均被作为融合区域遍历过，将得到的多个更新后的融合区域作为最终得到的多个融合区域。

比如，按照置信度降序排列，得到1号、2号、3号、4号、5号5个车辆检验标志，在第一次融合时，将1号车辆检验标志作为融合区域，2号车辆检验标志作为当前被融合区域，将1号标志和2号标志进行扩展、判断以及融合动作，如果1号标志和2号标志融合成功，则得到一次更新后的融合区域，将一次更新后的融合区域作为融合区域，3号标志为下一个被融合区域，融合区域继续和3号标志进行融合，以此循环，直至得到最终更新后的融合区域，比如该最终更新后的融合区域包括1号、2号和4号，将最终更新后的融合区域作为更新后的融合区域。

根据更新后的融合区域更新降序序列，取更新后的融合区域中的置信度最大值作为该更新后的融合区域的置信度，则更新后的降序序列为1号、2号和4号作为第一个车辆检验标志，然后是3号标志和5号标志。

在更新后的降序序列中重复根据当次融合的序号确定融合区域和被融合区域，重复上述遍历过程，直至每个车辆检验标志均被作为融合区域遍历过，将得到的多个更新后的融合区域作为最终得到的多个融合区域。上例中，在第二次融合时，融合区域是3号标志，1号、2号和4号对应的区域、以及5号标志为被融合区域。

本步骤中，还能够得到各个融合区域的位置信息、融合区域的数量，以及各个融合区域中包含的车辆检验标志的数量。

通过步骤S104，能够根据各个车辆检验标志之间的位置关系对各个车辆检验标志进行融合，得到多个融合区域，为后续车辆检索做准备。

步骤S106，确定各个融合区域包含的各个车辆检验标志的形状和颜色。

本步骤中，在当前融合区域中，计算当前车辆检验标志的形状为矩形的置信度、以及当前车辆检验标志的形状为椭圆形的置信度，将最大的置信度的对应的形状作为当前车辆检验标志的形状。

本实施例中预先训练有车辆检验标志形状检测器，利用预先训练的车辆检验标志形状检测器对目标图像中的各个融合区域进行检测，得到各个融合区域包含的各个车辆检验标志的形状。车辆检验标志一般有矩形和椭圆两种形状，因此分别训练矩形检测器和椭圆检测器，训练矩形检测器时，将标记有矩形车辆检验标志的矩形区域的车窗图像作为正样本，将没有车辆检验标志的车窗图像作为负样本，将所有正样本和所有负样本尺寸归一化，提取归一化后的正样本和负样本的聚合通道特征，聚合通道特征包括灰度特征、梯度幅值和梯度方向三类特征，根据提取的聚合通道特征训练多个软级联分类器，将训练好的多个软级联分类器作为最终训练得到矩形检测器。训练椭圆检测器时，正样本为标记有椭圆车辆检验标志的矩形区域的车窗图像，其余过程与训练矩形检测器一致，这里不再赘述。

利用训练好的矩形检测器和椭圆检测器检测车辆检验标志的形状时，首先将通过步骤S102提取到的车辆检验标志的所在区域归一化到固定尺度，提取该固定尺度的图像的灰度、梯度幅值和梯度方向三个特征，利用训练好的矩形检测器根据上述三个特征计算该车辆检验标志对应矩形的置信度，并利用训练好的椭圆检测器根据上述三个特征计算该车辆检验标志对应椭圆的置信度，将最大的置信度的对应的形状作为该车辆检验标志的形状。

本步骤中，根据当前车辆检验标志中各个像素点的颜色分量的值确定各个像素点的颜色，统计当前车辆检验标志中各种颜色的像素点的数量，将数量最多的像素点对应的颜色作为当前车辆检验标志的颜色。

具体地，遍历当前车辆检验标志的矩形区域内的RGB像素并将其转化到HSV色彩空间，判断转化后的每个像素点的H、S、V三个分量的大小，当H∈[0,180]，当S∈[0,30]，当V∈[221,255]，判定该像素点为白色，当H∈[26,34]，当S∈[43,255]，当V∈[46,255]，判定该像素点为黄色，当H∈[35,77]，当S∈[43,255]，当V∈[46,255]，判定该像素点为绿色，当H∈[100,124]，当S∈[43,255]，当V∈[46,255]，判定该像素点为蓝色。统计当前车辆检验标志的矩形区域内四种颜色对应的像素点的数量，取最大者作为当前车辆检验标志的颜色。

本步骤中，在确定各个融合区域包含的各个车辆检验标志的形状和颜色后，还能够确定各个融合区域包含的各类形状的车辆检验标志的数量，以及各个融合区域包含的各类颜色的车辆检验标志的数量，如当前融合区域包含的矩形标志的数量、椭圆标志的数量、黄色标志的数量、绿色标志的数量以及蓝色标志的数量。

通过步骤S106，能够确定各个融合区域包含的各个车辆检验标志的形状和颜色，为后续车辆检索做准备。

步骤S108，根据车辆检验标志的数量、融合区域的数量、各个融合区域包含的车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索目标车辆。

本步骤具体包括以下四个子步骤：

子步骤S1081，确定各个待检索车辆图像中的车辆检验标志的数量，将该数量与目标车辆相同的待检索车辆图像筛选出来作为第一集合。

本步骤中，提取各个待检索车辆图像中的车辆检验标志，确定各个待检索车辆图像中的车辆检验标志的数量，将该数量与目标车辆中的车辆检验标志的数量比较，将该数量与目标车辆相同的待检索车辆图像筛选出来作为第一集合。

子步骤S1082，在第一集合中确定各个待检索车辆图像中的融合区域的数量，将该数量与目标车辆相同的待检索车辆图像筛选出来作为第二集合。

本步骤中，在第一集合中，按照前述步骤S104的过程提取各个待检索车辆图像中的融合区域，确定各个待检索车辆图像中的融合区域的数量，将各个待检索车辆图像中的融合区域的数量与目标车辆中融合区域的数量作比较，将数量相同的待检索车辆图像筛选出来作为第二集合。

子步骤S1083，在第二集合中确定各个待检索车辆图像中的各个融合区域包含的车辆检验标志的数量、形状和颜色，根据各个待检索车辆图像中的各个融合区域包含的车辆检验标志的数量、形状和颜色在第二集合中确定目标车辆。

具体地，在各个待检索车辆图像中确定各个融合区域包含的车辆检验标志的数量作为第一数量、各个融合区域包含的各类形状的车辆检验标志的数量作为第二数量，以及各个融合区域包含的各类颜色的车辆检验标志的数量作为第三数量；将该第一数量、第二数量、第三数量均与目标车辆相同的待检索车辆作为目标车辆。

在第二集合中，对于当前待检索车辆图像，确定当前待检索车辆图像中各个融合区域包含的车辆检验标志的数量为第一数量，各个融合区域包含的各类形状的车辆检验标志的数量作为第二数量，各个融合区域包含的各类颜色的车辆检验标志的数量作为第三数量，在目标车辆图形中，确定目标车辆的第一数量、第二数量和第三数量，将第一数量、第二数量、第三数量均与目标车辆相同的待检索车辆作为目标车辆。

本实施例中，由于在训练各个检测器和分类器时，需要利用大量样本数据，因此本实施例实质上是一种基于大数据的车辆检索方法。

本发明实施例中，首先在目标车辆图像中提取目标车辆的各个车辆检验标志，其次根据各个车辆检验标志之间的位置关系对各个车辆检验标志进行融合，得到多个融合区域，然后确定各个融合区域包含的各个车辆检验标志的形状和颜色，最后根据车辆检验标志的数量、融合区域的数量、各个融合区域包含的车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索目标车辆。由于车辆检验标志是能够区分各个车辆的标志，具有每个车辆均不同的唯一性，车辆检验标志是根据驾驶员的个人习惯粘贴的，能够反映车辆的检验情况以及驾驶员的粘贴习惯，因此与现有技术相比，通过本实施例中的方法能够根据车辆检验标志检索车辆，提高目标车辆检索的准确性。

车辆检验标志具有数量不定、位置分散，形状颜色各异等特点。本发明实施例不仅着眼于单个检验标志特征信息，而且重点关注车辆多个检验标志的群体特征，从而提高车辆检索的准确性。前述提到的聚合通道特征还能够替换为HOG特征或者HAAR特征。

图3示出了本发明实施例提供的基于大数据的车辆检索装置的模块组成示意图，如图3所示，该装置包括：标志提取模块31，用于在目标车辆图像中提取目标车辆的各个车辆检验标志；区域融合模块32，用于根据各个车辆检验标志之间的位置关系对各个车辆检验标志进行融合，得到多个融合区域，融合区域包括至少一个车辆检验标志；特征确定模块33，用于确定各个融合区域包含的各个车辆检验标志的形状和颜色；车辆检索模块34，用于根据车辆检验标志的数量、融合区域的数量、各个融合区域包含的车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索目标车辆。

上述标志提取模块31包括：缩放切换子模块，用于对目标车辆图像进行缩放，得到多个不同尺寸的子图像，计算各个子图像的特征图，对各个子图像的特征图进行滑窗分块，得到多个图像块；阈值比较子模块，用于计算各个图像块对应车辆检验标志的置信度，将置信度超过预设阈值的多个图像块确定为各个车辆检验标志对应的图像块；特征提取子模块，用于确定各个车辆检验标志对应的图像块在目标车辆图像中对应的各个区域，在确定的各个区域中提取各个车辆检验标志。

上述区域融合模块32包括：排序子模块，用于按照各个车辆检验标志的置信度由高到底的顺序对各个车辆检验标志进行排序，得到降序序列；遍历子模块，用于在降序序列中确定当次融合对应的融合区域和各个被融合区域，利用融合区域遍历融合各个被融合区域，得到更新后的融合区域；重复子模块，用于根据更新后的融合区域更新降序序列，在更新后的降序序列中重复确定融合区域和各个被融合区域，重复上述遍历过程，直至每个车辆检验标志均被作为融合区域遍历过，将得到的多个更新后的融合区域作为最终得到的多个融合区域。

其中，遍历子模块具体用于：确定当次融合对应的序号，在降序序列中，将序号对应的车辆检验标志作为当次融合对应的融合区域，将融合区域以外的各个车辆检验标志作为当次融合对应的各个被融合区域；根据融合区域的尺寸对融合区域进行扩展，根据当前被融合区域的尺寸对当前被融合区域进行扩展；判断扩展后的融合区域和扩展后的当前被融合区域是否相交以及相交的面积是否满足预设面积要求；若扩展后的融合区域和扩展后的当前被融合区域相交且相交的面积满足预设面积要求，则将融合区域和当前被融合区域融合，将融合结果作为一次更新后的融合区域；确定下一个被融合区域，对一次更新后的融合区域和下一个被融合区域重复上述扩展、判断、融合动作，直至不存在能够被融合的被融合区域，得到最终更新后的融合区域，将最终更新后的融合区域作为更新后的融合区域。

上述特征确定模块33包括：形状确定子模块，用于在当前融合区域中，计算当前车辆检验标志的形状为矩形的置信度、以及当前车辆检验标志的形状为椭圆形的置信度，将最大的置信度的对应的形状作为当前车辆检验标志的形状；颜色确定子模块，用于根据当前车辆检验标志中各个像素点的颜色分量的值确定各个像素点的颜色，统计当前车辆检验标志中各种颜色的像素点的数量，将数量最多的像素点对应的颜色作为当前车辆检验标志的颜色。

上述车辆检索模块34包括：第一筛选子模块，用于确定各个待检索车辆图像中的车辆检验标志的数量，将该数量与目标车辆相同的待检索车辆图像筛选出来作为第一集合；第二筛选子模块，用于在第一集合中确定各个待检索车辆图像中的融合区域的数量，将该数量与目标车辆相同的待检索车辆图像筛选出来作为第二集合；检索子模块，用于在第二集合中确定各个待检索车辆图像中的各个融合区域包含的车辆检验标志的数量、形状和颜色，根据各个待检索车辆图像中的各个融合区域包含的车辆检验标志的数量、形状和颜色在第二集合中确定目标车辆。

其中，检索子模块具体用于：在各个待检索车辆图像中确定各个融合区域包含的车辆检验标志的数量作为第一数量、各个融合区域包含的各类形状的车辆检验标志的数量作为第二数量，以及各个融合区域包含的各类颜色的车辆检验标志的数量作为第三数量；将第一数量、第二数量、第三数量均与目标车辆相同的待检索车辆作为目标车辆。

本实施例中，由于在训练各个检测器和分类器时，需要利用大量样本数据，因此本实施例实质上是一种基于大数据的车辆检索装置。

本发明实施例中，首先在目标车辆图像中提取目标车辆的各个车辆检验标志，其次根据各个车辆检验标志之间的位置关系对各个车辆检验标志进行融合，得到多个融合区域，然后确定各个融合区域包含的各个车辆检验标志的形状和颜色，最后根据车辆检验标志的数量、融合区域的数量、各个融合区域包含的车辆检验标志的数量、形状和颜色，在多个待检索车辆图像中逐层检索目标车辆。由于车辆检验标志是能够区分各个车辆的标志，具有每个车辆均不同的唯一性，车辆检验标志是根据驾驶员的个人习惯粘贴的，能够反映车辆的检验情况以及驾驶员的粘贴习惯，因此与现有技术相比，通过本实施例中的装置能够根据车辆检验标志检索车辆，提高目标车辆检索的准确性。

本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。