一种基于自定义特征的车辆搜索方法与系统的制作方法
【专利摘要】本发明涉及一种基于自定义特征的车辆搜索方法与系统，所述方法包括：提取监控摄像头拍摄的车辆图像数据库中每辆车的特征并保存；根据自定义特征，在监控摄像头拍摄的车辆图像数据库中搜索满足所述自定义特征的车辆并返回搜索结果。所述系统包括：车辆图像数据读取装置、车辆区域定位装置、车辆特征提取装置、车辆特征存储装置、车辆搜索装置以及搜索结果展示装置。本发明提供的方法与系统能提供多样化的搜索方式，使得用户能根据实际情况自定义搜索特征进行车辆搜索，大大减少了办案人员进行人工确认的图像数量，有效地节省了人力物力，使得办案效率大大提高，能产生非常好的社会和经济效益。
【专利说明】一种基于自定义特征的车辆搜索方法与系统
【技术领域】
[0001]本发明属于基于内容的图像搜索技木，特别涉及一种基于自定义特征的车辆搜索方法与系统。
【背景技术】
[0002]目前随着监控摄像头的普及，全国各大中小城市基本都部署了监控摄像头。每天都能拍摄到大量的车辆图像，ー个城市每天产生的数据是海量的，这为交通部门和公安机关侦破各类交通肇事和刑事犯罪提供了非常丰富的数据。
[0003]交通部门和公安机关侦破案件时，一般只有嫌疑车辆的ー张拍摄图像，甚至没有图像，只有ー些定性的特征，例如只知道嫌疑车辆是一辆黑色越野车，它肇事或犯罪后可能会经过哪几个卡ロ等。在只掌握比较少的信息的情况下，交通部门和公安机关需要从海量的车辆图像库中找出和嫌疑车辆比较相似的车辆。目前这个工作主要依靠人工进行，通过一些经验丰富的人员用肉眼进行排查。这是非常困难的，效率也很低，导致需要花费大量的人力和物カ才有可能从海量车辆图像库中找到嫌疑车辆，这无疑会大大延长案件的侦破时间。目前也有借助ー些智能化手段，最常见的就是目前比较成熟的车牌号码识别，通过识别车牌号码，再查询车牌号码对应的车辆(如中国专利申请“ー种基于天网工程中公共安全视频图像的车辆特征识别装置”，专利申请号:201110387284.0)。但是由于嫌疑车辆在肇事或犯罪之后往往采取套牌或直接把车牌摘掉的方式逃避罪责，这种情况下车牌号码识别也就无法使用了。
[0004]正是由于目前能用的智能化手段很少，所以目前还是只能依靠人工排查，这就限制了海量车辆图像库在交通部门和公安机关侦破案件过程中的使用，导致这些数据的价值没有很好的利用。
【发明内容】
[0005]本发明的目的是提供一种基于自定义特征的车辆搜索方法与系统，以改变目前基本靠人工在海量车辆数据库中进行嫌疑车辆搜索的现状，将大部分的排查工作交给计算机自动进行，使得在大量减少人力和物力的前提下，大大提高案件侦破效率。
[0006]为了实现上述目的，本发明所采用的技术方案是:
[0007]一种基于自定义特征的车辆搜索方法，包括以下两个步骤:
[0008]第一步骤:提取监控摄像头拍摄的车辆图像数据库中每辆车的特征并保存；
[0009]第二步骤:根据自定义特征，在监控摄像头拍摄的车辆图像数据库中搜索满足所述自定义特征的车辆并返回捜索結果。
[0010]上述步骤I具体包括以下步骤:
[0011](I)获取车辆图像库存放的地址；
[0012](2)从图像库中读取一幅车辆图像I ;
[0013](3)从读取的车辆图像I中定位出车辆所在区域，并切割出车辆所在图像区域；[0014](4)基于切割出的车辆区域，提取车辆的多种特征；
[0015](5)将提取的车辆特征保存；
[0016](6)重复以上步骤(2) - (5)，直到所述图像数据库中所有车辆图像都处理完。
[0017]步骤(I)中所述图像数据库的地址可以是本地计算机上的一个或多个可访问的文件夹或图像数据库入口，也可以是远程计算机上的一个或多个可访问的文件夹或图像数据库的入口。
[0018]步骤(2)中所述的读取的车辆图像可以是灰度图像或彩色图像。
[0019]步骤(3)中，在图像中定位车辆所在区域具体指确定图像中包含车辆的数目以及每辆车在图像中的位置和大小。
[0020]步骤(3)中，在图像中定位车辆所在区域具体方法可以是如下的方法A:首先在图像中检测所有车的车牌位置和大小，然后根据每个车牌的位置和大小确定此车牌所属车辆的大致区域，最后在此大致区域内精确定位出此车辆所在位置和大小。
[0021]上述定位车辆所在区域的方法A中，车牌检测方法可以是基于梯度特征的图像处理方法，也可以是基于机器学习的模式分类方法，在此不做进ー步的描述。
[0022]上述定位车辆所在区域的方法A中，根据每个车牌的位置和大小确定车牌所属车辆的大致区域的方法可以是根据车辆和车牌的大致比例关系确定，也可以是:首先统计车辆在图像中的区域大小范围，然后根据此范围确定。
[0023]上述定位车辆所在区域的方法A中，在确定的车辆大致范围中精确定位车辆所在位置和大小的方法可以是:首先在车辆大致区域中提取边缘特征，然后经过水平和垂直投影确定车辆的上下左右边界。
[0024]上述定位车辆所在区域的方法A适用于挂有车牌的车辆，对没有挂车牌的车辆不适用。
[0025]步骤(3)中，在图像中定位车辆所在区域具体方法也可以是如下方法B:首先在整幅图像中找出所有满足一定対称性条件的对称轴，然后在每条对称轴上下左右一定区域内寻找候选车辆区域，最后对所有候选车辆区域进行验证确定真正的车辆区域。
[0026]上述定位车辆所在区域的方法B中，寻找满足一定対称性条件的对称轴时可以是基于图像的亮度特征，也可以是基于图像的边缘特征。
[0027]上述定位车辆所在区域的方法B中，在每条对称轴上下左右一定区域内寻找候选车辆区域的方法可以是:首先统计车辆在图像中的区域大小范围，据此确定ー个车辆候选区域的初始左右边界，然后根据图像的边缘特征，通过垂直投影等方法对初始左右边界进行调整，确定车辆候选区域的最終左右边界。确定车辆候选区域的左右边界之后，根据统计的车辆区域大小范围，确定此车辆候选区域的初始上下边界，然后在此范围内，根据图像的边缘特征，采用水平投影等方法对初始上下边界进行调整，确定此车辆候选区域的最終上下边界。按照上述同样方法，在此对称轴上下多个位置，可以确定多个车辆候选区域。
[0028]上述定位车辆所在区域的方法B中，对所有候选车辆区域进行验证的方法可以是根据候选区域左右边界之间距离和上下边界之间距离之间的比值进行验证，满足一定条件的才可能是真正的车辆区域；也可以是通过机器学习的方法，学习得到车辆区域与非车辆区域的分类器，通过此分类器确定真正的车辆区域。
[0029]上述定位车辆所在区域的方法B适用于挂车牌和不挂车牌的车辆。[0030]步骤(3)中，在图像中定位车辆所在区域具体方法也可以是融合上述方法A和方法B的方法C，在此不做进ー步的描述。
[0031]步骤(3)中，在图像中定位车辆所在区域具体方法也可以是如下方法D:首先通过大量车辆样本和非车辆样本，米用机器学习的方法，如AdaBoot、SVM等,学习得到区分车辆与非车辆的分类器，然后用此分类器对图像中的所有不同位置和大小的区域进行分类，分类为车辆的区域即为车辆所在区域。
[0032]上述定位车辆所在区域的方法D适用于挂车牌和不挂车牌的车辆。
[0033]步骤(3)中切割出车辆所在图像区域是指将图像中属于车辆区域的图像块切割出来，作为后续进ー步处理的输入数据。
[0034]步骤(4)中，提取车辆的多种特征是指对切割出的车辆图像区域，通过图像识别技术，将所有能表征车辆的特征提取出来。
[0035]步骤(4)中，提取的多种特征包括但不限于以下特征:车辆图像拍摄时间、拍摄地点、车牌颜色、车牌号码、车身顔色、车型、车标类型、排气扇外轮廓(格柵)形状、车灯外轮廓形状、挡风玻璃外轮廓形状、年检标志、车内装饰物等。
[0036]步骤(4)中，提取的多种特征中的车辆图像拍摄时间是指摄像头拍摄车辆的时间，包括年、月、日、时、分和秒。车辆图像拍摄时间的提取方法可以是通过光学字符识别(OCR)技术识别出打印到车辆图像中的日期和时间得到，也可以通过分析图像的文件命名方式得至IJ，也可以通过读取数据库中的拍摄时间字段得到。
[0037]步骤(4)中，提取的多种特征中的拍摄地点特征是指车辆被拍摄时所在地的名称。拍摄地点的提取方法可以是光学字符识别(OCR)技术识别出打印到车辆图像中的名称得至IJ，也可以通过读取数据库中的拍摄地点字段得到。
[0038]步骤(4)中，提取的多种特征中的车牌颜色特征是指车辆所挂车牌的底色，可以是黒色、白色、蓝色、黄色等。车牌颜色特征的提取方法可以根据车牌号码字符与底色之间的对应关系，分析车牌区域的顔色分布得到。
[0039]步骤(4)中，提取的多种特征中的车牌号码特征是指车辆所挂车牌上面的字符。车牌号码可以根据光学字符识别(OCR)技术提取。
[0040]步骤(4)中，提取的多种特征中的车身颜色特征是指车辆区域中除去挡风玻璃之后的其它区域的主要顔色类别及其深浅程度。车身颜色包括但不限于以下种类:黒色、银灰色、白色、蓝色、黄色、红色、緑色、紫色、褐色等。车身颜色特征的提取方法可以是通过统计车辆区域中除去挡风玻璃之后的其它区域在多种颜色空间中的顔色分布确定，也可以是通过机器学习的方法，学习能区分不同顔色的分类器，通过此分类器对车身颜色进行分类得至IJ。
[0041]步骤(4)中，提取的多种特征中的车型特征是用于表征车辆的大小、外观结构和基本功能的特征，具体包括但不限于以下种类:小轿车、越野车、皮卡车、面包车、中型客车、中型货车、大型货车、大型客车、大型卡车等。车型特征的提取方法可以是:首先获取大量不同车型的样本，然后采用机器学习的方法学习得到能区分不同车型的分类器，最后利用此分类器对车辆进行分类确定其车型。
[0042]步骤(4)中，提取的多种特征中的车标类型特征是指车辆上面的车标所表示的车辆的生产厂商，例如大众、福特、宝马、奔驰等。车标类型包括市场上面所有在卖车辆的生产厂商以及后续出现的新的生产厂商。车标类型的识别方法可以是:首先收集各种车标类型的车辆图像，从中切割出车标区域作为各车标类型的样本，然后采用机器学习的方法学习能区分不同车标类型的分类器，最后通过学习得到的分类器对车标所在的大致范围内的所有区域进行分类，确定是否含有某类车标。车标类型的识别方法也可以是:将搜集的各车标类型样本作为模板，采用模板匹配的方法，找出车标所在大致范围内是否含有某种类型的车标。
[0043]步骤(4)中，提取的多种特征中的排气扇外轮廓形状特征是指车辆排气扇外围边界所呈现的形状类型。提取这种特征是基于以下考虑:不同车辆的排气扇外轮廓呈现多样化的形状，因此利用此特征可以非常有效地排除很多不相干的车辆。排气扇外轮廓形状类别包括但不限于以下种类:梯形、倒梯形、矩形、双ロ型等。提取排气扇外轮廓形状特征的方法可以是:首先确定排气扇的大致区域，然后提取此区域的边缘特征，最后通过分析边缘特征分布，采用区域增长、直线检测和拟合等方法确定排气扇的外轮廓的边界及边界的交点，分析连接边界的交点的直线所组成的多边形的形状即可确定排气扇的外轮廓形状类别。
[0044]步骤(4)中，提取的多种特征中的车灯外轮廓形状特征是指车辆前方或后方车灯外围边界所呈现的形状类型。提取这种特征也是因为不同车辆的车灯外轮廓呈现多样化的形状，可以利用此特征有效地排除很多不相干的车辆。车灯外轮廓形状类别包括但不限于以下种类:圆形、四边形、三角形、椭圆形等。提取车灯外轮廓形状特征的方法与上述提取排气扇外围轮廓的方法类似，在此不作进ー步的描述。
[0045]步骤(4)中，提取的多种特征中的挡风玻璃外轮廓形状特征是指车辆挡风玻璃外围边界所呈现的形状类型。挡风玻璃形状能很好的粗分车型，即小车和大车。小车挡风玻璃外轮廓呈梯形，而大车挡风玻璃外轮廓呈矩形。提取挡风玻璃外轮廓形状特征前，首先需要定位出挡风玻璃区域，方法可以是通过机器学习的方法，如AdaBoost、SVM等，学习区分挡风玻璃与非挡风玻璃的分类器。利用学习到的分类器在车辆区域内检测出挡风玻璃。
[0046]步骤(4)中，提取的多种特征中的年检标志特征是指车辆的挡风玻璃左上角一定区域内是否贴有年检标志以及年检标志的个数及它们的排列方式等。年检标志的排列方式包括但不限于以下种类:水平排列、垂直排列、部分水平排列部分垂直排列、倾斜排列等。年检标志特征的提取方法可以是:首先定位出挡风玻璃区域，然后在此区域内，通过分析梯度边缘特征确定年检标志候选区域，最后通过由机器学习方法得到的年检标志和非年检标志的分类器对年检标志候选区域进行验证，确定真正的年检标志区域。统计这些区域的个数，分析这些区域在图像中的位置关系即可得到年检标志特征。
[0047]步骤(4)中，提取的多种特征中的车内装饰物特征是指车辆挡风玻璃区域内是否挂有ー些装饰用的物品，如红色吊坠、中国结等。这类特征是ー些车辆特有的特征，能非常有效的排查车辆。车内饰物特征提取方法可以是:采用关键点或显著区域提取方法提取出挡风玻璃区域内除年检标志外的其它区域内的关键点或显著区域，然后在这些关键点附近或显著区域内提取具有比较好的分类能力的特征，这些特征可以是梯度方向直方图，也可以是颜色直方图等特征。这些特征可以非常好地表征车辆挡风玻璃区域内的ー些与周围差别显著的区域，可以用于表征车内饰物特征。
[0048]步骤(4)中提取的这些特征组成了 “特征池”，为后续的车辆搜索提供了非常多祥化的捜索特征，可以满足用户多样化的搜索需求。[0049]步骤(5)中，可以将提取的车辆特征保存在本地计算机上，也可以保存到远程计算机上，保存方式可以是在文件夹内，也可以是在数据库中，但是所有提取的车辆特征必须和相应的车辆图像建立对应关系。
[0050]重复上述步骤(2 )_ (5 )，即可对输入车辆图像数据库中的所有车辆图像提取特征，为后续的车辆搜索做好准备。
[0051]上述步骤2具体包括以下步骤:
[0052](I)用户根据实际需求，自定义车辆搜索特征，据此建立捜索条件；
[0053](2)在已提取特征的车辆图像数据库搜索满足自定义特征的车辆图像；
[0054](3)将搜索结果返回给用户。
[0055]步骤(I)中，用户根据实际需求，在本发明提供的“特征池”中任意选择要捜索的特征，通过谓词对这些特征进行灵活组合，建立捜索条件。用户可以是输入ー张包含待搜索车辆的图像，结合此图像自定义特征；也可以在没有待捜索车辆图像的情况下，直接选择某些特征建立搜索条件。
[0056]步骤(2)中，在已提取特征的车辆图像数据库搜索满足自定义特征的车辆图像的具体方式是:根据建立的捜索条件，只比较搜索条件中包含的特征类别，对其它特征不予考虑。对属性性质的特征，如车身颜色、车型、车标类型等，可以直接比较这些特征是否相同，确定数据库中的车辆是否与待捜索车辆相似。也可采用模糊匹配的方法，因为有些特征不同特征值之间界限不是很明显，如车型特征，小轿车、越野车和皮卡车之间，对这类特征，只要特征值在一定范围内就认为是匹配的。
[0057]对车内饰物这种不是属性性质的特征，可以通过两辆车挡风玻璃除年检标志外的区域内的特征点匹配方法，确定它们之间的相似性。如果相似性高于预设的阈值，则认为两辆车存在相似的车内饰物特征，否则不存在相似车内饰物特征。特征点匹配方法首先计算每个特征点的描述符，如SIFT、HOG等，然后通过计算不同特征点描述符之间的相似度确定两辆车挡风玻璃除年检标志外的区域内正确匹配的点。正确匹配的点的个数越多，表示两辆车挡风玻璃内越有可能挂有相似的饰物。
[0058]最后对图像数据库中的每辆车，计算其和捜索条件匹配的置信度。
[0059]步骤(3)中，将搜索结果返回给用户的具体过程是:将步骤(2)中计算的置信度与预先设定好的阈值进行比较，如果大于或等于阈值车辆图像，则返回，否则不返回。最后根据置信度由大到小排序，将置信度高的排在前面，置信度低的排在后面。
[0060]本发明还提供了一种基于自定义特征的车辆搜索系统，所述系统包括:
[0061]①车辆图像数据读取装置:包括
[0062]数据源接入模块:与需要提取特征的车辆图像数据库进行对接，支持接入本地计算机上的图像数据库和远程图像数据库。
[0063]图像数据读取模块:从接入的图像数据库中读取图像数据文件，对远程数据库文件，支持常用的数据传输方式，包括但不限于FTP、HTTPS等。最后对获取的图像数据文件进行解码获取图像的像素值。支持常见的图像编码格式，包括但不限于以下格式:BMP、JPEG、JPEG2000、TIFF、PNG、PGM等。此模块得到的图像数据作为车辆图像特征提取装置输入。
[0064]②车辆区域定位装置:在图像中检测出车辆的数目以及每辆车所在的位置和大小。首先在图像中检测出车牌的数目及每个车牌的位置和大小，如果检测到车牌，则基于所检测到的车牌位置和大小定位出车辆区域；为了能够定位出没有挂车牌的车辆，此模块同时在图像中检测出满足一定対称性条件的对称轴，然后基于所检测到的对称轴定位出车辆区域。最后将基于车牌定位出的车辆区域与基于对称轴定位出的车辆区域进行处理，包括合并重合的车辆区域，删除不满足车辆区域长宽比要求的区域等。
[0065]③车辆特征提取装置:通过图像识别技术，将所有能表征车辆的特征提取出来。提取的特征包括但不限干:车辆图像拍摄时间、拍摄地点、车牌颜色、车牌号码、车身顔色、车型、车标类型、排气扇外轮廓形状、车灯外轮廓形状、挡风玻璃外轮廓形状、年检标志、车内装饰物等。所述车辆特征提取装置包括但不限于以下子模块:
[0066](I)车辆图像拍摄时间提取模块:获取拍摄图像的时间，包括年、月、日、时、分、秒。获取方法可以是通过OCR技术识别出图像中机器打印上去的日期和时间信息，也可以分析图像的文件命名方式得到，也可以通过读取数据库中的拍摄时间字段得到。
[0067](2)拍摄地点提取模块:获取拍摄车辆图像的拍摄地名称。获取方法可以是通过OCR技术识别出图像中机器打印上去的拍摄地点信息，也可以是通过读取数据库中的拍摄地点字段得到。
[0068](3)车牌特征识别模块:获取车牌底色的类别和车牌号码。车牌底色可以是黑色、白色、蓝色、黄色等。车牌号码的识别支持全国各个省市自治区的车牌，也支持港澳台车牌。
[0069](4)车身颜色识别模块:获取车辆区域中除去挡风玻璃之后的其它区域的主要颜色类别及其深浅程度，包括但不限于以下种类:黒色、银灰色、白色、蓝色、黄色、红色、緑色、紫色、褐色等。
[0070](5)车型识别模块:获取车辆的车型特征，包括但不限于以下种类:小轿车、越野车、皮卡车、面包车、中型客车、中型货车、大型货车、大型客车、大型卡车等。
[0071](6)车标类型识别模块:定位车辆车标大致区域，并识别出车辆的车标类型，例如奇瑞、大众、吉利、现代、长城、比亚迪等。车标类型包括市场上面所有在卖车辆的生产厂商以及后续出现的新的生产厂商。
[0072](7)排气扇外轮廓形状识别模块:定位车辆排气扇区域，并识别出车辆排气扇外围边界所呈现的形状类型。排气扇外轮廓形状类别包括但不限于以下种类:梯形、倒梯形、矩形，双ロ型等。
[0073](8)车灯外轮廓形状识别模块:定位出车辆前方或后方车灯区域，并识别出车辆前方或后方车灯外围边界所呈现的形状类型。车灯外轮廓形状类别包括但不限于以下种类:圆形、四边形、三角形、椭圆形等。
[0074](9)挡风玻璃外轮廓形状识别模块:定位出车辆挡风玻璃区域，并识别出挡风玻璃外围边界所呈现的形状类型。挡风玻璃形状能很好的粗分车型，即小车和大车。小车挡风玻璃外轮廓呈梯形，而大车挡风玻璃外轮廓呈矩形。
[0075](10)年检标志特征提取模块:检测出挡风玻璃左上角一定区域内是否贴有年检标志以及年检标志的个数及它们的排列方式等。年检标志的排列方式包括但不限于以下种类:水平排列、垂直排列、部分水平排列部分垂直排列、倾斜排列等。
[0076](11)车窗区域内显著区域提取模块:车辆挡风玻璃区域内除了年检标志外，车主经常会挂有ー些装饰用的物品，如红色吊坠、中国结等。这类特征往往是ー些车辆特有的特征，能非常有效的排查车辆。通过提取出挡风玻璃区域内除年检标志外的其它区域的关键点或显著区域，然后在这些关键点附近或显著区域内提取具有比较好的分类能力的特征。这些特征就可以非常好地表征车辆挡风玻璃区域内的一些与周围差别显著的区域，可以用于表征车内饰物特征。
[0077]以上模块中，模块(9)、(10)和(11)都基于挡风玻璃区域，因此都需要定位出挡风玻璃区域。定位挡风玻璃的功能可以放在模块(9 )内实现，也可以放在模块(10 )或(11)内实现。
[0078]④车辆特征存储装置:将车辆特征提取装置提取到的车辆特征按照一定的方式保存起来，以方便后续的车辆搜索。特征可以存放在本地特征数据库中，也可以存放在远程特征数据库中。为了提高后续车辆搜索效率，需要为特征建立索引。索引方式可以是反转文件结构形式，即对每个特征建立索引，索引所有具备此特征的车辆图像。
[0079]⑤车辆捜索装置:提供基于自定义特征的车辆搜索功能。可以让用户自定义捜索特征，建立自定义搜索条件，并在特征数据库中搜索具备此自定义特征的车辆。所述车辆搜索装置包括以下模块:
[0080](I)特征自定义模块:供用户根据实际需要自定义捜索特征。此模块提供整个系统支持的所有特征，这些特征可以以可视化的方式呈现给用户，并提供ー个操作界面让用户选择所需特征，也可以以配置文件的形式，让用户编辑配置文件，以确定所需特征。采用何种方式可由实际情况确定。
[0081]为了保证用户输入的自定义特征的准确性，对车辆区域及其内部的ー些特征提取需要依赖的区域，如挡风玻璃，车牌、车标等，本发明的车辆搜索系统中的特征自定义模块为用户提供了ー个操作界面，让用户通过鼠标的拖拉操作，将车辆区域及其内部的ー些所需区域的位置和大小手动标定出来。是否需要标定区域，以及需要标定哪些区域根据实际需要由用户自己确定。
[0082]用户所选择的特征可以通过各种方式组合，一般采用谓词，包括“非”、“与”、“或”等进行灵活组合。这种方式使得本发明提供的车辆搜索系统可以满足非常多祥化的搜索需求，很好地满足用户的各种需求。
[0083](2)车辆特征搜索模块:根据特征自定义模块提供的自定义特征，在特征数据库中搜索满足此特征的所有车辆。采用的方法可以是精确匹配，也可采用模糊匹配的方法。对车内饰物这类特征，可以通过特征点匹配等算法进行相似性比对。最后对图像数据库中的每辆车，计算其和捜索条件匹配的置信度，将置信度与预设的阈值进行比较，如果大于阈值，则此车辆满足自定义搜索条件，否则不满足。满足自定义搜索条件的车辆将被返回。
[0084]⑥搜索结果展示装置:将从车辆搜索装置返回的车辆图像返回给用户，并展示给用户。为方便用户快速找到嫌疑车辆，将返回的车辆按其置信度从大到小排序，将置信度大的车辆排在前面，置信度小的车辆排在后面。展示给用户时，置信度大的车辆显示在前面，置信度小的车辆显示在后面。由于不能在ー个界面内展示所有返回的车辆，所以捜索结果展示装置支持翻页显示，用户可以按页浏览搜索結果。同时也支持自定义查询搜索结果，用户可以要求查询任意顺序范围内的捜索結果。捜索结果展示装置还支持将搜索结果的自定义保存，将所有或部分捜索结果保存到指定位置。用户查看捜索结果时，捜索结果展示装置支持对搜索图像的任意缩放显示，用户可以根据需要对图像的整体或任意部分进行放大和縮小，方便用户对搜索结果进行进ー步的精确确认。[0085]本发明相对于现有技术具有如下的优点及效果:
[0086]1、本发明提供的方法与系统能提供多祥化的捜索方式，使得用户能根据实际情况自定义捜索特征进行车辆搜索，满足用户的各种搜索需求:既可以在用户已有嫌疑车辆少量图像的情况下进行捜索，也可以在用户没有嫌疑车辆任何图像的情况下，仅凭ー些属性描述即可进行搜索。
[0087]2、本发明提供的方法与系统依靠智能化的图像识别技术，能根据自定义特征，非常高效地排除掉大部分和用户输入嫌疑车辆不相似的车辆，只留下ー小部分与输入嫌疑车辆比较相似的车辆，大大減少了办案人员进行人エ确认的图像数量，有效地节省了人力物力，使得办案效率大大提高，能产生非常好的社会和经济效益。
【专利附图】
【附图说明】
[0088]图1为本发明的方法流程图。
[0089]图2为本发明的系统结构示意图。
【具体实施方式】
[0090]下面结合实施例及附图对本发明作进ー步详细的描述，但本发明的实施例不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0091]图1为本发明提出的一种基于自定义特征的车辆搜索方法流程示意图。现结合图1，对本发明提出的一种基于自定义特征的车辆搜索方法进行说明。具体如下:
[0092]本发明提出的一种基于自定义特征的车辆搜索方法包括:特征提取模块101和基于自定义特征的车辆搜索模块109。特征提取模块101和车辆搜索模块109共享车辆特征数据库108，特征提取模块101把提取到的车辆特征存入车辆特征数据库108，而车辆捜索模块109在车辆特征数据库108中捜索符合自定义特征的车辆。
[0093]特征提取模块101的特征提取方法包括以下具体步骤:
[0094]步骤102:获取车辆图像数据库地址。车辆图像数据库可以是特征提取模块101具有访问权限的本地数据库或远程数据库。
[0095]步骤103:判断车辆图像数据库中是否还有待处理的车辆图像，即没有提取特征的车辆图像，如果是，则转到步骤104，否则特征提取结束。
[0096]步骤103的具体判断方法可以为:首先建立一个已处理车辆图像列表，记录所有到目前为止已经提取过特征的车辆图像文件名或其它可以唯一标识车辆图像的信息；然后对从图像数据库中获取的每幅车辆图像信息，在上述记录列表中捜索，如果搜索不到同样的车辆图像，则表示此车辆图像还没有被提取特征，否则跳过此图像。
[0097]步骤103默认支持车辆图像数据库中不断有新的车辆图像加入的情況，即默认能获取车辆图像数据中不断加入的新的车辆图像信息，将它们和记录已提取特征的车辆图像列表中的所有车辆信息进行比较，判断它们是否已被提取特征，以决定是否对它们提取特征。
[0098]步骤104:读取在步骤103判断为待处理的ー张车辆图像数据，包括图像的长度和宽度、图像像素深度和像素值等。步骤104支持所有常见的图像编码格式，包括但不限于:BMP、JPEG、JPEG2000、TIFF、PNG、PGM 等。
[0099]步骤105:在读取的车辆图像中定位出车辆所在区域，包括图像中包含的车辆数目及每辆车所在位置和大小。每辆车的位置和大小用ー个矩形框表示，矩形框左上角的坐标表示车辆的位置，矩形框的长和宽表示车辆的大小。
[0100]定位车辆区域的方法可以采用先定位车牌进而定位车辆的方法，也可采用先定位对称轴再定位车辆的方法，也可以采用基于机器学习的方法学习车辆检测器的方法，在此不再对具体的算法做详细说明。
[0101]步骤106:基于步骤105定位的车辆区域，提取车辆的特征。提取的特征包括但不限干:车辆图像拍摄时间、拍摄地点、车牌底色、车牌号码、车身顔色、车型、车标类型、排气扇外轮廓形状、车灯外轮廓形状、挡风玻璃外轮廓形状、年检标志、车内装饰物等。
[0102]车辆图像拍摄时间为拍摄车辆图像的时刻，包括年、月、日、时、分、秒。拍摄时间ー般会通过机器打印到车辆图像上的某个位置，如顶部，因此可以根据OCR技术将它识别出来。如果车辆数据库中有别的字段或文件记录拍摄时间，则也可直接读取相应字段或文件获取。
[0103]拍摄地点为拍摄车辆图像时车辆所在地的名称。一般会通过机器打印到车辆图像上的某个位置，因此可以根据OCR技术将它识别出来。如果车辆数据库中有别的字段或文件记录拍摄地点信息，则也可直接读取相应字段或文件获取。
[0104]车牌底色和车牌号码可以通过车牌识别技术得到。中国大陆的车牌底色分为蓝色、黄色、白色和黑色。
[0105]车身颜色可分为:黒色、白色、银灰色、红色、黄色、蓝色、緑色、紫色、棕色、褐色等。顔色特征还包括顔色的深浅，如浅蓝、深蓝。车身颜色特征主要分析车辆引擎盖的顔色分布得到。引擎盖为挡风玻璃以下，排气扇和车灯以上部分。分析顔色分布采用的顔色空间可为 HSV、Lab、RGB 等。
[0106]车型可粗分为:小型车、中型车和大型车，并进一歩细分为:微型车、小轿车、越野车、面包车、中型客车、中型货车、大型货车、大型客车、大型卡车等。车型特征可采用机器学习的方法，如SVM、逻辑回归等进行分类器学习，然后用学习到的分类器对车辆进行分类得至IJ。
[0107]车标类型为车辆上面的生产厂商标志，包括目前所有生产厂商的标志，同时支持未来新出现的生产厂商的标志。车标类型的识别方法可以是模板匹配，也可以采用机器学习方法学习车标检测器的方法。
[0108]排气扇外轮廓形状可分为:梯形、倒梯形、矩形，双ロ型等。提取方法可以是:首先定位出排气扇大概位置，然后通过边缘提取、区域生长、连通域分析等方法提取出排气扇的外轮廓，最后判断其形状。
[0109]车灯外轮廓形状可分为:圆形、四边形、三角形、椭圆形等。采用的方法与排气扇外轮廓形状提取方法类似，在此不做进ー步的介绍。
[0110]挡风玻璃外轮廓形状可分为:梯形、矩形等。梯形一般对于小型车和ー些中型车和大型卡车，矩形一般对于大型客车和大型货车。因此挡风玻璃外轮廓形状可用来和车型进行相互校验，以提高准确性。挡风玻璃外轮廓提取方法可为:先通过机器学习方法检测出挡风玻璃大致区域，然后通过边缘提取、区域生长、直线检测等方法确定其四条边，最后通过判断其四条边之间的夹角确定其形状。
[0111]年检标志特征为车辆挡风玻璃左上方年检标志的个数及其空间排列方式。此特征能非常好的区分不同车辆。提取方法可为:首先通过机器学习方法，如SVM、Adaboost等学习年检标志检测器，然后在挡风玻璃左上方区域检测年检标志，最后统计其数目及它们的位置关系确定。
[0112]车内装饰物为一些车辆独有的特征，通过它们能非常好的找到特定车辆。车内装饰物可通过挡风玻璃内除年检标志的区域内的关键点或显著区域表征。常用方法Harris-Affine, Hessian-Affine、SIFT 等。
[0113]步骤107:将步骤106提取的所有特征存放在预先设计好的特征数据库108中。特征数据库108可以放在本地，也可以放在远程服务器上。特征数据库中特征的存放方式可以是一条记录存放一辆车的所有特征，也可以是一条记录存放具备ー种特征的所有车辆。
[0114]车辆搜索模块109的车辆搜索方法包括以下步骤:
[0115]步骤110:自定义车辆搜索特征111。自定义方法包括:I)用户输入ー辆嫌疑车辆图像，同时在步骤106中提取的所有特征中选定ー些特征，并定义好这些特征的组合方式。特征组合可通过谓词逻辑实现，包括“与(AND)”、“或(0R)”、“非(NOT)”等。为了提高准确性，用户可以在输入图像中手エ圈定车辆区域和车牌区域。如果用户没有手工圈定车辆区域和车牌区域，则通过自动定位得到。2)用户没有嫌疑车辆图像，则只需要在步骤106中提取的所有特征中选定ー些特征，并定义好这些特征的组合方式。通过谓词逻辑实现特征组
ロ o
[0116]自定义特征111最后的表示方式为通过谓词逻辑组合而成的一些特征，如:“车标为大众”AND “车型为小轿车”AND “车身颜色为红色”AND (NOT “存在年检标志”)。
[0117]步骤112:将车辆特征数据库108中所有车辆特征与自定义特征111进行比对，将所有不具备自定义特征111的所有车辆排除棹。捜索方法可以是精确匹配方法，也可以是模糊匹配方法，具体细节不做赘述。比对结果为与自定义特征111的匹配置信度，如果匹配置信度大于预设的阈值，则判定为相似车辆，否则作为不相似车辆排除棹。
[0118]步骤113:将搜索结果返回给用户。返回结果按照匹配置信度由大到小排列，置信度大的排在前面，置信度小的排在后面。这样用户可以快速地在返回结果中找到真正的嫌疑车辆。
[0119]图2为本发明提出的一种基于自定义特征的车辆搜索系统结构示意图。现结合图2，对本发明提出的一种基于自定义特征的车辆搜索系统进行说明。具体如下:
[0120]本发明提出的一种基于自定义特征的车辆搜索系统包括:特征提取子系统201和基于自定义特征的车辆搜索子系统207。特征提取子系统201和车辆搜索子系统207共享车辆特征数据库子系统206。特征提取子系统201把提取到的车辆特征存入车辆特征数据库子系统206，而车辆捜索子系统207在车辆特征数据库子系统206中捜索符合自定义特征的车辆。
[0121]特征提取子系统201具体包括:
[0122]车辆图像数据读取装置202:连接本地或远程数据库，从本地或远程数据库中读取没有被提取特征的车辆图像数据，并将车辆图像数据传给车辆区域定位装置。车辆图像数据读取装置202能自动判断读取的车辆图像是否已被提取过特征，如果没有被提取过特征，则读取此图像数据，否则不读取。
[0123]车辆图像数据读取装置202能支持实时监听车辆图像数据库的内容变化，每当发现有新的车辆图像加入，则判断它们是否已被提取特征，以决定是否对它们提取特征。如果没有被提取，则自动为其提取特征，否则不提取。
[0124]车辆图像数据读取装置202能支持各种常用数据库类型，包括但不限于=Oracle,DB2, SQL Server、MySQL 等。
[0125]车辆图像数据读取装置202能支持各种常用图像编码格式，包括但不限于:BMP、JPEG、JPEG2000、TIFF、PNG、PGM 等。
[0126]车辆区域定位装置203:从车辆图像数据读取装置202读取的车辆图像中定位出所有车辆所在位置和大小。每辆车的位置和大小用ー个矩形框表示，矩形框左上角的坐标表示车辆的位置，矩形框的长和宽表示车辆的大小。
[0127]车辆特征提取装置204:基于车辆区域定位装置203定位的车辆区域，提取车辆的特征。提取的特征包括但不限于:车辆图像拍摄时间、拍摄地点、车牌底色、车牌号码、车身顔色、车型、车标类型、排气扇外轮廓形状、车灯外轮廓形状、挡风玻璃外轮廓形状、年检标志、车内装饰物等。
[0128]车辆图像拍摄时间为拍摄车辆图像的时刻，包括年、月、日、时、分、秒。拍摄地点为拍摄车辆图像时车辆所在地的名称。拍摄时间和拍摄地点一般会通过机器打印到车辆图像上的某个位置，如顶部，因此可以根据OCR技术将它识别出来。如果车辆数据库中有别的字段或文件记录拍摄时间和拍摄地点，则也可直接读取相应字段或文件获取。
[0129]车身颜色可分为:黒色、白色、银灰色、红色、黄色、蓝色、緑色、紫色、棕色、褐色等。顔色特征还包括顔色的深浅，如浅蓝、深蓝。车身颜色特征主要分析车辆引擎盖的顔色分布得到。
[0130]车型可粗分为:小型车、中型车和大型车，并进一歩细分为:微型车、小轿车、越野车、面包车、中型客车、中型货车、大型货车、大型客车、大型卡车等。
[0131]车标类型为车辆上面的生产厂商标志，包括目前所有生产厂商的标志，同时支持未来新出现的生产厂商的标志。
[0132]排气扇外轮廓形状可分为:梯形、倒梯形、矩形，双ロ型等。
[0133]车灯外轮廓形状可分为:圆形、四边形、三角形、椭圆形等。
[0134]挡风玻璃外轮廓形状可分为:梯形、矩形等。小车挡风玻璃外轮廓呈梯形，而大车挡风玻璃外轮廓呈矩形。因此挡风玻璃外轮廓形状可用来和车型进行相互校验，以提高准确性。
[0135]车内装饰物可通过挡风玻璃内除年检标志的区域的关键点或显著区域表征。
[0136]车辆特征提取装置204提取的上述特征构成了本发明的一种基于自定义特征的车辆搜索系统的“特征池”，为车辆捜索子系统207提供了非常丰富有效的搜索特征。
[0137]车辆特征存储装置205:将车辆特征提取装置204提取的所有特征存放在预先设计好的车辆特征数据库子系统206中。特征数据库子系统206可以部署在本地，也可以部署在远程服务器上。为了提高后续车辆搜索效率，需要为特征数据库子系统206中特征建立索引进行存放。索引方式可以是反转文件结构形式，即对每个特征建立索引，索引所有具备此特征的车辆图像。[0138]车辆搜索子系统207具体包括:
[0139]车辆搜索装置208:允许用户根据实际需要自定义搜索特征，并在车辆特征数据库子系统206中捜索符合自定义捜索特征的所有车辆图像。车辆搜索装置208提供整个系统支持的所有特征，这些特征可以以可视化的方式呈现给用户，并提供ー个操作界面让用户选择所需特征，也可以以配置文件的形式，让用户编辑配置文件，以确定所需特征。采用何种方式可由实际情况确定。支持以下自定义方法:I)用户输入ー辆嫌疑车辆图像，同时在车辆特征提取装置204提取的所有特征中选定ー些特征，并定义好这些特征的组合方式。特征组合可通过谓词逻辑实现，包括“与(AND)”、“或(0R)”、“非(NOT)”等。为了提高准确性，用户可以在输入图像中手エ圈定车辆区域和车牌区域。如果用户没有手工圈定车辆区域和车牌区域，则通过自动定位得到。2)用户没有嫌疑车辆图像，则只需要在车辆特征提取装置204提取的所有特征中选定ー些特征，并定义好这些特征的组合方式。通过谓词逻辑实现特征组合。最終的自定义捜索特征的表示方式为通过谓词逻辑组合而成的ー些特征,如:“车标为海格”AND “车型为大型客车”AND “车身颜色为绿色”。这种方式使得本发明提供的车辆搜索系统可以满足非常多祥化的搜索需求，很好地满足用户的各种需求。
[0140]车辆搜索装置208将车辆特征数据库子系统206中所有车辆特征与自定义特征进行比对，将不具备自定义特征的所有车辆排除棹。捜索方法可以是精确匹配方法，也可以是模糊匹配方法。比对结果为与自定义特征的匹配置信度，如果匹配置信度大于预设的阈值，则判定为相似车辆，否则作为不相似车辆排除棹。
[0141]车辆搜索装置208在进行车辆搜索时，支持车辆特征提取装置204同时在提取车辆特征，且将提取到的车辆特征存入车辆特征数据库子系统206中。这样就不用等所有特征都提取完再进行捜索，可以边提取、边搜索，能在特征没有提取完时就得到部分搜索结果，有利于提闻搜索效率，从而提闻办案效率。
[0142]捜索结果展示装置209:将搜索结果返回并展示给用户。返回结果按照匹配置信度由大到小排列，置信度大的排在前面，置信度小的排在后面。这样用户可以快速地在返回结果中找到真正的嫌疑车辆。可以有多种展示方式，支持翻页显示，用户可以按页浏览搜索結果。同时也支持自定义查询搜索结果，用户可以要求查询任意顺序范围内的捜索結果。捜索结果展示装置还支持将搜索结果的自定义保存，将所有或部分捜索结果保存到指定位置。用户查看捜索结果时，捜索结果展示装置支持对搜索图像的任意缩放显示，用户可以根据需要对图像的整体或任意部分进行放大和縮小，方便用户对搜索结果进行进ー步的精确确认。
[0143]本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技木。
【权利要求】
1.一种基于自定义特征的车辆搜索方法，其特征在于，该方法包括: 第一步骤:提取监控摄像头拍摄的车辆图像数据库中每辆车的特征并保存； 第二步骤:根据自定义特征，在监控摄像头拍摄的车辆图像数据库中搜索满足所述自定义特征的车辆并返回捜索結果。
2.如权利要求1所述的基于自定义特征的车辆搜索方法，其特征在干， 所述第一步骤包括: 第一步:获取车辆图像库存放地址； 第二步:从所述图像库中读取车辆图像； 第三步:从所述读取的车辆图像中定位出车辆所在区域，并切割出车辆所在图像区域； 第四步:基于所述切割出的车辆区域，提取车辆的多种特征； 第五步:将所述提取的车辆特征保存； 所述第二步骤包括: 第一歩:根据用户需求自定义车辆搜索特征，并建立捜索条件； 第二步:在所述已提取特征的车辆图像数据库搜索满足所述自定义特征的车辆图像； 第三步:将搜索结果返回给·用户。
3.如权利要求2所述的基于自定义特征的车辆搜索方法，其特征在干，所述第一步骤第一步中图像数据库存放地址是本地计算机上的一个或多个可访问的文件夹或图像数据库入口 ； 或，远程计算机上的一个或多个可访问的文件夹或图像数据库的入口。
4.如权利要求2所述的基于自定义特征的车辆搜索方法，其特征在于，所述第一步骤第二步中读取车辆图像是灰度图像或彩色图像。
5.如权利要求1所述的基于自定义特征的车辆搜索方法，其特征在于，所述第一步骤第三步中从车辆图像中定位出车辆所在区域的方法包括以下方法中的一种: A、根据车牌的位置和大小确定车牌所属车辆的区域； B、通过确定对称轴并验证的方式定位车辆所在区域； C、根据车牌的位置和大小确定车牌所属车辆的区域以及通过确定对称轴并验证的方式定位车辆所在区域； D、通过机器学习的方法区分车辆区域与非车辆区域。
6.如权利要求2所述的基于自定义特征的车辆搜索方法，其特征在干，所述第一步骤第四步中提取车辆的多种特征包括但不限于以下特征中的ー种或多种:车辆图像拍摄时间、拍摄地点、车牌颜色、车牌号码、车身顔色、车型、车标类型、排气扇外轮廓形状、车灯外轮廓形状、挡风玻璃外轮廓形状、年检标志以及车内装饰物。
7.如权利要求2所述的基于自定义特征的车辆搜索方法，其特征在于，所述第一步骤第五步中将所述提取的车辆特征保存的方法是:将提取的车辆特征保存在本地或远程计算机上的文件夹或数据库中，并将车辆特征与车辆图像建立对应关系。
8.如权利要求1或6所述的基于自定义特征的车辆搜索方法，其特征在于，所述第二步骤第二步中在已提取特征的车辆图像数据库搜索满足自定义特征的车辆图像包括:对车内装饰物采用特征点匹配的方法计算所述已提取特征的车辆图像和捜索条件匹配的置信度。
9.如权利要求2所述的基于自定义特征的车辆搜索方法，其特征在于，所述第二步骤第三步的方法包括: 将所述捜索已提取特征的车辆图像数据计算的置信度与预先设定好的阈值进行比较，并根据置信度由大到小排列。
10.一种基于自定义特征的车辆搜索系统，其特征在于，所述系统包括: 车辆图像数据读取装置、车辆区域定位装置、车辆特征提取装置、车辆特征存储装置、车辆搜索装置以及搜索结果展示装置； 其中，所述车辆图像数据读取装置包括: 数据源接入模块，用干与需要提取特征的车辆图像数据库进行对接； 图像数据读取模块，用于从接入的图像数据库中读取图像数据文件，对获取的图像数据文件进行解码获取图像的像素值； 所述车辆区域定位装置，用于在图像中检测出车辆的数目以及每辆车所在的位置和大小； 所述车辆特征提取装置包括以下模块中的ー种或多种: 车辆图像拍摄时间提取模块，用于获取拍摄图像的时间； 拍摄地点提取模块，用于获取拍摄车辆图像的地点名称； 车牌特征识别模块，用于获·取车牌底色的类别和车牌号码； 车身颜色识别模块，用于获取车辆区域中除去挡风玻璃之后的其它区域的主要颜色类别及其深浅程度； 车型识别模块，用于获取车辆的车型特征； 车标类型识别模块，用于定位车辆车标区域并识别车辆的车标类型； 排气扇外轮廓形状识别模块，用于定位车辆排气扇区域并识别车辆排气扇外围边界所呈现的形状类型； 车灯外轮廓形状识别模块，用于定位出车辆前方或后方车灯区域并识别车辆前方或后方车灯外围边界所呈现的形状类型； 挡风玻璃外轮廓形状识别模块，用于定位出车辆挡风玻璃区域并识别挡风玻璃外围边界所呈现的形状类型； 年检标志特征提取模块，用于检测挡风玻璃左上角一定区域内是否贴有年检标志以及年检标志的个数及它们的排列方式； 车窗区域内显著区域提取模块，用于检测车内饰物特征； 所述车辆特征存储装置，用于将车辆特征提取装置提取到的车辆特征按照一定的方式保存起来； 所述车辆捜索装置，用于提供基于自定义特征的车辆搜索功能，包括: 特征自定义模块，用于供用户根据实际需要自定义捜索特征； 车辆特征搜索模块，用于根据特征自定义模块提供的自定义特征，在特征数据库中搜索满足此特征的所有车辆； 所述搜索结果展示装置，用于将从车辆搜索装置返回的车辆图像返回给用户，并展示给用户。
【文档编号】G06F17/30GK103530366SQ201310476490
【公开日】2014年1月22日 申请日期:2013年10月12日 优先权日:2013年10月12日
【发明者】王先基, 陈友斌 申请人:湖北微模式科技发展有限公司