车辆识别方法、装置及存储介质与流程

文档序号:15258098发布日期:2018-08-24 20:59阅读:183来源:国知局

本申请涉及计算机技术领域,尤其涉及一种车辆识别方法、装置及存储介质。



背景技术:

随着城市规模的不断扩大、车辆数量的大幅增长以及社会安全意识的提高,监控摄像机已经覆盖道路、小区、商场等各种场所,而监控所得的录像在安防方面往往起着重大作用。

近年来,随着监控录像的数据量越来越大,相关部门从这些监控录像中获得所需线索时往往需要对海量录像数据进行搜索,比如公安部门若需要得到嫌疑车辆(未知车牌号或套牌车辆)近一个月内的行驶记录,需要观看各大街道、马路上近一个月内的监控录像,并利用已有的嫌疑车辆的照片,通过人眼或者简单图像匹配的方式识别出嫌疑车辆所在的画面,从而归纳出嫌疑车辆的行驶轨迹,这种嫌疑车辆的识别方式过于简单,识别准确率较低。



技术实现要素:

本申请实施例提供一种车辆识别方法、装置及存储介质,能较准确地从海量图像中识别出嫌疑车辆,识别效果好。

本申请实施例提供了一种车辆识别方法,包括:

获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像;

根据所述参照图像和待识别图像确定至少一个图像组,所述图像组包括所述参照图像和单张待识别图像,每一张待识别图像对应一个图像组;

将所述图像组输入已训练的孪生网络模型中进行处理,得到所述目标车辆与对应待识别车辆的第一相似度;

根据所述第一相似度从待识别车辆中识别出所述目标车辆。

本申请实施例还提供了一种车辆识别装置,包括:

获取模块,用于获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像;

第一确定模块,用于根据所述参照图像和待识别图像确定至少一个图像组,所述图像组包括所述参照图像和单张待识别图像,每一张待识别图像对应一个图像组;

处理模块,用于将所述图像组输入已训练的孪生网络模型中进行处理,得到所述目标车辆与对应待识别车辆的第一相似度;

识别模块,用于根据所述第一相似度从待识别车辆中识别出所述目标车辆。

本申请实施例还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述任一项车辆识别方法。

本申请提供的车辆识别方法、装置及存储介质,通过获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像,并根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组,接着,将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度,并根据该第一相似度从待识别车辆中识别出该目标车辆,从而能从海量图片中较准确的识别出目标车辆,实现高准确率高稳定性的“以图搜车”功能。

附图说明

下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的车辆识别方法的流程示意图。

图2为本申请实施例提供的车辆识别方法的另一流程示意图。

图3为本申请实施例提供的孪生卷积神经网络模型的框架示意图。

图4为本申请实施例提供的监控录像中车辆的拍摄角度示意图。

图5为本申请实施例提供的汽车年检标志的结构示意图。

图6为本申请实施例提供的孪生cnn模型处理图像组的示意图。

图7为本申请实施例提供的车辆识别装置的结构示意图。

图8为本申请实施例提供的车辆识别装置的另一结构示意图。

图9为本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例提供一种车辆识别方法、装置、存储介质及服务器。

一种车辆识别方法,包括:获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像;根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组;将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度;根据该第一相似度从待识别车辆中识别出该目标车辆。

如图1所示,图1是本申请实施例提供的车辆识别方法的流程示意图,具体流程可以如下:

101、获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像。

本实施例中,该目标车辆主要指已确认车主身份的参照车辆,比如车牌显示正常的车辆,该待识别车辆主要指未确认车主身份的嫌疑车辆,比如无车牌或车牌显示不正常的车辆。该参照图像和待识别图像可以是车辆的整体图像,也可以是车辆局部区域的图像,该局部区域可以是车上某个指定物体所在的区域,该指定物体需要具有鲜明个体特征,比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等,其中该年检标志是车辆在规定期限内顺利通过相关部门检测时所取得的合格证明,该年检标志上注明了下次年检时间,通常,车辆的首次年检时间取决于牌照领取时间,之后需定期检查,不同车型检查周期不同,比如营运载客汽车5年以内每年检验1次,超过5年的,每6个月检验1次。载货汽车和大型、中型非营运载客汽车10年以内每年检验1次,超过10年的,每6个月检验1次,等等,不同车辆年检标志上的年检时间通常不同。

例如,当该参照图像和待识别图像是局部区域的图像时,上述步骤101具体可以包括:

1-1、获取包含目标车辆的第一图像、以及包含待识别车辆的至少一张第二图像。

本实施例中,该第一图像和第二图像可以为正对车头拍摄的图像,其中该第一图像可以是用户提供的,该第二图像可以是从街道、公路上安装的道路监控录像中提取出来的,一般情况下,第二图像的数量庞大。

1-2、从该第一图像和第二图像中提取出预设标志物所在区域的图像块。

本实施例中,该图像块的大小取决于预设标志物的大小,考虑到短时间内年检标志相对于车内的装饰、挂件等物体来说,变动的可能性较小,区分度较高,且更容易被检测得到,故该预设标志物优选为年检标志。

1-3、将该第一图像中提取出的图像块确定为目标车辆的参照图像,将该第二图像中提取出的图像块确定为待识别车辆的待识别图像。

102、根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组。

本实施例中,该参照图像通常为一张,而该待识别图像为多张甚至海量数据,此时,需要将每张待识别图像与参照图像组成一对,得到多对图像(也即多个图像组)。

103、将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度。

本实施例中,该孪生网络模型是指具有相同架构且共享权重的两个网络模型,这两个网络模型可以以上下分支的形式排列,其中该网络模型可以是用于图像处理的神经网络模型,比如cnn(convolutionalneuralnetworks,卷积神经网络)模型。利用该孪生网络模型可以计算任意两张图像的相似度,也即图像中待识别车辆为目标车辆的概率。

容易理解的是,该孪生网络模型应该是提前训练好的,训练所需的样本需根据该模型的实际应用情况而定,比如当该模型主要用于计算车辆中指定标志物的相似度时,该训练样本采用的图像应主要包括该指定标志物的特征信息。当该模型主要用于计算车辆的整体相似度时,该训练样本采用的图像应包括车辆的车型、颜色、以及部分细节部位(例如车头)等多个特征信息。

例如,当该第一相似度为预设标志物的相似度,且该预设标志物包括年检标志时,在上述步骤103之前,该车辆识别方法还可以包括:

获取多对正样本图像和负样本图像,每对正样本图像为对同一车辆的年检标志拍摄得到,每对负样本图像为对不同车辆的年检标志拍摄得到;

利用该多对正样本图像和负样本图像对孪生网络模型进行训练。

本实施例中,每对正样本图像或负样本图像均包括两张拍摄图像,其可以由用户提前对大量车辆拍摄得到,比如对同一车辆的年检标志在不同地点或时间拍摄得到正样本图像,对不同车辆的年检标志在不同或同一地点或时间拍摄得到负样本图像,等等。当然,该正样本图像和负样本图像也可以是用户对车头进行拍摄得到的,或者针对车辆的其他标志物(比如车内饰、挂件等)拍摄得到的,具体取决于该孪生网络模型的实际应用情况。

需要指出的是,不同的训练样本训练出的孪生网络模型具有不同的应用目的,比如,对于孪生卷积神经网络模型,当该正样本图像和负样本图像包含指定标志物(比如年检标识、车内饰或挂件)的特征信息时,训练后的孪生卷积神经网络模型则用于根据提供的车辆标志物图片在大量未知车辆的标志物图片库中搜索出哪些属于同一车辆,当该正样本图像和负样本图像包含车头等多个部位的特征信息时,训练后的孪生卷积神经网络模型则用于根据提供的车辆整体图片在大量未知车辆照片中搜索出哪些属于同一车辆。

104、根据该第一相似度从待识别车辆中识别出该目标车辆。

本实施例中,通常第一相似度越高,说明对应图像组中的两张图像越相似,也即图像组中两张图像对应的车辆越有可能是同一车辆,此时,若该第一相似度为多个特征的相似度时,可以直接将第一相似度较高的几个图像组或者第一相似度高于一定值的图像组对应的车辆确定为同一车辆,若该第一相似度为单个特征的相似度时,为提高识别准确率,还可以进一步结合车辆的其他特征,比如车型、颜色、品牌等来进行识别,此时,在上述步骤104之前,该车辆识别方法还可以包括:

根据该第一图像和第二图像确定该目标车辆与对应待识别车辆的第二相似度。

本实施例中,该第二相似度可以是多个特征的相似度(该特征通常不包括上述预设标志物),比如车辆颜色、车型、品牌等等。该第二相似度可以是对监控录像中的原始图像进行粗略匹配得到的,从而过滤掉那些外观上与目标车辆具有明显区别的待识别车辆,尽量缩小该预设标志物匹配过程中涉及的图像数量,其中该第二相似度可以利用简单的图像匹配算法计算得到,也可以利用合适的孪生卷积神经网络模型计算得到。

此时,上述步骤104具体可以包括:

根据该第一相似度和第二相似度计算总相似度;

根据该总相似度从该待识别图像中确定目标图像;

将该目标图像对应的待识别车辆识别为目标车辆。

本实施例中,可以通过加权法计算总相似度,比如设置一个权重u,总相似度=(1-u)*第二相似度+u*第一相似度,其中u的取值可以人为设定。由于第一相似度是针对特定特征的精细匹配度,第二相似度是针对多个特征的粗略匹配度,故综合这两个匹配维度来对待识别车辆进行识别的话,识别准确率较高,识别效果好。

例如,上述步骤“根据该总相似度从该待识别图像中确定目标图像”具体可以包括:

按照该总相似度从大到小的顺序对该待识别图像进行排序;

获取排序顺序位于前预设位的待识别图像,作为目标图像。

本实施例中,该预设位可以根据待识别图像的来源范围而定,通常,该待识别图像的来源越广,比如来自全市内各街道和马路的监控录像时,该预设位的取值可以设置的越大,比如10,而该待识别图像的来源越窄,比如只是来自几条相邻街道和马路的监控录像时,该预设位的取值可以设置的越小,比如5。当然,还可以以其他方式确定目标图像,比如将总相似度高于一定值的待识别图像确定为目标图像,等等。

此外,在将该目标图像对应的待识别车辆识别为目标车辆之后,该车辆识别方法还可以包括:

获取该目标图像的拍摄时间和拍摄地点;

根据该拍摄时间和拍摄地点生成该目标车辆的行驶路线图;

向用户提供该行驶路线图。

本实施例中,可以按照拍摄时间将各个拍摄地点串联起来,并结合城市道路规划,确定满足拍摄时间和拍摄地点的合理行驶路线,从而方便用户更好的了解目标车辆的相关信息。

由上述可知,本实施例提供的车辆识别方法,通过获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像,并根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组,接着,将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度,并根据该第一相似度从待识别车辆中识别出该目标车辆,从而能从海量图片中较准确的识别出目标车辆,实现高准确率高稳定性的“以图搜车”功能。

在本实施例中,将从车辆识别装置的角度进行描述,具体将以该车辆识别装置集成在服务器中,该预设标志物为年检标志为例进行详细说明。

请参见图2,一种车辆识别方法,具体流程可以如下:

201、服务器获取多对正样本图像和负样本图像,每对正样本图像为对同一车辆的年检标志拍摄得到,每对负样本图像为对不同车辆的年检标志拍摄得到。

譬如,用户可以获取大量车牌已知的车辆图像,这些车辆图像可以从道路监控录像中获取,并从中提取出年检标志所在区域的局部图像(通常在前挡风玻璃的右上角),之后,将任意两张同一车辆(比如车牌相同)在不同地点或时间拍摄的局部图像确定为一对正样本图像,将任意两张不同车辆(比如车牌不同)在不同或同一地点或时间拍摄的局部图像确定为一对负样本图像。

202、服务器利用该多对正样本图像和负样本图像对孪生网络模型进行训练,得到已训练的孪生网络模型。

譬如,该孪生网络模型可以是孪生卷积神经网络模型,也即上下分支为结构相同且共享权重的cnn模型,该孪生cnn模型可以同时输入两张图像,请参见图3,该孪生cnn模型的结构具体可以包括:四个卷积层、全连接层以及输出层,其中,四个卷积层的卷积核大小分别为(7,7),(5,5),(3,3),(3,3),激活函数均为“relu”(rectifiedlinearunit,线性整流函数),padding(填充)方式均为“same”,第二层第三层后均进行一次maxpooling(最大池化)操作,其中“same”填充方式简单理解为以0填充边缘,左边(上边)补0的个数和右边(下边)补0的个数一样或少一个,maxpooling操作即最大子采样函数取区域内所有神经元的最大值。全连接层包括512个神经元,激活函数为sigmoid(s型函数)。上下分支的输出为512d向量,计算l1距离(曼哈顿距离),全连接1个神经元,并接该sigmoid激活函数,得到所输入两张图像的相似度(也即网络预测值),该相似度的取值在(0,1)范围内。

实际训练时,该孪生卷积神经网络模型可以不进行预训练,直接正态分布初始化权重,由于层数较浅,收敛速度较快,大约40个epoch后收敛,之后,再利用正样本图像和负样本图像对该孪生卷积神经网络模型进行训练,损失函数j选为交叉熵,c为类别数目,c=2,k∈(1,2),其中,k的不同取值代表是否属于同一辆车,为输出的类别预测结果(也即网络预测值),yk为真实类别分布(也即真实值)。通过降低网络预测值和真实值之间的误差,进行不断训练,以调整权重至合适数值。

203、服务器获取包含目标车辆的第一图像、以及包含待识别车辆的至少一张第二图像。

譬如,请参见图4,该第一图像和第二图像可以为正对车头拍摄的图像,其中该第一图像可以是用户提供的,该第二图像可以是从街道、公路上安装的道路监控录像中提取出来的。

204、服务器根据该第一图像和第二图像确定该目标车辆与对应待识别车辆的第二相似度。

譬如,和适用于年检标志检测的孪生卷积神经网络模型的训练类似,可以提前对大量车辆进行整体拍摄(通常为正对车头拍摄),比如根据同一车辆在不同地点或时间的拍摄图像确定正样本对,根据不同车辆的拍摄图像确定负样本对,然后利用该正样本对和负样本对训练孪生卷积神经网络模型,之后,同样的,可以将第一图像和第二图像组合成多个图像对,利用这个孪生卷积神经网络模型对每对图像进行计算,以确定每对图像中目标车辆与待识别车辆的整体相似度(也即第二相似度)。

205、服务器从该第一图像和第二图像中提取出年检标志所在区域的图像块,并将该第一图像中提取出的图像块确定为参照图像,将该第二图像中提取出的图像块确定为待识别图像。

譬如,请参见图5,该年检标志正面包括一个‘检’字,检字下面或上面显示有下一次检车的年份(如2010),检字的周围是1-12的阿拉伯数字,其中一个会被打孔,打了孔的那个阿拉伯数字就代表下一次检车的月份(比如图5中打孔的数字为4),其一般位于车辆前挡风玻璃右上角,且由于80×80pixels的尺寸足以覆盖一个完整的年检标志,故提取的图像块大小一般不超过80*80pixels。

此外,由于第二相似度越大,代表目标车辆与待识别车辆在外观上越相像,为减小第二次特征匹配(也即年检标志匹配)的数据处理量,可以只选第二相似度最高的前k个第二图像进行年检标志图像提取,从而确保用于年检标志图像提取的第二图像中的待识别车辆与目标车辆外观大致相同,比如都属于同一车型、同一颜色、同一品牌等。

206、服务器根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组。

207、服务器将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度。

譬如,请参见图6,若参照图像为a,待识别图像包括{b1、b2、b3…bn},则将有n个图像组,分别为(a,b1)、(a,b2)…(a,bn),之后,将这n个图像组依次输入孪生卷积神经网络模型中,得到每个图像组中的车辆属于同一车辆或不同车辆的概率值(也即第一相似度)。

需要说明的是,上述步骤204与205-207之间并无明显的先后执行顺序,其可以同时进行。

208、服务器根据该第一相似度和第二相似度计算总相似度,并按照该总相似度从大到小的顺序对该待识别图像进行排序,之后获取排序顺序位于前预设位的待识别图像,作为目标图像。

譬如,总相似度=(1-u)*第二相似度+u*第一相似度,其中u的取值可以人为设定。该预设位可以是人为设定的10位,也即将总相似度最高的10个图像组中的待识别图像确定为目标图像。

209、服务器将该目标图像对应的待识别车辆识别为目标车辆,同时,获取该目标图像的拍摄时间和拍摄地点,并根据该拍摄时间和拍摄地点生成该目标车辆的行驶路线,之后向用户提供该行驶路线图。

譬如,若识别出m张目标图像,并且其拍摄地点按照拍摄时间从先到后的顺序依次为p1、p2…pm,则路线制定过程中,必定是围绕p1-p2-…pm这条路线,结合实际道路规划确定出的合理行驶路线图。

由上述可知,本实施例提供的车辆识别方法,应用于服务器,其中服务器可以获取多对正样本图像和负样本图像,每对正样本图像为对同一车辆的年检标志拍摄得到,每对负样本图像为对不同车辆的年检标志拍摄得到,接着,利用该多对正样本图像和负样本图像对孪生网络模型进行训练,得到已训练的孪生网络模型,接着,获取包含目标车辆的第一图像、以及包含待识别车辆的至少一张第二图像,并根据该第一图像和第二图像确定该目标车辆与对应待识别车辆的第二相似度,与此同时,从该第一图像和第二图像中提取出年检标志所在区域的图像块,并将该第一图像中提取出的图像块确定为目标车辆的参照图像,将该第二图像中提取出的图像块确定为待识别车辆的待识别图像,接着,根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组,并将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度,之后,根据该第一相似度和第二相似度计算总相似度,并按照该总相似度从大到小的顺序对该待识别图像进行排序,之后获取排序顺序位于前预设位的待识别图像,作为目标图像,最后,将该目标图像对应的待识别车辆识别为目标车辆,同时,获取该目标图像的拍摄时间和拍摄地点,并根据该拍摄时间和拍摄地点生成该目标车辆的行驶路线,之后向用户提供该行驶路线图,从而能在车辆识别过程中综合考虑车辆的整体特征和局部特征,结合粗细两个粒度的匹配来从海量图片中快速、准确地识别出目标车辆,方法简单,识别效果好,识别效率高。

根据上述实施例所描述的方法,本实施例将从车辆识别装置的角度进一步进行描述,该车辆识别装置具体可以作为独立的实体来实现,也可以集成在服务器中来实现,该服务器可以是道路监控系统的服务器。

请参阅图7,图7具体描述了本申请实施例提供的车辆识别装置,应用于服务器,该车辆识别装置可以包括:获取模块10、第一确定模块20、处理模块30和识别模块40,其中:

(1)获取模块10

获取模块10,用于获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像。

本实施例中,该目标车辆主要指已确认车主身份的参照车辆,比如车牌显示正常的车辆,该待识别车辆主要指未确认车主身份的嫌疑车辆,比如无车牌或车牌显示不正常的车辆。该参照图像和待识别图像可以是车辆的整体图像,也可以是车辆局部区域的图像,该局部区域可以是车上某个指定物体所在的区域,该指定物体需要具有鲜明个体特征,比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等,其中该年检标志是车辆在规定期限内顺利通过相关部门检测时所取得的合格证明,该年检标志上注明了下次年检时间,通常,车辆的首次年检时间取决于牌照领取时间,之后需定期检查,不同车型检查周期不同,比如营运载客汽车5年以内每年检验1次,超过5年的,每6个月检验1次。载货汽车和大型、中型非营运载客汽车10年以内每年检验1次,超过10年的,每6个月检验1次,等等,不同车辆年检标志上的年检时间通常不同。

例如,当该参照图像和待识别图像是局部区域的图像时,该获取模块10具体可以用于:

1-1、获取包含目标车辆的第一图像、以及包含待识别车辆的至少一张第二图像。

本实施例中,该第一图像和第二图像可以为正对车头拍摄的图像,其中该第一图像可以是用户提供的,该第二图像可以是从街道、公路上安装的道路监控录像中提取出来的,一般情况下,第二图像的数量庞大。

1-2、从该第一图像和第二图像中提取出预设标志物所在区域的图像块。

本实施例中,该图像块的大小取决于预设标志物的大小,考虑到短时间内年检标志相对于车内的装饰、挂件等物体来说,变动的可能性较小,区分度较高,且更容易被检测得到,故该预设标志物优选为年检标志。

1-3、将该第一图像中提取出的图像块确定为目标车辆的参照图像,将该第二图像中提取出的图像块确定为待识别车辆的待识别图像。

(2)第一确定模块20

第一确定模块20,用于根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组。

本实施例中,该参照图像通常为一张,而该待识别图像为多张甚至海量数据,此时,第一确定模块20需要将每张待识别图像与参照图像组成一对,得到多对图像(也即多个图像组)。

(3)处理模块30

处理模块30,用于将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度。

本实施例中,该孪生网络模型是指具有相同架构且共享权重的两个网络模型,这两个网络模型可以以上下分支的形式排列,其中该网络模型可以是用于图像处理的神经网络模型,比如cnn(convolutionalneuralnetworks,卷积神经网络)模型。利用该孪生网络模型可以计算任意两张图像的相似度,也即图像中待识别车辆为目标车辆的概率。

容易理解的是,该孪生网络模型应该是提前训练好的,训练所需的样本需根据该模型的实际应用情况而定,比如当该模型主要用于计算车辆中指定标志物的相似度时,该训练样本采用的图像应主要包括该指定标志物的特征信息。当该模型主要用于计算车辆的整体相似度时,该训练样本采用的图像应包括车辆的车型、颜色、以及部分细节部位(例如车头)等多个特征信息。

例如,当该第一相似度为预设标志物的相似度,且该预设标志物包括年检标志时,请参见图8,该车辆识别装置还可以包括训练模块50,用于:

在该处理模块30将该图像组输入已训练的孪生网络模型中进行处理之前,获取多对正样本图像和负样本图像,每对正样本图像为对同一车辆的年检标志拍摄得到,每对负样本图像为对不同车辆的年检标志拍摄得到;

利用该多对正样本图像和负样本图像对孪生网络模型进行训练。

本实施例中,每对正样本图像或负样本图像均包括两张拍摄图像,其可以由用户提前对大量车辆拍摄得到,比如对同一车辆的年检标志在不同地点或时间拍摄得到正样本图像,对不同车辆的年检标志在不同或同一地点或时间拍摄得到负样本图像,等等。当然,该正样本图像和负样本图像也可以是用户对车头进行拍摄得到的,或者针对车辆的其他标志物(比如车内饰、挂件等)拍摄得到的,具体取决于该孪生网络模型的实际应用情况。

需要指出的是,不同的训练样本训练出的孪生网络模型具有不同的应用目的,比如,对于孪生卷积神经网络模型,当该正样本图像和负样本图像包含指定标志物(比如年检标识、车内饰或挂件)的特征信息时,训练后的孪生卷积神经网络模型则用于根据提供的车辆标志物图片在大量未知车辆的标志物图片库中搜索出哪些属于同一车辆,当该正样本图像和负样本图像包含车头等多个部位的特征信息时,训练后的孪生卷积神经网络模型则用于根据提供的车辆整体图片在大量未知车辆照片中搜索出哪些属于同一车辆。

(4)识别模块40

识别模块40,用于根据该第一相似度从待识别车辆中识别出该目标车辆。

本实施例中,通常第一相似度越高,说明对应图像组中的两张图像越相似,也即图像组中两张图像对应的车辆越有可能是同一车辆,此时,若该第一相似度为多个特征的相似度时,可以直接将第一相似度较高的几个图像组或者第一相似度高于一定值的图像组对应的车辆确定为同一车辆,若该第一相似度为单个特征的相似度时,为提高识别准确率,还可以进一步结合车辆的其他特征,比如车型、颜色、品牌等来进行识别,此时,该车辆识别装置还可以包括第二确定模块60,用于:

在该识别模块40根据该第一相似度从待识别车辆中识别出该目标车辆之前,根据该第一图像和第二图像确定该目标车辆与对应待识别车辆的第二相似度。

本实施例中,该第二相似度可以是多个特征的相似度(该特征通常不包括上述预设标志物),比如车辆颜色、车型、品牌等等。该第二相似度可以是对监控录像中的原始图像进行粗略匹配得到的,从而过滤掉那些外观上与目标车辆具有明显区别的待识别车辆,尽量缩小该预设标志物匹配过程中涉及的图像数量,其中该第二相似度可以利用简单的图像匹配算法计算得到,也可以利用合适的孪生卷积神经网络模型计算得到。

此时,上述识别模块40具体可以用于:

根据该第一相似度和第二相似度计算总相似度;

根据该总相似度从该待识别图像中确定目标图像;

将该目标图像对应的待识别车辆识别为目标车辆。

本实施例中,识别模块40可以通过加权法计算总相似度,比如设置一个权重u,总相似度=(1-u)*第二相似度+u*第一相似度,其中u的取值可以人为设定。由于第一相似度是针对特定特征的精细匹配度,第二相似度是针对多个特征的粗略匹配度,故综合这两个匹配维度来对待识别车辆进行识别的话,识别准确率较高,识别效果好。

例如,识别模块40进一步可以用于:

按照该总相似度从大到小的顺序对该待识别图像进行排序;

获取排序顺序位于前预设位的待识别图像,作为目标图像。

本实施例中,该预设位可以根据待识别图像的来源范围而定,通常,该待识别图像的来源越广,比如来自全市内各街道和马路的监控录像时,该预设位的取值可以设置的越大,比如10,而该待识别图像的来源越窄,比如只是来自几条相邻街道和马路的监控录像时,该预设位的取值可以设置的越小,比如5。当然,还可以以其他方式确定目标图像,比如将总相似度高于一定值的待识别图像确定为目标图像,等等。

此外,该车辆识别装置还可以包括生成模块70,用于:

在该识别模块40将该目标图像对应的待识别车辆识别为目标车辆之后,获取该目标图像的拍摄时间和拍摄地点;

根据该拍摄时间和拍摄地点生成该目标车辆的行驶路线图;

向用户提供该行驶路线图。

本实施例中,生成模块70可以按照拍摄时间将各个拍摄地点串联起来,并结合城市道路规划,确定满足拍摄时间和拍摄地点的合理行驶路线,从而方便用户更好的了解目标车辆的相关信息。

具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。

由上述可知,本实施例提供的车辆识别装置,通过获取模块10获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像,第一确定模块20根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组,接着,处理模块30将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度,识别模块40根据该第一相似度从待识别车辆中识别出该目标车辆,从而能从海量图片中较准确的识别出目标车辆,实现高准确率高稳定性的“以图搜车”功能。

相应的,本发明实施例还提供一种车辆识别系统,包括本发明实施例所提供的任一种车辆识别装置,该车辆识别装置可以集成在服务器中。

其中,服务器可以获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像;根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组;将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度;根据该第一相似度从待识别车辆中识别出该目标车辆。

以上各个设备的具体实施可参见前面的实施例,在此不再赘述。

由于该车辆识别系统可以包括本发明实施例所提供的任一种车辆识别装置,因此,可以实现本发明实施例所提供的任一种车辆识别装置所能实现的有益效果,详见前面的实施例,在此不再赘述。

相应的,本发明实施例还提供一种服务器,如图9所示,其示出了本发明实施例所涉及的服务器的结构示意图,具体来讲:

该服务器可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解,图9中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器801是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器801可包括一个或多个处理核心;优选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。

存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。

服务器还包括给各个部件供电的电源803,优选的,电源803可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元804,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,服务器还可以包括显示单元等,在此不再赘述。具体在本实施例中,服务器中的处理器801会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的应用程序,从而实现各种功能,如下:

获取目标车辆的参照图像、以及待识别车辆的至少一张待识别图像;

根据该参照图像和待识别图像确定至少一个图像组,该图像组包括该参照图像和单张待识别图像,每一张待识别图像对应一个图像组;

将该图像组输入已训练的孪生网络模型中进行处理,得到该目标车辆与对应待识别车辆的第一相似度;

根据该第一相似度从待识别车辆中识别出该目标车辆。

该服务器可以实现本发明实施例所提供的任一种车辆识别装置所能实现的有效效果,详见前面的实施例,在此不再赘述。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种车辆识别方法中的步骤。其中,该存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种车辆识别方法中的步骤,因此,可以实现本发明实施例所提供的任一种车辆识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

以上对本发明实施例所提供的车辆识别方法、装置、存储介质、服务器和系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1