一种车辆识别方法和系统与流程

本发明涉及一种人工智能领域，特别地涉及一种以人工智能的方式进行车辆识别方法和系统。
背景技术：
：随着社会的不断发展，车辆已经成为人们日常的出行工具。车辆的标识是车牌，然而，在车牌缺失、被遮挡、污损的情况下，或者由于距离、天气等原因无法获取准确的车牌信息的情况下，使用计算机进行车辆识别是非常困难的。在实际情况中，往往需要人工进行车辆识别。人工识别的方式不但效率较低，而且也容易出现判断失误或者遗漏的情况。技术实现要素：针对现有技术中存在的技术问题，本发明提出了一种车辆识别方法，包括：接收第一图像；提取第一图像的第一车款识别区域和第一颜色识别区域；利用经训练的车款深度学习模型对提取的第一车款识别区域进行识别；对提取的第一颜色识别区域进行识别；以及基于第一车款识别区域的识别结果和第一颜色识别区域的识别结果识别车辆。如上所述的方法，其中经训练的车款深度学习模型基于卷积神经网络cnn模型、深度信念网络dbn模型、递归神经网络rnn模型、或者生物神经网络bnn模型，或其组合。如上所述的方法，包括利用经训练的颜色深度学习模型对提取的第一颜色识别区域进行识别。如上所述的一种或多种方法，其中经训练的颜色深度学习模型基于卷积神经网络cnn模型、深度神经网络dnn模型，或其组合。如上所述的一种或多种方法，进一步包括：将第一车款识别区域的识别结果和第一颜色识别区域的识别结果融合，以及根据融合结果对颜色车款排序。如上所述的一种或多种方法，其中所述融合包括将第一车款识别区域的识别结果中各个车款的得分与第一颜色识别区域的识别结果各个颜色的得分组合；以及根据得分组合对颜色车款进行排序。如上所述的一种或多种方法，其中所述融合基于融合模型：pf＝θbpbδ+pcθc；其中，pf为颜色车款融合后的得分；pb为经识别的车款序列中各个车款对应的得分；pc为经识别的颜色序列中各个颜色对应的得分；θb和θc的取值满足θ*＝argmaxψn(θbpbδ+pcθc)；其中，arg为取参数，max为最大值，θ*代表θb和θc，δ是惩罚因子；以及根据颜色车款融合后的得分对颜色车款进行排序。如上所述的一种或多种方法，进一步包括：接收第二图像；提取第二图像的第二车款识别区域和第二颜色识别区域；利用经训练的车款深度学习模型对提取的第二车款识别区域进行识别；利用经训练的颜色深度学习模型对提取的第二颜色识别区域进行识别；基于第一车款识别区域的识别结果和第一颜色识别区域的识别结果以及第二车款识别区域的识别结果和第二颜色识别区域的识别结果识别符合目标车辆信息的车辆。如上所述的一种或多种方法，进一步包括：将第一车款识别区域的识别结果和第一颜色识别区域的识别结果进行融合，得到第一融合结果；将第二车款识别区域的识别结果和第二颜色识别区域的识别结果进行融合，得到第二融合结果；以及根据目标车辆信息进行排序。如上所述的一种或多种方法，其中所述排序的规则如下：根据目标车辆信息所定义的颜色车款在第一或第二融合结果中的位置和得分进行排序。如上所述的一种或多种方法，进一步包括：接收第二图像和目标图像；提取第二图像的第二车款识别区域和第二颜色识别区域；利用经训练的车款深度学习模型对提取的第二车款识别区域进行识别；利用经训练的颜色深度学习模型对提取的第二颜色识别区域进行识别；提取目标图像的目标车款识别区域和目标颜色识别区域；利用经训练的车款深度学习模型对提取的目标车款识别区域进行识别；利用经训练的颜色深度学习模型对提取的目标颜色识别区域进行识别；基于第一车款识别区域的识别结果和第一颜色识别区域的识别结果以及第二车款识别区域的识别结果和第二颜色识别区域的识别结果识别符合目标图像的车辆。如上所述的一种或多种方法，进一步包括：将第一车款识别区域的识别结果和第一颜色识别区域的识别结果进行融合，得到第一融合结果；将第二车款识别区域的识别结果和第二颜色识别区域的识别结果进行融合，得到第二融合结果；将目标车款识别区域的识别结果和目标颜色识别区域的识别结果进行融合，得到目标融合结果；以及根据目标融合结果进行排序。如上所述的一种或多种方法，其中所述排序的规则如下：根据目标融合结果与第一融合结果或第二融合结果的相似性进行排序。如上所述的一种或多种方法，进一步包括：将第一车款识别区域的识别结果和目标车款识别区域的识别结果进行融合，得到第一车款最佳匹配度；将第一颜色识别区域的识别结果和目标颜色识别区域的识别结果进行融合，得到第一颜色最佳匹配度；基于第一车款最佳匹配度和第一颜色最佳匹配度，得到第一最佳匹配度；将第二车款识别区域的识别结果和目标车款识别区域的识别结果进行融合，得到第二车款最佳匹配度；将第二颜色识别区域的识别结果和目标颜色识别区域的识别结果进行融合，得到第二颜色最佳匹配度；将目标车款识别区域的识别结果和目标颜色识别区域的识别结果进行融合，得到目标融合结果；基于第二车款最佳匹配度和第二颜色最佳匹配度，得到第二最佳匹配度；以及根据第一最佳匹配度和第二最佳匹配度进行排序。如上所述的一种或多种方法，其中第一最佳匹配度或第二最佳匹配度按如下方式计算：mf＝θbmbδ+mcθc；其中，mf为最佳匹配度；mb为车款最佳匹配度；mc为颜色最佳匹配度；θb和θc的取值满足：θ*＝argmaxψn(θbmbδ+mcθc)；其中，arg为取参数，max为最大值，θ*代表θb和θc，δ是惩罚因子。如上所述的一种或多种方法，进一步包括：接收视频；以及根据视频产生车辆图像。如上所述的一种或多种方法，进一步包括：经过训练的车款/颜色深度学习模型识别车款/颜色的结果仅包括可能性最大的前n项以及前n向对应的得分，其中n为3-10，优选3-8，更优为4-6。根据本发明的另一个方面，提出一种计算机可读的存储介质，其中存储有代码，所述代码经运行以通过计算设备执行如上所述的一种或多种方法。根据本发明的另一个方面，提出一种车辆识别系统，包括：车款识别区域提取单元，其经配置以提取车款识别区域；车款识别单元，其经配置以利用经训练的车款深度学习模型对提取的车款识别区域进行识别；颜色识别区域提取单元，其经配置以提取颜色识别区域；颜色识别单元，其经配置以对提取的颜色识别区域进行识别；以及融合单元，其经配置以融合车款识别单元和颜色识别单元的识别结果；和/或者融合不同图像之间的车款识别单元或颜色识别单元的识别结果；以及排序单元，其经配置根据融合单元的结果进行排序。如上所述的系统，其中经训练的车款深度学习模型基于卷积神经网络cnn模型、深度信念网络dbn模型、递归神经网络rnn模型、或者生物神经网络bnn模型，或其组合。如上所述的系统，其中颜色识别单元，其经配置以利用经训练的颜色深度学习模型对提取的颜色识别区域进行识别；其中经训练的颜色深度学习模型基于卷积神经网络cnn模型、深度神经网络dnn模型，或其组合。附图说明下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：图1是传统的人工识别方式的示意图；图2是根据本发明的一个实施例的车辆识别的示意图；图3是根据本发明的一个实施例的识别车辆方法的流程图；图4是根据本发明的一个实施例的图像识别器的示意图；图5是根据本发明的一个实施例的形成待识别图像的示意图；图6是根据本发明的一个实施例的从多个图像中识别车辆的示意图；图7是根据本发明的一个实施例的从多个图像中识别车辆方法的流程图；图8是根据本发明的一个实施例的从多个图像中识别目标车辆的示意图；图9是根据本发明的一个实施例的从多个图像中识别目标车辆方法的流程图；图10是根据本发明的另一个实施例的从多个图像中识别目标车辆方法的流程图；以及图11是根据本发明的一个实施例的在其上可以实现本发明的方法和系统的通用计算机系统的示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。本发明提出了以人工智能的方式对车辆的车款和车身颜色进行识别的全新车辆识别方式。不但识别的速度快而且准确率已经达到或超过了人工识别的水平。图1是传统的人工识别方式的示意图。在传统的人工方式下，面对海量的监控视频或者图像，操作者的大脑充当了存储器。操作者需要首先记住目标车辆的特征，然后再浏览待识别车辆的视频或者图像，凭人脑的记忆与看到的车辆进行对比，从而识别出与目标车辆相似的车辆。因为操作者很快就可能感到疲劳，所以这种识别方式的效率非常低而且不够准确。图2是根据本发明的一个实施例的车辆识别的示意图。如图2所示，待识别的图像输入本发明的图像识别器200中。图像识别器200对待识别图像的车款识别区域和颜色识别区域进行识别，得出待识别图像的一个或多个识别结果，例如白色大众cc-2016、白色本田雅阁-2009、灰色奥迪a4-2016、或者银色大众cc-2016。图3是根据本发明的一个实施例的识别车辆方法的流程图。根据本发明的一个实施例，图3的方法可以用于图2所示的车辆识别。如图3所示，方法300包括在步骤310，接收车辆图像。在步骤320，提取待处理车辆图像的车款识别区域和颜色识别区域。车款是指车辆的款式，例如：大众cc-2016，即为大众公司生产的cc系列轿车中2016年出品的汽车。为了简化描述，本文中仅采用了厂商和车系的描述方式。本领域技术人员应当理解，车辆的出品时间也是反映车款的特征之一。车款识别区域，即车辆图像中反映车辆的厂商、车系和年代的车辆表观特点的区域。车款识别区域包括车脸部分、车型部分、车尾部分，车门和车窗部分、以及附件部分；其中附件部分又包括后视镜、装饰物、天线等。根据本发明的一个实施例，以上各个部分中的一者或者其组合作为用于车款识别的车款识别区域。虽然以上所举出的例子均可以用于车款识别，但是由于在很多车辆的照片中车型或者车门和车窗部分中的特点由于照片摄取的角度或车辆的角度影响容易出现程度较大的变形，因此识别难度大，识别率比较低。对于车尾部分而言，很多不同车款的车辆之间车尾的变化并不明显。附件部分往往在照片中面积比较小，容易出现不清晰等情况，很难作为主要的车款识别区域。相比而言，车脸部分往往是照片中比较清楚的部分，而且不同车款之间差别较大，在照片中也不容易出现难以修复的变形。根据本发明的一个实施例，以车脸部分作为用于车款识别的主要特征，以其他部分作为用于车款识别的辅助特征。根据本发明的另一个实施例，仅以车脸部分作为车款识别的车款识别区域。本申请的发明人发现，即使仅以车脸特征作为用于车款识别的车款识别区域，按照本发明的方法，识别准确率也能够达到90％以上。在以下的实施例中，将车脸部分作为车款识别区域以说明本发明的技术方案。本领域技术人员应当理解，以上所提及的其他车款识别区域或其组合也可以用类似的方法处理，以应用本发明的车辆识别的技术方案，在此不再一一赘述。根据本发明的一个实施例，从输入的车辆图像中提取车脸区域，然后对车脸进行灰度化处理，获取灰度的车脸区域，作为车款识别区域。本领域技术人员应当理解，其他的车脸区域提取或处理方式也可以用于本发明的方案中。例如，灰度化处理不是一个必需的过程。根据本发明的一个实施例，从输入的车辆图像中定位车身的位置。举例而言，首先识别车脸部分、车窗、或者车轮，然后根据相对于车脸部分、车窗、或者车轮的位置定位车身的区域；或者，直接识别车门、车前盖、车后盖或者车辆上面积最大的区域等方式直接定位车身。进一步地，将车身区域作为颜色识别区域。根据本发明的另一个实施例，通过对车辆图像进行轮廓弱化、颜色平滑化、以及图像去噪等技术直接提取车辆图像中的颜色区域作为颜色识别区域。根据本发明的一个实施例，进一步通过亮度调整、对比度调整、图像去噪、归一化等技术对车辆图像进行预处理，以减小光照条件、曝光时间、光圈、感光能力等对图像产生的影响。在步骤330，利用经训练的深度学习模型对提取的车款识别区域进行识别，获得经识别的车款特征。根据本发明的一个实施例，进行车款识别的深度学习模型可以基于卷积神经网络(cnn)、深度信念网络(dbn)、或者递归神经网络(rnn)、生物神经网络(bnn)等。申请号为“201610368032.6”，申请日为“2016年5月30日”，发明名称为“一种基于卷积神经网络的车款识别方法及装置”的中国专利申请公开了利用卷积神经网络进行车款识别的具体实例。该申请的全文并入本申请中作为有用的参考。根据本发明的一个实施例，深度信念网络dbn模型用于车款识别的一个实例包括多层限制性玻尔兹曼机rbm，每层rbm包括：一个可视层和一个隐含层，并且只有可视层和隐含层之间有连接，可视层和隐含层中没有连接。在具体的模型构建过程中，首先采用对比散度学习方法充分训练第一个rbm；然后固定第一个rbm的权重和偏移量，然后使用其隐性神经元的状态，作为第二个rbm的输入向量；再充分训练第二个rbm后，将第二个rbm堆叠在第一个rbm的上方。重复以上步骤直到获得满意的识别模型。dbn通过训练其神经元间的权重，让整个神经网络按照最大得分来生成训练数据的一种生成模型。因此，可以使用经过充分训练的dbn识别车款识别区域。根据本发明的一个实施例，递归神经网络rnn模型也可以用于车款识别。例如，以一定的规则遍历车辆图像以形成能使用rnn描述的序列。序列中的图像为原图像的子区域。子区域图像序列送入两层的rnn中。使用rnn第一层输出的结果对粗略显著检测结果中对应于该子区域的部分进行细化。rnn的第二层的输出用于生成空间转换矩阵。空间转换矩阵用于生成rnn的输入图像子区域序列以及生成rnn第一层的解码结果对应于粗略的显著检测结果的位置。最终，粗略的显著区域检测结果细化后即得到最终的显著检测结果。与利用人工选定并设计的特征(如梯度方向直方图hog、局部二进制模式lbp、尺度不变特征sift等)加上支持向量机svm或者人工神经网络ann等分类器识别车款的技术方案相比，本发明采用深度学习模型识别车款的方式极具优势。这是因为选定的特征一旦确定以后就只能对分类器参数进行调节，导致整个识别的性能下降。而本发明基于深度学习模型的车款识别方法可以将特征和分类器可以一并训练调节，从而大大提高了识别能力。本领域技术人员应当理解，其他的深度学习模型，例如：生物神经网络bnn模型等经过训练也同样可以用于识别车辆图像中的车款。因此，利用这些深度学习模型进行车款识别也同样在本发明的范围之中。根据本发明的一个实施例，经过深度学习模型识别后，得到一个车款序列，其中车款序列中越靠前的车款对应的得分越高；其中车款的得分为车辆图像经识别后为该车款的概率，或者至少部分地基于该概率。例如：图2的图像经识别后的一个可能的序列：车款序列得分大众cc0.85本田雅阁0.10奥迪a40.02…………在步骤340，对提取的颜色识别区域进行识别，获得经识别的颜色识别特征。根据本发明的一个实施例，将提取的颜色识别区域与标准颜色进行比较，确定车辆中车辆车身的颜色。由于颜色受到的干扰因素很多，虽然对图像进行了预处理来减少这些干扰因素的影响，但是简单对比而得出的结论仍然在很多时候与真实车身颜色相差很多。根据本发明的一个实施例，计算颜色识别区域中各个颜色的统计量，并利用经验阈值去判断颜色识别区域为那种颜色。或者，根据本发明的另一个实施例，计算颜色识别区域中整体颜色的特征值(例如颜色直方图，颜色矩)，然后利用颜色特征值去匹配颜色。然而，前者的阈值判定困难较高，后者需要较大的计算量却对相近颜色区分度较差。根据本发明的一个优选的实施例，利用经训练的深度学习模型对提取的颜色识别区域进行识别，获得经识别的颜色识别特征。根据本发明的一个实施例，进行颜色识别的深度学习模型可以基于卷积神经网络(cnn)、深度神经网络(dnn)等。根据本发明的一个实施例，利用经训练的深度学习模型提取的车辆颜色进行识别。根据本发明的一个实施例，深度学习模型包括但不限于卷积神经网络cnn模型和深度神经网络dnn模型等。根据本发明的一个实施例，在车身的待识别的区域内，均匀取一定数量的点并把该点的颜色值转化到固定颜色空间的颜色值；再进一步把所有的转化点组成三维颜色空间数据；最后再把该数据输入到预先定义好并训练好的cnn或dnn模型中进行颜色识别。根据本发明的一个实施例，经过颜色识别单元304识别后，得到一个颜色序列，其中颜色序列中越靠前的颜色对应的得分越高；其中颜色的得分为车辆图像经识别后为该颜色的概率，或者至少部分地基于该概率。例如：图2的图像经识别后的一个可能的序列：颜色序列得分白色0.99银色0.006灰色0.003…………在步骤350，综合考虑经识别的车款特征和经识别的颜色特征，得出融合结果。根据本发明的一个实施例，将车款序列的得分与颜色序列的得分分别相加，得出融合结果。在图2图像的例子中，最终的输出结果为：颜色车款序列得分白色大众cc1.84白色本田雅阁1.09白色奥迪a41.01银色大众cc0.106灰色大众cc0.103银色本田奥德赛0.066灰色本田奥德赛0.063银色奥迪a40.026灰色奥迪a40.023…………本申请的发明人发现，融合输出的结果仍然有时候不令人满意，尚有进一步提高的空间。为了充分利用深度学习的结果，根据本发明的一个实施例，提出了一种融合模型。具体而言，定义目标函数为数据集d上topn的比对正确率ψn,θ∈(θb,θc)。当ψn为最大时所对应的θb,θc就是需要最优化的权重。即：θ*＝argmaxψn(θbpbδ+pcθc)，其中arg为取参数，max为最大值，θ*代表θb和θc，pb为经识别的车款序列中各个车款对应的得分；pc为经识别的颜色序列中各个颜色对应的得分，δ是惩罚因子，代表了权重比例的调节，δ的取值小于0.5，优选为0.3-0.5；n一般小于5。在δ取定值情况下，以pf＝θbpbδ+pcθc取值进行排序，在前n项排序的结果中包括正确项的得分最大时权重θb和θc的取值。也就是说，θb，θc，δ可以看做是作为本发明的实施例的融合模型的参数。对于一组训练集，δ取不同的值情况下训练融合模型，可以得到不同的θb和θc，即不同的融合模型。根据本发明的一个实施例，选择识别正确率最高的融合模型作为训练的结果，即由θb，θc，δ定义的融合模型。利用经过训练的融合模型，计算pf＝θbpbδ+pcθc并进行排序，将排序的结果作为融合后的结果输出；其中pb代表经过深度学习模型识别的车款序列中各个车款的得分；pc代表输出序列中各个颜色的得分。根据本发明的一个实施例，采用θb，θc，δ定义的融合模型相比于将车款得分和颜色得分分别简单相加的融合方式准确率提高了大约15％。在步骤360，根据融合结果对各个颜色车款进行排序，并将排序的结果输出。例如，按从大到小的顺序将融合结果排序后输出。由此，本发明的方法实现了各个颜色车款的排序，从而实现了车辆图像的识别。本领域技术人员应当了解，以上仅仅是给出了将车款和颜色利用深度学习模型识别的结果进行融合的实施例。本领域中存在着其他将车款和颜色进行综合考虑的方式，这些方式也包括在本发明的范围中。图4是根据本发明的一个实施例的图像识别器的示意图。如图4所示，图像识别器400包括车款识别区域提取单元401和车款识别单元403。根据本发明的一个实施例，车款识别区域提取单元401从输入的车辆图像中提取车脸区域，然后对车脸进行灰度处理化处理，获取灰度的车脸区域。进一步地，在车款识别单元403中，利用经训练的深度学习模型对车款识别区域提取单元401中获得的车脸区域进行识别。根据本发明的一个实施例，深度学习模型包括但不限于卷积神经网络cnn模型、深度信念网络dbn模型、递归神经网络rnn模型等。图像识别器400进一步包括颜色识别区域提取单元402和颜色识别单元404。根据本发明的一个实施例，颜色识别区域提取单元402从输入的车辆图像中定位车身的位置。根据本发明的另一个实施例，颜色识别区域提取单元402通过对车辆图像进行轮廓弱化、颜色平滑化、以及图像去噪等技术直接提取车辆的颜色识别区域。根据本发明的一个实施例，颜色识别区域提取单元402进一步通过亮度调整、对比度调整、图像去噪、归一化等技术对车辆图像进行预处理，以减小光照条件、曝光时间、光圈、感光能力等对图像产生的影响。根据本发明的一个实施例，颜色识别单元404将提取的颜色识别区域与标准颜色进行比较，确定车辆中车辆车身的颜色。根据本发明的一个实施例，颜色识别单元404计算颜色识别区域中各个颜色的统计量，并利用经验阈值去判断颜色识别区域为那种颜色。或者，根据本发明的另一个实施例，颜色识别单元404计算颜色识别区域中整体颜色的特征值(例如颜色直方图，颜色矩)，然后利用颜色特征值去匹配颜色。根据本发明的一个实施例，颜色识别单元404利用经训练的深度学习模型提取的车辆颜色进行识别。深度学习模型包括但不限于卷积神经网络cnn模型和深度神经网络dnn模型等。图像识别器400进一步包括融合单元405。根据本发明的一个实施例，融合单元405将车款序列的得分与颜色序列的得分分别相加，得出多个融合结果。根据本发明的另一个实施例，可以利用图3实施例中定义的融合模型来综合考虑车款识别区域和颜色识别区域，得出多个融合结果。图像识别器400进一步包括排序单元406。排序单元406根据预定的规则进行排序。举例而言，排序单元406可以针对多个融合结果进行排序，按从大到小的顺序对多个融合结果排序后输出。排序单元406也可以根据其他规则进行排序。当输入多个车辆图像时，排序单元也可以针对输入的多个车辆图像进行排序。在本文中以下实施例中介绍的多种排序方式，也都可以由排序单元406实施。应用场景举例以交通警察查找无牌肇事车辆为例，如果交通警察只有肇事车辆的图像而由于相似外形和颜色的车有很多种，交通警察并不能完全确定肇事车辆的颜色和车款时，就可以利用本发明实施例的方法和图像识别器，识别肇事车辆的颜色和车款。图5是根据本发明的一个实施例的形成待识别图像的示意图。本发明特别适用于视频监控等视频流的场景。视频监控形成的图像中可能包括多个车辆，也包括车辆在不同时刻形成的图像。根据本发明的一个实施例，利用视频形成可以应用于本发明的车辆识别的待识别图像。对于某一时刻的视频画面，其中可能包括多个车辆。根据本发明的一个实施例，首先识别画面中的道路、路基、垭口、交通标志、树木等标志性物体，然后根据识别出的标志性物体，确定车辆可能出现的区域，并据此将视频画面分区。利用经过训练的深度学习模型对车辆可能出现的分区进行处理，识别其中的车辆。或者，通过识别车辆可能出现的分区中的车轮、车门、车窗等标志性物体，识别其中的车辆。接下来，根据识别出的车辆确定车辆所在的区域，形成待识别的图像。本领域技术人员应当了解，从视频画面中识别车辆的方法有多种，本申请在此不一一赘述。这些车辆识别方法都可以应用于本发明中形成待识别的车辆图像。从视频画面生成待识别的车辆图像的方法或装置可以与本发明的图像识别方法或图像识别器联用，从而使得本发明的方案能够用于直接处理视频数据。根据本发明的一个实施例，包括识别车辆图像中车牌的步骤：在车辆图像中识别车牌的区域，并进一步地对车牌区域中的车牌所包括的数字和字母进行识别，得出车辆图像中车辆的车牌。根据本发明的一个实施例，如果车辆图像中车辆未悬挂车牌、或者车牌由于污损、遮挡、或者模糊而无法识别的情况下，识别车辆图像的车款和颜色，从而实现车辆识别。图6是根据本发明的一个实施例的从多个图像中识别车辆的示意图。如图6所示，从输入的多个车辆图像中，图像识别器600识别出符合条件的车辆图像。例如，图像识别器600收到指令，寻找白色大众cc。在输入的多个车辆图像中，图像识别器600可以识别出哪个或哪些图像符合这一条件。根据本发明的一个实施例，图4所示的图像识别器可以用于实现这一功能。图7是根据本发明的一个实施例的从多个图像中识别车辆方法的流程图。图7的方法可以用于图6实施例所示的情况。如图7所示，方法7000包括：在步骤7010，接收第一图像和第二图像。在步骤7020，提取第一图像的车款识别区域和颜色识别区域。利用上文所介绍的车款识别区域和颜色识别区域提取方法可以提取第一图像的车款和颜色识别区域。在步骤7030，提取第二图像的车款识别区域和颜色识别区域。利用上文所介绍的车款识别区域和颜色识别区域提取方法可以提取第二图像的车款和颜色识别区域。在步骤7040，利用经训练的深度学习模型对来自第一图像的车款识别区域进行识别，获得经识别的第一车款特征。根据本发明的一个实施例，进行车款识别的深度学习模型可以基于卷积神经网络(cnn)、深度信念网络(dbn)、或者递归神经网络(rnn)、生物神经网络(bnn)等。在步骤7050，利用经训练的深度学习模型对来自第二图像的车款识别区域进行识别，获得经识别的第二车款特征。根据本发明的一个实施例，进行车款识别的深度学习模型可以基于卷积神经网络(cnn)、深度信念网络(dbn)、或者递归神经网络(rnn)、生物神经网络(bnn)等。在步骤7060，利用经训练的深度学习模型对来自第一图像的的颜色识别区域进行识别，获得经识别的第一颜色特征。根据本发明的一个实施例，进行颜色识别的深度学习模型可以基于卷积神经网络(cnn)、深度神经网络(dnn)等。在步骤7070，利用经训练的深度学习模型对来自第二图像的颜色识别区域进行识别，获得经识别的第二颜色特征。根据本发明的一个实施例，进行颜色识别的深度学习模型可以基于卷积神经网络(cnn)、深度神经网络(dnn)等。在步骤7080，综合考虑经识别的第一车款特征和经识别的第一颜色特征，得出第一融合结果；其中第一融合结果包括按得分从大到小顺序排列的第一颜色车款序列。在步骤7090，综合考虑经识别的第二车款特征和经识别的第二颜色特征，得出第二融合结果；其中第二融合结果包括按得分从大到小顺序排列的第二颜色车款序列。在步骤7100，根据目标车辆信息对第一颜色车款序列和第二颜色车款序列进行排序。根据本发明的一个实施例，在第一颜色车款序列和第二颜色车款序列，目标车辆信息在序列中位置靠前的序列在排序的时候该序列在前；如果目标车辆信息在序列中的位置相同，目标车辆信息对应的得分较高的序列在排序的时候该序列在前。举例而言，a序列的融合结果a如下所示：颜色车款序列得分白色大众cc1.84白色本田奥德赛1.09白色奥迪a41.01…………b序列的融合结果b如下所示：c序列的融合结果c如下：颜色车款序列得分白色大众cc1.25白色本田奥德赛1.14白色奥迪a41.08灰色大众cc0.31…………在步骤7100中，序列a和序列c相比，序列a排列在前(都是第一位但c的得分小于a)；而序列c和序列b相比，序列c排列在前(c是第一位而b是第四位)。进一步地，根据第一颜色车款序列和第二颜色车款序列的排序结果对第一图像和第二图像进行排序。本领域技术人员应当了解，当接收多个车辆图像时，对于各个车辆图像分别进行车款和颜色识别后获得各个车辆图像对应的融合的颜色车款序列。根据待识别车辆信息对融合的颜色车款序列进行排序；其中待识别车辆信息所定义的颜色车款在序列中的位置越靠前并且得分越高，该序列在排序中越靠前。按此顺序对车辆图像进行排序后，与待识别车辆信息越匹配的车辆图像就会排列的越靠前。由此，本实施例的方法实现待识别车辆信息对应车辆图像的识别。应用场景举例以交通警察查找无牌肇事车辆为例，如果交通警察已经知道了肇事车辆的颜色和车款，希望在监控视频中找到肇事车辆。利用本发明的装置和方法，可以首先从监控视频中生成车辆图像，然后利用本发明的识别方法和装置就可以从海量的来自监控视频的车辆图像中识别出颜色和车款符合的车辆。图8是根据本发明的一个实施例的从多个图像中识别目标车辆的示意图。如图8所示，图像识别器800接收目标车辆图像和多个车辆图像。从输入的多个车辆图像中，图像识别器800识别出符合目标车辆图像的车辆图像。例如，图像识别器800收到指令，寻找目标图像最为接近的车辆图像。在输入的多个车辆图像中，图像识别器800可以识别出那个或那些车辆图像与目标图像为接近。根据本发明的一个实施例，图4所示的图像识别器可以用于实现这一功能。图9是根据本发明的一个实施例的从多个图像中识别目标车辆方法的流程图。如图9所示，方法9000包括：在步骤9010，接收目标图像以及第一图像和第二图像。在步骤9020，提取目标图像的车款识别区域和颜色识别区域。在步骤9030，提取第一和第二图像的车款识别区域和颜色识别区域。在步骤9040，利用经训练的深度学习模型对来自目标图像的车款识别区域进行识别，获得经识别的目标车款特征。根据本发明的一个实施例，进行车款识别的深度学习模型可以基于卷积神经网络(cnn)、深度信念网络(dbn)、或者递归神经网络(rnn)、生物神经网络(bnn)等。在步骤9050，利用经训练的深度学习模型对来自第一图像和第二图像的车款识别区域进行识别，获得经识别的第一和第二车款特征。根据本发明的一个实施例，进行车款识别的深度学习模型可以基于卷积神经网络(cnn)、深度信念网络(dbn)、或者递归神经网络(rnn)、生物神经网络(bnn)等。在步骤9060，利用经训练的深度学习模型对来自目标图像的的颜色识别区域进行识别，获得经识别的目标颜色特征。根据本发明的一个实施例，进行颜色识别的深度学习模型可以基于卷积神经网络(cnn)、深度神经网络(dnn)等。在步骤9070，利用经训练的深度学习模型对来自第一和第二图像的的颜色识别区域进行识别，获得经识别的第一和第二颜色特征。根据本发明的一个实施例，进行颜色识别的深度学习模型可以基于卷积神经网络(cnn)、深度神经网络(dnn)等。在步骤9080，综合考虑经识别的目标车款特征和经识别的目标颜色特征，得出目标处理结果；其中目标处理结果包括按得分从大到小顺序排列的目标颜色车款序列。在步骤9090，综合考虑经识别的第一和第二车款特征和经识别的第一和第二颜色特征，得出第一和第二处理结果；其中第一和第二处理结果分别包括按得分从大到小顺序排列的第一和第二颜色车款序列。在步骤9100，根据目标颜色车款序列对第一颜色车款序列和第二颜色车款序列进行排序。根据本发明的一个实施例，对于第一颜色车款序列和第二颜色车款序列，与目标序列的前n项越接近的序列在排序的时候该序列在前，其中n的取值为5-10。与目标序列中不同的项越少的序列与目标序列更接近。在与目标序列不同的项数相同的情况下，不同的项的位置越靠后，与目标序列越接近。如果与目标序列的前n项相同，前n项对应的得分与目标序列前n项对应的得分越接近的序列在排序的时候该序列在前。根据本发明的一个实施例，前n项中得分与目标序列前n项得分的均方差越小的序列与目标序列的得分越接近。本领域技术人员应当了解，以上提出的目标颜色车款序列与第一颜色车款序列和第二颜色车款序列是否接近的比较方式仅仅是一种实施方式。本领域技术人员可以在上述技术思想的启示下想到其他的实施方式，而这些实施方式都在本发明的保护范围之中。在步骤9110，按照序列排序的顺序对第一图像和第二图像进行排序。在步骤9120，将经过排序的第一图像和第二图像作为结果输出。本领域技术人员应当了解，当接收多于2个车辆图像时，对于各个车辆图像分别进行车款和颜色识别后获得各个车辆图像对应的融合的颜色车款序列。根据目标颜色车款序列对各个车辆的融合的颜色车款序列进行排序；其中与目标颜色车款序列越接近的颜色车款序列，该序列在排序中越靠前。按此顺序对各个车辆图像进行排序后，与目标车辆图像越接近的车辆图像就会排列在越靠前的位置。由此，本实施例的方法实现与目标车辆图像对应的车辆图像的识别，从而实现目标车辆的识别。为了进一步提高识别的准确性，提出了以下的目标车辆与待识别车辆融合的识别方式的实施例。根据发明人的试验，采用目标车辆与待识别车辆融合的识别方式可以将识别的准确率提高20％。图10是根据本发明的一个实施例的从多个图像中识别目标车辆方法的流程图。如图10所示，方法10000包括：在步骤10010，接收目标图像和第一图像和第二图像。在步骤10020，提取目标图像的车款识别区域和颜色识别区域。在步骤10030，提取第一和第二图像的车款识别区域和颜色识别区域。在步骤10040，利用经训练的深度学习模型对来自目标图像的车款识别区域进行识别，获得经识别的目标车款特征。根据本发明的一个实施例，进行车款识别的深度学习模型可以基于卷积神经网络(cnn)、深度信念网络(dbn)、或者递归神经网络(rnn)、生物神经网络(bnn)等。在步骤10050，利用经训练的深度学习模型对来自第一图像和第二图像的车款识别区域进行识别，获得经识别的第一和第二车款特征。根据本发明的一个实施例，进行车款识别的深度学习模型可以基于卷积神经网络(cnn)、深度信念网络(dbn)、或者递归神经网络(rnn)、生物神经网络(bnn)等。在步骤10060，利用经训练的深度学习模型对来自目标图像的的颜色识别区域进行识别，获得经识别的目标颜色特征。根据本发明的一个实施例，进行颜色识别的深度学习模型可以基于卷积神经网络(cnn)、深度神经网络(dnn)等。在步骤10070，利用经训练的深度学习模型对来自第一和第二图像的的颜色识别区域进行识别，获得经识别的第一和第二颜色特征。根据本发明的一个实施例，进行颜色识别的深度学习模型可以基于卷积神经网络(cnn)、深度神经网络(dnn)等。在步骤10080，将第一车款特征与目标车款特征进行匹配，并计算第一车款最佳匹配度。根据本发明的一个实施例，车款最佳匹配度采用如下方式计算：将第一车款特征与目标车款特征两两匹配，然后将其对应的得分相加并除以2，获得算数平均值。所有车款的算数平均值中最大的平均值即为最佳匹配度。根据本发明的另一个实施例，车款最佳匹配度也可以采用如下方式计算：将第一车款识别区域与目标车款识别区域两两匹配，然后将其对应的得分求平方后相加在开根号，获得均方平均值。所有车款的均方平均值中最大的平均值即为最佳匹配度。本领域技术人员应当理解，与上述实施例类似该领域还有其他的方式可以用来计算最佳匹配度，这些计算方式也都在本发明的范围之内。在步骤10090，将第二车款特征与目标车款特征进行匹配，并计算第二车款最佳匹配度。与步骤10080类似的方式，基于第二车款特征和目标车款特征计算第二车款最佳匹配度。在步骤10100，将第一颜色特征与目标车款特征进行匹配，并计算第一颜色最佳匹配度。根据本发明的一个实施例，颜色最佳匹配度采用如下方式计算：将第一颜色特征与目标颜色特征两两匹配，然后将其对应的得分相加并除以2，获得算数平均值。所有颜色的算数平均值中最大的平均值即为最佳匹配度。根据本发明的另一个实施例，颜色最佳匹配度也可以采用如下方式计算：将第一颜色识别区域与目标颜色识别区域两两匹配，然后将其对应的得分求平方后相加在开根号，获得均方平均值。所有颜色的均方平均值中最大的平均值即为最佳匹配度。本领域技术人员应当理解，与上述实施例类似该领域还有其他的方式可以用来计算最佳匹配度，这些计算方式也都在本发明的范围之内。在步骤10110，将第二颜色特征与目标颜色特征进行匹配，并计算第二颜色最佳匹配度。与步骤10100类似的方式，基于第二颜色特征和目标颜色特征计算第二颜色最佳匹配度。在步骤10120，基于第一车款最佳匹配度与第一颜色最佳匹配度计算第一融合匹配度。根据本发明的一个实施例，可以采用如下方法计算融合匹配度：将最佳车款匹配度与最佳颜色匹配度相加即获得融合匹配度。根据本发明的一个实施例，融合模型也可以引入以进一步提高识别的准确度。具体而言，定义目标函数为数据集d上topn的比对正确率ψn,θ∈(θb,θc)。当ψn为最大时所对应的θb,θc就是需要最优化的权重。即：θ*＝argmaxψn(θbmbδ+mcθc)，其中arg为取参数，max为最大值，θ*代表θb和θc，mb为车款最佳匹配度；mc为颜色最佳匹配度，δ是惩罚因子，代表了权重比例的调节，δ的取值小于0.5，优选为0.3-0.5；n一般小于5。在δ取定值情况下，以mf＝θbmbδ+mcθc取值进行排序，在前5项排序的结果中包括正确项的得分最大时权重θb和θc的取值即可确定。也就是说，θb，θc，δ可以看做是作为本发明的实施例的融合模型的参数。对于一组训练集，δ取不同的值情况下训练融合模型，可以得到不同的θb和θc，即不同的融合模型。根据本发明的一个实施例，选择识别正确率最高的融合模型作为训练的结果，即由θb，θc，δ定义的融合模型。利用经过训练的融合模型，针对图像计算mf，其中mf即为融合匹配度。在步骤10130，基于第二车款最佳匹配度与第二颜色最佳匹配度计算第二融合匹配度。采用与步骤10120类似的方式，计算第二融合匹配度。在步骤10140，根据第一和第二融合匹配度进行排序。根据本发明的一个实施例，融合匹配度越高的，在排序中越靠前。在步骤10150，根据融合匹配度的排序对第一图像和第二图像进行排序。由此实现了对于第一图像和第二图像的排序。本领域技术人员应当理解，当输入多个图像时，通过计算各个图像与目标图像的融合匹配度并据此进行排序，即可实现识别出目标图像最为接近的图像。举例而言，第一图像的车款序列和颜色序列如下：车款序列车款得分颜色序列颜色得分大众cc0.85白色0.99本田奥德赛0.10银色0.006奥迪a40.02灰色0.003……………………第二图像的车款序列和颜色序列如下：车款序列车款得分颜色序列颜色得分本田奥德赛0.35白色0.99大众cc0.26银色0.006奥迪a40.09灰色0.003……………………目标图像的车款和颜色序列如下：车款序列车款得分颜色序列颜色得分大众cc0.46白色0.86本田奥德赛0.19银色0.10奥迪a40.11灰色0.05……………………经计算，第一车款最佳匹配度为：mb1＝0.85+0.46＝1.31(即大众cc的匹配度)；第二车款最佳匹配度为：mb2＝0.26+0.46＝0.72(即大众cc的匹配度)；第一颜色最佳匹配度为：mc1＝0.99+0.86＝1.85(即白色的匹配度)；第二颜色最佳匹配度为：mc2＝0.99+0.86＝1.85(即白色的匹配度)；假定融合模型中的三个参数，θb，θc，δ分别为1.53，0.64，和0.35，那么mf1＝θbmb1δ+mc1θc＝1.53*1.32*0.35+0.64*1.85*＝0.70686+1.184＝1.89086mf2＝θbmb2δ+mc2θc＝1.53*0.72*0.35+0.64*1.85*＝0.38556+1.184＝1.56956由此，第一图像在排序是相比第二图像更为靠前，更接近于目标图像。本领域技术人员应当理解，如果目标图像和输入多个图像，按本实施例的方法可以实现输入的多个图像的排序从而识别出与目标图像更为接近的输入图像。在本实施例采用了输入图像与目标图像的车款和颜色分别进行了融合，然后再进行比较的方式，与图9所述的实施例相比，其比较排序的计算量大为降低，而且识别的准确度还有所提高。为了进一步降低本发明的识别方法的计算量，根据本发明的一个实施例，经过训练的深度学习模型识别的车款识别区域和颜色识别区域，其仅包括前n项车款或者颜色以及各自的得分，而省略前n项之后的识别结果。其中，n的取值为3-10；优选为，3-8；更优为4-6。通过发明人实践发现，这样的省略并不会影响识别的准确度，然而却可以减少40％以上的计算量。对于处理类似于视频等包括大量图像的数据时，本实施例的简化方法极具优势。应用场景举例以交通警察查找无牌肇事车辆为例，如果交通警察只是得到了肇事车辆的图像，希望在监控视频中找到肇事车辆，那么就可以应用本发明的方法。肇事车辆的图像作为目标图像，而从监控视频中获得的车辆图像作为输入图像，应用本发明的方法即可以在海量的来自监控视频的图像中识别出与肇事车辆接近的车辆。图11是根据本发明的一个实施例的在其上可以实现本发明的方法和系统的通用计算机系统的示意图。在此所描述的图像识别器在许多类型的通用或专用计算机系统环境或配置中是可操作的。图11图示了在其上可以实现如在此所描述的图像识别器的各种实现和元件的通用计算机系统的示例。应当注意，由图11中的断线或虚线所表示的任何框表示计算设备的备选部分，并且如下文所描述的，这些备选部分中的任何或全部可以组合贯穿该文档所描述的其他备选实现一起使用。例如，图11出了通用系统图。包括图像识别器的可操作设备的示例包括但不限于便携式电子设备、可穿戴计算设备、手持式计算设备、膝上型或移动计算机、通信设备(诸如蜂窝电话、智能电话和pda)、微处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络町、小型计算机、音频或视频媒体播放器、手持式远程控制设备等。还注意，可以利用与各种各样的电器设备或对象通信或相合的任何触摸屏或触敏表面来实现图像识别器。为了允许设备实现图像识别器，计算设备1100应当具有足够的计算能力和系统存储器以使能基本计算操作。另外，计算设备1100可以包括一个或多个传感器，包括但不限于加速度计、照相机、电容性传感器、接近传感器、麦克风、多光谱传感器等。进一步地，计算设备1100还可以包括用于在图像识别器的各种实现中使用的可选的系统固件1125(或其他固件或处理器可访问的存储器或存储装置)。如由图11所图示的，计算设备1100的计算能力通常由一个或多个处理单元1110图示，并且还可以包括一个或多个gpu1115，其中的一者或二者与系统存储器1120通信。注意，计算设备1100的二个或多个处理单元可以是专用微处理器(诸如dsp、vliw或其他微控制器)或可以是具有一个或多个处理核心(包括多核心cpu中的基于专用g凹的核心)的常规cpu。另外，计算设备1100还可以包括其他部件(诸如例如通信接口1130)。计算设备1100还可以包括一个或多个常规计算机输入设备1140或这样的设备的组合(例如，触摸屏、触敏表面、指点设备、键盘、音频输入设备、基于声音或语音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等)。计算设备1100还可以包括其他可选部件，诸如例如一个或多个常规计算机输出设备1150(例如，一个或多个显示设备1155、音频输出设备、视频输出设备、用于发送有线或无线数据传输的设备等)。注意，针对通用计算机的典型的通信接口1130、输入设备1140、输出设备1150、系统传感器1170和存储设备1160对本领域的技术人员而言是众所周知的，并且将不在在此进行详细描述。计算设备1100还可以包括各种计算机可读介质。计算机可读介质可以是可以经由存储设备1160被访问的任何可用的媒体，并且包括对于信息(诸如计算机可读或计算机可执行指令、数据结构、程序模块或其他数据)的存储可移除和/或不可移除的易失性和/或非易失性介质二者。以示例非限制的方式，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质指代有形计算机或机器可读介质或存储设备，诸如dvd、cd、软盘、磁带驱动器、硬盘驱动器、光学驱动器、固态存储器设备、ram、rom、eeprom、闪速存储器或其他存储器技术、磁带盒、磁带、磁盘存储装置或其他磁性存储设备或可以用于存储期望的信息并且可以由一个或多个计算设备访问的任何其他设备。信息(诸如计算机可读或计算机可执行指令、数据结构、程序模块等)的存储还可以通过使用任何各种前述通信介质完成，以编码二个或多个经调制的数据信号或载波或其他传输机制或通信协议，并且包括任何有线或无线信息递送机制。注意，术语“经调制的数据信号”或“载波”通常指代具有其特性集中的一个或多个或以关于将信息编码在信号中的这样的方式改变的信号。例如，通信介质包括有线介质(诸如承载二个或多个经调制的数据信号的有线网络或直接有线连接)和无线介质(诸如声音、射频(rf)、红外、激光和用于发送和/或接收二个或多个经调制的数据信号或载波的其他无线介质)。以上任何组合还应当被包括在通信介质的范围内。信息(诸如计算机可读或计算机可执行指令、数据结构、程序模块等)的存储还可以通过使用任何各种前述通信介质完成，以编码二个或多个经调制的数据信号或载波或其他传输机制或通信协议，并且包括任何有线或无线信息递送机制。注意，术语“经调制的数据信号”或“载波”通常指代具有其特性集中的一个或多个特性或以关于将信息编码在信号中的这样的方式改变的信号。例如，通信介质可以包括有线介质(诸如承载一个或多个经调制的数据信号的有线网络或直接有线连接)和无线介质(诸如声音、射频(rf)、红外、激光和用于发送和/或接收一个或多个经调制的数据信号或载波的其他无线介质)。以上任何组合还应当被包括在通信介质的范围内。进一步地，可以从计算机或机器可读介质或存储设备和以计算机可执行指令或其他数据结构的形式的通信介质的任何期望的组合存储、接收、发送或取回实现在此所描述的图像识别器的各种实现的一些或全部或其部分的软件、程序、和/或计算机程序产品。最后，还可以在由计算设备执行的计算机可执行指令(诸如程序模块)的上下文中描述在此所描述的图像识别器。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。还可以在其中任务由一个或多个远程处理设备执行的分布式计算环境中或在通过一个或多个通信网络链接的一个或多个设备的云内实践在此所描述的实现。在分布式计算环境中，程序模块可以位于包括介质存储设备的本地计算机存储介质和远程计算机存储介质二者中。更进一步地，前述指令可以部分或全部被实现为硬件逻辑电路，其可以或可以不包括处理器。上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关
技术领域：
的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。当前第1页12