车型识别装置、具备该车型识别装置的车型识别系统以及车型识别方法与流程

本发明涉及一种基于由摄像装置拍摄到的车辆的摄像图像来识别所述车辆的车型的车型识别装置、具备该车型识别装置的车型识别系统以及车型识别方法。

背景技术：

以往，根据车牌号码来确定各个车辆。但是，除了车牌号码以外，如果知道该车辆的车型，则能够更详细地确定各个车辆。此外，此处所言及的车型是指制造商针对车辆的每个种类对该车辆赋予的名称(通称名)。例如，在停车场、设施等的出入口以安全等为目的而确定各个车辆的情况下，若不仅知道该车辆的车牌号码还知道该车辆的车型，则能够更详细地确定该车辆，因此是有益的。

因此，提出了用于基于由摄像装置拍摄到的车辆的摄像图像来识别所述车辆的车型的各种技术(例如，专利文献1)。在专利文献1的现有技术中，针对车辆的每个种类，预先将该车辆的车型与该车辆的前车身部分的特征量相对应地登记到数据库中，将从摄像图像提取出的前车身部分的特征量与数据库中登记的前车身部分的特征量进行对照，由此识别车型。

专利文献1：日本特开2010-102466号公报

技术实现要素：

然而，在上述专利文献1的现有技术中，存在以下问题：对于基于车辆的前车身部分、即车辆的车身的至少一部分的特征(例如，形状等外观)的车型识别用数据未登记在数据库中的车辆，识别不出车型。特别是在发售了新型车的情况下，在基于该车辆的车身的至少一部分(例如，前车身部分、后车身部分)的特征的车型识别用数据被登记到数据库中之前，识别不出该车辆的车型。

本公开是鉴于这样的现有技术的问题而完成的，主要目的在于提供一种即使在基于车辆的车身的至少一部分的特征识别不出车型的情况下也能够识别或估计该车辆的车型的车型识别装置、具备该车型识别装置的车型识别系统以及车型识别方法。

本公开的车型识别装置基于由摄像装置拍摄到的车辆的摄像图像来识别所述车辆的车型，该车型识别装置的特征在于，具备：第一数据库，其针对多个车型中的每个车型存储有与各车型的车身的至少一部分的特征有关的信息；第二数据库，其针对每个所述车型存储有与各车型的所述车身的至少一部分内所包含的部件的特征有关的信息；以及处理器，其进行第一车型识别处理和第二车型识别处理，在该第一车型识别处理中，从所述摄像图像提取与所述车辆的车身的至少一部分的特征有关的信息，基于提取出的与所述车身的至少一部分的特征有关的信息，参照所述第一数据库来识别所述车辆的车型，在该第二车型识别处理中，从所述摄像图像提取与所述车身的至少一部分内所包含的部件的特征有关的信息，基于提取出的与所述部件的特征有关的信息，参照所述第二数据库来识别所述车辆的车型，其中，所述处理器至少在通过所述第一车型识别处理识别不出所述车辆的车型的情况下进行所述第二车型识别处理。

根据本公开，即使在基于车辆的车身的至少一部分的特征识别不出车型的情况下也能够识别或估计车辆的车型。

附图说明

图1是表示用于实现本公开的车型识别系统的硬件结构的框图。

图2A是表示由照相机(摄像图像)从大致正面拍摄到的车辆的摄像图像的图。

图2B是表示从图2A的摄像图像中提取出的车辆的前车身部分的图像的图。

图3A是表示第一数据库的一例的图。

图3B是表示第二数据库的一例的图。

图4是表示由处理器进行的车型识别处理的流程的流程图。

图5A是表示将与得分最高的部件对应的车型设为识别结果的例子的图。

图5B是表示将与得分超过预先决定的阈值的部件对应的车型设为识别结果的例子的图。

图5C是表示按部件的种类识别车型且按部件的种类将与得分最高的部件对应的车型设为识别结果的例子的图。

图5D是表示在与得分为前三名的部件对应的制造商相同的情况下将该制造商设为识别结果的例子的图。

具体实施方式

为了解決上述问题而完成的第一公开是一种基于由摄像装置拍摄到的车辆的摄像图像来识别所述车辆的车型的车型识别装置，其特征在于，具备：第一数据库，其针对多个车型中的每个车型存储有与各车型的车身的至少一部分的特征有关的信息；第二数据库，其针对每个所述车型存储有与各车型的所述车身的至少一部分内所包含的部件的特征有关的信息；以及处理器，其进行第一车型识别处理和第二车型识别处理，在该第一车型识别处理中，从所述摄像图像提取与所述车辆的车身的至少一部分的特征有关的信息，基于提取出的与所述车身的至少一部分的特征有关的信息，参照所述第一数据库来识别所述车辆的车型，在第二车型识别处理中，从所述摄像图像提取与所述车身的至少一部分内所包含的部件的特征有关的信息，基于提取出的与所述部件的特征有关的信息，参照所述第二数据库来识别所述车辆的车型，其中，所述处理器至少在通过所述第一车型识别处理识别不出所述车辆的车型的情况下进行所述第二车型识别处理。

根据该第一公开所涉及的车型识别装置，即使在通过基于车辆的车身的至少一部分的特征的车型识别处理(第一车型识别处理)识别不出车身的车型的情况下，也能够通过基于车辆的车身的至少一部分内所包含的部件的特征的车型识别处理(第二车型识别处理)来识别车辆的车型。由此，即使是例如新型车等基于车身的至少一部分的特征的车型识别用数据未登记在数据库中的车辆，也能够识别该车辆的车型。另外，也可以是，即使在通过第一车型识别处理识别出车身的车型的情况下，也进行第二车型识别处理。这样一来，能够提高车型识别的精度。

另外，第二公开的特征在于，在上述第一公开中，与所述部件的特征有关的信息为所述部件的特征量。

根据该第二公开所涉及的车型识别装置，处理器能够使用车身的至少一部分或所述部件的特征量来简单且高精度地进行第一车型识别处理或第二车型识别处理。

另外，第三公开的特征在于，在上述第二公开中，计算从所述摄像图像提取出的所述部件的特征量与所述第二数据库中存储的所述部件的特征量的相似度，基于计算出的相似度，参照所述第二数据库来识别所述车辆的车型。

根据该第三公开所涉及的车型识别装置，处理器能够使用上述相似度来简单且高精度地进行第二车型识别处理。

另外，第四公开的特征在于，在上述第三公开中，在所述第二车型识别处理中，将与所述第二数据库中存储的部件中的所述相似度最高的部件对应的车型设为识别结果。

根据该第四公开所涉及的车型识别装置，能够基于车辆的车身的至少一部分内所包含的部件的特征量来识别车辆的车型。

另外，第五公开的特征在于，在上述第三公开中，在所述第二车型识别处理中，将与所述第二数据库中存储的部件中的所述相似度超过预先决定的阈值的部件对应的车型设为识别结果。

根据该第五公开所涉及的车型识别装置，能够基于车辆的车身的至少一部分所包含的部件的特征量来识别与车辆相符的可能性高的车型。由此，能够基于上述的识别结果来估计车辆的车型。

另外，第六公开的特征在于，在上述第三公开中，在所述第二车型识别处理中，针对每个所述部件识别车型，并按所述部件将与所述第二数据库中存储的部件中的所述相似度最高的部件对应的车型设为识别结果。

根据该第六公开所涉及的车型识别装置，能够基于车辆的车身的至少一部分内所包含的部件的特征量来按所述部件识别车型。由此，能够基于每个部件的识别结果来估计车辆的车型。

另外，第七公开的特征在于，在上述第三公开中，所述第二数据库还存储有具有所述部件的车型的制造商，在所述第二车型识别处理中，针对每个所述部件识别具有该部件的车型的制造商，在针对每个所述部件识别出的车型的制造商存在预先决定的数量以上的情况下，将该制造商名设为识别结果。

根据该第七公开所涉及的车型识别装置，能够基于车辆的车身的至少一部分内所包含的部件的特征量来识别具有该部件的车型的制造商。由此，即使在识别不出车辆的车型的情况下，也能够识别具有该部件的车型的制造商。

另外，第八公开是一种车型识别系统，具备：上述第一公开至第七公开中的任一车型识别装置；以及用于拍摄车辆的摄像装置。

另外，第九公开是一种基于由摄像装置拍摄到的车辆的摄像图像来识别所述车辆的车型的车型识别方法，其特征在于，包括以下步骤：准备第一数据库和第二数据库，该第一数据库针对多个车型中的每个车型存储有与各车型的车身的至少一部分的特征有关的信息，该第二数据库针对每个所述车型存储有与各车型的所述车身的至少一部分内所包含的部件的特征有关的信息；从所述摄像图像提取与所述车辆的车身的至少一部分的特征有关的信息，基于提取出的与所述车身的至少一部分的特征有关的信息，参照所述第一数据库来识别所述车辆的车型；以及至少在通过所述第一车型识别处理识别不出所述车辆的车型的情况下，从所述摄像图像提取与所述车身的至少一部分内所包含的部件的特征有关的信息，基于提取出的与所述部件的特征有关的信息，参照所述第二数据库来识别所述车辆的车型。

下面，参照附图来说明本公开的实施方式。

本公开所涉及的车型识别系统是用于基于由摄像装置拍摄到的车辆的摄像图像并参照预先存储有车型识别用数据的数据库来识别所述车辆的车型的系统，例如能够用于停车场、设施等的出入口的安全保障等。下面，说明将本公开所涉及的车型识别系统应用于停车场的出入口的情况。

在本实施方式中，将车身的前车身部分(车身的前侧部分)用作车身的至少一部分。但是，车身的至少一部分不限定于此，也可以是车身的后车身部分(后侧部分)、侧面部分(横侧部分)、车顶部分(上侧部分)或其它部分。

图1是表示用于实现本公开的车型识别系统的硬件结构的框图。如图1所示，用于实现本公开所涉及的车型识别系统1的硬件结构包括照相机(摄像装置)11、显示部12、输入部13、存储部14、处理器15以及将它们连接起来的总线16。存储部14和处理器15是本公开的车型识别装置2的构成要素。

照相机11例如是CCD照相机等一般的摄像装置，配置在停车场、设施的出入口的附近，对接近停车场的出入口的车辆21从大致正面(大致前方)进行拍摄。图2A是表示由照相机11从大致正面拍摄到的车辆21的摄像图像的一例的图。由照相机11拍摄到的摄像图像被输入到处理器15。此外，照相机11只要能够对车辆21从大致正面进行拍摄即可，关于其形式、功能、配置、数量等并无特别限定，能够进行各种变更。

显示部12例如是监视器(显示器)等一般的显示装置，用于处理器15的处理结果的显示等。如图5A～图5D所示，识别结果是作为识别对象的车辆21的车型或制造商，详细内容后述。此外，处理器15的处理结果也可以不输出到显示部12，而是输出到安全系统、管理系统等外部系统。

输入部13例如是键盘、鼠标等输入设备或各种数据输入装置，用于由用户向车型识别装置2输入各种命令、或者变更或更新数据库的信息。

存储部14例如是ROM、硬盘等存储装置(存储器)，保存有用于实现车型识别装置2的各功能的各种程序和各种数据、以及车型识别处理中使用的数据库。

存储有车型识别用数据的数据库有第一数据库DB1和第二数据库DB2这两个数据库，其中，第一数据库DB1针对多个车型中的每个车型存储有与车辆21的前车身部分22(参照图2B)的特征有关的信息，第二数据库DB2针对每个所述车型存储有车辆21的前车身部分22内所包含的部件23以及与该部件的特征有关的信息。此处所言及的特征是指例如形状等外观性特征。在本实施方式中，将特征量用作与前车身部分22和部件23的特征有关的信息。与车辆21的前车身部分22和部件23的特征有关的信息预先被数值化为特征量，以数值形式存储于第一数据库DB1和第二数据库DB2。

图3A是表示第一数据库DB1的一例的图。如图3A所示，在第一数据库DB1中，将车型及制造商与车辆的前车身部分的特征量(以下称为“前车身特征量”)相对应地存储。此外，如上所述，在本实施方式中，车型是制造商针对车辆的每个种类对该车辆赋予的名称(通称名)。此外，车型不限于对该车辆赋予的名称，也可以是型号等用于识别车辆的信息。另外，车型是如“制造年份+对该车辆赋予的名称”这样的在对该车辆赋予的名称上附加用于对该车辆进行分类来进行确定的信息的形式。

在图3A的例子中，将车型“A”及制造商“X公司”与前车身特征量“F1”相对应地存储，将车型“B”及制造商“Y公司”与前车身特征量“F2”相对应地存储，将车型“C”及制造商“Z公司”与前车身特征量“F3”相对应地存储。此外，实际上，前车身特征量F例如是以多维浮点向量表现的数值。

图3B是表示第二数据库DB2的一例的图。如图3B所示，在第二数据库DB2中，将部件、车型以及制造商与部件的特征量(以下称为“部件特征量”)相对应地存储。此外，所谓部件是前灯、前格栅、保险杠等车辆配件。

在图3B的例子中，将部件“前格栅”、车型“A”以及制造商“X公司”与部件特征量“P1”相对应地存储，将部件“保险杠”、车型“D”以及制造商“Z公司”与部件特征量“P2”相对应地存储，将部件“转向指示灯”、车型“E”以及制造商“Y公司”与部件特征量“P3”相对应地存储，将部件“前灯”、车型“A”以及制造商“Y公司”与部件特征量“P4”相对应地存储，将部件“保险杠”、车型“B”以及制造商“Y公司”与部件特征量“P5”相对应地存储，将部件“前灯”、车型“E”以及制造商“Z公司”与部件特征量“P6”相对应地存储。此外，实际上，部件特征量P例如是以多维浮点向量表现的数值。

处理器15例如是CPU，从存储部14将各种程序和各种数据读出到未图示的RAM上，并且参照存储部14中保存的上述的第一数据库DB1和第二数据库DB2来执行车型识别装置2的各处理。具体地说，处理器15基于从照相机11输入的摄像图像(参照图2A)来识别该摄像图像内存在的车辆21的车型。另外，处理器15统一执行车型识别系统1整体的控制。

图4是表示由处理器15进行的车型识别处理的流程的流程图。参照图4来说明由处理器15进行的车型识别处理的流程。

首先，判定从照相机11输入的摄像图像内是否存在车辆21(步骤ST101)。例如能够根据是否存在车辆21的车牌24来判定是否存在车辆21。在存在车牌24的情况下，判定为摄像图像内存在车辆21，在不存在车牌24的情况下，判定为摄像图像内不存在车辆21。例如能够采用以往公知的模板匹配(template matching)来判定是否存在车牌24。此外，也可以是，不根据是否存在车牌24来判定是否存在车辆21，而是采用通过预先对车辆的特征(例如，形状等外观)进行机器学习来构建出的车辆检测器来进行该判定。

在判定为摄像图像内存在车辆21的情况下(步骤ST101：“是”)，进入步骤ST102，在判定为摄像图像内不存在车辆21的情况下(步骤ST101：“否”)，返回到步骤ST101。

在步骤ST102中，从摄像图像中提取车辆21的前车身部分22的图像(以下称为“前车身图像”)。图2B是表示从摄像图像(参照图2A)中提取出的前车身图像的一例的图。如图2B所示，前车身部分22内包含前灯、前格栅、保险杠、转向指示灯、前扰流器等部件23(图2B中仅对前灯标注了附图标记)。

能够采用以往公知的方法进行前车身图像的提取。例如，只要通过基于车辆21的车牌24在摄像图像内的位置从摄像图像中选取出规定范围的区域来进行前车身图像的提取即可。在该情况下，将车牌24的周围的规定范围的区域视作车辆21的前车身部分22的区域。另外，也可以是，不根据车牌24的位置来进行前车身图像的提取，而是采用通过预先对前车身部分的特征(例如，形状等外观)进行机器学习来构建出的前车身检测器来进行该提取。

接下来，从前车身图像获取车辆21的前车身部分22的特征量(以下称为“前车身特征量”)(步骤ST103)。例如，能够采用密集尺度不变特征变换(Dense SIFT：Dense Scale Invariant Feature Transform)、HOG(Histograms of Oriented Gradients：方向梯度直方图)等以往公知的局部特征量的技术来进行前车身特征量的获取。

接着，基于前车身特征量来判定车辆21的车型是否登记在第一数据库DB1中(步骤ST104)。具体地说，基于从前车身图像获取到的前车身特征量来求出车辆21是登记在第一数据库DB1中的车型的似然度，判定求出的似然度是否超过预先决定的阈值。在求出的似然度超过预先决定的阈值的情况下，判定为车辆21的车型登记在第一数据库DB1中，在求出的似然度为预先决定的阈值以下的情况下，判定车辆21未登记在第一数据库DB1中。

在判定为车辆21的车型登记在第一数据库DB1中的情况下(步骤ST104：“是”)，进入步骤ST105，在判定为车辆21的车型未登记在第一数据库DB1中的情况下(步骤ST104：“否”)，进入步骤ST107。

在步骤ST105中，基于从前车身图像获取到的前车身特征量来进行车辆21的车型的识别处理(第一车型识别处理)。具体地说，计算从前车身图像获取到的前车身特征量与第一数据库DB1中存储的前车身特征量的相似度。计算出相似度来作为得分，将计算出的得分最高的车型识别为车辆21的车型。

在步骤ST105中的第一车型识别处理结束后，将作为识别结果的车辆21的车型保存到存储部14(步骤ST106)，然后结束处理。根据期望将存储部14中保存的识别结果显示于显示部12或者输出到外部的安全系统、管理系统等外部系统。

在步骤ST107中，从前车身图像中提取前车身部分22内所包含的部件23的图像(以下称为“部件图像”)。按部件提取部件图像。与从摄像图像中提取前车身图像的情况同样地，能够采用以往公知的方法来进行部件图像的提取。例如，只要针对每个部件采用通过预先对部件的特征(例如，形状等外观)进行机器学习来构建出的部件检测器来进行该提取即可。

在接下来的步骤ST108中，从部件图像获取部件23的特征量(以下称为“部件特征量”)。与获取前车身特征量的情况同样地，能够采用密集尺度不变特征变换、HOG等以往公知的局部特征量的技术来进行部件特征量的获取。

接着，在步骤ST109中，针对每个部件判定相似度。具体地说，计算从部件图像获取到的部件特征量与第二数据库DB2中存储的部件特征量的相似度来作为得分。

然后，在步骤ST110中，基于在步骤ST109中计算出的相似度(得分)来进行车辆21的车型的识别处理(第二车型识别处理)。能够通过下述的(1)～(4)的识别方法中的任一识别方法来进行该识别处理。

(1)将第二数据库DB2中存储的所有部件中的得分最高的部件以及与该部件对应的车型设为识别结果。例如，在第二数据库DB2中存储的所有部件中前格栅的得分最高、且与该前格栅部件对应的车型为A的情况下，将车辆21的车型识别为A。在将该识别结果显示于显示部12时，如图5A所示，显示为“部件：前格栅，车型：A”。通过这样，能够基于前车身部分22内所包含的部件23的特征量来识别车辆21的车型。另外，在ST104中为否的情况下，车辆21为新车型(即，刚刚开始销售从而尚未登记到第一数据库DB1中的车型)的可能性高。根据本公开的内容，即使在这样的情况下，也能够向车型识别装置2的用户传达车辆21与现有车型部分相似。车辆21与现有车型部分相似的情况成为用于估计车辆21是该现有车型的后继车型等的材料。因此，即使在车辆21为新车型的情况下，通过向用户传达车辆21与现有车型部分相似，用户也能够在某种程度上缩小范围地估计与车辆21相符的车型。

(2)将第二数据库DB2中存储的所有部件中的得分超过预先决定的阈值的部件以及与该部件对应的车型设为识别结果。例如，在第二数据库DB2中存储的所有部件中包含五个得分超过预先决定的阈值的部件的情况下，将这五个部件以及与各部件对应的车型全部进行列举。在将该识别结果显示于显示部12时，例如图5B所示，显示为“部件：转向指示灯，车型：E”、“部件：保险杠，车型：B”、“部件：前灯，车型：A”、“部件：前格栅，车型：A”、“部件：前灯，车型：E”。通过这样，能够基于前车身部分22内所包含的部件23的特征量来识别与车辆21相符的可能性高的车型。在图5B的例子中，作为与车辆21相符的可能性高的车型，识别出E、B、A这三种车型，因此能够估计为车辆21的车型为E、B、A中的任一车型的可能性高。

(3)针对每个部件识别车型，并按部件将第二数据库DB2中存储的所有部件中的得分最高的部件的部件以及与该部件对应的车型设为识别结果。例如，在与所有前灯中的得分最高的前灯对应的车型为A、与所有前格栅中的得分最高的前格栅对应的车型为A、与所有保险杠中的得分最高的保险杠对应的车型为D的情况下，识别为关于前灯的车型为A、关于前格栅的车型为A、关于保险杠的车型为D。在将该识别结果显示于显示部12时，如图5C所示，显示为“部件：前灯，车型：A”、“部件：前格栅，车型：A”、“部件：保险杠，车型：D”。通过这样，能够基于前车身部分22内所包含的部件23的特征量来按每个部件23识别车型。在图5C的例子中，识别为前灯和前格栅的车型为A、保险杠的车型为D，因此能够估计为车辆21的车型为A或D的可能性高。

(4)参照第二数据库DB2，针对每个部件识别具有该部件的车型的制造商，在基于该识别结果推断为车辆21由特定的制造商制作的情况下，将该制造商名设为识别结果。具体地说，在针对每个部件估计出的车型的制造商存在预先决定的数量以上的情况下，将该制造商名设为识别结果。并且，也可以是，在与得分为第一名到预先决定的名次为止的多个部件对应的制造商彼此相同的情况下，将该制造商设为识别结果。例如，在预先决定的名次为到第三名为止、且与得分为第一名到第三名为止的三个部件对应的制造商、即与多个部件对应的制造商彼此相同的情况下，将该制造商设为识别结果。在该情况下，如图5D所示，显示为“部件：前灯，车型：A，制造商：Y公司”、“部件：转向指示灯，车型：E，制造商：Y公司”、“部件：保险杠，车型：B，制造商：Y公司”。通过这样，能够基于前车身部分22内所包含的部件23的特征量来识别具有该部件23的车型的制造商。在图5D的例子中，与前三名的部件对应的制造商全部为Y公司，因此能够识别为车辆21的制造商是Y公司。

在步骤ST110中的第二车型识别处理结束后，进入步骤ST106。在步骤ST106中，将上述的(1)～(4)的识别方法中的识别结果保存到存储部14，然后结束处理。根据期望将存储部14中保存的识别结果显示于显示部12，或者输出到外部的安全系统、管理系统等外部系统。此外，虽然在图5A～图5C的例子中只显示部件和车型，但也可以还显示制造商。

如以上那样，根据本实施方式，即使在通过基于车辆21的前车身部分22的特征量的识别处理(第一车型识别处理)识别不出车辆21的车型的情况下，也能够通过基于前车身部分22内所包含的部件23的特征量的识别处理(第二车型识别处理)来识别或估计车辆21的车型。因而，即使针对例如新型车等基于车辆的前车身部分的特征量的车型识别用数据未登记在数据库中的车辆，也能够识别或估计该车辆的车型。

此外，在本实施方式中，构成为在通过第一车型识别处理识别不出车辆21的车型的情况下进行第二车型识别处理，但也可以是，在通过第一车型识别处理识别出车型的情况下也进行第二车型识别处理。这样一来，能够提高车型识别的精度。

另外，在本实施方式中，将特征量用作与前车身部分和部件的特征有关的信息，但也可以代替特征量而使用模板匹配中使用的模板图像。在该情况下，需要在第一数据库DB1和第二数据库DB2中预先存储所述模板图像。

以上，基于特定的实施方式说明了本公开，但这些实施方式只是例示性的，本公开不被这些实施方式所限定。此外，关于上述实施方式所示的本公开所涉及的车型识别装置、具备该车型识别装置的车型识别系统以及车型识别方法的各构成要素，不一定需要全部的构成要素，只要至少不脱离本公开的范围即可，能够适当取舍选择。

产业上的可利用性

关于本公开所涉及的车型识别装置、具备该车型识别装置的车型识别系统以及车型识别方法，作为即使在基于车身的至少一部分的特征识别不出车型的情况下也能够识别或估计该车辆的车型的车型识别装置、具备该车型识别装置的车型识别系统以及车型识别方法等是有用的。

附图标记说明

1：车型识别系统；2：车型识别装置；11：照相机(摄像装置)；12：显示部；13：输入部；14：存储部；15：处理器；16：总线；21：车辆；22：前车身部分；23：部件；DB1：第一数据库；DB2：第二数据库。