基于车型识别和轮轴检测的车辆收费类型判别方法与装置与流程

本发明涉及智能交通管理的技术领域，尤其是涉及一种基于车型识别和轮轴检测的车辆收费类型判别方法与装置。

背景技术：

目前,高速公路收费通过采用计重收费的模式,来收取该车辆的过路费用。即以车辆的实际轴型来得出其限载重量，对超出限载运输的车辆采取加重收费的方式。通过采取这种方式既保护了高速公路路面、桥梁等基础设施，又对车辆超载运输起到了有效遏制，迫使运输户减少装载货物重量，从而有效减少了高速公路路面被超载运输车辆过度损坏情况的发生,同时也提高了车辆的安全行驶。随着高速公路通行车辆越来越多，在其收费站出口经常出现一些因车辆轴型和实际车辆不符的现象，造成货车司机和收费员因费用问题而产生冲突的现象时有发生。目前针对高速出入口场景下治超车道的车辆收费类型还可以通过车轮的数目进行区分，轴数即为通过侧面统计的车辆轮子的数目，目前的收费类型按照轴数分为2轴客车，2轴货车，3轴车，4轴车，5轴车和6轴车；但是，大都为人工确认方式，或者采用地感式方法，即在地面铺上感应设备，用来感应轮子的数目,或者单纯的采用车型识别方式进行区分。

但是，人工方式的缺点：人工识别方式准确率高，但是长时间，人会感觉疲劳，会出现错误，并且效率低下；感应设备的方式：铺设感应设备的方法，准确率高，但是感应设备由于长期被装载货物的货车碾压，容易损坏，并且更换设备需要封闭道路，施工复杂，极其不方便。

技术实现要素：

针对现有技术存在的不足，本发明的目的之一是提供一种基于车型识别和轮轴检测的车辆收费类型判别方法，本发明的目的之二是提供一种基于车型识别和轮轴检测的车辆收费类型判别装置，该方法和装置能够将车牌车型识别和轮轴检测的方式相结合，融合车牌、车型和轮子数目信息的综合策略输出最终的收费类型，智能化程度较高、识别率较高。

本发明的上述发明目的之一是通过以下技术方案得以实现的：一种基于车型识别和轮轴检测的车辆收费类型判别方法，该方法包括以下步骤：获取车辆的正面图像信息和侧面图像信息；基于获取的车辆的正面图像信息确定车牌颜色和车型；基于获取的车辆的侧面图像信息确定车轮数目；根据获得的车牌颜色、车型和车轮数目确定输出收费类型；所述收费类型包括2轴客车、2轴货车、n轴车，其中，n大于2。

本发明在一较佳示例中可以进一步配置为：“根据获得的车牌颜色、车型和车轮数目确定输出收费类型”的步骤包括：根据车牌颜色为蓝色的结果，判断所述车型；根据判断的车型为客车，确定收费类型为2轴客车；根据判断的车型为货车，确定收费类型为2轴货车。

本发明在一较佳示例中可以进一步配置为：“根据获得的车牌颜色、车型和车轮数目确定输出收费类型”的步骤包括：根据车牌颜色为黄色的结果，判断所述车轮数目n；根据车轮数目n大于等于2且小于等于6的结果，确定收费类型为n轴车。

本发明在一较佳示例中可以进一步配置为：“根据获得的车牌颜色、车型和车轮数目确定输出收费类型”的步骤进一步包括：根据车轮数目n小于2或n大于6的结果，基于获取的车辆的正面图像信息确定车辆的品牌信息；根据获得的车辆的品牌信息输出预设的该车辆的品牌信息所对应的收费类型。

本发明在一较佳示例中可以进一步配置为：“获取车辆的侧面图像信息”的步骤包括：

获取车辆的一个侧面的第一图像信息和车辆的另一个侧面的图像信息；“基于获取的车辆的侧面图像信息确定车轮数目”的步骤包括：根据获得的第一图像信息确定第一车轮数目；根据获得的第二图像信息确定第二车轮数目；判断第一车轮数目和第二车轮数目是否一致；根据第一车轮数目和第二车轮数目一致的第一判断结果确定车轮数目。

本发明在一较佳示例中可以进一步配置为：根据第一车轮数目和第二车轮数目不一致的判断结果，将目标车辆的第一图像信息和第二图像信息展示给工作人员，并在一鼠标事件下确定车轮数目。

本发明的上述发明目的之二是通过以下技术方案得以实现的：一种基于车型识别和轮轴检测的车辆收费类型判别装置，包括：图像信息获取模块，用于获取车辆的正面图像信息和侧面图像信息；车牌车型识别模块，用于基于获取的车辆的正面图像信息确定车牌颜色和车型；轮子数目计数模块，用于基于获取的车辆的侧面图像信息确定车轮数目；收费类型确定模块，用于根据获得的车牌颜色、车型和车轮数目确定输出收费类型；所述收费类型包括2轴客车、2轴货车、n轴车，其中，n大于2。

本发明在一较佳示例中可以进一步配置为：所述收费类型确定模块用于：根据车牌颜色为蓝色的结果，判断所述车型；根据判断的车型为客车，确定收费类型为2轴客车；根据判断的车型为货车，确定收费类型为2轴货车；以及还用于：根据车牌颜色为黄色的结果，判断所述车轮数目n；根据车轮数目n大于等于2且小于等于6的结果，确定收费类型为n轴车。

本发明在一较佳示例中可以进一步配置为：还包括品牌信息获取模块，用于根据车轮数目n小于2或n大于6的结果，基于获取的车辆的正面图像信息确定车辆的品牌信息；所述收费类型确定模块还用于：根据获得的车辆的品牌信息输出预设的该车辆的品牌信息所对应的收费类型。

本发明在一较佳示例中可以进一步配置为：所述图像信息获取模块包括：第一图像信息获取单元，用于获取车辆的一个侧面的第一图像信息；第二图像信息获取单元，用于获取车辆的另一个侧面的第二图像信息；所述轮子数目计数模块，还用于：根据获得的第一图像信息确定第一车轮数目；根据获得的第二图像信息确定第二车轮数目；判断第一车轮数目和第二车轮数目是否一致；根据第一车轮数目和第二车轮数目一致的第一判断结果确定车轮数目；根据第一车轮数目和第二车轮数目不一致的判断结果，将目标车辆的第一图像信息和第二图像信息展示给工作人员，并在一鼠标事件下或一触摸事件下确定车轮数目。

综上所述，本发明包括以下至少一种有益技术效果：

1.本发明基于车型识别和轮轴检测技术，融合车牌、车型和轮子数目信息的综合策略，可以对车辆收费类型进行精准识别，并输出最终结果，智能化程度较高、识别准确率较高；相较于人工方式，不会出现疲劳导致的错误和效率低下；相比较感应设备方式，摄像设备很难出现损坏，并且更换方便，不用封闭道路；

2.本发明进一步融合了车辆品牌策略，在轮子检测异常的情况下，根据数据库存储的车辆品牌，实现较佳的收费类型结果的输出，保证收费的合理性和准确性。

附图说明

图1示出了根据本公开的实施例的用于获取车辆的正面图像信息和侧面图像信息的装置安装示意图。

图2示出了根据本公开的实施例的基于车型识别和轮轴检测的车辆收费类型判别方法的流程示意图。

图3示出了根据本公开的实施例的根据获得的车牌颜色、车型和车轮数目确定输出收费类型的流程示意图。

图4示出了根据本公开的实施例的基于车型识别和轮轴检测的车辆收费类型判别装置的方框图。

图5示出了根据本公开的实施例的图像信息获取模块的方框图。

图中，1、收费站；2、高清车辆抓拍机；3、高清轮轴录像机；4、补光灯；5、道路；40、图像信息获取模块；41、车牌车型识别模块；411、第一图像信息获取单元；412、第二图像信息获取单元；42、轮子数目计数模块；43、收费类型确定模块；44、品牌信息获取模块；45、品牌信息数据库。

具体实施方式

以下结合附图对本发明作进一步详细说明。

图1示出了根据本公开的实施例的用于获取车辆的正面图像信息和侧面图像信息的装置安装示意图。如图1所示，用于获取在高速出入口经过车辆的正面图像信息主要是抓拍车辆正面的图片，可以使用诸如高清车辆抓拍机2的图像抓拍设备实现，高清车辆抓拍机2安装在高速出入口收费站1的高点处，拍摄迎面而来的车辆，其数量优选的为在一个收费站1的每个收费口各设置一个；用于获取在高速出入口经过的车辆的侧面图像信息主要是抓拍车辆侧面的图片或者持续对车辆的侧面进行录像，可以使用诸如高清轮轴录像机3的录像设备实现，高清轮轴录像机3设置在一个桩体内部，并配备补光灯4，该桩体可以安装于高速公路收费口之前的道路5一旁，或者在道路5两旁均安装，用于对过往的车辆的车轮进行的检测、识别。

需要说明的是，在良好的天气条件下，高清车辆抓拍机2和高清轮轴录像机3均能够有效实现其功能，高清车辆抓拍机2的设置高度以及高清轮轴录像机3在道路5两旁的位置距离过往车辆的距离均处满足设备功能的正常实现，在这里不做详细的限制和阐述。

图2示出了根据本公开的实施例的基于车型识别和轮轴检测的车辆收费类型判别方法的流程示意图。如图2所示，该方法包括以下步骤，并作详细说明。

在s20中，获取车辆的正面图像信息和侧面图像信息。正如上文提到的，诸如高清车辆抓拍机2的抓拍设备和诸如高清轮轴录像机3的抓拍、录像设备均属于现有技术，其原理不再赘述。在一个示例中，通过道路5一旁安装的一个高清轮轴录像机3能够实现对一侧的车辆的图片或者视频进行抓拍和录像；在另一示例中，可以通过道路5两旁分别安装的高清轮轴录像机3分别对同一车辆的两侧同时进行抓拍和录像，从而确保图像的有效性。

在s22中，基于获取的车辆的正面图像信息确定车牌颜色和车型。车牌识别可以通过车牌定位、字符分割和字符识别等步骤对车辆的车牌号码进行识别，同时可以识别出车牌的颜色和类型；车型识别能够对车辆的品牌型号进行分类识别。在一个示例中，车牌识别算法可以基于回归深度学习方式，通过训练正常车牌检测模型、污损车牌检测模型等多个车牌检侧模型来提高车牌的检测准确率。车牌检测的具体步骤如下：在第一阶段，通过一个浅层的cnn（卷积神经网络）快速生成候选窗口：在该阶段是一个全部由卷积层组成的cnn，取名p-net，获取候选车牌窗口以及车牌框回归向量。基于车牌框回归向量对候选窗口进行校正。之后采用nms合并高重叠率的候选窗口，该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,0.5}，其中该阶段输入的图像的宽为16，高为12；在第二阶段，通过一个更复杂的cnn否决大量非车牌窗口从而精化车牌窗口：第二阶段输出的候选窗口作为r-net的输入，r-net能够进一步筛除大量错误的候选窗口，再利用车牌框回归向量对候选窗口做校正，并执行nms。该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,1.0}，其中该阶段输入的图像的宽为36，高为24。在第三阶段，使用更复杂的cnn进一步精化结果并输出4个车牌定点：与第二阶段相似，但这一阶段用更多的监督来识别车牌区域，而且网络能够输出四个车牌顶点的位置坐标。该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,1.0}，其中该阶段输入的图像的宽为48，高为72。在第四阶段，利用检测到的车牌的四个顶点的坐标，对车牌进行矫正，采用如下透视变换公式进行矫正：

。

之后，进行车牌字符分割和字符识别，本发明实施例可以基于crnn算法进行整牌识别：crnn是一种卷积循环神经网络结构，网络结构包含三部分，从下到上依次为：卷积层，作用是从输入图像中提取特征序列；循环层，作用是预测从卷积层获取的特征序列的标签（真实值）分布；转录层，作用是把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果；通过识别到的车牌的精准位置，采用颜色识别算法，识别出车牌的颜色。在本发明实施例中，车牌颜色主要是蓝色和黄色。具体的车牌字符分隔、字符识别和车牌颜色算法在这里不做详细叙述。当然，也可以采用已公开的现有算法实现对车辆车牌颜色的识别。

通过对车辆的车牌颜色，能够对车型进行预先分类，需要说明的是，本发明实施例的车型主要是指车辆为客车，比如小轿车等或者是货车，比如厢式货车、挂车等；蓝色车牌包括的车型为客车和货车两者，而黄色车牌包括货车，不包括客车。

车型的识别可以采用卷积神经网络做品牌的分类，可以识别目前市面上所有品牌车辆，包括厂家，子型号和年款。具体对蓝色车牌和黄色车牌训练两个分类模型，分类模型可以采用mobilenet，但不仅限于mobilenet模型，亦可采用deepface模型，resnet模型等常见模型。其中mobilenet模型的结构不做详细说明。具体的分类模型的训练和识别过程可以采用现有成熟技术，此处不再赘述。

在s24中，基于获取的车辆的侧面图像信息确定车轮数目。通过获取的侧面图像，能够首先依次进行车轮检测、车轮跟踪和技术，通过深度学习算法对侧面的车轮进行检测，可以输出车轮的位置和置信度等相关信息，预先对车轮位置进行标注，然后采用一种或多种深度学习回归算法，对车轮进行检测，也可采用faster-rcnn、ssd、yolo以及传统的adaboost+haar算法，mtcnn算法等常用的物体检测算法对车轮进行检测。由于场景里只会出现车轮，而且到收费站1的车辆，车速较慢，故车轮跟踪采用简单有效的最邻近方法(cc相关)方法进行跟踪，对每辆经过的车辆的每个跟踪的轮子进行计数，并且输出统计的车轮的数目。在一个示例中，采用对faster-rcnn算法进行升级，其主要步骤如下：对整张图片输进cnn，得到featuremap；卷积特征输入到rpn(regionproposalnetwork)，得到候选框的特征信息；对候选框中提取出的特征，使用分类器判别是否属于一个特定类；对于属于某一特征的候选框，用回归器进一步调整其位置。

在s26中，根据获得的车牌颜色、车型和车轮数目确定输出收费类型；这里的收费类型包括2轴客车、2轴货车、n轴车，其中，n大于2。

图3示出了根据本公开的实施例的根据获得的车牌颜色、车型和车轮数目确定输出收费类型的流程示意图。如图3所示，具体包括以下步骤，并作详细说明。

在步骤s261中，首先针对车牌的类型的初次的判别，判断车牌是否为蓝牌；若是，则进入步骤s262，若否，则进入步骤s265。

在步骤262中，判断车型是否为小轿车；若是，则进入步骤s263，若否，则进入s264。

在步骤s263中，判断收费类型为2轴客车。

在步骤s264中，判断收费类型为2轴货车。

在步骤s265中，判断轮子数目n是否大于等于2且小于等于6；若是，则进入步骤s266,若否，则进入步骤s267。

在步骤s266中，判断收费类型为n轴货车。

在步骤s267中，获取基于车辆的正面图像信息所确定出的车辆的品牌信息。

在步骤s268中，根据获得的车辆的品牌信息输出预设的该车辆的品牌信息所对应的收费类型。具体的，车辆的品牌信息包括车辆型号、子型号、年款等，可以预先建立一个品牌信息数据库45，存储市场上所有的车辆的品牌信息，建立品牌信息数据库45的方法与现有的建立数据库的方式一致，此处不再详细阐述。每一个品牌都会关联一个收费类型，用于在获得该车辆的品牌信息时，直接于品牌信息数据库45中的所有品牌信息进行匹配，匹配成功后，直接输出该品牌所对应的收费类型。

在实际的应用过程中，轮子数目的检测可能会出现异常，即出现少记或者多记的情况，为了克服这一问题，优选地采用在道路5两旁分别安装的高清轮轴录像机3分别对同一车辆的两侧同时进行抓拍和录像。利用一个高清轮轴录像机3获取车辆一侧的第一图像信息，并确定出第一车轮数目，利用另一个高清轮轴录像机3获取车辆另一侧的第二图像信息，并确定出第二车轮数目，并将第一车轮数目和第二车轮数目进行比对，若比对结果显示两者结果一致，则确定车轮数目；若比对结果显示两者结果不一致，则会将目标车辆的第一图像信息和第二图像信息展示给工作人员，第一图像信息和第二图像信息可以是清晰的图片，也可以是一个时间段t内的高清录像，展示可以通过手机app进行展示，也可以通过笔记本电脑、台式计算机、ipad以及其他智能穿戴设备。工作人员能够通过图片或者高清录像进行人工核对，判断具体的轮子数目。

另外，图片或者录像展示给工作人员后，系统会进行询问，具体询问轮子数目以及是否确定或取消，工作人员可以通过键盘输入轮子数目，或者通过显示的若干预设的轮子数目，再通过鼠标点击或者触摸完成确定或者取消操作，若点击确定，则确定轮子数目为手动键入或者手动选择的轮子数目。

图4示出了根据本公开的实施例的基于车型识别和轮轴检测的车辆收费类型判别装置的方框图。如图4所示，该装置包括图像信息获取模块40，用于获取车辆的正面图像信息和侧面图像信息；车牌车型识别模块41，用于基于获取的车辆的正面图像信息确定车牌颜色和车型；轮子数目计数模块42，用于基于获取的车辆的侧面图像信息确定车轮数目；收费类型确定模块43，用于根据获得的车牌颜色、车型和车轮数目确定输出收费类型；收费类型包括2轴客车、2轴货车、n轴车，其中，n大于2。

收费类型确定模块43还用于根据车牌颜色为蓝色的结果，判断车型；当判断的车型为客车，确定收费类型为2轴客车；当判断的车型为货车，确定收费类型为2轴货车；以及还用于根据车牌颜色为黄色的结果，判断车轮数目n；根据车轮数目n大于等于2且小于等于6的结果，确定收费类型为n轴车。

该装置还包括品牌信息获取模块44，用于根据车轮数目n小于2或n大于6的结果，基于获取的车辆的正面图像信息确定车辆的品牌信息；之后，通过收费类型确定模块43根据获得的车辆的品牌信息输出预设的该车辆的品牌信息所对应的收费类型。

图5示出了根据本公开的实施例的图像信息获取模块40的方框图。如图5所示，图像信息获取模块40包括第一图像信息获取单元411，用于获取车辆的一个侧面的第一图像信息；第二图像信息获取单元412，用于获取车辆的另一个侧面的第二图像信息；之后通过轮子数目计数模块42根据获得的第一图像信息确定第一车轮数目；根据获得的第二图像信息确定第二车轮数目；判断第一车轮数目和第二车轮数目是否一致；根据第一车轮数目和第二车轮数目一致的第一判断结果确定车轮数目；根据第一车轮数目和第二车轮数目不一致的判断结果，将目标车辆的第一图像信息和第二图像信息展示给工作人员，并在一鼠标事件下或一触摸事件下确定车轮数目。

前述实施例中的方法中的各种变化方式和具体实例同样适用于本实施例的基于车型识别和轮轴检测的车辆收费类型判别装置，通过前述对基于车型识别和轮轴检测的车辆收费类型判别方法的详细描述，本领域技术人员可以清楚的知道本实施例中的基于车型识别和轮轴检测的车辆收费类型判别装置的实施方法，所以为了说明书的简洁，在此不再详述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。