车型三维识别方法、装置、系统、电子设备及存储介质与流程

本申请涉及车辆识别领域，尤其是涉及一种车型三维识别方法、装置、系统、电子设备及存储介质。

背景技术：

伴随着社会经济飞速发展和城市化进程的加快，我国道路交通规模急剧扩张，由此而产生的一系列交通管理问题急需得到解决。基于不同的交通管理需求对车辆进行统一口径的车型精确分类管理，是一项行之有效的技术手段。

目前实现的收费类型分类技术主要有通过纯视频流检测的方式和通过外接超声波检测仪两种方式。根据jtt489协议实现收费类型分类的主要依据是收费车辆轴数，同时在收费站能够针对每一辆驶入车辆进行分析，也需要精确的分割收费等待区的所有车辆。如果想要得到准确率较高的分析结果，以上两个分析指标都十分重要（即车辆轴数检测和车辆分割检测准确率）。

上述两种方法中，通过纯视频流进行检测收费类型的方法是通过采用背景建模的方式进行车辆分割检测，背景建模的工作原理为，使用每帧图像和背景建模后的模型图像相比对（比对方法为差值法，然后通过threshold过滤，过滤后的图像如果为纯黑，则认为两张图像相同，也就是说没有物体在背景中出现），比对后，可以判断是否有车辆在图像中，当车辆进入图像，又在图像中消失后，可以认为车辆驶出，此时需要更新背景建模（车辆驶出，认为车道为空，将车道为空的图像叠加到背景建模的模型图像中，此为公知算法）。图像检测算法并不能保证100%的准确率，同时在夜间环境还会有环境光照射变化的影响，一旦出现检测错误，将一张带有车辆的图像更新到背景建模图像中，则会降低准确率，从而出现更多的检测错误，然后用错误的图像更新背景建模，因此随着背景建模的更新，检测准确率会越来越低，即车辆分割检测准确率降低。

技术实现要素：

为了提高车辆分割检测准确率，本申请提供一种车型三维识别方法、装置、系统、电子设备及存储介质。

第一方面，本申请提供一种车型三维识别方法，采用如下的技术方案：

一种车型三维识别方法，包括：

实时获取预设区域内的车辆驶入信号；

当获取到车辆驶入信号时，获取切割区域内的车辆状态信息，获取车辆驶出切割区域时的车辆驶出信号，所述车辆状态信息包括无车状态信号和有车状态信号，所述预设区域位于切割区域靠近车辆驶入的一侧；

当获取到无车状态信号时，将接收到的视频帧图像作为起始帧图像，当获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像，视频帧图像为车身扫描区域内的图像信息，所述切割区域位于所述车身扫描区域内；

当获取到有车状态信号时，且获取到车辆驶出信号时，将接收到的视频帧图像作为起始帧图像，当再次获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像；

对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息；

对车身图像信息进行分析以得到车身信息，车身信息包括车辆轴数。

通过采用上述技术方案，在车道不堵车时，相邻车辆之间跟车距离较远，因此会获取到无车状态信号，电子设备接收到无车状态信号，并将接收到的视频帧图像作为起始帧图像，此时即可对接收到的视频帧图像进行拼接处理。当车辆驶出切割区域时，电子设备接收到车辆驶出信号即确定此时接收到的视频帧图像为终止帧图像，从而实现在视频流数据中分割出对车辆进行拼接处理所需的视频帧图像；在车道堵车时，相邻车辆之间跟车距离较近，因此常常会获取到有车状态信号，此时表示前一车辆正在进行拼接，等待前一车辆拼接完成，即获取到车辆驶出信号时，此时即表示前一车辆驶出切割区域，此时电子设备将接收到的视频帧图像作为起始帧图像，从而实现对相邻车辆的分割，此时即可对接收到的视频帧图像进行拼接处理。当当前车辆驶出切割区域时，此时电子设备再次获取到车辆驶出信号，即确定此时接收到的视频帧图像为终止帧图像，从而实现分割出对当前车辆进行拼接处理所需的视频帧图像，如此循环往复，在车道堵车（即相邻车辆之间跟车距离较近）的情况下，也能够精确地进行车辆分割检测，同时，相较于背景建模这种图片处理的方式来进行车辆分割检测，刨除了图片处理效果有误差（图像检测算法并不能保证100%的准确率）、容易受到环境影响等因素，能够实现精确车辆分割检测，然后对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息，对车身图像信息进行分析以得到车身信息，车身信息包括车辆轴数，基于本申请的车辆分割检测方式能够精确分割相邻车辆，以便分析得到满足jtt489标准的车辆轴数。

可选的，所述车辆状态信息和车辆驶出信号采用激光雷达组获取，所述切割区域为激光雷达组的检测区域，当激光雷达组监测到切割区域内无车辆时，发出无车状态信号，当激光雷达组监测到切割区域内有车辆时，发出有车状态信号，当所述激光雷达组监测到车辆驶出切割区域时，发出车辆驶出信号。

通过采用上述技术方案，激光雷达组的单色性好，亮度高，方向性强，精度高，分辨力强，能够精确地感知车辆在检测区域内的位置，从而进一步提高切割区域监测的准确度和检测速度。

可选的，所述预设区域为车头抓拍区域，车头抓拍区域为车头抓拍摄像头的拍摄区域，所述车头抓拍区域位于车身扫描区域靠近车辆驶入的一侧。

通过采用上述技术方案，将预设区域设置为车头抓拍区域，而车头抓拍区域和切割区域之间具有一定距离，因此能够提前缓存一些视频帧图像数据以容错。

可选的，所述激光雷达组包括三个激光雷达，三个所述激光雷达沿竖向排列设置。

通过采用上述技术方案，竖向排列的三个激光雷达，结合实际场景对三个激光雷达的俯仰角进行调整，能够满足对所有车辆的检测，覆盖任何车型的需求。

可选的，三个激光雷达中的一个激光雷达为基准雷达，所述基准雷达的射向垂直于车道方向，另外两个激光雷达的射向分别基于基准雷达的射向朝向车辆的驶入侧和驶出侧偏移预设角度。

通过采用上述技术方案，将竖向排列的三个激光雷达中的两个激光雷达的射向偏移预设角度，从而提高激光雷达组在水平范围上的检测宽度。

可选的，所述预设角度为5°。

通过采用上述技术方案，在实际场景中，发明人经过大量实验和现场调试，在堵车情况下，跟车较近，此外，货车有拖挂，拉汽车的货车的中间位置也具有一定宽度的缝隙，因此将偏移角度控制在5°，能够提高激光雷达组在水平范围上的检测宽度，以提高车辆检测准确率，且不会同时检测到两辆车，避免了错误检测的情况。

可选的，还包括：

获取车牌颜色信息；

获取车长信息；

基于车牌颜色信息、车长信息和车身信息判断车辆收费类型，所述车身信息还包括车轴位置、收费车型、车身有无反光条、核载人数。

通过采用上述技术方案，基于车牌颜色信息、车长信息、车辆轴数、车轴位置、收费车型、车身有无反光条和核载人数来判断车辆收费类型，从而能够囊括所有车辆情况，吻合jtt489协议标准并精准地判断区分出各车辆收费类型。

可选的，基于车牌颜色信息、车长信息和车身信息判断车辆收费类型包括：

基于收费车型和车身有无反光条判断车辆的真实收费车型；

当车辆的真实收费车型为客车时，基于车辆的车牌颜色信息、核载人数和车长判断车辆的收费类型。

当车辆的真实收费车型为货车和专项作业车时，基于车辆轴数和车牌颜色信息判断车辆的收费类型。

通过采用上述技术方案，车辆收费类型包括客一、客二、客三、客四，货一、货二、货三、货四、货五、货六，专项作业车一、专项作业车二、专项作业车三、专项作业车四、专项作业车五、专项作业车六，神经网络模型先推理出车辆初步的收费车型后，客货两用车（面包车依维柯）在作为货车使用时，会在车身处安装反光条，反之则不会在车身处安装反光条，因此通过车身有无反光条来判断出客货两用车的真实收费车型，从而得出所有车辆的真实收费车型；然后在真实收费车型为客车的车辆里面通过车辆的车牌颜色信息、核载人数和车长来判断车辆的收费类型是属于客一、客二、客三还是客四，例如当车辆的车牌颜色信息不为黄色，则判定车辆的收费类型为客一，当车辆的车牌颜色信息为黄色，且车辆的车长信息小于6m，则将车辆判定为客二；当车辆的车牌颜色信息为黄色，车辆的车长信息不小于6m，且车辆的核载人数不大于39人，则将车辆判定为客三；当车辆的车牌颜色信息为黄色，车辆的车长信息不小于6m，且车辆的核载人数为大于39人，则将车辆判定为客四；货车和专项作业车的细分类标准相同，因此在车辆的收费类型为专项作业车时，专项作业车和货车收费类型判断依据一致，当车辆的真实收费车型为货车和专项作业车时，基于车辆轴数和车牌颜色信息判断车辆的收费类型，例如，当车辆轴数为二时，若车牌颜色信息为黄色，则判定车辆的真实收费车型为货二或专项作业车二；若车牌颜色信息不为黄色，则判定车辆的真实收费车型为货一或专项作业车一；当车辆轴数为三时，则判定车辆的真实收费车型为货三或专项作业车三；当车辆轴数为四时，则判定车辆的真实收费车型为货四或专项作业车四；当车辆轴数为五时，则判定车辆的真实收费车型为货五或专项作业车五；当车辆轴数为六时，则判定车辆的真实收费车型为货六或专项作业车六。如此，通过车脸图像信息得出车牌颜色信息，通过车身图像信息分析得到车辆轴数、车轴位置、收费车型、车身有无反光条、核载人数、车辆位置、轮毂型，通过车身图像信息得到车长信息，从而基于车牌颜色信息、收费车型、车身有无反光条、车辆轴数、核载人数和车长信息能够准确获得满足jtt489标准的收费类型识别结果。

可选的，所述对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息包括：

获取所有帧图像中每相邻两帧图像中车辆的位移图像；

将车辆的位移图像依序拼接以生成车身图像信息。

通过采用上述技术方案，将所有帧图像中每相邻两帧图像中车辆的位移图像按照顺序进行拼接，从而能够生成车身图像信息。

可选的，所述获取每相邻两帧图像中车辆的位移图像包括：

确定每相邻两帧图像中车辆的跟踪区域；

使用跟踪算法对所述跟踪区域进行跟踪，以获取每相邻两帧图像的位移量；

基于所述位移量生成宽度值；

在每相邻两帧图像中后一帧图像截取与宽度值一致的帧宽度的图像作为车辆的位移图像。

通过采用上述技术方案，确定每相邻两帧图像中车辆的跟踪区域后，通过跟踪算法对所述跟踪区域进行跟踪，从而能够获取到每相邻两帧图像的位移量，然后基于该位移量生成宽度值，在每相邻两帧图像中后一帧图像截取与宽度值一致的帧宽度的图像作为车辆的位移图像，即实现获取每相邻两帧图像中车辆的位移图像。

可选的，基于所述位移量生成宽度值包括：

采用滑动平均法对位移量进行处理以得到宽度值。

通过采用上述技术方案，采用滑动平均法对位移量进行处理以得到的相邻两帧图像的宽度值，为前n帧图像的平均值，n通常为5或10，如果采用30帧的相机，也就是使用150ms或300ms的平均位移量来计算。通过使用滑动平均法计算最终拼接需要的宽度，可以有效抗锯齿，即削减车辆加速或减速导致拼接图象出现的锯齿现象。

可选的，所述在每相邻两帧图像中后一帧图像截取与宽度值一致的帧宽度的图像作为车辆的位移图像包括：

以图像帧宽度上的中间位置为基准，朝向与跟踪区域位移方向相反的方向，截取帧宽度与宽度值一致的图像作为车辆的位移图像。

通过采用上述技术方案，一方面，采用是鱼眼镜头进行拍摄时，进行畸变矫正后，图像仍有畸变，而从图像的中间位置进行截取，图像畸变最小，从而提高拼接效果；此外，因为跟踪框的位置是变化的，所以截取位置在中间，拼接完成的图像，车辆在图像中间，前面和后面都有一部分没有车辆的空间，在实际拼接处理过程中，开始拼接的图像中是一部分空白区域，结束后也会有一部分空白区域，如果截取位置偏左，拼接处理后的车身图像信息中的车辆位置会偏右，极端情况下会出现丢失车尾特征的情况，截取位置偏右，拼接处理后的车身图像信息中的车辆位置会偏左，极端情况下出现丢失车头特征的情况，因此从图像的中间位置进行截取，能够保证拼接处理后的车身图像信息中的车辆位置适中，避免丢失车头、车尾特征的情况发生。

可选的，对车身图像信息进行分析以得到车身信息包括：

采用预训练好的神经网络模型对车身图像信息进行推理以得到车身信息。

通过采用上述技术方案，采用深度学习推理车辆轴数的方式，只需露出半个车轮即可，相较于采用超声波检测车轴的方法，通过超声波检测车轴的方法是通过超声波回传的距离进行判断的，超声波在检测过程中，超声波和车轮会产生一定夹角，并受到如载重货物遮挡，因超声波的旁瓣功率低，夹角过大，检测时车轮或有遮挡就会不准确，因此本方法采用的深度学习推理车辆轴数的方式能够有效避免因这种情况导致的准确率降低。

第二方面，本申请提供一种车型三维识别装置，采用如下的技术方案：

一种车型三维识别装置，包括：

驶入信号获取模块，用于实时获取预设区域内的车辆驶入信号；

车辆信息获取模块，用于当获取到车辆驶入信号时，获取切割区域内的车辆状态信息，获取车辆驶出切割区域时的车辆驶出信号，所述车辆状态信息包括无车状态信号和有车状态信号，所述预设区域位于切割区域靠近车辆驶入的一侧；

无车状态图像分割模块，用于当获取到无车状态信号时，将接收到的视频帧图像作为起始帧图像，当获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像，视频帧图像为车身扫描区域内的图像信息，所述切割区域位于所述车身扫描区域内；

有车状态图像分割模块，用于当获取到有车状态信号时，且获取到车辆驶出信号时，将接收到的视频帧图像作为起始帧图像，当再次获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像；

图像拼接模块，用于对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息；

图像分析模块，用于对车身图像信息进行分析以得到车身信息，车身信息包括车辆轴数。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述任一项所述车型三维识别方法的步骤。

第四方面，本申请提供一种计算机存储介质，采用如下的技术方案：

一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述任一项所述车型三维识别方法的步骤。

第五方面，本申请提供一种车型三维识别系统，采用如下的技术方案：

一种车型三维识别系统，设置在车道旁，包括：

车头抓拍摄像头，用于采集车辆的车脸图像信息；

激光雷达组，用于检测车辆位置；

车身扫描摄像头，用于采集车辆侧面的视频流数据；

以及如前述的一种电子设备；所述车头抓拍摄像头，激光雷达组、车身扫描摄像头和电子设备之间通讯连接。

综上所述，本申请包括以下有益技术效果：

1.在车道不堵车时，相邻车辆之间跟车距离较远，因此会获取到无车状态信号，电子设备接收到无车状态信号，并将接收到的视频帧图像作为起始帧图像，此时即可对接收到的视频帧图像进行拼接处理。当车辆驶出切割区域时，电子设备接收到车辆驶出信号即确定此时接收到的视频帧图像为终止帧图像，从而实现在视频流数据中分割出对车辆进行拼接处理所需的视频帧图像；在车道堵车时，相邻车辆之间跟车距离较近，因此常常会获取到有车状态信号，此时表示前一车辆正在进行拼接，等待前一车辆拼接完成，即获取到车辆驶出信号时，此时即表示前一车辆驶出切割区域，此时电子设备将接收到的视频帧图像作为起始帧图像，从而实现对相邻车辆的分割，此时即可对接收到的视频帧图像进行拼接处理。当当前车辆驶出切割区域时，此时电子设备再次获取到车辆驶出信号，即确定此时接收到的视频帧图像为终止帧图像，从而实现分割出对当前车辆进行拼接处理所需的视频帧图像，如此循环往复，在车道堵车（即相邻车辆之间跟车距离较近）的情况下，也能够精确地进行车辆分割检测，同时，相较于背景建模这种图片处理的方式来进行车辆分割检测，刨除了图片处理效果有误差（图像检测算法并不能保证100%的准确率）、容易受到环境影响等因素，能够实现精确车辆分割检测；

2.本申请拼接处理方式采用纯视频流处理，不受车辆移动速度变化的干扰（比如能够正常应对车辆在视频区域内停车、启动等操作），不需要外接设备获取车辆速度等其他信息，也不限制车辆在视频中经过的速度、摄像机采集视频的帧率、帧数以及高清摄像机的像素质量（完全可以根据用户需求灵活兼容高清摄像机或传统的模拟摄像机进行相应融合拼接功能），该方法运行时，占用的硬件资源较少，可在更多边缘设备上应用，其图像拼接准确度和性价比都更高。

3.采用深度学习推理车辆轴数的方式，只需露出半个车轮即可，相较于采用超声波检测车轴的方法，通过超声波检测车轴的方法是通过超声波回传的距离进行判断的，超声波在检测过程中，超声波和车轮会产生一定夹角，并受到如载重货物遮挡，因超声波的旁瓣功率低，夹角过大，检测时车轮或有遮挡就会不准确，因此本方法采用的深度学习推理车辆轴数的方式能够有效避免因这种情况导致的准确率降低；且通过超声波检测车轴的方法需要外接额外的超声波装置，安装时需要额外开槽布线，并且超声波装置的价格也很昂贵，从而增加了安装和采购成本，本申请不但无需额外开槽布线，还可以使用25帧/秒的视频进行分析，降低了摄像机成本，且准确度更高。

附图说明

图1是本申请实施例中车型三维识别方法的流程图。

图2是本申请实施例中相邻车辆跟车距离较远时车辆分割检测的示意图。

图3是本申请实施例中相邻车辆跟车距离较近时车辆分割检测的示意图。

图4是本申请实施例中设定跟踪区域时用于背景建模的图像的示意图。

图5是本申请实施例中设定跟踪区域时，对视频帧图像进行差值处理和二值化操作处理后的示意图。

图6是本申请实施例中采用跟踪算法处理后的位移图像示意图。

图7是本申请实施例中车身图像信息的示意图。

图8是本申请实施例中判断车辆的收费类型的流程图。

图9是本申请实施例中车型三维识别装置的原理框图。

图10是本申请实施例中车型三维识别系统的结构示意图。

附图标记说明：1、机体；2、车头抓拍摄像头；3、车身扫描摄像头；4、车尾抓拍摄像头；5、激光雷达组；6、车脸补光灯；7、车身补光灯；8、车尾补光灯。

具体实施方式

以下结合附图1-10对本申请作进一步详细说明。

本申请实施例公开一种车型三维识别方法，能够提高车辆分割检测准确率。

参照图1，车型三维识别方法包括如下步骤：

s1、获取车牌颜色信息；

具体地，车辆的车头和车尾均设有车牌，因此可通过获取车辆的车头照片或车尾照片的方式获得，在本实施例中，车牌颜色信息通过先获取车辆的车头照片来获得，包括以下步骤：

s101、获取车辆的车脸图像信息；

在本实施例中，车脸图像信息通过车头抓拍摄像头进行实时抓拍获得，车头抓拍摄像头架设在车道旁，车头抓拍摄像头的拍摄区域为车头抓拍区域，当车辆驶入车头抓拍区域时，车头抓拍摄像头对车头抓拍以得到车脸图像信息，然后通过无线通讯等方式将车脸图像信息发送至电子设备，车头抓拍摄像头的架设高度可根据实际路况设置。

s102、基于车脸图像信息获取车牌颜色信息；

在本实施例中，获取到车脸图像信息后，利用车牌的颜色和形状特征确认并获取车牌位置，然后将获取到的汽车车牌按不同字符进行切割，最后利用预先训练好的神经网络模型对切割的字符和车牌颜色信息进行识别，进而能够获取到车牌颜色信息和车头车牌号码。

s103、对车脸图像信息进行分析以得到车脸信息，车脸信息包括车辆品牌、车身颜色、是否为危化品车辆；

具体地，将车脸图像信息输入预先训练好的神经网络模型进行推理，在本实施例中，预先训练有三个神经网络模型，用于从车脸图像信息中推理出车辆品牌、车身颜色、是否为危化品车辆，并将车脸图像信息、车辆品牌、车身颜色、车头车牌号码、车牌颜色信息、是否为危化品车辆以及抓拍时间显示。

s2、实时获取预设区域内的车辆驶入信号；

结合图2，在本实施例中，预设区域即为车头抓拍区域，当车辆驶入车头抓拍区域时，车头抓拍摄像头对车头抓拍以得到车脸图像信息，同时，车头抓拍摄像头抓拍到车辆时即发送车辆驶入信号给电子设备。

s3、当获取到车辆驶入信号时，获取切割区域内的车辆状态信息，获取车辆驶出切割区域时的车辆驶出信号，车辆状态信息包括无车状态信号和有车状态信号，预设区域位于切割区域靠近车辆驶入的一侧；

结合图2，箭头表示车辆行进方向，车辆状态信息和车辆驶出信号可以采用传感器等方式，在本实施例中，车辆状态信息和车辆驶出信号采用激光雷达组获取，切割区域为激光雷达组的检测区域，具体地，获取到车辆驶入信号后，启动车身扫描摄像头开始拍摄，启动激光雷达组进行检测，电子设备开始接收车身扫描摄像头拍摄的视频帧图像，车身扫描摄像头的拍摄区域为车身扫描区域，车身扫描摄像头对车辆侧面进行实时拍摄，车身扫描摄像头可采用1.44mm的鱼眼镜头，该种方式可获得更大的视场角，可以近距离看到车辆顶部，具体地，车身扫描摄像头的拍摄范围为车身检测区域，当车辆驶入车身检测区域时，车身扫描摄像头能够对车辆侧面进行实时拍摄并发送至电子设备。

上述的车头抓拍区域位于车身扫描区域靠近车辆驶入的一侧，切割区域位于车身扫描区域内，在本实施例中，车身扫描区域在3~4m左右，切割区域位于车身扫描区域中部，激光雷达组包括三个激光雷达，三个激光雷达沿竖向排列设置。三个激光雷达中的一个激光雷达为基准雷达，基准雷达的射向垂直于车道方向，另外两个激光雷达的射向分别基于基准雷达的射向朝向车辆的驶入侧和驶出侧偏移预设角度，在本实施例中，三个激光雷达中位于中间的雷达为基准雷达，位于上方的雷达基于基准雷达的射向朝向车辆的驶入侧偏移5°，位于下方的雷达基于基准雷达的射向朝向车辆的驶出侧偏移5°，实际应用时，发明人经过大量实验和现场调试，在堵车情况下，跟车较近，此外，货车有拖挂，拉汽车的货车的中间位置也具有一定宽度的缝隙，因此将偏移角度控制在5°，激光雷达照射位置为车道最远端时，可以计算得到三个雷达照射的位置间隔约15cm，不会同时检测到两辆车，从而提高激光雷达组在水平范围上的检测宽度，能够提高车辆检测准确率。三个激光雷达的俯仰角可根据实际场景布置进行调整，以适应不同的道路环境，例如不同的路面宽度等，从而达到最大的检测范围。当激光雷达组监测到切割区域内无车辆时，发出无车状态信号，当激光雷达组监测到切割区域内有车辆时，发出有车状态信号，当激光雷达组监测到车辆驶出切割区域时，发出车辆驶出信号。

s4、当获取到无车状态信号时，将接收到的视频帧图像作为起始帧图像，当获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像，视频帧图像为车身扫描区域内的图像信息；

结合图2，图中矩形框为车辆，在车道不堵车时，相邻车辆之间跟车距离较远，因此会获取到无车状态信号，即车头扫描摄像头抓拍到车辆，电子设备接收到车辆驶入信号，启动车身扫描摄像头开始拍摄，启动激光雷达组进行检测，电子设备接收到车辆驶入信号时开始接收车身扫描摄像头拍摄的视频帧图像，激光雷达组监测到切割区域内无车辆，发送无车状态信号，电子设备接收到无车状态信号，将接收到的视频帧图像作为起始帧图像，此时即可对接收到的视频帧图像进行拼接处理。当车辆驶出切割区域时，即激光雷达组检测到有车辆驶出切割区域，发出车辆驶出信号，电子设备接收到车辆驶出信号即确定此时接收到车身扫描摄像头拍摄的视频帧图像为终止帧图像，从而实现在车身扫描摄像头的视频流数据中分割出对车辆进行拼接处理所需的视频帧图像。

s5、当获取到有车状态信号时，且获取到车辆驶出信号时，将接收到的视频帧图像作为起始帧图像，当再次获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像；

结合图3，图中矩形框为车辆，在车道堵车时，相邻车辆之间跟车距离较近，因此常常会获取到有车状态信号，即车头扫描摄像头抓拍到车辆，电子设备接收到车辆驶入信号，启动车身扫描摄像头开始拍摄，启动激光雷达组进行检测，激光雷达组监测到切割区域内有车辆，发送有车状态信号，此时表示前一车辆正在进行拼接。等待前一车辆拼接完成，即获取到车辆驶出信号时，此时即表示前一车辆驶出切割区域，此时电子设备将接收到的视频帧图像作为起始帧图像，从而实现对相邻车辆的分割，此时即可对接收到的视频帧图像进行拼接处理。当当前车辆驶出切割区域时，即激光雷达组检测到有车辆驶出切割区域，发出车辆驶出信号，此时电子设备再次获取到车辆驶出信号，即确定此时接收到车身扫描摄像头拍摄的视频帧图像为终止帧图像，从而实现在车身扫描摄像头的视频流数据中分割出对当前车辆进行拼接处理所需的视频帧图像，同时对下一车辆进行拼接处理所需的视频帧图像开始接收，如此循环往复，在车道堵车（即相邻车辆之间跟车距离较近）的情况下，也能够精确地进行车辆分割检测。

s6、对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息；

在本实施例中，当获取到起始帧图像至终止帧图像中至少两帧图像时即可开始进行拼接处理，包括以下步骤：

s601、对起始帧图像至终止帧图像的所有帧图像进行畸变矫正；

具体地，可采用相机内参矩阵和畸变矫正参数对获取的图像进行畸变矫正；还可以使用对图像进行手工标定参数的方式对获取的图像进行畸变矫正，确定图像如何进行拉伸变换，此方法需要至少标定40个左右的参数，而且在不同场景下需要分别标定。

s602、对起始帧图像至终止帧图像的所有帧图像进行自适应均衡化（ahe）处理。（该步骤可设于“对起始帧图像至终止帧图像的所有帧图像进行畸变矫正”的步骤之后，对获取的视频帧图像进行进一步优化，也可不依赖“对起始帧图像至终止帧图像的所有帧图像进行畸变矫正”的步骤，单独对起始帧图像至终止帧图像的所有帧图像进行优化）。

通常室外环境受全天日照光线影响比较大，在一天中的不同时间，可能会出现亮度过亮或过暗的情况，对获取的图像进行自适应均衡化（ahe）处理后，可以自动均衡图片亮度，（相对于直方图均衡化处理）还可以对于图像曝光过度或曝光不足的进行修复，使车辆细节更突出，尤其是室外作业时，此步骤可以大大提升跟踪算法的准确度。

s603、获取所有帧图像中每相邻两帧图像中车辆的位移图像；

具体地，包括以下步骤：

s6031、确定每相邻两帧图像中车辆的跟踪区域，并记录跟踪区域的位置坐标；

确定每相邻两帧图像中车辆的跟踪区域包括：

s60311、基于车身扫描摄像头开启时的第一帧图像进行背景建模；

s60312、将接收到的每帧图像均与背景建模后的模型图像进行差值处理和二值化操作（公知算法），确定出每帧图像中车辆的跟踪区域（如果没有车辆，使用默认跟踪区域（提前手动设置好））。

具体地，选用车身扫描摄像头开启时的第一帧图像来进行背景建模，能够保证此帧图像中没有车辆，结合图4，此时，可以认为第一帧图像为一张只有道路没有车辆的图像。如果道路上没有车辆，则操作后的图像为纯黑图像，结合图5，当车辆驶入时，进行差值处理和二值化操作处理后的图像会将车辆显示为白色，此时将白色区域设置成跟踪区域（即roi区域）即可。

图中的框（后称跟踪框）为跟踪区域，后称跟踪框，根据车辆位置不同，自动设置不同位置、不同大小的roi区域进行跟踪。结合图5可知，车头刚刚驶入视频拍摄范围，图像算法已经计算到车辆刚刚驶入，因此将roi区域比例缩小了一倍，以提高跟踪算法的准确度。

s6032、使用跟踪算法对跟踪区域进行跟踪，以获取每相邻两帧图像的位移量；

使用跟踪算法对跟踪区域进行跟踪包括：

s60321、提取出跟踪区域中图像的轮廓，并过滤掉干扰特征（如背景、污渍等特征，以提高跟踪算法的准确度）；

具体的，可使用canny算子提取跟踪区域中车辆的轮廓（canny算法提取的轮廓进行跟踪，准确率最高），也可以使用sobel算子、laplacian算子对跟踪区域中车辆的轮廓进行提取。

s60322、使用跟踪算法对图像的轮廓进行跟踪。

可选的，跟踪算法采用kcf算法或（官方训练好参数的）siamfc算法；跟踪算法还可以采用csrt算法（更准确，但速度非常慢）或mosse算法（速度快，但准确率不如kcf）等。

结合图6，具体实施时，相邻两帧图像的第一帧图像中的跟踪框为确定出的跟踪区域（即roi区域），放入跟踪算法进行初始化，通过跟踪算法跟踪后，在后一帧图像中标记的上一帧设定的roi区域，通过对比可以看到，车辆在移动，移动的位移为从后面的线位置到前面的线位置，从而可获取每相邻两帧图像中车辆的位移。

基于位移量生成宽度值；

具体地，宽度值可以等于位移量，在本实施例中，基于位移量生成宽度值包括：

采用滑动平均法对位移量进行处理以得到宽度值。

采用滑动平均法对位移量进行处理以得到宽度值的意义在于，相邻两帧图像得到的宽度值，为前n帧图像的平均值，n通常为5或10，如果采用30帧的相机，也就是使用150ms或300ms的平均位移量来计算。通过使用滑动平均法计算最终拼接需要的宽度，可以有效抗锯齿，即削减车辆加速或减速导致拼接图象出现的锯齿现象。

s6033、在每相邻两帧图像中后一帧图像截取与宽度值一致的帧宽度的图像作为车辆的位移图像。

在本实施例中，以图像帧宽度上的中间位置为基准，朝向与跟踪区域位移方向相反的方向，截取帧宽度与宽度值一致的图像作为车辆的位移图像。

一方面，本实施例采用的是鱼眼镜头，进行畸变矫正后，图像仍有畸变，而从图像的中间位置进行截取，图像畸变最小，从而提高拼接效果；此外，因为跟踪框的位置是变化的，所以截取位置在中间，拼接完成的图像，车辆在图像中间，前面和后面都有一部分没有车辆的空间，在实际拼接处理过程中，开始拼接的图像中是一部分空白区域，结束后也会有一部分空白区域，如果截取位置偏左，拼接处理后的车身图像信息中的车辆位置会偏右，极端情况下会出现丢失车尾特征的情况，截取位置偏右，拼接处理后的车身图像信息中的车辆位置会偏左，极端情况下出现丢失车头特征的情况，因此从图像的中间位置进行截取，能够保证拼接处理后的车身图像信息中的车辆位置适中，避免丢失车头、车尾特征的情况发生。

s604、将车辆的位移图像依序拼接以生成车身图像信息。

本申请拼接处理方式采用纯视频流处理，不受车辆移动速度变化的干扰（比如能够正常应对车辆在视频区域内停车、启动等操作），不需要外接设备获取车辆速度等其他信息，也不限制车辆在视频中经过的速度、摄像机采集视频的帧率、帧数以及高清摄像机的像素质量（完全可以根据用户需求灵活兼容高清摄像机或传统的模拟摄像机进行相应融合拼接功能），该方法运行时，占用的硬件资源较少，可在更多边缘设备上应用，其图像拼接准确度和性价比都更高。

s7、对车身图像信息进行分析以得到车身信息，车身信息包括车辆轴数、车轴位置、收费车型、车身有无反光条、核载人数。

生成车身图像信息后，将车身图像信息输入预先训练好的神经网络模型进行推理，从而得到车辆轴数、车轴位置、收费车型、车身有无反光条、核载人数、车辆位置、轮毂型；收费车型包括客车、货车和专项作业车，轮毂型包括凸轮型和凹轮型；通过深度学习推理车辆轴数的方式，只需露出部分车轮即可，相较于采用超声波检测车轴的方法，因超声波的旁瓣功率低，夹角过大，或有遮挡就会不准确，因此本方法采用的深度学习推理车辆轴数的方式能够有效避免因这种情况导致的准确率降低。

s8、获取车长信息；

结合图7，具体地，从车身图像信息中分析得到车辆位置后，根据车身图像信息中车辆位置框尺寸，神经网络模型对车身图像信息进行车辆位置推理后，生成车辆位置在车身图像信息中的坐标位置，坐标位置包括四个字段，分别为车辆位置左上角、右下角顶点的x和y坐标，基于车辆位置左上角、右下角顶点坐标得出车辆位置框，从而确定车辆位置框在图像中所占像素，然后通过棋盘格标定法映射得到车长信息。从车身图像信息中分析得到车轴位置后，根据车身图像信息中相邻车轴位置框的距离，将相邻车轴位置框的距离不大于预设距离值的车轴作为一组并得到同一组内车轴的数量，例如车身图像信息中的车轴位置框具有5个，第一个车轴位置框和第二个车轴位置框的距离大于预设距离值，第二个车轴位置框和第三个车轴位置框的距离小于预设距离值，第三个车轴位置框和第四个车轴位置框的距离大于预设距离值，第四个车轴位置框和第五个车轴位置框的距离小于预设距离值，因此第一个车轴为一组，第二个车轴和第三个车轴为一组，第四个车轴和第五个车轴为一组，进而可以得到车辆的轴型为1-2-2。

得到车辆的轴型后，结合轮毂型得到车辆的轮数，接上例，车辆的轴型为1-2-2，第一个车轴的轮毂型为凸轮型，第二个车轴至第五个车轴的轮毂型为凹轮型，凸轮型的车轴具有两个车轮，凹轮型的车轴具有四个车轮，因此可得出车辆的轮数=1x2+4x4=18，即车辆的轮数为18个。

s9、基于车牌颜色信息、车长信息和车身信息判断车辆收费类型。

车辆收费类型包括客一、客二、客三、客四，货一、货二、货三、货四、货五、货六，专项作业车一、专项作业车二、专项作业车三、专项作业车四、专项作业车五、专项作业车六。

具体地，包括以下步骤：

s901、基于收费车型和车身有无反光条判断车辆的真实收费车型。

结合图8，例如，当车辆的收费车型为客车，且车身无反光条，则判断车辆的真实收费车型为客车；当车辆的收费车型为客车，且车身有反光条，则判断车辆的真实收费车型为货车，例如客货两用车（面包车依维柯）在作为货车使用时，会在车身处安装反光条，因此通过上述方法能够准确的判断客货两用车的真实收费车型；当车辆的收费车型为专项作业车时，则判断车辆的真实收费车型为专项作业车。

s902、当车辆的真实收费车型为客车时，基于车辆的车牌颜色信息、车长信息和核载人数判断车辆的收费类型。

具体地，判断车辆的真实收费车型为客车时，当车辆的车牌颜色信息不为黄色，则判定车辆的收费类型为客一；

当车辆的车牌颜色信息为黄色，基于核载人数和车长信息将车辆判定为客二、客三或客四；具体地，

当车辆的车长信息小于6m，则将车辆判定为客二，当车辆的车长信息不小于6m，基于核载人数判定判定车辆的收费类型为客三或客四；

当车辆的核载人数不大于39人，则将车辆判定为客三，车辆的核载人数为大于39人，则将车辆判定为客四。

s903、当车辆的真实收费车型为货车和专项作业车时，基于车辆轴数和车牌颜色信息判断车辆的收费类型。

具体地，货车和专项作业车的细分类标准相同，因此在车辆的收费类型为专项作业车时，专项作业车和货车收费类型判断依据一致。

当车辆轴数为二时，若车牌颜色信息为黄色，则判定车辆的真实收费车型为货二或专项作业车二；若车牌颜色信息不为黄色，则判定车辆的真实收费车型为货一或专项作业车一；

当车辆轴数为三时，则判定车辆的真实收费车型为货三或专项作业车三；

当车辆轴数为四时，则判定车辆的真实收费车型为货四或专项作业车四；

当车辆轴数为五时，则判定车辆的真实收费车型为货五或专项作业车五；

当车辆轴数为六时，则判定车辆的真实收费车型为货六或专项作业车六。

如此，通过车脸图像信息得出车牌颜色信息，通过车身图像信息分析得到车辆轴数、车轴位置、收费车型、车身有无反光条、核载人数、车辆位置、轮毂型，通过车身图像信息得到车长信息，从而基于车牌颜色信息、收费车型、车身有无反光条、车辆轴数、核载人数和车长信息能够精确得到客车、货车和专项作业车的收费类型，满足jtt489标准的收费类型识别结果。

s10、获取车尾图像信息；

当车辆驶出车身采集区域时，通过车尾抓拍摄像头进行实时抓拍以获得车尾图像信息。将车尾图像信息输入预先训练好的神经网络模型以推理得到车尾车牌号码，因拖挂车拖挂部分是单独上牌，即牵引车前为车头车牌号码，挂车后为车尾车牌号码，也就是拖挂车车头车尾的牌照是不同，因此对车尾图像信息进行采集，并生成车尾车牌号码。

s11、将车脸图像信息、车身图像信息、车尾图像信息，以及车牌颜色信息、车头车牌号码、车脸信息、车长信息、车身信息上传至云服务器以保存，并发送至web页面展示。

另外，在本实施例中，还包括以下步骤：

s12、将相邻两帧中的车辆的位移通过棋盘格标定法进行映射，得到车辆实际的位移s；

s13，基于车身扫描摄像头帧率，获得车身扫描摄像头采集相邻两帧图像的时间间隔t；

s14，通过s/t获得车辆的瞬时速度。

应理解，上述各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本实施例还提供一种车型三维识别装置，参照图9，该车型三维识别装置包括驶入信号获取模块、车辆信息获取模块、无车状态图像分割模块、有车状态图像分割模块、图像拼接模块和图像分析模块。各功能模块详细说明如下：

驶入信号获取模块，用于实时获取预设区域内的车辆驶入信号；

车辆信息获取模块，用于当获取到车辆驶入信号时，获取切割区域内的车辆状态信息，获取车辆驶出切割区域时的车辆驶出信号，车辆状态信息包括无车状态信号和有车状态信号，预设区域位于切割区域靠近车辆驶入的一侧；

无车状态图像分割模块，用于当获取到无车状态信号时，将接收到的视频帧图像作为起始帧图像，当获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像，视频帧图像为车身扫描区域内的图像信息，切割区域位于车身扫描区域内；

有车状态图像分割模块，用于当获取到有车状态信号时，且获取到车辆驶出信号时，将接收到的视频帧图像作为起始帧图像，当再次获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像；

图像拼接模块，用于对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息；

图像分析模块，用于对车身图像信息进行分析以得到车身信息，车身信息包括车辆轴数。

关于车型三维识别装置的具体限定可以参见上文中对于车型三维识别方法的限定，在此不再赘述。上述车型三维识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本实施例还提供一种车型三维识别系统，参照图10，该车型三维识别系统包括机体1，机体1安装在车道旁，机体1上安装有车头抓拍摄像头2，车身扫描摄像头3，车尾抓拍摄像头4，激光雷达组5，车脸补光灯6，车身补光灯7，车尾补光灯8，以及电子设备；电子设备内置于机体1中，电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车型三维识别方法：

实时获取预设区域内的车辆驶入信号；

当获取到车辆驶入信号时，获取切割区域内的车辆状态信息，获取车辆驶出切割区域时的车辆驶出信号，车辆状态信息包括无车状态信号和有车状态信号，预设区域位于切割区域靠近车辆驶入的一侧；

当获取到无车状态信号时，将接收到的视频帧图像作为起始帧图像，当获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像，视频帧图像为车身扫描区域内的图像信息，切割区域位于车身扫描区域内；

当获取到有车状态信号时，且获取到车辆驶出信号时，将接收到的视频帧图像作为起始帧图像，当再次获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像；

对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息；

对车身图像信息进行分析以得到车身信息，车身信息包括车辆轴数。

该计算机程序被处理器执行时能实现上述方法实施例中任一种车型三维识别方法。

车头抓拍摄像头2、激光雷达组5、车身扫描摄像头3、车尾抓拍摄像头4和电子设备之间通讯连接，机体1的高度可根据现场安装进行调节，车身扫描摄像头3为鱼眼摄像头，车身扫描摄像头3离地高约1.2-1.5米，车身扫描摄像头3和车身补光灯7的朝向垂直于车道方向，车头抓拍摄像头2和车脸补光灯6的朝向基于车身扫描摄像头3的朝向朝车辆的驶入侧偏移45°，车尾抓拍摄像头4和车尾补光灯8的朝向基于车身扫描摄像头3的朝向朝车辆的驶出侧偏移45°。其中，车头抓拍摄像头2用于采集车辆的车脸图像信息；激光雷达组5用于检测车辆位置；车身扫描摄像头3用于采集车辆侧面的视频流数据；车尾抓拍摄像头4用于采集车辆的车尾图像信息。通过超声波检测车轴的方法需要外接额外的超声波装置，安装时需要额外开槽布线，并且超声波装置的价格也很昂贵，从而增加了安装和采购成本，本申请不但无需额外开槽布线，还可以使用25帧/秒的视频进行分析，降低了摄像机成本，且准确度更高。

本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

实时获取预设区域内的车辆驶入信号；

当获取到车辆驶入信号时，获取切割区域内的车辆状态信息，获取车辆驶出切割区域时的车辆驶出信号，车辆状态信息包括无车状态信号和有车状态信号，预设区域位于切割区域靠近车辆驶入的一侧；

当获取到无车状态信号时，将接收到的视频帧图像作为起始帧图像，当获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像，视频帧图像为车身扫描区域内的图像信息，切割区域位于车身扫描区域内；

当获取到有车状态信号时，且获取到车辆驶出信号时，将接收到的视频帧图像作为起始帧图像，当再次获取到车辆驶出信号时，将接收到的视频帧图像作为终止帧图像；

对起始帧图像至终止帧图像的所有帧图像依序进行拼接处理以生成车身图像信息；

对车身图像信息进行分析以得到车身信息，车身信息包括车辆轴数。

该计算机程序被处理器执行时能实现上述方法实施例中任一种车型三维识别方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。