一种危险品车辆识别方法、系统、装置及介质与流程
本发明涉及图像处理技术领域，尤其是一种危险品车辆识别方法、系统、装置及介质。
背景技术：
危险品运输车(dangerousgoodstransportvehicles)是一种排气管前置并装有防火花装置，运送石油化工品、炸药、鞭炮等危险品的专用车辆。由于危险品车辆自身的特殊性，需要将危险品运输车重点管控。
在智能交通体系中，提高收费效率、裁定交通责任和追踪肇事逃逸等交通问题都离不开车型识别。在海关缉私方面，需要重点管控油罐车等危险品车辆走私成品油等违法运输行为，这就需要对于道路监控场景的车辆中将危险运输车的精细识别。
对于道路场景的车辆抓拍图像，是从标准道路卡口、虚拟卡口(监控卡口)、电子警察卡口下摄像机抓拍或者抓拍模块抓拍到的车辆图像，能够用于对车辆属性二次分析。
车型识别是视频结构化信息中的关键信息，是车辆信息的基础，具有广泛的实用价值。较为常用的车型识别方法主要有基于传统机器学习的车型识别方法以及基于深度学习的车型识别方法。具体方案如下：
1、基于传统视频抓拍的车型识别方法
传统的基于视频抓拍车型识别器，其识别车型的主要步骤是先采用背景差分法提取运动目标车辆，再对图像序列进行灰度化、平滑去噪、边缘检测、关键特征提取、车辆外观尺寸计算等一系列的图像处理过程，最后再采用训练好的车型识别模型对车辆的关键特征进行分类来得出车型。但是在实际应用中，由于光线、气候以及噪声的等方面的因素，使得采用背景模型的建立、关键特征提取等图像处理步骤比较复杂，而且精度也不高，直接影响到了后面车型识别结果。
2、基于传统激光扫描的车型识别方法
传统的基于激光扫描车型识别方法，其识别车型的主要依据是通过实时采集车道内通行车辆的坐标数据，计算出该车的车长、车高、车宽等外观特征数据作为特征向量，然后再采用训练好的车型识别模型对这些特征向量进行分类来得出车型，其优点是受外界环境因素的影响很小，且识别精度较高。但是危险品运输车车型的分类标准里面也并没有与车辆的外观尺寸等数据直接挂钩，因此对于一些尺寸较特殊车辆的车型的识别并不理想。
3、基于深度学习的车型识别方法
基于深度学习的车型识别方法，其识别的主要依据是通过预设训练模型处理包含目标车辆的图像，通过定位网络检测车辆，并从分类网络得到目标车辆的车型。其优点是可以得到待处理图像中的局部的细节特征及全局特征，并将全局特征和局部特征融合，以确保重要信息充分发挥作用，可以提升车型识别效率。
上述识别算法对于特殊车辆并无良好的适应性，特别是监控场景下受外界复杂环境的干扰，通常采集的车辆图像中都存在有模糊、残缺、侧身角度等情况。图像特征上，油罐车和水罐车容易混淆，存在误定位和准确性低的问题，所以需要更高精度的危险品运输车辆识别。
技术实现要素：
有鉴于此，本发明实施例提供一种高精度的危险品车辆识别方法、系统、装置及介质。
本发明的第一方面提供了一种危险品车辆识别方法，包括：
获取待检测车辆图像；
通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
在一些实施例中，所述通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，包括：
从待训练图像中标注出包含危险品标志的最小外接矩形；
将所有待训练图像归一化到预设尺寸，得到训练图像数据库；
将训练图像数据库中标注好危险品标志的图像输入预训练的深度卷积神经网络进行训练，得到卷积神经网络模型；
通过所述卷积神经网络模型对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息。
在一些实施例中，所述通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息，包括：
通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，确定车辆的年款信息、车型信息以及朝向信息。
在一些实施例中，所述方法还包括训练车辆多标签模型的步骤。
在一些实施例中，所述训练车辆多标签模型，包括：
通过卷积神经网络模型获取待训练图像的危险品标志信息；
通过多任务学习训练神经网络确定待训练图像的年款信息、车型信息以及朝向信息；
将所述危险品标志信息、所述年款信息、所述车型信息以及所述朝向信息输入全连接层；
根据所述全连接层的输出结果训练得到车辆多标签模型。
在一些实施例中，
所述车辆多标签模型的中心损失函数为：
其中，lc代表中心损失，描述模型的预测值与真实值之间的差距大小；m代表特征长度；
在一些实施例中，所述将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果，包括：
当识别到的危险品标志的方向与车辆朝向一致，则确定所述危险品标志的第一置信度；
获取车辆的年款车型对照表；
根据所述年款车型对照表，当识别到的车辆的年款与车型分类的结果匹配时，则确定所述车辆的年款的第二置信度以及所述车辆的车型的第三置信度；
根据所述第一置信度、第二置信度以及第三置信度，确定危险品车辆的识别阈值；
根据所述识别阈值确定危险品车辆的类别。
本发明的第二方面提供了一种危险品车辆识别系统，包括：
获取模块，用于获取待检测车辆图像；
危险品标志检测模块，用于通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
车辆属性分析模块，用于通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
特征融合模块，用于将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
本发明的第三方面提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如本发明第一方面所述的方法。
本发明的第四方面提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明第一方面所述的方法。
本发明的实施例首先获取待检测车辆图像，接着通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，然后通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息，最后将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。本发明能够提高危险品车辆的识别精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的步骤流程图；
图2为本发明实施例提供的车辆多标签模型训练流程图；
图3为本发明实施例的车辆多标签分类网络。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
由于从道路标准卡口、虚拟卡口和电子警察卡口等道路监控抓拍模块得到的图像中会检测到多种干扰信息和各种角度的车身。如果角度过大，现有的检测方法会造成车身漏检；如果车身区域内干扰信息较多，会造成识别准确率降低，影响车型识别的准确率。
对于道路场景的抓拍图像，需要重新检测车辆的精准区域，进行后续的车型识别。传统的车辆识别方法是通过车辆图像进行匹配，对车型的识别率较低；基于深度神经网络的整车识别方法，对货箱遮挡及大角度的车辆无法准确识别其车型，无法区分相似度较高的油罐车与水罐车等车型。因此，针对以上问题，提出本技术方案进行危险品运输车的车辆类型识别。本申请提出了一种基于多特征融合判定的危险品车辆识别方法，将输入的道路监控抓拍图像利用全卷积深度神经网络提取车辆目标和车辆细节特征，通过危险品车辆的多特征融合判定，最终输出是否为危险品车辆。
如图1所示，本发明实施例提供的危险品车辆识别方法，包括：
s1、获取待检测车辆图像；
具体地，本发明实施例的车辆图像可以从道路标准卡口、虚拟卡口和电子警察卡口等道路监控抓拍模块得到。
s2、通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
具体地，本发明实施例的步骤s2包括s21-s24：
s21、从待训练图像中标注出包含危险品标志的最小外接矩形；
s22、将所有待训练图像归一化到预设尺寸，得到训练图像数据库；
s23、将训练图像数据库中标注好危险品标志的图像输入预训练的深度卷积神经网络进行训练，得到卷积神经网络模型；
s24、通过所述卷积神经网络模型对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息。
本发明实施例采用包括但不限于ssd检测模型为基本网络架构的卷积神经网络作为危险品运输车车头三角“危险品”标志及车尾“热”“腐”“爆”等危险品运输车的标志符检测装置。模型在使用前进行了充分的训练与测试，其训练与测试数据均来自道路场景的车辆抓拍图像。通过危险品标志符检测装置，可得到危险品标志符的位置与类别。
模型通过大量包含危险品标志符的车辆图像作为待训练图像，从每一图像中标注出所有的危险品标志的最小外接矩形，将批量图像归一化到特定的尺寸，生成检测的训练图像数据库；然后，将标注好的批量图像输入预训练的深度卷积神经网络中训练，迭代直到输出的误差达到一个很小的值为止。
s3、通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
具体地，本发明实施例的步骤s3具体为：通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，确定车辆的年款信息、车型信息以及朝向信息。
本发明实施例的车辆多任务特征提取：包括利用多任务学习训练神经网络和利用该网络完成车辆不同属性的识别任务，包括车辆的年款(如东风-乘龙m5-2010)、车型(如重型货车)及朝向(如前向)。多任务特征学习训练神经网络可以学习多个任务的共享表示，有较强的抽象能力，适应相关的多个不同目标任务，有更好的泛化能力。
多任务模型体现在神经网络的底部区域，将车辆的多标签描述切分成不同的任务，分别与全连接层结合，计算不同车辆属性的损失函数，利用反向传播算法调整网络权值，训练网络。
s4、将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
本发明实施例的步骤s4包括s41-s45：
s41、当识别到的危险品标志的方向与车辆朝向一致，则确定所述危险品标志的第一置信度；
s42、获取车辆的年款车型对照表；
s43、根据所述年款车型对照表，当识别到的车辆的年款与车型分类的结果匹配时，则确定所述车辆的年款的第二置信度以及所述车辆的车型的第三置信度；
s44、根据所述第一置信度、第二置信度以及第三置信度，确定危险品车辆的识别阈值；
s45、根据所述识别阈值确定危险品车辆的类别。
具体地，本发明实施例将整体特征与局部关键特征融合得到结果。
如果得到的危险品特征属前后的方向与车辆朝向一致，将危险品特征的置信度设为p0(即第一置信度)。
通过车辆年款与车型映射得到车辆年款车型对照表。
如果模型输出得到的车辆年款与车型分类的结果匹配，将车辆年款置信度设为p1(即第二置信度)，车辆车型置信度设为p2(即第三置信度)。
其中，
p代表最终的特征融合结果置信度；i代表特征序号。
本发明实施例通过得到的车辆类型和局部关键特征融合结果通过样本统计平均的阈值t，判定是否为危险品运输车类别。
本发明实施例还提供了训练车辆多标签模型的步骤，参照图2，该步骤包括s51-s54：
s51、通过卷积神经网络模型获取待训练图像的危险品标志信息；
s52、通过多任务学习训练神经网络确定待训练图像的年款信息、车型信息以及朝向信息；
s53、将所述危险品标志信息、所述年款信息、所述车型信息以及所述朝向信息输入全连接层；
s54、根据所述全连接层的输出结果训练得到车辆多标签模型。
本发明实施例的损失函数选用改进的中心损失函数(centerloss)和交叉熵损失函数(softmaxloss)联合的特征学习方式，目的是为了缩小类内距离同时增大类间距离，更好的将车辆的多任务训练的样本差异性拉大，得到更好的模型训练效果。
其中，中心损失函数的定义为：
其中，lc代表中心损失，描述模型的预测值与真实值之间的差距大小；m代表特征长度；
需要说明的是，每一个样本的特征需要通过一个好的网络到达特征层获得，这样计算完后所有样本的特征的平均值为类中心c，而好的网络需要是在有类中心加入的情况下才能得到。没法直接获得中心c，所以通过网络自己生成，在每一个批处理图像里更新c。即随机初始化c，而后每一个批处理图像里计算当前数据与c的距离，而后将这个梯度形式的距离加到c上，再增加一个scale度量α，使得c不会抖动。
其中，中心损失函数的梯度为：
其中，
softmax损失函数ls为：
其中，
联合损失函数l为：
其中，λ代表中心损失的权重；
图3为本发明实施例提供的车辆多标签分类网络，其中，特征提取网络含有3个卷积层，每个卷积层后面都跟一个elu激活层，总共有2个最大池化层(maxpooling)。主干特征提取网络后切分到3*2个全连接层，后面连接softmax激活函数，用于得到车辆年款、车辆车型和车辆朝向的特征。
通过采用elu层作为网络的激活函数层(保证神经网络的非线性)，右侧线性部分使得elu能够缓解梯度消失，而左侧软饱能够让elu对输入变化或噪声更鲁棒。elu拥有负值，允许它们以更低的计算复杂度将平均单位激活推向更加接近0的值，实现加速收敛并提高准确度。
其中，elu的数学公式为：
其导数的数学公式为：
其中，超参数α控制elu在负值输入时的饱和值(此处取α＝1)。
本发明实施例还提供了一种危险品车辆识别系统，包括：
获取模块，用于获取待检测车辆图像；
危险品标志检测模块，用于通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
车辆属性分析模块，用于通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
特征融合模块，用于将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
本发明实施例还提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如图1所述的方法。
本发明实施例还提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如图1所述的方法。
综上所述，本发明实施例提出的通过多种特征融合的高精度的危险品运输车辆识别方法，能够对道路抓拍的二次分析图像进行重点特征提取，对于模糊、残缺、大角度车辆有较好的适应能力，对油罐车和水罐车等外观相似的车辆有足够的区分，可用于危险品运输车辆的高精度识别。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
- 还没有人留言评论。精彩留言会获得点赞！