一种车底危险目标识别方法与流程

本发明属于图像处理技术领域，具体涉及一种车底危险目标识别方法。

背景技术：

近年来，各国利用车辆藏匿危险品、违禁品等高危物品的犯罪行为呈上升趋势，对人民的生命财产安全造成了严重威胁，因此对车辆的安全检查需引起进一步重视，而车辆检测中又以危险目标藏匿于车辆底盘时最难检测，故车底检测已成为安保领域研究的重点与难点。

目前车底检测技术手段主要采用手持探镜及视觉检测等方式，并不具备自动比对功能。检测的关键是对目标进行特征提取，常见的特征有轮廓、边缘、特征点等。为提取和描述图像中的局部特征，davidlowe提出一种尺度不变特征转换(scale-invariantfeaturetransform，sift)视觉算法，具有较强的鲁棒性，但计算量大，效率低。而yanke等提出pca-sift算法对特征向量描述子降维，但效果不理想，且计算量仍较大。为此，bay等人提出一种surf(speededuprobustfeatures，surf)加速稳健特征算法，相比sift算法大幅提高了计算速度，但复杂环境下仍存在特征提取效率低、错误率高等不足，制约了车底危险目标检测及识别精度的提升。

技术实现要素：

针对现有技术的不足，本发明拟解决的技术问题是，提出一种车底危险目标识别方法。首先对来车进行车牌识别，并实时采集车底图像(目标图像)，根据识别结果在车辆网络数据库中调取相应的车辆信息以及标准车底图像信息(标准图像)，将目标图像和标准图像作为输入图像，首先采用双边滤波器处理输入图像并进行一次小波变换，再将小波域中的低频图像作为输入并利用改进的surf提取特征点，然后使用基于方向和尺度约束的单向匹配策略寻找匹配点对。在此基础上，采用改进的减小迭代次数的ransac(randomsampleconsensus，ransac)算法剔除错误匹配点对，并分段校正目标图像，再采用基于卷积的ncc(nomalizedcrosscorrelationmethod,ncc)算法分块匹配策略寻找危险目标位置，采用yolov3网络预先调用危险目标网络数据库进行训练，最后对危险目标进行检测及识别。

本发明为解决上述技术问题采取的技术方案是：

一种车底危险目标识别方法，该方法包括以下步骤：

步骤1，构建包含车辆信息的车辆网络数据库及危险目标网络数据库，对来车进行车牌识别，并实时采集当前车辆的车底图像作为目标图像，然后根据车牌识别的结果在车辆网络数据库中调取相应的车辆信息以及相应车型的车底标准图像，将目标图像和标准图像作为输入图像；

步骤2，将步骤1中的标准图像和目标图像采用双边滤波器进行预处理，达到保边去噪的效果；

步骤3，对步骤2中经双边滤波之后的输入图像进行小波变换，将变换得到的低频图像作为新的输入图像；

步骤4，在步骤3中的新的输入图像的基础上，用改进的surf算法提取特征点，并使用基于方向和尺度约束的单向匹配策略寻找匹配点对；

步骤5，采用改进的减小迭代次数的ransac算法剔除步骤4中的误匹配点对，保留正确的匹配点对；

步骤6：将目标图像以车行进方向为正方向，均分为前后两段，分别记为图像1和图像2；在图像1和图像2中分别随机选取两对步骤5中保留的正确的匹配点对，即图像1中的两个特征点为a1(x1,y1)、b1(x2,y2)，在标准图像中对应的匹配点分别为a2(x3,y3)、b2(x4,y4)；通过求解线段的比例关系得到缩放比例，x方向的缩放为：

y方向的缩放为：

同理，确定图像2的x方向和y方向的缩放比，根据特征点的比例关系分别对图像1和图像2进行校正，然后再将校正后的图像1和图像2直接拼接，将图像1和图像2构成的目标图像缩放至标准图像近似大小，获得校正后的目标图像；

步骤7：采用基于卷积的ncc算法分块匹配策略寻找危险目标的大致位置，并在经步骤6得到的校正后的目标图像中用红色线框进行标记；

步骤8：采用yolov3网络预先调用危险目标网络数据库进行训练，最后在步骤7中经红色线框标记的区域进行目标检测，并识别危险目标种类。

与现有技术相比，本发明的有益效果是，

本发明一种车底危险目标识别方法，对来车进行车牌识别，并实时采集当前车辆的车底图像(目标图像)，根据识别的结果在车辆网络数据库中调取相应的车辆信息以及标准车底图像信息(标准图像)，将目标图像和标准图像作为输入图像。针对车底图像尺寸过大，噪点过多的问题，首先采用双边滤波器处理输入图像并进行一次小波变换，再将小波域中的低频图像作为输入并利用改进的surf提取特征点，然后使用基于方向和尺度约束的单向匹配策略寻找匹配点对，本申请中对surf提取特征点选取更大的空间点数，显著提高了算法的速度及鲁棒性。在此基础上，采用改进的减小迭代次数的ransac算法剔除错误匹配点对，针对车速不均匀问题造成图像拉伸或者压缩问题分段校正目标图像，再采用基于卷积的ncc算法分块匹配策略寻找危险目标位置，并用线框标记。然后采用yolov3网络预先调用危险目标网络数据库进行训练，最后在线框标记的区域中对危险目标进行识别，有效改善了直接在整张车底图像上采用深度学习进行目标检测耗时、及车辆行进过程中图像发生变形的问题。

本发明通过将目标图像与标准图像进行比对，并通过双边滤波、改进的surf算法、单向匹配、减少迭代次数的ransac算法、基于卷积的ncc分块匹配、yolov3目标检测网络等操作成功检测出危险目标的位置及类别。解决了传统surf算法匹配速度慢、匹配精度低、车速不均匀导致图像变形可能造成漏检的问题、yolov3网络搜索面积大所导致的耗时大等问题。将该方法应用于车底图像，可以加快车底危险目标的识别效率。

附图说明

图1本发明车底危险目标识别方法流程图。

图2尺度空间。

图3滑动扇形窗口。

图4特征描述子。

图5车底图像坐标系。

图6yolov3网络。

具体实施方式

下面结合实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。

本发明一种车底危险目标识别方法，该方法包括以下步骤：

步骤1，构建包含车辆信息的车辆网络数据库及危险目标网络数据库，对来车进行车牌识别，并采集目标图像，然后根据识别的结果在车辆网络数据库中调取相应的车辆信息以及标准图像，将目标图像和标准图像作为本方法的输入图像；

步骤2，将步骤1中的标准图像和目标图像采用双边滤波器进行预处理，目的是达到保边去噪的效果。

步骤3，对步骤2中经双边滤波之后的输入图像进行小波变换，将变换得到的低频图像作为新的输入图像；

步骤4，在步骤3中的新的输入图像的基础上，用改进的surf算法提取特征点，并使用基于方向和尺度约束的单向匹配策略寻找匹配点对；

步骤5，采用改进的减小迭代次数的ransac算法剔除步骤4中的误匹配点对，保留正确的匹配点对；

步骤6：将目标图像以车行进方向为正方向，均分为前后两段，分别记为图像1和图像2。在图像1和图像2中分别选取两对步骤5中保留的正确的匹配点对，根据特征点的比例关系对图像1和图像2进行校正，然后再将图像1和图像2直接拼接，将图像1和图像2构成的目标图像缩放至标准图像近似大小，完成目标图像校正；

步骤7：采用基于卷积的ncc算法分块匹配策略寻找危险目标的大致位置，并在经步骤6得到的校正后的目标图像中用红色线框进行标记危险目标大致位置；

步骤8：采用yolov3网络预先调用危险目标网络数据库进行训练，最后在步骤7中标记的区域进行目标检测，并识别危险目标种类。

步骤1中，包括以下步骤：

构建包含车辆信息的车辆网络数据库及危险目标网络数据库，车辆到来时，采用车牌识别装置对来车进行车牌识别，并采集目标图像，得到车牌识别结果之后，通过网络连接到车辆网络数据库，调取车辆信息以及车底标准图像，将目标图像和标准图像作为本方法的输入图像。其中车辆网络数据库为包含有车辆信息，如车牌、车型、对应的车主信息、不同车型对应的车底标准图像信息。危险目标网络数据库中包含各种危险品的图片，如各种刀具、编织袋、人形异物、爆炸物等。

步骤2中，包括以下步骤：

用双边滤波器处理目标和标准图像。在图像变化平缓的区域，邻域内像素亮度值相差不大，双边滤波转化为高斯低通滤波器；在图像变化剧烈的区域，滤波器利用边缘点附近亮度值相近的像素点的亮度值平均替代原亮度值。

步骤3中，包括以下步骤：

哈尔小波的定义式为：

其尺度函数为：

取出标准图像和目标图像中的低频分量图像作为新的输入图像。低频分量图像不仅保留了图像的大体信息，而且相比于原图像信息量减少，可以加快特征点的提取速度。

步骤4中，包括以下步骤：

第一步：在步骤3得到的新的输入图像的基础上，用改进的surf算法提取两张图像中的特征点。改进的surf算法主要是在特征点提取阶段进行改进，增大了搜索面积，加强了特征点的鲁棒性，如下所示。将经过hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的74个点进行比较，如图2所示。如果它是这74个点中的最大值或者最小值，则保留下来，当作初步特征点，然后，采用3维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来，筛选出最终的稳定的特征点,进而完成特征点检测。

第二步：通过单向匹配和方向及尺度约束一致性约束的方法来寻找特征点之间的对应匹配关系。首先对标准图像和目标图像作单向匹配，再分别计算出对应特征描述向量之间方向的差值以及尺度的差值，当方向差值和尺度差值分别在设定的阈值范围之内则认为匹配成功，否则需要剔除错误的匹配点。

步骤5中，包括以下步骤：

利用步骤4得到的正确匹配点对，使用采用改进的减小迭代次数的ransac算法剔除错误匹配点。具体如下：将步骤4中匹配点对中特征点对的角度差值大小作为评价匹配点好坏的标准，匹配点质量的好坏和角度差成反比。将匹配点根据质量好坏排序，将质量最好的8个匹配点进行模型参数拟合，最后用该模型估计一定距离阈值内的匹配点，将其作为最终的匹配点对。筛选匹配点主要步骤是：首先，将特征匹配点对集合按特征点方向的差值大小si由小到大排序，选择其中差值最小的8个匹配点对作为模型参数，并进行拟合，得到模型j。然后用模型j测试匹配点对中的所有点的距离是否小于某个阈值，如果是的话，则此点属于内点，否则为外点。最后，得到筛选后的匹配点对集合。

步骤6中，包括以下步骤：

将目标图像变换至和标准图像近似大小，首先将目标图像以x轴为基准，均分为两段。从经过改进的ransac提纯的正确匹配点对中随机选取两对，可以通过求解线段的比例关系得到缩放比例。标准图中线段两个端点分别为a1(x1,y1)，b1(x2,y2)。假设目标图像中中两个端点分别为a2(x3,y3)，b2(x4,y4)。

x方向的缩放为：

y方向的缩放为：

求得缩放比例系数k1和k2，可将目标图缩放至标准图像近似大小。

步骤7中，包括以下步骤：

将标准图像划分为s*s的网格结构，空缺部分用黑像素填充，采用分块匹配策略，将每个网格作为模板图像，依次在目标图像中进行搜索，通过计算每个网格和目标图像的ncc值，并设置阈值k，将结果和k相比较，低于k值的区域在目标图像中进行标记，来寻找危险目标的大致区域。

步骤8中，包括以下步骤：

采用yolov3网络对危险目标网络数据库中的样品进行训练。然后在步骤7中标记的区域进行目标检测，最终得到危险目标的种类，完成危险目标的检测和识别。

实施例

参照图1，一种车底危险目标识别方法流程图。

步骤1：采集图像。构建包含车辆信息的车辆网络数据库及危险目标网络数据库，采用车牌识别装置对来车进行车牌识别，并采集目标图像，得到车牌识别结果之后，通过网络连接到车辆网络数据库，调取车辆信息以及车底标准图像，将目标图像和标准图像作为本方法的输入图像。

步骤2：图像双边滤波。双边滤波器如下所示：

式中，sx,y表示以(x，y)中心点的(2n+1)*(2n+1)大小的邻域。对每一个像素点(m,n)，加权系数w(m,n)由以下两部分组成：

w(m,n)＝ws(m,n)wr(m,n)

其中g(x,y)表示输入图像，h(m,n)表示(2n+1)*(2n+1)大小的邻域内像素点的像素值，σr和σs为高斯核参数。w(m,n)为邻近尺度因子ws和亮度相似度因子wr的乘积。在图像变化平缓的区域，邻域内像素亮度值相差不大，双边滤波转化为高斯低通滤波器；在图像变化剧烈的区域，滤波器利用边缘点附近亮度值相近的像素点的亮度值平均替代原亮度值。因此，双边滤波器既平滑滤波了图像，又保持了图像边缘。

步骤3：图像小波变换。将标准图像与目标图像分别进行小波变换，只做一层分解，得到在低频分量、水平高频分量、垂直高频分量和对角高频分量上的图像。仅将输入图像的低频分量图像作为改进surf算法的输入。小波变换过程如下：

其尺度函数为：

通过哈尔小波对待拼接图像进行二维小波分解，先对两幅原始图像的x方向分别用ψh(x)和做分析，将图像分解为低高频两部分，然后在y方向做类似分析。

步骤4：(1)通过改进surf算法提取特征点。用盒式滤波器对步骤3中的输入图像(标准图像和目标图像)作卷积操作，通过改变盒式滤波器的尺寸和模糊系数，在图像上作x、y、z方向的卷积，构建尺度空间金字塔。hessian矩阵的原始判别式用deth来表示：

deth＝lxx*lyy-lxy².

式中，lxx、lyy、lxy分别为图像经高斯滤波后在水平、垂直与水平-垂直方向的二阶导数，l为高斯滤波处理后的图像。因使用盒式滤波器会带来一定误差，故对dxy乘上加权系数0.9，deth变为如下所示:

deth＝dxx*dyy-(0.9*dxy²)

式中，dxx、dyy、dxy分别表示待检测特征点的水平、垂直与水平-垂直方向的二阶偏导。待hessian矩阵计算出极值点后，将每个像素点与二维图像空间和尺度空间邻域内的74个点进行比较，如图2所示。如果它是这74个点中的最大值或者最小值，则保留下来，当作初步特征点，然后，采用3维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少。

为寻找特征点的方向特征，使其具有更强具鲁棒性，采用滑动扇形窗口的方式进行移动。首先以特征点为圆心，计算其圆形邻域内的harr小波特征，统计60度扇形内全部特征点的垂直、水平harr小波特征(响应)之和，根据距离特征点的远近程度分别给这些响应值赋以不同的高斯权重系数。其次将该扇形区域中响应值相加得到新的矢量，然后再将扇形以单次0.2弧度进行旋转，使之遍历整个圆形区域，并再次统计该区域响应之和，将统计出的最长矢量方向作为特征点的主方向。滑动扇形窗口如图3所示。

建立特征描述向量。计算邻域内haar小波响应构造特征点描述子，以特征点为中心，选取4*4的矩形区域块，总共具有16个子区域，该区域的方向为特征点的主方向。统计每个子区域中25个像素的垂直方向和水平方向的haar小波特征，方向是相对主方向而言。令dx为haar小波在x方向上响应，dy为该haar小波在y方向上的响应，对响应dx和dy采用高斯加权求和，得到σdx和σdy，再求取响应绝对值之和得到σ|dx|和σ|dy|。最终形成一个4维的描述向量：d＝(σdx,σdy,σ|dx|,σ|dy|)，将所有子区域的描述向量串联起来形成64维特征描述向量，如图4所示。

(2)图像匹配。应用surf算法提取特征点之后，需要对特征点进行配准。通过单向匹配和方向及尺度约束一致性约束的方法来寻找特征点之间的对应匹配关系。首先对目标图像进行单向匹配，再分别计算出对应特征描述向量之间方向的差值以及尺度的差值，当方向差值和尺度差值分别在设定的阈值范围之内则认为匹配成功，否则需要剔除错误的匹配点，不仅提高了准确率而且速度快。具体实现流程如下：

1：计算出每一个匹配点对特征描述向量主方向之间的差值：

si＝|s1i-s2i|

式中，s1、s2分别为标准图像和目标图像中特征描述向量主方向的角度；i为特征点匹配对数。

2：统计si值并生成直方图，以β°为一柱，共柱。

3：计算出每个特征点匹配对尺度因子之间的差值：

σi＝|σ1i-σ2i|

式中，σ1、σ2分别为标准图像和目标图像中特征点尺度因子的大小；i为特征点匹配对数。

4：计算出尺度因子的差值以及直方图中峰值角度，峰值si所在β范围内以及尺度因子σi的差值在尺度因子阈值α之内的作为正确的匹配点对予以保留。该阈值为特征点匹配对之间质量好坏的值，根据车底图像的特点，尺度因子阈值设置为2～4，优选2；方向差值阈值β设置为10～20，优选10。

步骤5：剔除误匹配点对。匹配点对中特征点的角度差值大小si作为评价匹配点好坏的标准，匹配点质量的好坏和角度差si成反比。将匹配点根据质量好坏排序，将质量最好的8个匹配点进行模型参数拟合，最后用该模型估计一定距离阈值内的匹配点，将其作为最终的匹配点对。本方法减少了ransac算法自身因样本选择带来的耗时问题，并且提高了特征点匹配准确度。筛选匹配点主要步骤是：首先，将特征匹配点对集合按特征点方向的差值大小si由小到大排序，选择其中差值最小的8个匹配点对作为模型参数，并进行拟合，得到模型j。然后用模型j测试匹配点对中的所有点的距离是否小于某个阈值，如果是的话，则此点属于内点，否则为外点。最后，得到筛选后的匹配点对集合。

步骤6：目标图像校正。首先将目标图像以x轴为基准，均分为两段。从经过改进的ransac提纯的正确匹配点对中随机选取两对，可以通过求解线段的比例关系得到缩放比例。即图像1中的两个特征点为a1(x1,y1)、b1(x2,y2)，在标准图像中对应的匹配点分别为a2(x3,y3)、b2(x4,y4)；通过求解线段的比例关系得到缩放比例，如图5所示。

x方向的缩放为：

y方向的缩放为：

求得缩放比例系数k1和k2，对图像2做类似操作，然后再对两段图像进行直接拼接，将目标图像缩放至标准图像近似大小，得到校正后的目标图像。

步骤7：危险目标定位。图像匹配技术是指在已知基准图像和模板图像中，在基准图像中寻找与模板图像最相似的区域，达到目标识别和定位的目的。归一化互相关技术ncc则是一种匹配准确、抗噪声能力强的匹配算法,其具体定义为：

式中，r(m,n)为点(m,n)的归一化互相关系数，n1×n2为模板图像大小，xi+m,j+n、yi,j分别为待匹配图像中(i+m,j+n)、(i,j)处的灰度值。

r(m,n)的值域范围为[-1,1]，越接近于1，说明两幅图像的时互相关程度越高。但由于传统的ncc算法计算量过大，实时性较差，将卷积应用到ncc算法中，可以大幅提高计算速度。

卷积积分常用于时域信号处理，二维连续信号卷积定义如下：

二维离散信号的卷积为：

结合上述公式可分析出ncc算法的分子部分为图像在(m,n)位置两幅模板图像的卷积，即离散信号f1(m,n)与f2(m,n)的卷积，也就是信号1各点f1(s,t)顺序与信号2从位置(m,n)处开始逆序对应点f2(m-s,n-t)的乘积之和。

将标准图像划分为s*s的网格结构，空缺部分用黑像素填，采用分块匹配策略，将每个网格作为模板图像，依次在目标图像中进行搜索，通过计算每个网格和目标图像的ncc值，并设置ncc阈值k，该ncc阈值为与ncc结果进行比对的值。将结果和k相比较，低于k值的区域在目标图像中进行标记，k值设置为0.7至0.8，来寻找危险目标的大致区域。

步骤8：调用危险目标网络数据库，用作数据训练。然后采用yolov3网络，网络模型如图6所示，这个网络主要是由一系列的1x1和3x3的卷积层组成(每个卷积层后都会跟一个bn层和一个leakyrelu)层，常用作目标检测。对步骤7中标记的区域进行目标检测，最终对危险目标的位置用红色线框进行标记，并且标识出识别结果及概率。

本发明方法对来车进行车牌识别，并实时采集当前车辆的车底图像(目标图像)，根据识别的结果在车辆网络数据库中调取相应的车辆信息以及标准车底图像信息(标准图像)，将目标图像和标准图像作为输入图像。然后采用双边滤波器对输入图像进行处理，以针对车底图像特点达到保边去噪的目的。将输入图像进行一次小波分解，取出其中的低频分量图像作为改进surf算法的输入图像。使用改进的surf算法提取图像中的特征点，并用基于尺度和方向限制的单向匹配策略求取特征点对。采用改进的ransac算法剔除误匹配点对，求取变换模型。针对采集车底图像时可能存在的非匀速问题，根据求取出的变换模型中特征点的比例关系对图像分段缩放，对图像进行校正，成功解决了该问题。然后运用基于卷积的ncc分块匹配策略标定车底危险目标位置，最后采用yolov3网络对目标区域的危险目标进行识别，相对于传统的应用深度学习目标检测在整张图像上直接进行检测，本发明检测及识别速度大大提高。

本发明未述及之处适用于现有技术。