一种基于卷积神经网络的低照度车牌图像增强识别方法与流程

本发明涉及交通信息识别技术领域，具体涉及一种基于卷积神经网络的低照度车牌图像增强识别方法。

背景技术：

随着我国城市化进程的加快和汽车销量的大幅攀升，城市堵车日趋严重，给人们生活带来了诸多不便，交通事故频繁，尤其是交通事故后对于肇事逃逸车辆的查找工作对当事人来说显得十分重要。车辆牌照是全世界唯一对车辆身份识别的标记，车辆牌照的自动识别有助于对肇事车辆的查找。但是车辆牌照的自动识别基于车辆牌照的拍摄图像，高质量图像是理解目标场景的先决条件，然而由于硬件设备、天气情况等客观因素，采集的车辆牌照图像可能会存在一系列问题，尤其是在低光源或光照不均的条件下拍摄的图像，由于光源微弱，采集到的图像会出现整体亮度偏低、细节模糊不清、对比度不高、噪声大等问题，使得图像可辨识性很低，给后续的车辆牌照号识别工作带来了很大困难。

因此，急需一种智能、图像增强后无光晕现象、细节更突出、牌照图像号码识别处理速度快和识别精准的低照度车牌图像增强识别方法。

技术实现要素：

本发明的目的在于提供一种智能、图像增强后无光晕现象、细节更突出、牌照图像号码识别处理速度快和识别精准的低照度车牌图像增强识别方法，本发明采取了如下技术方案：

一种基于卷积神经网络的低照度车牌图像增强识别方法，包括以下步骤：

s10、基于卷积神经网络构建图像增强网络和车辆牌照识别网络；

s20、使用图像增强训练样本对所述图像增强网络进行训练；所述图像增强网络对所述图像增强训练样本中的原始图像进行图像增强；

s30、使用车辆牌照图像训练样本对所述车辆牌照识别网络进行训练，得到所述车辆牌照图像训练样本中的车辆牌照号；

s40、将低照度车辆号码图像输入训练完成的所述图像增强网络，获得增强后的车辆号码图像；

s50、将所述增强后的车辆号码图像输入训练完成的所述车辆牌照识别网络，获得所述增强后的车辆号码图像中的车辆牌照号。

进一步地，步骤s20中所述图像特征提取并进行合并的步骤如下：

s21、将所述图像增强训练样本中的原始图像分解为rgb三通道图像；

s22、在所述rgb三通道图像中找到每个像素的最大灰度值作为约束图像照射分量larg；

s23、将所述rgb三通道图像通过亮通道模型构造亮通道图像照射分量lmax；

s24、基于所述亮通道图像照射分量lmax和所述约束图像照射分量lorg，构建一个基于变分模型的结构滤波器，用于估算精炼亮度图照射分量l；

s25、对所述精炼亮度图照射分量l进行线性变换，得到线性映射的照射分量lr；

s26、基于亮通道模型得到原始图像r、g、b三个通道照射分量，将所述线性映射的照射分量lr从原始图像各通道照射分量中去除，得到r、g、b各通道的复原图像；

s27、将r、g、b各通道的复原图像进行同态滤波和线性拉伸后进行图像合并，得到所述增强图像。

进一步地，步骤s23中所述亮通道图像照射分量lmax构造步骤为：

对步骤s23中原始图像选取领域内最大滤波，得到更加平滑的图像，即得到亮通道图像照射分量lmax，其滤波公式如下：

其中，lmax(x，y)为经过最大值滤波得到的照射分量，即亮通道图像照射分量lmax；ω(x，y)是以像素(x，y)为中心的领域，为最大值滤波，滤波模板尺寸为7，(x，y)为像素坐标。

进一步地，所述变分模型的结构滤波器的构建表达式为：

其中，l为精炼亮度图照射分量，lmax为亮通道图像照射分量，表示估算的精炼亮度图照射分量与亮通道图像的相似性，lorg为约束图像照射分量，为估算的精炼亮度图照射分量的梯度值与约束图像照射分量的梯度值之间的相似性，λ为避免产生光晕效应的加权系数，▽^l为梯度算子。

进一步地，所述卷积神经网络包括输入层、卷积层、池化层，所述卷积层层数为16、卷积核大小为3*3的卷积层和层数为5的最大池化层。

进一步地，所述卷积层使用的激活函数均为relu函数。

进一步地，所述图像增强训练样本和所述车辆牌照图像训练样本为三通道(rgb)彩色图像。

进一步地，所述图像增强训练样本和所述车辆牌照图像训练样本包括80％的训练样本和20％的测训练试样本。

本发明有益效果：

本发明提供了一种能保持照度图像空间平滑度，又能保证照度图像的边缘结构得以保留的低照度车牌图像增强方法；增强处理后的图像无光晕现象，细节更突出，达到了良好的视觉效果，再结合车辆牌照识别神经网络系统，能够准确得到车辆牌照信息。

附图说明

图1本发明的图像增强方法流程图

图2本发明的低照度车牌图像增强识别方法整体流程图

具体实施方式

一种基于卷积神经网络的低照度车牌图像增强识别方法，包括以下步骤：

s10、基于卷积神经网络构建图像增强网络和车辆牌照识别网络；

s20、使用图像增强训练样本对图像增强网络进行训练；图像增强网络对图像增强训练样本中的原始图像进行图像增强；

图像增强步骤如下：

s21、将原始图像分解为rgb三通道图像；

s22、在rgb三通道图像中找到每个像素的最大灰度值作为约束图像照射分量lorg；

选取原始图像rgb三通道中每个像素的最大响应，构造最大通道图像照射分量lorg，其公式为：

其中，i^c(x，y)为原始图像，c∈(r,g,b)表示图像“红、绿、蓝”三通道。约束图像照射分量lorg的确定步骤为：

s23、将rgb三通道图像通过亮通道模型构造亮通道图像照射分量lmax；亮通道图像照射分量lmax构造步骤为：

原始图像选取领域内最大滤波，得到更加平滑的图像，即得到亮通道图像照射分量lmax，其滤波公式如下：

其中，lmax(x，y)为经过最大值滤波得到的照射分量，即亮通道图像照射分量lmax；ω(x，y)是以像素(x，y)为中心的领域，为最大值滤波，滤波模板尺寸为7，(x，y)为像素坐标。

s24、基于亮通道图像照射分量lmax和约束图像照射分量lorg，构建一个基于变分模型的结构滤波器，用于估算精炼亮度图照射分量l；

变分模型的结构滤波器的构建表达式为：

其中，l为精炼亮度图照射分量，lmax为亮通道图像照射分量，表示估算的精炼亮度图照射分量与亮通道图像的相似性，lorg为约束图像照射分量，为估算的精炼亮度图照射分量的梯度值与约束图像照射分量的梯度值之间的相似性，λ为避免产生光晕效应的加权系数，▽^l为梯度算子。

梯度算子为prewitt算子，设置了水平方向、垂直方向、45°方向和135°方向模板算子，4个梯度算子模板分别为：

s25、对精炼亮度图照射分量l进行线性变换，得到线性映射的照射分量lr；

对精炼亮度图照射分量l进行线性变换步骤为：

将rgb三通道图像中的每个像素点使用4个梯度算子模板进行卷积，卷积后，对变分模型的结构滤波器的构建表达式进行简化，简化为二阶连续可导，对该目标函数求导进行求解，求导后得到如下公式：

2(l-lmax)+2λ(▽l-▽lorg)＝0

将其进行傅里叶变换，得到下式：

f(l)-f(lmax)+λf(▽^t▽)f(l)-λf(▽^t▽)f(lorg)＝0

将上式简化，得：

将函数f(l)进行傅里叶反变换，得到精炼亮度图的估算照射分量l:

对l进行线性变换，得到最终的照射分量lr，线性变换函数为：

其中[a，b]为原图像灰度值区间，[c，d]为变换后图像灰度值区间。

s26、基于亮通道模型得到原始图像r、g、b三个通道照射分量，将线性映射的照射分量lr从原始图像各通道照射分量中去除，得到r、g、b各通道的复原图像；

r、g、b各通道的复原图像的数学表达式为：

s27、将r、g、b各通道的复原图像进行同态滤波和线性拉伸后进行图像合并，得到最终的增强图像。

对r、g、b各通道的复原图像同态滤波的步骤为：

对得到的r、g、b各通道复原图像进一步分解，其数学表达式为：

其中，r^c(x，y)表示待处理图像，h^c(x，y)表示反射分量，l^c(x，y)表示光照分量；

对两边分别取对数，

即：lnr^c(x，y)＝lnh^c(x，y)+lnl^c(x，y)

将lnr^c(x，y)＝lnh^c(x，y)+lnl^c(x，y)进行转换，两边取傅里叶变换，转换到频域：

r^c(u，v)＝h^c(u，v)+l^c(u，v)

用滤波器hhomo(u，v)对r^c(u，v)＝h^c(u，v)+l^c(u，v)进行滤波；

hhomo(u，v)·r^c(u，v)＝

hhomo(u，v)·h^c(u，v)+hhomo(u，v)·l^c(u，v)

所述滤波器hhomo(u，v)如下：

hhomo(u，v)＝

hl+(hh-hl)*{1-exp[-d²(u)/(c*a)]}

其中：d²(u)＝[u-(m+1)²+[v-(n+1)]²，c是一个常数，用于控制同态滤波器的函数斜率的锐化，本实施例中c＝2；d0为截止频率，本实施例中，d0＝100，hh和hl滤波器的可调参数；

将逆傅里叶变换到空域，并取指数，得到滤波后的图像：

线性拉伸的线性拉伸函数为

其中是线性拉伸算子，它切除了中最亮的1％的像素和最暗的0.5％的像素，并将其线性拉伸到[0,1]。

s30、使用车辆牌照图像训练样本对所述车辆牌照识别网络进行训练，得到所述车辆牌照图像训练样本中的车辆牌照号；

车辆牌照号识别步骤如下：

s31、在车辆牌照图像训练样本的图像中确定牌照号识别区域；

s32、在牌照号识别区域内识别牌照的位置信息和号码信息；位置信息为车辆牌照中的归属地信息，如京、沪、津、渝、冀、晋、蒙、辽、吉、黑、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新等；号码信息包括图像内车牌的号码，每个号码是由数字、字母组成的字符；

s33、根据识别信息得到车辆牌照号信息；

s40、将低照度车辆号码图像输入训练完成的所述图像增强网络，获得增强后的车辆号码图像；

s50、将所述增强后的车辆号码图像输入训练完成的所述车辆牌照识别网络，获得所述增强后的车辆号码图像中的车辆牌照号。

本实施例中，卷积神经网络包括输入层、卷积层、池化层，所述卷积层层数为16、卷积核大小为3*3的卷积层和层数为5的最大池化层。其中卷积层使用的激活函数均为relu函数。

本实施例中，图像增强训练样本包含10,000张图像低照度的图片，其中，8,000张为训练样本，测试训练样本中包含2,000张低照度的图片，每张训练图片具有与之对应的增强图片。

车辆牌照识别训练样本包含2,000张图像低照度的图片，其中，1,600张为训练样本，测试训练样本中包含400张低照度的图片，每张训练图片具有与之对应的车辆牌照号。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围的。