一种基于事件相机的模糊车牌识别方法

1.本发明属于计算机图像处理技术领域，更具体地，涉及一种基于事件相机的模糊车牌识别方法。


背景技术：

2.在计算机图像检测车牌识别领域，深度神经网络经过良好的训练能够分辨出不同车牌字符，并展现出极好的性能。然而，大部分深度神经网络只能针对良好光照条件以及清晰的光学图片基础上进行识别，对于特殊光照情况以及车辆高速行驶时导致光学相机拍摄的模糊图片，无法准确识别车牌字符。


技术实现要素：

3.本发明通过提供一种基于事件相机的模糊车牌识别方法，解决现有技术中在光照条件不佳或车辆高速行驶的场景下无法准确识别车牌字符的问题。
4.本发明提供一种基于事件相机的模糊车牌识别方法，采用事件相机对车牌进行拍摄，得到车牌对应的传统光学图像和事件流数据；对所述事件流数据进行预处理，得到与所述传统光学图像具有相同分辨率的多张事件帧图像；构建多输入深度神经网络，所述多输入深度神经网络分为检测模块和识别模块；将所述传统光学图像和多张事件帧图像融合，输入至所述检测模块，所述检测模块输出车牌的边界框位置信息；所述识别模块基于所述边界框位置信息提取得到特征信息，基于所述特征信息得到车牌识别结果。
5.优选的，采用事件相机对车牌进行拍摄时，根据事件相机激发事件点，设置拍摄的时间阈值，得到所述时间阈值内的事件流数据；所述事件流数据包括每个事件点的x坐标、y坐标、极性和时间戳；对所述事件流数据进行预处理时，在所述时间阈值内按时间戳将所述事件流数据等分为多组，将每组事件点按坐标叠加，将背景设置为白色，叠加事件点根据极性设置为不同亮度，得到多张事件帧图像。
6.优选的，所述检测模块包括多个卷积层和边界预测器；通过多个卷积层提取来自输入图像的不同的水平特征映射，将最后一个卷积层的水平特征映射输出至所述边界预测器；所述边界预测器由多个同级的全连接层构成，所述边界预测器输出车牌的边界框位置信息；所述识别模块包括多个roi池化层和分类组件；通过多个roi池化层将提取的多个水平特征映射转换为具有不同大小的多个特征图，多个特征图合并后得到的特征图输入至所述分类组件，所述分类组件包括多个分类器，所述分类组件输出车牌识别结果。
7.优选的，在所述多输入深度神经网络的训练中，关于检测性能的定位损失表示为：
[0008][0009]
其中，l
loc
为定位损失函数，pb表示预测框，gb表示地面真值框，smooth
l1
为平滑l1 损失函数，n为训练中一个小批的大小，cx为车牌包围框的中心点x坐标，cy为车牌包围框的中心点y坐标、w为车牌包围框的宽度，h为车牌包围框的高度；
[0010][0011]
其中，b
x
为边界框的中心点x坐标，by为边界框的中心点y坐标、bw为边界框的宽度， bh为边界框的高度；w为输入图像的宽度，h为输入图像的高度；
[0012]
在所述多输入深度神经网络的训练中，关于识别性能的分类损失表示为：
[0013][0014]
其中，l
cls
为分类损失函数，pn表示车牌字符的预测值，gn表示车牌字符的真实值；k 表示车牌字符的位数，pni为第i位车牌字符的预测值，gni为第i位车牌字符的真实值，[] 表示取整运算；nci为浮点数的总数，每个浮点数表示属于特定字符类的可能性，分类损失为交叉损失；
[0015]
所述多输入深度神经网络训练中的统一损失函数表示为：
[0016][0017]
其中，l为统一损失函数。
[0018]
优选的，所述检测模块包括10个卷积层和边界预测器，所述边界预测器由3个同级的全连接层构成；所述识别模块包括3个roi池化层和分类组件，所述分类组件包括7个分类器；将1张传统光学图像提取单通道，与10张事件帧图像合并为11通道，归一化后输入至所述检测模块，所述检测模块在第2层卷积层、第4层卷积层和第6层卷积层提取水平特征映射，3个roi池化层将提取的3个水平特征映射转换为具有不同大小的3个特征图，合并后输入至所述分类组件，7个分类器输出7位车牌字符的识别结果。
[0019]
优选的，将1张传统光学图像和10张事件帧图像均变形为480
×
480分辨率，每张图片提取其灰度单通道数据得到11个480
×
480的二维数组，储存为灰度图片像素点亮度信息，值域为[0,255]，再融合为11
×
480
×
480的三维数组，传统光学图像数据作为第一项，对三维数组进行归一化处理；经3个roi池化层转换后得到的3个特征图的大小分别为8
×
16
×ꢀ
64、8
×
16
×
160、8
×
16
×
192，3个特征图被连接到一个8
×
16
×
416大小的特征图用于车牌字符分类。
[0020]
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0021]
在本发明中，使用事件相机对车牌进行拍摄，得到传统光学图像和事件流数据，再对事件流数据进行预处理，得到多张事件帧图像；本发明构建的多输入深度神经网络分为检测模块与识别模块，将传统光学图像和多张事件帧图像融合，输入至检测模块，通过检测模块输出车牌的边界框位置信息，通过识别模块得到车牌识别结果。本发明将事件相机引入车牌识别领域，利用事件相机动态范围高，低时延特点，使得车牌检测任务能够适应更加恶劣的环境，比如高速公路(车辆运动速度快，通常导致传统光学相机成像质量差，带来动态模糊)，行车时车牌被后车行驶灯照射(强曝光)等情景。同时，本发明提出了一种多输入结构融合深度神经网络，将传统光学相机图像与事件相机多张事件帧融合输入，网络能够融合多维输入，提取特征，其识别效果优于现有的其他用于识别车牌字符的深度神经网络。
本发明可以有效地提升模糊车牌识别准确率，并且可以有效处理低照度、车辆高速运动等极端环境下传统光学相机无法识别车牌的情况，为后续的极端环境下车牌识别、智能驾驶以及工程应用提供新的思路。此外，事件相机仅在光亮变化物体运动时进行拍摄，可结合太阳能电池，使得车牌检测任务能够在非规划道路上开展。
附图说明
[0022]
图1为本发明实施例提供的一种基于事件相机的模糊车牌识别方法中多输入深度神经网络的整体框架图；
[0023]
图2为事件相机事件流和压帧的示意图；
[0024]
图3为实验效果图。
具体实施方式
[0025]
事件相机区别于传统光学相机，其优势包括：事件相机不像传统光学相机那样使用快门捕捉图像，取而代之的是，事件相机内的每个像素独立且异步地运行，在亮度变化发生时报告它们，否则保持沉默。每个像素存储一个参考亮度级别，并不断将其与当前亮度级别进行比较，如果亮度差异超过阈值，则该像素将重置其参考水平并生成一个事件：包含像素地址和时间戳的离散数据包。事件还可能包含亮度变化的极性(增加或减少)，或照明水平的瞬时测量，因此，事件摄像机输出由场景照明变化触发的异步事件流。事件摄像机具有微秒级时间分辨率、120db动态范围以及更少的曝光不足/过度曝光和运动模糊。这使他们能够更准确地跟踪物体和相机的运动(光流)，产生灰度信息。
[0026]
本发明利用事件相机，结合改进的深度神经网络，提供一种模糊车牌识别方法，以解决目前低照度和车辆高速运动带来的车牌识别问题，能够提高模糊车牌识别的准确率。
[0027]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0028]
本实施例提供了一种基于事件相机的模糊车牌识别方法，采用事件相机对车牌进行拍摄，得到车牌对应的传统光学图像和事件流数据；对所述事件流数据进行预处理，得到与所述传统光学图像具有相同分辨率的多张事件帧图像；构建多输入深度神经网络，所述多输入深度神经网络分为检测模块和识别模块；将所述传统光学图像和多张事件帧图像融合，输入至所述检测模块，所述检测模块输出车牌的边界框位置信息；所述识别模块基于所述边界框位置信息提取得到特征信息，基于所述特征信息得到车牌识别结果。
[0029]
其中，采用事件相机对车牌进行拍摄时，根据事件相机激发事件点，设置拍摄的时间阈值，得到所述时间阈值内的事件流数据；所述事件流数据包括每个事件点的x坐标、y坐标、极性和时间戳；对所述事件流数据进行预处理时，在所述时间阈值内按时间戳将所述事件流数据等分为多组，将每组事件点按坐标叠加，将背景设置为白色，叠加事件点根据极性设置为不同亮度，得到多张事件帧图像。
[0030]
参见图1，所述检测模块包括多个卷积层和边界预测器；通过多个卷积层提取来自输入图像的不同的水平特征映射，将最后一个卷积层的水平特征映射输出至所述边界预测器；所述边界预测器由多个同级的全连接层构成，所述边界预测器输出车牌的边界框位置信息。所述识别模块包括多个roi池化层和分类组件；通过多个roi池化层将提取的多个水
平特征映射转换为具有不同大小的多个特征图，多个特征图合并后得到的特征图输入至所述分类组件，所述分类组件包括多个分类器，所述分类组件输出车牌识别结果。
[0031]
在所述多输入深度神经网络的训练中，关于检测性能的定位损失表示为：
[0032][0033]
其中，l
loc
为定位损失函数，pb表示预测框，gb表示地面真值框，smooth
l1
为平滑l1 损失函数，n为训练中一个小批的大小，cx为车牌包围框的中心点x坐标，cy为车牌包围框的中心点y坐标、w为车牌包围框的宽度，h为车牌包围框的高度。
[0034][0035]
其中，b
x
为边界框的中心点x坐标，by为边界框的中心点y坐标、bw为边界框的宽度， bh为边界框的高度；w为输入图像的宽度，h为输入图像的高度。
[0036]
在所述多输入深度神经网络的训练中，关于识别性能的分类损失表示为：
[0037][0038]
其中，l
cls
为分类损失函数，pn表示车牌字符的预测值，gn表示车牌字符的真实值；k 表示车牌字符的位数，pni为第i位车牌字符的预测值，gni为第i位车牌字符的真实值，[] 表示取整运算；nci为浮点数的总数，每个浮点数表示属于特定字符类的可能性，分类损失为交叉损失；
[0039]
所述多输入深度神经网络训练中的统一损失函数表示为：
[0040][0041]
其中，l为统一损失函数。
[0042]
为了更好地理解本发明，下面以待识别车牌的车牌字符位数为7位，事件帧图像为10 张进行举例说明。
[0043]
本发明提供一种基于事件相机的模糊车牌识别方法，包括以下步骤：
[0044]
步骤1，采用事件相机对车牌进行拍摄，得到车牌对应的传统光学图像和事件流数据。
[0045]
根据事件相机激发事件点，设置每次拍摄时间阈值，通常为0.6秒，由事件相机输出灰度传统光学图像与时间阈值内的事件流数据。事件流数据包括每个事件点的二维x坐标、y 坐标，激发的极性和时间戳。
[0046]
步骤2，对事件流数据进行预处理，按时间压帧处理为10张事件帧图像。
[0047]
将得到的事件流数据，在步骤1设置的时间阈值内按时间戳等分为10组，分别将每组事件点按坐标叠加。本发明提出将背景设置白色，叠加事件点根据极性设置为不同亮度，得到10张与步骤1获取传统光学图像相同分辨率的灰度事件帧图像。
[0048]
为了得到事件帧，需要对事件流进行切割，常用的切割方法为按事件点个数进行切割和按时间进行切割，为能快速进行车牌识别，本发明采用按时间对事件流进行切割。参
见图2，将步骤1得到的事件流数据，在步骤1设置时间阈值内按时间戳等分为10组，分别将每组事件点按坐标叠加。不同于现有技术通常将被事件帧背景设置为灰色，根据事件点极性设置亮度进行叠加的方法，为提高识别车牌字符准确性，去除冗余信息，本发明提出将背景设置白色，叠加事件点根据极性设置为不同亮度，形成10张和步骤1获取传统光学图像相同分辨率的灰度事件帧图像。
[0049]
步骤3，利用多输入深度神经网络得到车牌识别结果。
[0050]
参见图2，多输入深度神经网络分为检测模块和识别模块；所述检测模块包括10个卷积层和边界预测器，所述边界预测器由3个同级的全连接层构成；所述识别模块包括3个roi 池化层和分类组件，所述分类组件包括7个分类器。
[0051]
其中，卷积层为具有线性整流函数(relu)和合批(batch)归一化的卷积层，roi池化层为具有丢弃法(dropout)的最大池化(maxpooling)层。
[0052]
将1张传统光学图像提取单通道，与10张事件帧图像合并为11通道，归一化后输入至所述检测模块，所述检测模块在第2层卷积层、第4层卷积层和第6层卷积层提取水平特征映射，3个roi池化层将提取的3个水平特征映射转换为具有不同大小的3个特征图，合并后输入至所述分类组件，7个分类器输出7位车牌字符的识别结果。
[0053]
具体的，将1张传统光学图像和10张事件帧图像均变形为480
×
480分辨率，每张图片提取其灰度单通道数据得到11个480
×
480的二维数组，储存为灰度图片像素点亮度信息，值域为[0,255]，再融合为11
×
480
×
480的三维数组，其中，传统光学图像数据作为第一项，最后对三维数组进行归一化处理，即将得到三维数组成员数值转换数据类型归一化处理值域为[0,1]。
[0054]
用10个卷积层去提取来自于输入车牌图像的不同的水平特征映射(feature map)所述检测模块将最后一个卷积层的feature map输出提供给三个同级完全连接的层，我们将其命名为“box predictor”，即边界预测器，用于边界框预测。
[0055]
车牌包围框位置满足：
[0056][0057]
其中，cx为车牌包围框的中心点x坐标，cy为车牌包围框的中心点y坐标、w为车牌包围框的宽度，h为车牌包围框的高度；b
x
为边界框的中心点x坐标，by为边界框的中心点y 坐标、bw为边界框的宽度，bh为边界框的高度；w为输入图像的宽度，h为输入图像的高度。
[0058]
由于网络中不同层的特征图具有不同的接受域大小，且来自低层的特征图可以提高语义分割的质量，因此低层能捕获更多输入对象的细节。车牌的面积相对于整个图像来说是非常小的，检测模块完成所有的卷积层计算后，边界预测器会输出边界框位置(cx，cy，w，h)。参见图1，识别模块在大小为(m
×
h)
×
(n
×
w)，p个通道的边界框区域内提取特征映射。多输入深度神经网络在第二层卷积层、第四层卷积层、第六层卷积层提取特征图，特征图的大小(122
×
h)
×
(122
×
w)
×
64，(63
×
h)
×
(63
×
w)
×
160，(33
×
h)
×
(33
×
w)
×
192。在实际应用中，从较高的卷积层中提取特征图会使识别过程变慢，对提高识别精度几乎没有帮助。
[0059]
在多输入深度神经网络训练中，定义关于检测性能的定位损失(loc)为：
[0060][0061]
其中，l
loc
为定位损失函数，pb表示预测框，gb表示地面真值框，smooth
l1
为平滑l1 损失函数，n为训练中一个小批的大小。
[0062]
多输入深度神经网络首先利用检测模块来预测边界框，然后利用识别模块根据每个特征图中包围框的相对位置，从几个已经生成的特征图中提取感兴趣区域(roi)，将它们合并到相同的宽度和高度(16
×
8)后，将合并后的特征图提供给后续分类器，最终得到车牌字符。
[0063]
使用神经网络中的一个流行术语“注意”(attention)，检测模块作为这个统一网络的“注意”，它告诉识别模块在哪里查找，然后识别模块从共享特征图中提取roi，并预测车牌字符。
[0064]
在提取特征图之后，多输入深度神经网络利用roi池层将每个提取的特征转换为一个具有固定空间范围的8
×
16的特征图。然后，这三个调整了大小的特征图(分别为8
×
16
×
64, 8
×
16
×
160和8
×
16
×
192)被连接到一个8
×
16
×
416大小的特征图用于车牌字符分类。
[0065]
在多输入深度神经网络训练中，定义关于识别性能的分类损失(cls)为：
[0066][0067]
其中，l
cls
为分类损失函数，pni(1≤i≤7)为对7个车牌字符的预测值，每个车牌字符预测值pni包含nci浮点数，每个浮点数表示属于特定字符类的可能性，gni(1≤i≤7)为7个车牌字符的真实值。
[0068]
将定位损失和分类的联合，可得到模型训练统一损失函数为：
[0069][0070]
其中，l为统一损失函数。
[0071]
本发明通过定位损失和分类损失的联合优化，提取的特征信息将具有更丰富的车牌特征信息。实验表明，联合优化这两种损耗可以提高检测和识别性能。
[0072]
为了说明本发明的效果，下面进行实验验证。
[0073]
在实验过程中，由于缺少基于事件相机的事件帧车牌数据集，本发明采用esim方法对现有中国车牌数据集ccpd仿真，将数据集每张照片在ros中设置随机路径运动，使用仿真事件相机进行拍摄，输出得到分辨率为720
×
1160传统光学灰度图片与事件流数据。
[0074]
对车牌识别精度的测量，本方法采用的分析指标为：标准协议交并比(iou)，和车牌数字识别正确个数。只有当iou大于0.6且车牌数字中的所有字符都被正确识别时，车牌识别被认为是正确的。
[0075]
实验结果如图3和表1所示，图3和表1均包括原图以及多输入深度神经网络emrp-net (本发明)、lprnet(intel于2018年发表的车牌识别网络)、rp-net(中国科学技术大学于 2019年发表的车牌检测识别网络)分别对应的识别结果，可知，在光照条件不佳或车辆
高速行驶的场景下只有本发明能够正确识别车牌，其他方法均存在识别错误。需要指出的是， lprnet无法识别数据集中车牌的具体位置，本实验向lprnet提供车牌位置后，再进行车牌识别。由车牌识别的定量分析和定性分析可知，本发明在极端环境动态模糊下的车牌识别精度已经达到行业领先水平。
[0076]
表1在本发明esim建立模糊车牌数据集上车牌识别方法的实验结果
[0077][0078]
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。