智能汽车交通标志识别的四元数深度神经网络模型方法与流程

本发明涉及智能汽车交通标志自动识别。

背景技术：

智能汽车是智能交通领域的一个重要发展方向，它能利用传感器收集汽车周围的障碍物和道路信息，通过计算机软件计算分析进行驾驶辅助，有利于保障交通安全，减少交通事故发生。交通标志是使用图文信息传达路况的交通设施，对交通标志进行自动识别是智能汽车的关键技术之一。

现有交通标志的识别方法主要分为基于颜色，基于形状，基于手工特征提取加分类器和基于深度学习模型的四种方法。

基于交通标志颜色的识别方法将输入图像在某个颜色空间进行阈值分析进而分割识别，该方法严重依赖于交通标志的彩色信息，在一些极端的光照条件下颜色变化非常大，所以此类方法的鲁棒性和准确性不高。

基于交通标志形状的检测识别方法对于光照变化具有良好的鲁棒性，但是受旋转变化影响较大，即当交通标志发生倾斜时，此类方法会出现明显的漏检。

基于手工特征提取加分类器的方法首先通过某种特征算子提取特征，再联合分类器进行分类识别，如何选择提取合适的特征对结果影响较大，因此该方法并不能较好地适应不同的工作环境。

基于深度学习模型的方法通过对原始图片进行特征自动学习和分类识别。相比前三类方法，此类方法可靠性最高，但是交通标志最重要的颜色，轮廓及时间域信息仍然未能在一个统一的框架中被有效的联合挖掘学习，交通标志识别的鲁棒性仍需要提高。

技术实现要素：

针对如何提高智能汽车交通标志识别的鲁棒性问题，本发明提供了一个基于四元数深度神经网络的模型方法。在四元数的数学框架下将传统标量卷积神经网络拓展为超复数卷积神经网络，构建了对颜色及时间维度进行联合挖掘学习的深度神经网络，提高了交通标志识别的准确和稳定性，从而为智能汽车的辅助驾驶研究提供了更准确的模型保障。

本发明采用的技术方案具体步骤如下：

一种智能汽车交通标志识别的四元数深度神经网络模型方法，具体方法包括如下步骤：

步骤1.基于四元数视觉注意模型的交通标志感兴趣区域提取；

首先对给定的视频图像帧进行预处理，然后采用四元数视觉注意模型构建前景目标显著图，最后根据显著图进行阈值分割提取感兴趣区域。

步骤2.基于四元数卷积神经网络的交通标志检测；

根据提出的四元数卷积神经网络，从感兴趣区域中检测出交通标志，在时间域上对检测结果进行匹配，构建包含当前帧及其前后帧的交通标志图像组。

步骤3.基于颜色时间域联合学习的深度神经网络的交通标志识别。

根据提出的深度神经网络对颜色及时间维度进行联合挖掘学习，完成对交通标志的识别分类。

本发明基于四元数的数学表示框架，提出了一种四元数深度神经网络模型方法以提高交通标志识别的鲁棒性，从而为智能汽车的辅助驾驶研究提供了更准确的模型保障。

附图说明

图1为本发明方法系统结构流程图。

图2四元数卷积神经网络结构图。

图3四元数卷积神经网络感受野及特征图生成示意图。

图4对颜色及时间维度进行联合挖掘学习的深度神经网络结构图。

图5对颜色维度进行特征学习的一个示例。

图6对时间维度进行特征学习的一个示例。

图7特征图优化筛选算法流程图。

图8特征图融合及筛选的一个示例。

具体实施方式

本发明的具体实施过程如图1所示，包括如下3个方面：

①基于四元数视觉注意模型的感兴趣区域提取

②基于四元数卷积神经网络的交通标志检测

③基于颜色及时间域联合学习深度神经网络模型的交通标志识别

各个步骤详述如下。

一、基于四元数视觉注意模型的感兴趣区域提取

对于给定的视频当前帧彩色图像，首先计算其亮度信息图(r,g,b分别代表红，绿，蓝颜色通道)，然后采用gabor滤波器计算其方向特征图o,通过时间维度的帧差生成时间特征图t，接着采用四元数视觉注意模型将此三个维度信息分别编码到四元数的3个虚轴i,j和k，即

v＝ii+oj+tk(1)

对该模型求模获得表征前景目标的显著图

对该显著图进行阈值分割则可获得相应模板，据此可从原始图像中提取对应的感兴趣区域。

二、基于四元数卷积神经网络(qcnn)的交通标志检测

经过提取的感兴趣区域包含交通标志的正样本和负样本，每个区域都是一个彩色图像，可以由四元数表示为f＝ri+gj+bk，经过训练的四元数卷积神经网络可用于在感兴趣区域中检测出正确的交通标志。图2所示为提出的四元数卷积神经网络，包含了多个四元数卷积层，下采样层，用于分类的全连接层和输出标签层。

相比较于传统的神经元模型，四元数神经元将每个点扩展为四元数，能通过四元数乘法运算实现对编码在不同轴上的信息进行融合学习，从而获得更好的特征学习性能。给定一个实部pr为0的纯虚输入四元数数据x＝pii+pjj+pkk，设其对应的权值为w＝qr+qii+qjj+qkk，w∈k⁴，k⁴表示四元数集合，则对应此四元数神经元的输出y为

y＝f(s)(3)

其中s表示为：

输出信号s是神经元的输入x通过权值w进行旋转操作，用权值w的模实现膨胀操作，公式(4)表明输入的三维信息x通过四元数的乘法规则，在不同的虚轴上进行了充分的融合，其中每个输出虚轴都包含了权值w和输入x所有实、虚轴的代数运算。平移算子的表达通过加减一个偏置b实现。输出神经元y采用sigmoid函数：

图3表示了四元数卷积神经网络的感受野及输入图像经过多个核进行四元数卷积生成多张特征图的过程。下采样过程是将四元数卷积层后得到的四元数特征图，分别提取三个虚轴矩阵，即得到三个标量矩阵，然后对各个标量矩阵做传统的下采样操作。四元数全连接层将最末下采样层得到的特征矩阵变换为1*kn的特征向量，n为特征矩阵纯虚四元数像素点的个数，k为四元数特征图的数量。四元数卷积神经网络的权值采用四元数bp反向传播算法来训练确定。

三、基于颜色及时间域联合学习深度神经网络模型的交通标志识别

如图1所示，检测得到的交通标志在时间域进行匹配，首先构成包含当前帧及其前后帧的交通标志图像组，然后通过深度神经网络模型对颜色及时间域信息进行联合挖掘学习从而分类识别。

图4为提出的联合学习深度神经网络模型结构图，首先分别将颜色通道及时间维度的3帧灰度交通标志图编码到2个四元数的对应虚轴上，然后采用2个四元数卷积神经网络分别进行特征学习提取，获得的特征图表征了原始输入的颜色、轮廓及运动特征信息，将所有轴上的特征图融合在一起经过一个优化算法进行特征图筛选以降低参数数量，经过筛选的特征图再输入到一个传统的标量卷积神经网络进行最终的交通标志分类识别。图5和图6分别表示了通过四元数卷积神经网络在颜色和时间维度进行特征提取学习的结果，图7为所提特征图优化筛选方法的流程图，图8表示了经过特征图筛选的结果。

对于每个输入图像si(表示输入图像集合)，设其第n个特征图的二值化图像为(表示特征图二值化后的图像集合)，采用突出分数计算在前景图中每个特征图像掩码针对输入图像si中交通标志特征的能量值，这个能量可以表示这个特征图的重要程度。

公式(6)中，分子是特征图的二值化矩阵和输入图像si矩阵点乘得到矩阵的1范数，分母是二值化图像矩阵的1范数，商为突出分数。对于四元数卷积神经网络，输入是编码在四元数三个虚轴上的三张图像，因此每一张特征图对应三个突出分数，采用融合颜色及时间维度信息的深度神经网络模型总共产生6个突出分数。将6个突出分数的算术平均值作为此特征图的最终突出分数，用表示，计算公式如下：

其中sij表示第i组输入的第j个图像(1≤j≤6)，第i组的前三个图像为t时刻彩色图像的rgb三个通道分量，后面三个是t-1、t、t+1时刻的灰度图，符号“·”定义为元素范围的乘法。基于此可构建一个初始值为0的直方图h，给定一个阈值τk，如果特征图的则相应的h(n)值加1，直方图h(n)的计算方法如下：

将直方图h(n)按降序排列，得到前n个最大值对应的序号，其对应的特征图则为筛选结果。

创新点

提出了一种四元数深度神经网络模型方法用于智能汽车交通标志识别，提高了交通标志识别的鲁棒性，为智能汽车辅助驾驶的相关研究提供了理论模型基础。针对提高智能汽车交通标志检测识别鲁棒性的问题，本发明采用四元数视觉注意模型建立前景目标显著图对感兴趣区域进行提取，构建了四元数卷积神经网络对交通标志进行检测，通过时间域匹配生成交通标志图像组，给出了一个深度神经网络模型对交通标志的颜色，轮廓及时间域特征进行联合挖掘学习，最终对交通标志分类识别，本发明所提方法为提升智能汽车辅助驾驶性能提供了更准确的模型保障。