基于四元数时空卷积神经网络的斑马线检测方法及系统

1.本发明涉及计算机视觉领域，具体涉及一种基于四元数时空卷积神经网络的斑马线检测方法及系统。


背景技术：

2.复杂交通场景中的斑马线实时检测问题主要针对城市中车辆的安全驾驶以及行人交通安全问题而产生，属于人工智能和机器视觉等多学科交叉的研究问题，在城市智能交通和智能导航系统中有着非常重要的社会安全意义和实际应用价值。实际的城市交通场景中，由于交通的参与者众多且情况复杂，复杂路口的斑马线会受传感器成像视角的影响产生几何形变，同时也会由于行人和车辆的影响出现不同程度的遮挡，还会由于不同的天气和光照条件使得图像质量受损。在实际交通场景中，斑马线实时检测是一个复杂的动态过程，不仅需要提取到包含视频中单帧图像的视觉信息和空间特征，还需要包含多帧之间的时间特征。如何有效提取视频中斑马线区域的特征信息，并对其实现准确地检测是辅助车辆安全驾驶和行人安全的重要问题。
3.现有斑马线检测方法主要分为两类：基于人工特征提取和分类器的斑马线检测方法和基于深度卷积网络的斑马线检测方法。基于人工特征提取的斑马线检测方法的步骤为特征提取、特征信息表达和目标分类，其中视觉特征包含颜色、梯度直方图、线特征等，分类器可使用svm或者级联分类器等。然而，复杂场景交通图像序列中，目标的几何特征提取难度增大，且受光照或者天气条件影响很大，计算复杂度高。基于深度卷积网络框架的斑马线检测方法是通过逐层参数训练的方式自动提取原始图像中的特征，从而获得能够区分不同条件下的抽象特征表达，是目标检测和识别领域中应用最广泛、最有效的深度学习算法之一。目前的卷积神经网络模型主要针对灰度图像序列或rgb颜色三通道分别处理的，未考虑到三通道之间的相关性和整体性，破坏了场景图像的颜色特征，影响检测方法在实际交通环境中的准确性和鲁棒性。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于四元数时空卷积神经网络的斑马线检测方法及系统，将r、g、b三个颜色通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高。
5.本发明解决上述技术问题的技术方案如下：基于四元数时空卷积神经网络的斑马线检测方法，包括以下步骤，
6.s1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
7.s2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的
四元数时空卷积神经网络；
8.s3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
9.其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
10.基于上述一种基于四元数时空卷积神经网络的斑马线检测方法，本发明还提供一种基于四元数时空卷积神经网络的斑马线检测系统。
11.基于四元数时空卷积神经网络的斑马线检测系统，包括以下模块，
12.样本制作模块，其用于将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
13.网络训练模块，其用于将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
14.检测模块，其用于将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
15.其中，所述检测模块具体用于，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
16.本发明的有益效果是：本发明一种基于四元数时空卷积神经网络的斑马线检测方法及系统将交通场景图像序列直接作为网络输入，在空间卷积层将r、g、b三个通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高；本发明可自动提取实时交通场景中图像序列的时空特征，并进行斑马线的实时检测，提高车辆驾驶的安全性，同时可对行人在复杂的城市交通网络中的安全性提供智能导航支持，避免发生潜在的交通事故。
附图说明
17.图1为本发明基于四元数时空卷积神经网络的斑马线检测方法的流程图；
18.图2四元数时空卷积神经网络的结构示意图；
19.图3为本发明基于四元数时空卷积神经网络的斑马线检测系统的结构框图。
具体实施方式
20.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
21.如图1所示，一种基于四元数时空卷积神经网络的斑马线检测方法，包括以下步骤，
22.s0，采集包含多种斑马线姿态的多组原始图像序列，并分别对每组原始图像序列
进行预处理，得到包含多种斑马线姿态的多组图像序列。
23.其中，原始图像序列为实时交通场景中的图像序列，对任一组原始图像序列进行预处理的具体步骤为，采用码本模型，以预设大小的检测窗口(例如a
×
d的检测窗口，a和d为常数)提取任一组原始图像序列中斑马线所在的感兴趣区域，并保存为区域图像；采用最近邻插值法将所述区域图像缩放至预设大小的像素(例如g
×
h的像素，g和h为常数)中并保存，得到对应组图像序列。
24.检测窗口的大小根据图像中感兴趣区域的大小进行选择，以在包括目标的条件下尽可能小的尺寸；为了减少网络训练参数，采用最近邻插值法缩放图像。
25.提取原始图像序列中斑马线所在的感兴趣区域的具体步骤为，采用背景建模的方法对原始图像序列进行图像处理，得到背景和前景分割的二值图像；计算所述二值图像中前景像素的中心点，并将前景像素的中心点作为所述检测窗口的中心点，在原始图像序列中提取出斑马线所在的感兴趣区域。
26.斑马线是具有鲜明区域特征的目标，在背景建模的过程中，区域亮度的定义为，
[0027][0028]
其中，α和β均为可调阈值，可随不同的视频序列进行调整，可在网络训练中确定该参数的自适应值范围；x
t
是区域r
i
的像素，<r
i
,r
j
>为像素坐标，为像素平均最小值，为像素平均最大值，x
i
是区域r
i
的像素值；
[0029]
在四元数时空卷积神经网络中，颜色被定义为，
[0030][0031]
其中，x
t
是区域r
i
的像素，r
i
、g
i
、b
i
分别是区域r
i
的r、g、b三个颜色通道的颜色值，分别是区域r
i
的r、g、b三个颜色通道的颜色均值；
[0032]
当区域r
i
的像素x
t
满足区域亮度的定义时，则判定该像素x
t
属于背景，否则属于前景；以前景像素为中心的邻域都属于斑马线所在的感兴趣区域。
[0033]
s1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本。
[0034]
图像y中(x,y)位置的像素可用纯四元数表示为：q(x,y)＝q
r
(x,y)i+q
g
(x,y)j+q
b
(x,y)k，其中，q
r
(x,y)、q
g
(x,y)和q
b
(x,y)分别为图像的红、绿、蓝三个颜色通道。由此，传感器图像可以表示为一个纯四元数矩阵。
[0035]
例如，有x组图像序列，那么，将其中x组图像序列作为训练样本，将剩余x
‑
x组图像序列作为检测样本。
[0036]
s2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络。
[0037]
在训练四元数时空卷积神经网络的过程中，利用后向传播方法对训练集样本进行训练。
[0038]
预先构建的四元数时空卷积神经网络是基于softmax型分类器的神经网络，在所述s2中，采用bp算法对预先构建的四元数时空卷积神经网络进行训练；
[0039]
所述s2具体为，
[0040]
s21，随机初始化预先构建的四元数时空卷积神经网络中的权值和偏置，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，逐层计算出预先构建的四元数时空卷积神经网络中每层的输入和输出；
[0041]
s22，根据预先构建的四元数时空卷积神经网络中每层的输入和输出，采用梯度下降法确定预先构建的四元数时空卷积神经网络的最优权值和最优偏置，并依据最优权值和最优偏置获得训练样本的分类准确率；
[0042]
s23，根据训练样本的分类准确率调整预先构建的四元数时空卷积神经网络的卷积核的数量、大小以及网络的层数，选取获得最高分类准确率的网络结构作为训练好的四元数时空卷积神经网络。
[0043]
网络训练方法为bp算法，学习率取值范围为(0.01～0.05)，实时交通图像训练时batch的尺寸为80，迭代次数设定为9次，此时斑马线的检测准确率和网络的训练时间取得平衡，可以获得高效率的斑马线检测结果。
[0044]
s3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
[0045]
其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
[0046]
所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；所述空间卷积层、所述时间卷积层和所述下采样层依次层叠并循环多次后，依次连接所述全连接层、所述长短时记忆单元以及所述分类器。例如，训练好的四元数时空卷积神经网络包括3m+1层结构外加长短时记忆单元以及分类器；其中，空间卷积层、时间卷积层、下采样层依次循环m次，得到3m层，最后连接一层全连接层。
[0047]
利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行实时检测的过程具体为，
[0048]
s31，所述空间卷积层将r、g、b三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作，得到第一特征图序列；
[0049]
s32，所述时间卷积层将所述第一特征图序列中的每个颜色通道分别进行时间卷积操作，以提取每个颜色通道的连续帧间目标的动态信息，得到第二特征图序列；
[0050]
s33，所述下采样层对所述第二特征图序列中的每个通道进行下采样操作，得到第三特征图序列；
[0051]
s34，基于所述第三特征图序列，循环执行s31
‑
s33多次，得到最终特征图序列；
[0052]
s35，所述全连接层将所述最终特征图序列中的每一个特征图都拉伸成一个特征向量，得到多个特征向量；
[0053]
s36，所述长短时记忆单元将所有所述特征向量输送至所述分类器；
[0054]
s37，所述分类器对所有所述特征向量进行检测，得到检测结果。
[0055]
训练好的四元数时空卷积神经网络的卷积核为四元数形式，且所述卷积核的四元
数的表示形式为w＝(w
r
,w
g
,w
b
)，设输入所述空间卷积层的四元数形式的图像为q＝(q
r
,q
g
,q
b
)，则第i层第j个特征图中(x,y)位置的空间卷积运算结果为，
[0056][0057]
其中，z
i,j
(x,y)为第i层第j个特征图中(x,y)位置的空间卷积运算结果；激活函数f为sigmoid函数；b
i,j
为第i层第j个特征图的偏置；为第i层第j个特征图和第i
‑
1层第p个特征图之间的卷积核(n,m)位置的权值向量，n和m分别是卷积核的长和宽；q
(i
‑
1),p
×
(x+n,y+m)是第i
‑
1层第p个特征图中(x+n,y+m)位置的像素；w
×
q＝(w
g
q
b
‑
w
b
q
g
,w
b
q
r
‑
w
r
q
b
,w
r
q
g
‑
w
g
q
r
)；卷积操作是将两个纯四元数向量元素分别对应相乘，可提取每个通道上的空间特征；
×
操作是叉积操作，用来提取不同颜色通道的空间关系。
[0058]
交通图像中斑马线实时检测中，不同目标帧图像之间的运动信息至关重要，可在时间卷积层分别提取三个颜色通道的近邻帧动态信息。令所述空间卷积层输出的第一特征图序列为z＝{z1,z2,...,z
t
}，则每个颜色通道在所述时间卷积层中进行时间卷积操作的结果为，
[0059][0060]
其中，表示第i层第t帧第c颜色通道的卷积运算结果；f是sigmoid激活函数，b
i
是第i层特征图的偏置，c是指特征图的第c个颜色通道，s是指时间卷积核的第s维，共s维；是第i层第c个颜色通道第s时间维的权值；假设输入视频图像的帧数为t，则时间卷积层输出的帧数为t
‑
s+1。
[0061]
所述下采样层具体采用平均值的方法对所述第二特征图序列中的每个通道进行下采样操作。
[0062]
下面以具体实例对本发明的方法进行具体说明：
[0063]
将数据集中不同自然条件下的包含斑马线的图序列像作为所述包含多种感兴趣区域的n组图像输入；所采用的四元数时空卷积神经网络为7层结构，其结构如图2所示；检测窗口的大小为90
×
90，缩放后的区域图像像素为36
×
36。
[0064]
输入大小为36
×
36
×
5的图像序列，其中，36
×
36为每一帧的分辨率，5为图像序列的帧数；
[0065]
在第一层的四元数空间卷积层c1中，卷积核尺寸为5
×5×
3,其中5
×
5为图像分辨率，3为图像的颜色通道数，用3个卷积核产生3个32
×
32
×
5的特征图序列；
[0066]
在第二层的时间卷积层c2中，将第一层产生的特征图中的每个通道用1
×1×
3卷积核进行时间卷积操作，其中，3为时间维度，得到3个32
×
32
×
3的特征图序列；
[0067]
在第三层的下采样层s3中，采用2
×
2窗口对第二层产生的特征图中的每个颜色通道进行下采样操作，得到3个16
×
16
×
3的特征图序列；
[0068]
在第四层的四元数空间卷积层c4中，卷积核尺寸为5
×5×
3,用6个卷积核对第三层产生的特征图进行四元数卷积操作，产生6个12
×
12
×
3的特征图序列；
[0069]
在第五层的时间卷积层c5中，将第四层产生的特征图中的每个颜色通道用1
×1×
3卷积核进行时间卷积操作，产生6个12
×
12
×
1的特征图序列；
[0070]
在第六层的下采样层s6中，采用3
×
3窗口对第五层产生的特征图中的每个颜色通道进行下采样操作，得到6个4
×4×
1的特征图序列；
[0071]
在第七层的全连接层f7中，将第六层产生的每一个特征图都拉伸成一个特征向量，得到288维度的特征向量；
[0072]
在长短时记忆单元中，输入第七层的全连接层产生的特征向量，并连接分类器进行动作分类。
[0073]
基于上述一种基于四元数时空卷积神经网络的斑马线检测方法，本发明还提供一种基于四元数时空卷积神经网络的斑马线检测系统。
[0074]
如图3所示，一种基于四元数时空卷积神经网络的斑马线检测系统，包括以下模块，
[0075]
样本制作模块，其用于将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
[0076]
网络训练模块，其用于将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
[0077]
检测模块，其用于将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
[0078]
其中，所述检测模块具体用于，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
[0079]
本发明提出一种基于四元数时空卷积神经网络的斑马线检测方法及系统，与现有技术中其他基于卷积神经网络的斑马线检测方法不同，本发明将图像序列直接作为网络的输入，在空间卷积层将r、g、b三个颜色通道作为一个整体进行卷积操作，保持各个颜色通道间相互的信息关联，并在时间卷积层提取到连续帧间的动态信息，使得提取的特征信息更加丰富，准确率更高。本发明可用于城市智能交通以及智能导航系统中，可在复杂交通场景中车辆的安全行驶提供预警信号，提高驾驶安全。
[0080]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。