一种卡车危险提醒方法与流程

本发明属于卡车安全预警领域，具体涉及一种卡车危险提醒方法。

背景技术

随着矿山开采工艺的不断进步以及开采强度的不断增加，设备大型化也在不断发展。大型卡车运输是目前大型矿山生产运输的最主要形式之一。

矿用卡车安全预警系统有别与普通汽车的安全预警系统，其主要原因有两个：其一，矿山车辆的行驶道路与普通轿车的行驶道路完全不同，矿山车辆运行道路是由各种沟道和台阶组成，道路的复杂性远远高于普通轿车；其二，矿山车辆体积庞大，其长度、宽度和高度都是普通轿车的数倍之多，因此存在着视野盲区，相对而言危险系数也更高。

矿山运输用的大型卡车有其自身特点，主要表现为：道路空间复杂，由于开采范围一定，又需要不断向纵深发展，运输道路条件复杂，弯道和斜坡道较多，且视线不好，道路又经常变动，作业环境恶劣；生产辅助车辆种类繁多，如指挥车，火药车，推土机，洒水车等；卡车司机工作强度大，连续开车几小时，难免枯燥；且大型卡车体积庞大，驾驶室只占左上方的一小部分，车体右侧绝大部分及前后部分区域存在盲区，在盲区范围内司机看不到卡车周围的人或物体；加上矿区道路昼夜工作，大小车辆混行等原因，车辆与车辆、车辆与人之间的碰撞事故时有发生，成为威胁矿山安全运输的重大隐患。

技术实现要素：

(一)要解决的技术问题

为了解决现有技术矿区卡车由于存在视野盲区造成事故频发的问题，本发明提供一种卡车危险提醒方法。

(二)技术方案

为了达到上述的目的，本发明采用的主要技术方案包括：

一种卡车危险提醒方法，包括以下步骤：

s1、针对位于矿山区域中的卡车，所述卡车上的每一图像采集装置采集相应区域的图像信息；

s2、所述卡车上与所有图像采集装置连接的图像处理中心对所述图像信息进行实时处理，确定当前卡车的预设范围内是否存在待识别目标；

s3、若所述预设范围内存在所述待识别目标，则向当前卡车的驾驶人员发出危险信号。

进一步的，所述步骤s2包括：

s21、对每一图像采集装置采集的图像进行预处理，获取预处理后的图像；

s22、采用训练后的轻量级ssd(singleshotmultiboxdetector，简称ssd)模型对预处理后的图像进行实时处理；

其中，所述训练后的轻量级ssd模型是预先采用与当前卡车相关的训练图像对轻量级ssd模型进行训练获得的。

更进一步的，在所述步骤s21之前，还包括：

训练轻量级ssd模型，获取训练后的轻量级ssd模型；

所述轻量级ssd模型包括八个模块：

第一模块包括两个3×3卷积层和一个最大池化层；第二模块包括两个3×3卷积层和一个最大池化层；第三模块包括三个3×3卷积层和一个最大池化层；第四模块包括三个3×3卷积层和一个最大池化层；第五模块包括三个3×3卷积层和一个最大池化层；第六模块包括一个3×3的卷积层和一个最大池化层；第七模块包括一个1×1卷积层；第八模块包括一个1×1的卷积层和一个3×3的卷积层；

模块之间通过所述卷积层和所述池化层进行信息传递。

更进一步的，训练所述轻量级ssd模型具体包括：

l01：将预处理后的所述训练图像输入所述轻量级ssd模型得到第一特征图；

l02：计算所述第一特征图的第一默认框；

所述第一默认框的尺度计算公式为：

其中，m为特征图数目；smin为最底层特征图第一默认框的尺度；smax为最顶层特征图第一默认框的尺度；

最后根据和计算每个所述第一默认框的宽度和高度，其中，a为所述第一默认框比例值；

l03：根据判定条件判定是否对预先给定的参考框编码；

所述判定条件为：比较第一阈值的值和jaccard值的大小，所述jaccard值由所述第一默认框编码和所述参考框计算而来；若所述jaccard值大于所述第一阈值，则对所述参考框编码；

编码后的所述参考框包括：位置偏移(g＝(cx,cy,w,h))、目标分数(p∈[0,1])和标签(x∈{0,1})，

位置偏移的计算公式为：

cx＝(cxg-cxd)/wd

cy＝(cyg-cyd)/hd

其中，(cx,cy)表示所述参考框的中心，而(w,h)代表所述参考框的宽和高；下标索引g表示所述参考框，d表示所述第一默认框，cxg、cyg、wg、hg是从所述训练图像直接读取的；

l04：对所述第一特征图进行第一无激活函数的卷积运算，得到第一默认框的四个位置偏移量，所述第一默认框的四个位置偏移量用于所述目标的定位预测；

对所述第一特征图进行第二无激活函数的卷积运算，得到三个类别置信度，所述类别置信度用于所述目标的类别预测；

采用softmax函数对所述类别置信度进行处理，得到所述第一默认框的预测类别的概率。

更进一步的，所述轻量级ssd模型的损失函数为：

其中，n是匹配的第一默认边界框的数量，如果n＝0，则l为0；

位置偏移损失定义为：

其中，i为标签为1的第一默认框的索引，而l和g分别为所述训练图像预测框的偏移和编码后的参考框的偏移；

目标分数损失通过二元交叉熵计算：

其中，p是所述训练图像预测框的目标分数，并且x∈{0,1}是所述参考框编码后的参考标签。

进一步的，所述轻量级ssd模型的所述第三模块经多孔卷积处理后与所述第四模块相连接。

进一步的，所述步骤s22具体包括：

m1：加载训练后的所述轻量级ssd模型，所述预处理后的图像信息经所述训练后的轻量级ssd模型的处理后得到第二特征图；

m2：计算所述第二特征图的第二默认框；

m3：对编码后的所述参考框解码；

将所述第二默认框和所述参考框融合，得到第三默认框；

所述融合的计算公式为：

xc＝loc[0[×wref×sacling[0[+xref

yc＝loc[1[×href×sacling[1[+yref

w＝wref×e^{(loc[2[×sacling[2[)}

h＝href×e^{(loc[3[×sacling[3[)}

其中，xc、yc为所述第三默认框的中心点坐标，w、h为所述第三默认框的宽和高，loc为卷积得到的所述第二默认框的四个位置偏移量，xref、yref、wref、href为根据比例值计算得到的所述预处理后的图像信息的预测框的四个位置偏移量，scaling为默认参数；

m4：对所述第三默认框进行筛选，将筛选出的所述第三默认框的位置偏移量标注在所述预处理后的图像信息上，然后将所述标注的图像信息输出。

进一步的，所述待识别目标包括人员和车辆。

(三)有益效果

本发明的有益效果是：

一种卡车危险提醒方法，包括步骤：针对位于矿山区域中的卡车，卡车上的每一图像采集装置采集相应区域的图像信息；卡车上与所有图像采集装置连接的图像处理中心对图像信息进行实时处理，确定当前卡车的预设范围内是否存在待识别目标；若预设范围内存在待识别目标，则向当前卡车的驾驶人员发出危险信号。本发明的卡车危险提醒方法不采用网络通信，所有图像信息都实时处理，预警速度快。

本发明的卡车危险提醒方法采用轻量级ssd模型对图像信息进行实时处理，该模型对矿区卡车需要特别识别的人和车辆目标识别速度快、识别效率高。

附图说明

图1为本发明实施例一种卡车危险提醒方法的流程图；

图2为本发明实施例轻量级ssd模型的示意图；

图3为本发明实施例8×8第二特征图的示意图；

图4为本发明实施例4×4第二特征图的示意图。

具体实施方式

为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

实施例1

如图1所示为本发明实施例一种卡车危险提醒方法，包括以下步骤：

s1、针对位于矿山区域中的卡车，卡车上的每一图像采集装置采集相应区域的图像信息。

s2、卡车上与所有图像采集装置连接的图像处理中心对图像信息进行实时处理，确定当前卡车的预设范围内是否存在待识别目标；

其中，步骤s2具体包括：

s21、对每一图像采集装置采集的图像进行预处理，获取预处理后的图像；

s22、采用训练后的轻量级ssd模型对预处理后的图像进行实时处理；

其中，训练后的轻量级ssd模型是预先采用与当前卡车相关的训练图像对轻量级ssd模型进行训练获得的。

s3、若预设范围内存在待识别目标，则向当前卡车的驾驶人员发出危险信号。

如图2所示，为本发明实施例轻量级ssd模型的示意图，轻量级ssd模型包括八个模块：

第一模块包括两个3×3卷积层和一个最大池化层；第二模块包括两个3×3卷积层和一个最大池化层；第三模块包括三个3×3卷积层和一个最大池化层；第四模块包括三个3×3卷积层和一个最大池化层；第五模块包括三个3×3卷积层和一个最大池化层；第六模块包括一个3×3的卷积层和一个最大池化层；第七模块包括一个1×1卷积层；第八模块包括一个1×1的卷积层和一个3×3的卷积层；模块之间通过卷积层和池化层进行信息传递。

具体步骤包含如下：

第一模块：输入图像大小为300×300×3，采用64个3×3的卷积核对原始图像进行卷积两次，即两个卷积层；再采用步长为2大小为2×2的池化核进行池化；

第二模块：采用128个3×3的卷积核对第一模块输出进行卷积两次，即两个卷积层；再采用步长为2大小为2×2的池化核进行池化；

第三模块：采256个3×3的卷积核对第二模块输出进行卷积三次，即三个卷积层；再采用步长为2大小为2×2的池化核进行池化；

第四模块：采512个3×3的卷积核对第三模块输出进行卷积三次，即三个卷积层；再采用步长为2大小为2×2的池化核进行池化；

第五模块：采512个3×3的卷积核对第四模块输出进行卷积三次，即三个卷积层；再采用步长为1大小为3×3的池化核进行池化；

第六模块：采用1024个3×3，rate(扩展率)为6的卷积核对第五模块输出进行卷积一次，即一个卷积层；

第七模块：采用1024个1×1的卷积核对第六模块输出进行卷积一次，即一个卷积层；

第八模块：采用256个1×1的卷积核对第七模块输出进行卷积一次，即一个卷积层；再用采256个3×3的卷积核对第七模块输出进行卷积一次，共两个卷积层。

需要说明的是，本实施例采用的轻量级ssd模型采用多层特征融合方法，将第三模块、第四模块、第七模块和第八模块输出的特征图进行特征融合，其中，第三模块经多孔卷积处理后与第四模块相连接，作为新模块，然后将第三模块和第四模块池化层之前的卷积层输出特征图和第七模块、第八模块的输出特征图做多尺度特征融合，具体步骤为：

首先，第三模块中第三个卷积层的输出特征图采用步长为1，大小为2×2的池化核进行最大池化；再采用512个大小为3×3、rate为2的卷积核进行卷积，再经过归一化层得到输出特征图；将第四模块中第三个卷积层的输出特征图经过归一化层，然后与第三模块的输出特征图连在一起，也就是说，新模块的输出特征图格式与第三模块的输出特征图格式相同；

然后，将新模块、第七模块和第八模块输出的特征图进行特征融合。

实施例2

在首次运行载有本发明一种卡车危险提醒方法的程序时，需要对轻量级ssd模型进行训练，训练轻量级ssd模型具体包括以下步骤：

l01：将预处理后的训练图像输入轻量级ssd模型得到第一特征图；

需要说明的是，为了在多个尺度上进行检测，这里提取新模块、第七模块和第八模块的第一特征图。每个第一特征图包含特定数量的默认边界框，即默认框，这些默认框具有一定的比例和纵横比，将两种不同类型的滤波器(即位置和得分)应用于每个第一特征图以预测默认框的位置偏移和目标分数。

l02：计算每个第一特征图的第一默认框；

首先，将第一特征图划分为具有1×1大小的块的网格，并且在这些块中确定第一默认框的中心。

第一默认框的尺度计算公式为：

其中，m为特征图数目；smin为最底层特征图第一默认框的尺度；smax为最顶层特征图第一默认框的尺度；

由于卡车视角下的人员图像往往是长度大于宽度的，车辆图像是宽度大于长度的，根据这个属性，对每个第一特征图层采用不同的宽高比(如38×38特征图的宽高比为由于卡车视角下的人员与车辆小于普通的人员与车辆，因此对第一默认框采用更小的尺度(如smin＝0.1)，使其能更好的检测小目标。

最后根据和计算每个第一默认框的宽度和高度，其中，a为第一默认框比例值。

l03：根据判定条件判定是否对预先给定的参考框编码；

获得第一默认框之后，需要将预先给定的参考框进行编码，通过这种方式，可以将参考框转换成可以输入到轻量级ssd模型进行训练的形式。判定条件为：比较第一阈值的值和jaccard值的大小，jaccard值由第一默认框编码和参考框计算而来；若jaccard值大于第一阈值，则对参考框编码；其中，jaccard值可以看成两个集合a、b的交并集之比：jaccardsim＝(a∩b)/(a∪b)，其实就是计算a与b产生重叠的程度。本实施例中，第一阈值为0.45，如果jaccard值大于第一阈值，那么第一默认框就是相应的编码结果。在这种情况下，第一默认框的对象标签将被设置为1，并将jaccard值保留为第一默认框的对象分数，并且参考框和第一默认框之间的位置偏移也将被记录下来。

编码后的参考框包括：位置偏移(g＝(cx,cy,w,h))、目标分数(p∈[0,1])和标签(x∈{0,1})，

位置偏移的计算公式为：

cx＝(cxg-cxd)/wd

cy＝(cyg-cyd)/hd

其中，(cx,cy)表示参考框的中心，而(w,h)代表参考框的宽和高；下标索引g表示参考框，d表示第一默认框，cxg、cyg、wg、hg是从训练图像直接读取的。

l04：对第一特征图进行第一无激活函数的卷积运算，得到第一默认框的四个位置偏移量，第一默认框的四个位置偏移量用于目标的定位预测；

对第一特征图进行第二无激活函数的卷积运算，得到三个类别置信度，类别置信度用于目标的类别预测；

采用softmax函数对类别置信度进行处理，得到第一默认框的预测类别的概率。

对轻量级ssd模型进行训练过程中，轻量级ssd模型的损失函数为：

其中，n是匹配的第一默认边界框的数量，如果n＝0，则l为0；

位置偏移损失定义为：

其中，i为标签为1的第一默认框的索引，而l和g分别为训练图像预测框的偏移和编码后的参考框的偏移；

目标分数损失通过二元交叉熵计算：

其中，p是训练图像预测框的目标分数，并且x∈{0,1}是参考框编码后的参考标签。

需要说明的是，训练过程中还需要确定的参数有：滑动平均更新参数、学习率等。训练好的网络参数需要保存起来，以便后续使用。

本发明一种卡车危险提醒方法可实现大型卡车周围人员与车辆的安全监测。由于卡车视角下的图像较少，而这些图像与pascalvoc2012数据集的相似程度较高，因此先采用只剩两类的pascalvoc2012数据集(对pascalvoc数据集进行处理，仅保留人员和车辆两类目标图像)对模型进行微调，然后用卡车视角图像对模型进行再次微调。本实施例的训练图像是在鞍千矿业采集的。

实施例3

训练好后的轻量级ssd模型结构为：

轻量级ssd模型的输入为300×300×3的图像，图像的通道数为3，是rgb(图像颜色的三基色：red、green、blue)图像。第一模块：首先是两个卷积层，卷积核大小为3×3，卷积核个数为64，步长为1，填充方式为‘same’(补零使输入输出的图像大小相同)，激活函数为线性整流函数(rectifiedlinearunit,relu)，然后是最大池化层，采样核大小为2×2，步长为2，输出为64个150×150的特征图；

第二模块：先是两个卷积层，卷积核大小为3×3，卷积核个数为128，然后是最大池化层，采样核大小为2×2，输出为128个75×75的特征图；

第三模块：先是三个卷积层，卷积核大小为3×3，卷积核个数为256，然后是最大池化层，采样核大小为2×2，输出为256个38×38的特征图；

第四模块：先是三个卷积层，卷积核大小为3×3，卷积核个数为512，然后是最大池化层，采样核大小为2×2，输出为512个19×19的特征图；

第五模块先是三个卷积层，卷积核大小为3×3，卷积核个数为512，然后是最大池化层，采样核大小为3×3，步长为1，输出为512个19×19的特征图；

第六模块是一个卷积层，卷积核大小为3×3，膨胀系数为6，卷积核个数为1024，输出为1024个19×19的特征图，该特征图在训练网络时是随机失活层，失活率为0.5；

第七模块是一个卷积层，卷积核大小为1×1，卷积核个数为1024，输出为1024个19×19的特征图，该特征图在训练网络时也是随机失活层，失活率为0.5；

第八模块是先一个卷积层，卷积核大小为1×1，卷积核个数为256，对输出进行‘1’填充，然后再是一个卷积层，卷积核大小为3×3，卷积核个数为512，步长为2，填充方式为‘valid’(不会在原有输入的基础上添加新的像素)，输出为512个10×10的特征图。

当轻量级ssd模型训练好后，即可正式运行载有本发明一种卡车危险提醒方法的程序，具体包括以下步骤：

m1：加载训练后的轻量级ssd模型，预处理后的图像信息经训练后的轻量级ssd模型的处理后得到第二特征图。

其中，为了增强数据对图像信息进行预处理，主要包括：随机截取图像一部分并进行扭曲变形、随机左右翻转图像、随机扭曲颜色(如亮度、饱和度、色度、对比度等)，再进行图像归一化，将图像缩放为300×300的规格。

需要说明的是，预处理过的图像经过轻量级ssd模型处理得到8个模块输出的第二特征图，本实施例中，采用三个模块输出的第二特征图：38×38像素的新模块、19×19像素的第七模块、10×10像素的第八模块，这三个模块的第二特征图有不同的尺度大小，从不同尺度的第二特征图产生不同尺度的预测可以保证网络可以识别不同大小的目标。

m2：计算第二特征图的第二默认框。

对于三个模块的每个第二特征图，以各个像素确认第二默认框的中心，第二默认框的中心被设置为其中l是特征图的大小，按照不同的大小和长宽比生成k个第二默认框(k为6)。以图3所示为例，第二默认框数目k＝6，8×8像素的第二特征图共有8×8×6＝384个第二默认框。

每个第二默认框大小计算公式为：

其中，m为第二特征图数目，这里m为3；这里smin为0.10；smax为0.5。每个第二默认框长宽比根据比例值计算：

其中，a为默认框比例值。

以第七模块的第二特征图为例，在第七模块的第二特征图中，a为{1,2,0.5,3,1.0/3}。对于比例为1的默认框，额外添加一个默认框宽高为：

最终，第七模块的默认框个数为6。

对三个模块的第二特征图分别进行3×3×(k×4)无激活函数的卷积运算，得到第二默认框的四个用于目标定位预测偏移位置，其中3×3为卷积核大小，k为每个第二特征图上各个像素点的第二默认框个数，‘4’为第二默认框的四个偏移位置：起点横纵坐标和宽、高；

然后将三个模块的第二特征图分别进行3×3×(k×3)无激活函数的卷积运算，得到三个用于目标分类预测类别置信度，其中3×3为卷积核大小，k为每个特征图上各个像素点的默认框个数，‘3’为每个默认框可能属于的类数，这里的3指代的是人员目标、车辆目标和背景。

以第七模块的第二特征图为例，第七模块的第二特征图大小为19×19，k为6，因此最后的输出为(19×19)×6×(3+4)。将三个类别置信度输出经过softmax函数进行处理，得到各个第二默认框预测类别的概率(取值范围为0-1)，如图4所示。

m3：对编码后的参考框解码。

将第二默认框和参考框融合，得到第三默认框；

融合的计算公式为：

xc＝loc[0]×wref×sacling[0]+xref

yc＝loc[1]×href×sacling[1]+yref

w＝wref×e^{(loc[2]×sacling[2])}

h＝href×e^{(loc[[3]×sacling[3])}

其中，xc、yc为第三默认框的中心点坐标，w、h为第三默认框的宽和高，loc为卷积得到的第二默认框的四个位置偏移量，xref、yref、wref、href为根据比例值计算得到的预处理后的图像信息的预测框的四个位置偏移量，scaling为默认参数，大小为[0.1,0.1,0.2,0.2]；

m4：对第三默认框进行筛选，将筛选出的第三默认框的位置偏移量标注在预处理后的图像信息上，然后将标注的图像信息输出。

对第三默认框进行筛选，对于每个第三默认框，若预测第三默认框属于某类(即属于人员还是车辆)的概率大于第二阈值，这里第二阈值的值为0.5，则保留该第三默认框，并保存其所属的类和预测得分。对符合要求的第三默认框进行裁剪：即计算第三默认框与给定参考框之间的交集；然后对各个第三默认框的预测类别得分进行降序排列，取得分最高的n个第三默认框，这里取n为400。采用非极大值抑制法对剩余的第三默认框进行再次筛选：即对计算任意两个第三默认框的jaccard值，当两个第三默认框为不同类预测时，保留两个第三默认框，否则只保留预测分值高的第三默认框，对符合要求的第三默认框根据给定参考框进行微调。根据第三默认框的四个位置偏移将第三默认框标注在图像信息上，并标注第三默认框所预测的类别，即，是人员还是车辆。最后将标注过的图像信息合成为视频，送到显示屏进行显示。

将本发明一种卡车危险提醒方法的轻量级ssd模型和ssd模型对比，对比结果如下表所示：

表中，其中fps为检测速度：每秒显示的帧数；map为检测精度，是目标检测中常用的检测精度度量指标。

由上表可以看出，本发明的一种卡车危险提醒方法结构简化，同时将检测目标定为人和车辆，这使得模型更简单精炼。采用本发明一种卡车危险提醒方法的预警系统可以直观的显示卡车周围的环境，重点标注人员和车辆，所有图像信息都实时处理，预警速度快，提高了矿区大型卡车的安全性。

本发明的一种卡车危险提醒方法的有效检测距离为50米，而大型卡车满载情况下的的刹车距离大约为45米左右，满足安全预警的要求。相比于改进前的网络，该发明的检测速度提高了7％左右。

需要理解的是，以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。