一种基于卷积神经网络的激光排爆系统紧急安全控制方法与流程

1.本发明涉及一种基于卷积神经网络的激光排爆系统紧急安全控制方法，属于激光排爆技术领域。


背景技术：

2.利用激光排爆是当前销毁废旧弹药的一种新的技术手段。利用激光排爆系统销毁废旧弹药，可以远程架设、远程控制，不需要特别的防护装备，不需要排爆人员靠近弹药，实际作业中具有明显的安全优势。同时，激光排爆系统还可能承担空中清障任务，如高压线上缠绕的风筝、塑料袋，塔架影响通信安全或输电安全的鸟窝等。
3.当前，激光排爆系统多采用激光器+摄像头的集成方案，利用平板电脑进行远程操控，操作人员通过视频图像，远程控制系统出光、停光、观察目标打击情况。由于排爆现场通常比较空旷，操作人员距离目标较远，在激光器出光时，如果有人员、动物等误闯到激光光路上，会造成严重的灼伤、起火等意外情况，特别是在系统调试、试验过程中，能够安排保障安全的人手少，无法对周边环境完全封控，难以杜绝无关人员和狗、猫等宠物的意外闯入，而操作人员的精力通常都集中在观察打击点的光斑情况，在遇到误侵入情况时，往往需要有一个反应时间才能完成停光操作，这种操作延迟增大了系统工作时对人员或动物误伤的概率，降低了系统的安全性。


技术实现要素：

4.本发明目的是提供了一种基于卷积神经网络的激光排爆系统紧急安全控制方法，提高激光器工作的安全性，降低误伤概率提供了一条新的技术途径。
5.本发明为实现上述目的，通过以下技术方案实现：步骤1：从实时视频中抽取视频图像，将视频图像进行分割预处理，分为目标检测区和激光光束区，所述激光光束区位于视频图像中部，两侧为目标检测区；具体分割方法如下：水平方向分割，将图像分割为2n个目标检测区和一个激光光束区，n取值范围为n≥1的正整数，分割得到的每一块目标检测区域宽度为，具体计算方式如下：式中：trunc函数进行数值取整，即不论括号中的数值是正数还是负数，去掉小数后直接取整不进位；激光光束区宽度为式中：x为视频图像宽度。
6.步骤2：将水平方向划分出的目标检测区从两侧向中部激光光束区依次输入到目
标检测算法。
7.步骤3：对输入的每个目标检测区进行垂直方向分割，以目标检测区域宽度作为高度，延图像垂直方向将其分割为网格，对垂直方向分割区域高度不足的进行填充；对每个网格划定识别类别，则每个网格对应一个m维向量：对每个网格划定识别类别，则每个网格对应一个m维向量：向量中字符代表的含义分别为：表示目标存在的概率，为检测出的目标边界框的中心x位置，为边界框的中心y位置，为边界框的高，为边界框的宽，表示目标类别。
8.步骤4：对每个网格应用图像分类和定位处理，获得预测对象的边界框及其对应的类别的概率。
9.步骤5：对检测出的目标进行差异性验证，确定不同的目标检测区检测出的目标是否是同一目标，利用二者的灰度特征来比较两帧图像的差异性。
10.步骤6：激光排爆控制系统对视频图像左右两边的目标检测区进行检测，左侧目标检测区按照从左到右顺序，右侧目标检测区按照从右到左的顺序依次检测，检测完成一个遍历周期；根据目标检测结果激光排爆系统出光。
11.优选的，当检测目标有多个时，在目标检测方法的识别网络添加2个不同的锚框设计，一个锚框宽度与目标检测区域宽度一致，高度为图像实际高度；另一个锚框宽度高度均与目标检测区域宽度一致。
12.优选的，所述计算还有如下方式：比较两种方式计算的值大小，选取值更小的作为目标检测区宽度。
13.优选的，所述利用二者的灰度特征来比较两帧图像的差异性具体步骤如下：步骤5-1：将识别出的目标的每个像素转换为灰度直方图，并计算灰度值，计算方
式如下：gray = r*0.299 + g*0.587 + b*0.114式中：r、g、b为某一像素的rgb值，灰度gray的值为0~255；步骤5-2：根据计算出的灰度值在同一坐标系下画出其灰度图，按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式；步骤5-3：按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式，即：设某一灰度值的点为个，其转换关系为：式中：表示某一灰度值的点个数，n表示某一灰度值的点数占图像所有像素之和的百分比；步骤5-4：选取不同目标区域某一灰度值，计算目标检测区域该灰度值所占比重，通过比重计算某灰度值在前后图像中占比百分比的差的绝对值之和的平均值，与设定阈值进行比较，小于阈值的认为差异性小，前后两幅图像识别出来的对象属于同一对象，大于阈值的认为差异性大，不属于同一对象；优选的，所述控制方法包括两种安全控制策略：红色应急响应模式和黄色应急响应模式；所述红色应急响应模式系统检测到目标，系统立即发出紧急停光信号，自动停光；所述黄色应急响应模式在任意一个遍历周期内，如果在某一个检测区检测到有目标存在，则记录每一个目标在该目标检测区的中心位置、边框大小、对象类别、目标检测区序号，并将位置坐标转换到整帧图像的坐标；具体内容如下：1）第一个遍历周期内，目标检测区检测出有效目标，记录该目标的坐标位置、边框大小、类别和检测时间；1-1）如果未检测到目标，则保持正常状态；1-2）如果激光光束区相邻两侧目标检测区检测到目标，均停光；1-3）如果除激光光束区相邻两侧目标检测区检测到一个目标，只发出告警信息，不停光；1-4）如果除激光光束区相邻两侧目标检测区检测到多个目标，则调用差异性检测，确定结果是否为同一个目标：如果多个目标均为同一个目标，则根据位置坐标确认目标是否从外向里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警状态，不停光；如果多个目标为不同目标，则只发出告警信息，提醒操作者有人员或动物在危险区域之内，不停光；2）第二个遍历周期内；2-1）如果未检测到目标，无论第1个遍历周期如何，该周期内均保持正常状态，告警或紧急控制状态清零；2-2）如果激光光束区相邻两侧目标检测区检测到目标，均紧急停光；2-3）如果除激光光束区相邻两侧目标检测区检测到目标：
2-3-1）如果检测到一个目标，则与第1个周期对比：若第1个周期没有检测到，则只告警、不停光；若第1个周期检测到目标，则判断与第1个周期目标类别是否相同，相同则对比前后两个周期内目标坐标的移动方向，向里运动则紧急停光，向外运动则不停光；如果与第1个周期目标类别不相同，则只告警、不停光；2-3-2）如果检测到多个目标，则先在本周期内判断：如果多个目标均为同一个目标，则确认目标是否从外到里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警，不停光；如果在原区域保持不动，则只保持告警，不停光；如果多个目标为不同目标，则与第1个周期的目标类别分别进行比较，相同类别且在前后两个遍历周期内，发生从外到里的横向移动的，紧急停光；相同类别为从里到外，或没有发生横向移动的，发出告警信息，提醒操作者有人员或动物在危险区域之内；不同类别的，只发出告警信息，提醒操作者有人员或动物在危险区域之内。
14.3）第3个遍历周期：自第3个遍历周期开始，当前周期作为第2遍历周期；原第2遍历周期变为第1遍历周期，开始新的控制周期；当某一周期均没有检测到目标时，所有状态清零，下一周期从初始状态开始。
15.本发明的优点在于：本发明减小目标检测的图像大小，降低计算量；分割的图像之间存在了顺序关系，有利于判定确定物体的移动方向，更精细地判断闯入的危险程度。利用图像检测结果与分割的图像位置信息，设计危险判定策略，分不同级别，为系统生成预警信息或激光器控制信号，控制激光器自动停光，避免产生误伤，提高系统紧急情况下的自主安全控制能力。
附图说明
16.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
17.图1为本发明视频图像分割示意图。
18.图2为本发明两目标检测区图像的灰度曲线图。
19.图3为本发明百分比形式的两目标检测区图像的灰度曲线图。
20.图4为本发明目标检测算法结构示意图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.一种基于卷积神经网络的激光排爆系统紧急安全控制方法，包括：图像分割：根据激光排爆系统摄像头视频图像特点、工作场景特点及人员、动物特点，设计图像分割方案，简化了神经网络的计算结构，减少了神经网络的输入元素，降低识别算法计算量，提高实时应用能力；
目标检测：对分割之后的各部分图像，利用卷积神经网络cnn对其进行目标检测，采用具有实时检测能力的yolo方法，根据图像特点为yolo检测设计了适用于激光排爆系统图像特征的anchor box（锚框），进一步提高系统识别计算效率；差异性验证：根据神经网络目标检测的输出结果，对前后两幅图像的检测输出进行差异性验证，确定前后两个目标是否为同一目标，由此进一步设计不同级别的安全控制策略；安全控制策略：利用图像检测结果与分割的图像位置信息，设计危险判定策略，分不同级别，为系统生成预警信息或激光器控制信号，控制激光器自动停光，避免产生误伤，提高系统紧急情况下的自主安全控制能力。
23.本方法适用的条件是：系统集成摄像头，能够提供实时视频图像；若在夜晚工作，摄像头需支持夜视功能，能够提供夜视视频图像。
24.具体的，包括以下步骤：步骤1：从实时视频中抽取视频图像，将视频图像进行分割预处理，分为目标检测区和激光光束区，所述激光光束区位于视频图像中部，两侧为目标检测区；具体分割方法如下：水平方向分割，将图像分割为2n个目标检测区和一个激光光束区，分割得到的每一块目标检测区域宽度为，具体计算方式有如下两种：式中：trunc函数进行数值取整，即不论括号中的数值是正数还是负数，去掉小数后直接取整不进位；激光光束区宽度为：式中：x为视频图像宽度；具体的，若摄像头的分辨率x
×
y=1920
×
1080，且整幅图片分为7部分，则根据公式计算：即整幅图像分成7部分后，每一个要识别的图像大小为274
×
1080；除6个目标检测区图像块外，剩下的均为激光光束区，大小为1920-274
×
6=276。所以目标检测区宽度大小为：
即整幅图像分成7部分后，每一个要识别的图像大小为270
×
1080。
25.两种方法计算得到的中间激光光束区的大小与其他区域大小并不一致，但这并无影响，因为中间的激光光束区域不参与后面的计算。因此，实际运用中由于分区不同，或取整而产生的少量多余像素可以全部划归到激光光束区。
26.步骤2：将水平方向划分出的目标检测区从两侧向中部激光光束区依次输入到目标检测算法yolo。
27.步骤3：对输入的每个目标检测区进行垂直方向分割，以目标检测区域宽度作为高度，延图像垂直方向分割为为网格，对垂直方向分割区域高度不足的进行填充；若水平方向上每个目标检测区的宽度为274像素，则垂直方向上，按照274像素一层一层分割，最后分割得到的区域有也就是说，垂直方向上分成了不到4个区域，前3个区域的高为274，最上面的区域高度为，略小于前3个区域的高度。这种不一致在神经网络训练中需要增加填充padding步骤，将其补充成与其他区域一样大小，或对它的训练集标记做相应的调整，或在涉及到yolo中的锚框anchor box时对锚框作专门的设置。
28.若水平方向上每个目标检测区的宽度为270像素，则垂直方向上，按照270像素一层一层分割，最后分割得到的区域有也就是说，垂直方向上分成了正好4个区域，且每个小区域正好为正方形区域，大小。
29.视频图像分割处理之后，有两个优势：一是减小目标检测的图像大小，不需要将x
×
y大小的全部图像数据都输入到cnn网络中，降低计算量；二是分割的图像之间存在了顺序关系，有利于判定确定物体的移动方向，更精细地判断闯入的危险程度。
30.从摄像头视频中抽取的一帧图像，分割后共有左右两边共个大小完全相同的
目标检测区，个目标检测分为左右两组同时检测，但同一组内有先后顺序，左边部分，按左1、左2
……
左n顺序进入cnn，右边部分按照右1、右2
……
右n顺序进入cnn，或记为l1、l2……
ln、r1、r2……rn
。这个目标检测图像的大小一致，完全可以采用同一个训练好的神经网络完成输入输出。
31.将每个输入图像划分为4
×
1的网格，每个网格恰好为正方形。每个网格各自负责识别4个类别，分别是人员c1、狗c2、猫c3、其他c4。因此，每个网格对应的标签为一个9维变量：对每个网格划定识别类别，则每个网格对应一个m维向量：向量里有9个元素，代表的含义分别为：表示某一类别的目标是否存在于网格中，即目标存在的概率，为检测出的目标边界框的中心x位置，为边界框的中心y位置，为边界框的高，为边界框的宽，表示检测目标是人员，表示检测目标是狗，表示检测目标是猫，表示检测目标为其他类别。如果yolo输出的目标类别是人员，则；如果输出的目标类别同时包含人、狗、猫，则。
32.目标的类别可以根据需要扩展，如增加识别车、鸟等。增加识别对象时，要注意每个网格对应的标签维数也相应增加。
33.模型按如图4方式进行训练。
34.使用上面的输入图像270
×
1080
×
3，彩色图像共有rgb三个通道，输出为4
×1×
9，即共输出36个元素，按顺序分别代表第1~第4个网格对应的9维变量。cnn为根据具体情况而构建的检测人员或动物的卷积神经网络，其输入的特征元素为270
×
1080
×
3个。
35.由于将每一个目标检测区划分为4个格子，每个格子都有对应的标签，也就是说一个目标检测区要有4个 标签，每个标签里面有9个元素。这4个格子 标签组合起来就是这张图的标签，即这张图的标签的维度是4
×1×
9。
36.步骤4：对每个网格应用图像分类和定位处理，获得预测对象的边界框及其对应的
类别的概率。
37.步骤5：对检测出的目标进行差异性验证，确定不同的目标检测区检测出的目标是否是同一目标，利用二者的灰度特征来比较两帧图像的差异性；通过目标检测，获得了图像中的目标类别及相关位置信息，还需要对检测出的目标进行差异性验证，以确定不同的目标检测区检测出的目标是否是同一目标，为分析其行为模式提供前提条件。
38.yolo的处理速度可达到45帧/秒，相对于24-25帧/秒的视频图像来说，yolo的处理速度能够为后续的差异性验证、方向判定等留出有足够的计算资源。确定前后两帧图像中识别出来的目标是否为同一个目标，我们设计如下差异性验证算法：首先比较一下前后两个目标检测区的图像，有如下特点：(1)前后两幅图像形成间隔很短，约30~40ms，环境亮度、对比度基本一致；(2)前后两幅图像中的对象动作变化不大，经yolo检测算法得到的对象的边框大小可能稍有不同。
39.由于前后识别出来的物体边框大小不同，两幅图像无法直接比较。如果将较小的图片按较大的图片扩展，将引入新的信息或杂波；若将较大的图像按较小的图片压缩，可能引起信息丢失，都会带来一定误差。因此，利用二者的灰度特征来比较两帧图像的差异性。
40.设某一识别出来的对象边框大小为m
×
n，按下式将每个像素转换成灰度直方图：gray = r*0.299 + g*0.587 + b*0.114其中，r、g、b为某一像素的rgb值，灰度gray的值为0~255。由于灰度取值范围是固定的，所以不同大小的图像，可以统一到相同坐标下画出其灰度图，具备同坐标下差异性对比的条件。根据图像的灰度直方图，统计出图像中的每一个像素的灰度值在整个图像中出现的次数画成曲线，示例如2图所示：按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式，即：设某一灰度值的点为个，其转换关系为：上式表示图像中某一灰度值的点数占图像所有像素之和的百分比。
41.处理完之后，灰度曲线图变成如图3所示：设前一幅图像中识别出的目标框中，灰度值为的像素在本帧图像中占比为，后一幅图像中识别出的目标框中，灰度值为的像素在本帧图像中占比为，则前后两帧识别出的图像的差异性由下式进行计算：即前后两个图像中，某灰度值在前后图像中占比百分比的差的绝对值之和的平均值。阈值根据具体系统调整确定，小于阈值的认为差异性小，前后两幅图像识别出来的对象
属于同一对象，大于阈值的认为差异性大，不属于同一对象。
42.步骤6：激光排爆控制系统对视频图像左右两边的目标检测区进行检测，左侧目标检测区按照从左到右顺序，右侧目标检测区按照从右到左的顺序依次检测，检测完成一个遍历周期；根据目标检测结果激光排爆系统出光。
43.在激光器出光前，假定操作人员已确认没有人员或动物进入。激光器出光时，激活目标检测相关功能，进入紧急安全控制状态。紧急安全控制状态的安全控制策略分2种：红色应急响应模式、黄色应急响应模式，运用时根据实际情况或个人需求选择。
44.红色应急响应模式红色应急响应模式级别最高，策略最简单，但虚警率稍高。
45.如果系统采用红色响应，系统按照l1到ln，r1到rn的顺序依次进地检测，无论哪个目标检测区检测出人员或动物，系统均立即发出紧急停光信号，自动停光，确保安全。
46.黄色应急响应模式黄色应急响应模式级别稍低，策略复杂，但控制更为精细。
47.在任意一个遍历周期内，如果在某一个检测区检测到有目标存在，则记录每一个目标在该目标检测区的中心位置、边框大小、对象类别、目标检测区序号，并将位置坐标转换到整帧图像的坐标。
48.第1个遍历周期内：一个遍历周期内，无论左、右哪个检测区检测出有效目标，都记录该目标的坐标位置、边框大小、类别和检测时间。
49.1）第1个遍历周期内，如果未检测到目标，则保持正常状态；2）第1个遍历周期内，无论何种情况，只要在ln或rn检测区检测到目标，不论目标是人还是动物，均紧急停光；3）第1个遍历周期内，如果在l
n-1
或r
n-1
以及之前的检测区检测到一个目标，只发出告警信息，不停光；4）第1个遍历周期内，如果在l
n-1
或r
n-1
以及之前的检测区检测到多个目标，则调用差异性检测，确定结果是否为同一个目标：4.1）如果多个目标均为同一个目标，则根据位置坐标确认目标是否从外向里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警状态，不停光；4.2）如果多个目标为不同目标，则只发出告警信息，提醒操作者有人员或动物在危险区域之内，不停光。
50.第2个遍历周期内：5）第2个遍历周期内，如果未检测到目标，则无论第1个遍历周期如何，该周期内均保持正常状态，告警或紧急控制状态清零；6）第2个遍历周期内，无论何种情况，只要在ln或rn检测区检测到目标，不论目标是人还是动物，均紧急停光；7）第2个遍历周期内，如果在l
n-1
或r
n-1
以及之前的检测区检测到目标：7.1）如果检测到一个目标，则与第1个周期对比：7.1.1）若第1个周期没有检测到，则只告警、不停光；
7.1.1）若第1个周期检测到目标，则判断与第1个周期目标类别是否相同，相同则对比前后两个周期内目标坐标的移动方向，向里运动则紧急停光，向外运动则不停光；如果与第1个周期目标类别不相同，则只告警、不停光；7.2）如果检测到多个目标，则先在本周期内判断：7.2.1）如果多个目标均为同一个目标，则确认目标是否从外到里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警，不停光；如果在原区域保持不动，则只保持告警，不停光。
51.7.2.2）如果多个目标为不同目标，则与第1个周期的目标类别分别进行比较，相同类别且在前后两个遍历周期内，发生从外到里的横向移动的，紧急停光；相同类别为从里到外，或没有发生横向移动的，发出告警信息，提醒操作者有人员或动物在危险区域之内；不同类别的，只发出告警信息，提醒操作者有人员或动物在危险区域之内。
52.第3个遍历周期：8）自第3个遍历周期开始，当前周期作为第2遍历周期；9）原来的第2遍历周期变为第1遍历周期；10）回到步骤1），开始新的控制周期。
53.当某一周期均没有检测到目标时，所有状态清零，下一周期从初始状态开始。
54.特别的，当检测目标有多个时，在目标检测方法的识别网络添加2个不同的anchor box设计，其中，anchor box1的大小设计为270
×
1080，anchor box2的大小设计为270
×
270，分别负责人员、狗或猫的检测。每个网格都分配这两个anchor box。这两个anchor box的大小，可以根据具体系统的图像大小、图像分割后目标检测区的大小等因素进行相应调整，同时注意调整训练集的标记。
55.增加了anchor box的网络输出标签如下：
前9行属于anchor box1，其余9行属于anchor box2。anchor box1的形状类似于人的边界框，因此分配前9个元素负责输出对人的检测结果，后9个元素负责输出对狗或猫的检测结果。这种情况下的输出，将是4
×1×
16。增加两个anchor box之后，在同一个网格中可以同时检测出一个人和一只动物，再通过坐标转换，即可获得对象在输入图像中的绝对位置，进一步可转换得到对象在完整一帧图像中的绝对位置。
56.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。