一种矿井移动目标检测与跟踪识别方法与流程

本发明涉及机器视觉与矿井移动目标检测的智能识别领域，具体地说涉及一种基于机器视觉的加速区域卷积神经网络矿井移动目标检测与跟踪识别方法。

背景技术：

智能化开采是矿井安全、高效集约化生产的发展趋势，研究井下作业人员、机车设备和作业机器人等移动目标准确检测与跟踪识别，对保障井下人员避险、车辆防撞和智能安全开采具有重要意义。现有矿井人员、井下机车和移动机器人等移动目标识别方法主要采用静态的射频识别技术，但是这种方式通过矿井RFID射频识别技术只能进行井下移动目标的进出识别，无法实现对移动目标的多维信息检测与跟踪识别，尤其是在井下NLOS环境存在多径干扰，受电磁波传播衰减和传播时延影响较大，难以实现对矿井移动目标进行实时跟踪与准确识别。近年来，基于机器视觉的跟踪与识别技术具有识别精度高、抗干扰能力强和可远距离获取目标图像等特点，其在智能监控、运动目标检测与识别、视觉导航等领域的应用成为研究热点。因此，为了克服现有矿井移动目标识别技术的不足，本发明提出采用基于机器视觉的加速卷积神经网络方法，实现对矿井移动目标准确检测与跟踪识别。

技术实现要素：

本发明所采用的技术方案是：针对上述存在的问题，提出一种基于机器视觉的矿井移动目标检测与跟踪识别方法，用于实现矿井人员、机车和机器人移动目标的检测与跟踪识别。所述矿井移动目标检测与跟踪识别方法，其实现步骤包括：

步骤1、制作训练集：利用矿井视频图像采集设备采集矿井环境照片，把矿井移动目标的数字标签作为身份标识符合成到环境照片，并对合成照片中数字标签进行标注，将标注过的合成照片作为训练集；

步骤2、构建并训练加速区域卷积神经网络Faster-RCNN：加速区域卷积神经网络Faster-RCNN包括提取图片特征的卷积层部分、区域建议网络RPN的全连接层部分和目标检测网络Fast-RCNN的全连接层部分；其中，提取图片特征的卷积层部分使用VGG16网络，目标检测网络Fast-RCNN全连接层部分最后的分类层输出设置为2，回归层输出设置为8；

步骤3、利用训练好的加速区域卷积神经网络Faster-RCNN对矿井视频图像采集设备采集的视频帧进行处理，获取视频帧中的数字标签区域；

步骤4、将步骤3获取的数字标签进行字符分割操作，获取单个数字字符；

步骤5、将步骤4获取的单个数字字符输入数字识别模型LeNet网络，进行数字识别；

步骤6、根据步骤5识别出的数字标签确定矿井移动目标的身份信息。

步骤7、如果步骤3没有在视频帧中检测到数字标签区域，则重复执行步骤3～步骤6。

所述矿井移动目标检测与跟踪识别方法，其中，步骤2进一步包括以下子步骤：

2.1)加速区域卷积神经网络Faster-RCNN初始化：采用ImageNet预训练模型VGG16网络初始化区域建议网络RPN的卷积层部分，采用零均值标准差为0.01的高斯分布初始化区域建议网络RPN卷积层后面的全连接层部分，采用ImageNet预训练模型VGG16网络初始化目标检测网络Fast-RCNN的卷积层部分；

2.2)利用步骤1的训练集对区域建议网络RPN进行端到端的训练，直到区域建议网络RPN收敛为止；

2.3)使用收敛的区域建议网络RPN生成建议框，并作为输入用于单独训练目标检测网络Fast-RCNN，以及用于微调ImageNet预训练模型VGG16网络；

2.4)固定目标检测网络Fast-RCNN的卷积层部分的参数，利用步骤2.3)已训练好的目标检测网络Fast-RCNN来训练区域建议网络RPN；

2.5)固定目标检测网络Fast-RCNN的卷积层部分的参数，根据步骤2.4)训练出的区域建议网络RPN生成建议框，并训练目标检测网络Fast-RCNN全连接层部分的参数；

2.6)重复步骤2.4)和步骤2.5)，直到加速区域卷积神经网络Faster-RCNN收敛为止。

所述矿井移动目标检测与跟踪识别方法，其中，所述步骤1中对数字标签进行标注，指的是用矩形框框出合成照片中的数字标签，并记录每张合成照片中的数字标签数目和每个数字标签边界框的四维坐标信息。

所述矿井移动目标检测与跟踪识别方法，其中，所述矿井视频图像采集设备包括矿用本安型视觉传感器、矿用本安型相机和矿用本安型摄像机。

本发明的有益效果在于：

该发明相对于现有基于WSN、RSSI和RFID等无线射频技术的矿井人员目标识别方法具有抗干扰能力强、识别精度高等优点，采用基于机器视觉的加速区域卷积神经网络方法能实现井下人员、机车设备和移动机器人等目标的准确检测与实时跟踪识别，对提高矿井智能化监控、实时跟踪识别井下移动目标，以及保障井下人员避险、车辆防撞和智能安全开采具有重要意义。

附图说明

图1为基于机器视觉的矿井移动目标检测与跟踪识别方法流程图

图2为样本训练集生成流程图

图3为构建并训练加速区域卷积神经网络Faster-RCNN模型流程图

图4为字符分割流程图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明的具体实施方式进行详细描述。

图1为基于机器视觉的矿井移动目标检测与跟踪识别方法流程图。其实现过程为：从矿井视频图像采集设备采集视频帧图片，将视频帧图片制作成合适格式图片，并输入训练好的加速区域卷积神经网络Faster-RCNN检测模型，当检测到视频帧图片中的数字标签时，对数字标签进行字符分割操作，把分割出的单个数字字符依次输入LeNet网络进行数字识别，最后返回识别出的数字序列，根据识别出的数字序列确定矿井移动目标的身份信息。

图2为样本训练集生成流程图。通过矿井视频图像采集设备采集矿井多场景多角度环境照片，把矿井移动目标的数字标签作为身份标识符合成到环境照片，数字标签在合成照片中的位置是随机的，可以平行于合成照片放置或者垂直于合成照片放置；对合成照片中的数字标签进行位置标注，对数字标签进行标注指的是用矩形框框出合成照片中的数字标签，并记录每张合成照片中的数字标签数目和每个数字标签边界框的四维坐标信息；将标注过的合成照片进行格式转换，生成训练集。

图3为用于训练区域卷积神经网络Faster-RCNN模型的样本集生成的流程图。具体地，构建并训练加速区域卷积神经网络Faster-RCNN模型流程图包括如下步骤：

步骤1、用ImageNet预训练模型VGG16网络初始化区域建议网络RPN的卷积层部分，用零均值标准差为0.01的高斯分布初始化区域建议网络RPN卷积层后面的全连接层部分；

步骤2、将训练集输入到步骤1中区域建议网络RPN被初始化的卷积层部分，生成特征面，利用特征面对区域建议网络RPN进行训练，直到区域建议网络RPN收敛，训练区域建议网络RPN需要的损失函数为：

式中，i为一个训练批量中候选区域的索引，pi是第i个候选区域为目标的预测概率。如果候选区域为正，GT标签则为1，反之为0。ti是一个向量，即ti＝(tx,ty,tw,th)，表示预测的边界框的4个参数化坐标，是与正候选区域对应的GT边界框的坐标向量，即λ为平衡权重，此处取为10，Ncls为训练批量大小，即256，Nreg为候选区域的数量，约为2000。分类损失Lcls是两个类别(目标与非目标)的对数损失，即：

进一步由

求解计算回归损失Lreg。

其中，R为具有稳健性的损失函数。意味着只有正候选区域，即时才有回归损失，其他情况下，即时无回归损失。

上述参数化坐标向量ti和定义为

式中，x、y、w、h分别为预测边界框的中心坐标(x,y)、宽和高；xa、ya、wa、ha分别为候选区域边界框的中心坐标(xa,ya)、宽和高；x^*、y^*、w^*、h^*分别为GT边界框的中心坐标(x^*,y^*)、宽和高。ti和用于计算回归损失，可以理解为从候选区域边界框到附近的GT边界框的边界回归。

步骤3、用ImageNet预训练模型VGG16网络初始化目标检测网络Fast-RCNN的卷积层部分，将训练集输入目标检测网络Fast-RCNN的卷积层部分，生成特征面；

步骤4、使用步骤2收敛的区域建议网络RPN生成的建议框和步骤3生成的特征面作为输入来单独训练目标检测网络Fast-RCNN，使得步骤3提到的ImageNet预训练模型VGG16网络被微调；

步骤5、固定步骤3提到的目标检测网络Fast-RCNN的卷积层部分的参数，用已训练好的目标检测网络Fast-RCNN来训练区域建议网络RPN；

步骤6、固定步骤3提到的目标检测网络Fast-RCNN的卷积层部分的参数，用步骤5训练出的区域建议网络RPN生成建议框来训练Fast-RCNN网络的全连接层部分的参数；

步骤7、重复步骤5和步骤6，直到加速区域卷积神经网络Faster-RCNN收敛。

图4为字符分割流程图。对获取到的数字标签进行二值化处理，并用取轮廓方法获取数字标签中每个数字的轮廓，沿着每个数字的轮廓截取出矩形图片，并依次输入数字识别网络进行数字识别。

显然，本领域的技术人员应该明白，本发明及上述实施例所涉及识别方法，除作为矿井移动目标监测与跟踪识别应用于煤矿井下环境外，也适用于金属和非金属等非煤矿山的移动目标监控、跟踪与定位，以及井下智能工作面移动作业设备的跟踪识别与智能可视化监测。这样本发明不限制除煤矿井下移动目标定位之外的非煤矿山、智能工作面移动监控和物联网设备精准识别与定位等通信技术领域。

以上内容是结合具体的优选实施例方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明设计思路的前提下，还可进行若干简单的步骤替换和更改，都应当视为属于本发明所提交的权利要求书所涉及的保护范围。