掘进机人员违规越界的检测方法、装置及系统与流程

本发明涉及煤矿安全技术领域，具体而言，涉及一种掘进机人员违规越界的检测方法、装置及系统。

背景技术：

生产安全是企业发展的重要保障，是生产经营中应该贯彻的理念，抓好生产安全能够促进企业环境和社会环境的稳定，从而为企业营造良好的发展环境。在煤矿开采领域，矿工的安全一直是备受关注的焦点。

在采煤掘进面，经常会发现矿工违规操作的情况，进而威胁其人身安全。这些威胁如不能及时报警，将发生严重的生产事故。例如，在采煤掘进机工作状态下矿工进入采煤掘进机的前方及侧方的危险区域，极易发生人身伤害事故，目前对此类违规越界操作的检测能力不足，容易导致安全生产责任事故的发生。

技术实现要素：

本发明解决是现有掘进机人员违规越界操作的检测能力不足，容易发生安全生产责任事故的问题。

为解决上述问题，本发明提供一种掘进机人员违规越界的检测方法，所述方法包括：获取掘进机的监控视频；对所述监控视频的图像帧进行目标检测得到所述掘进机和人员的目标检测结果；根据所述目标检测结果判断所述掘进机是否处于运行状态；若处于运行状态，则根据所述目标检测结果确定所述掘进机对应的初始锚定框，并根据所述初始锚定框确定放大锚定框；其中，所述放大锚定框包围所述初始锚定框，将所述放大锚定框与所述初始锚定框之间的区域设定为危险区；根据所述目标检测结果判断在所述危险区内是否有人员违规越界。

可选地，所述掘进机的目标检测结果包括所述掘进机的中心点坐标、目标长度及目标宽度；所述根据所述目标检测结果确定所述掘进机对应的初始锚定框，并根据所述初始锚定框确定放大锚定框，包括：以所述掘进机的中心点坐标为锚定框的中心、目标长度为锚定框的长度、目标宽度为锚定框的宽度，得到初始锚定框；将所述初始锚定框按照预设放大系数进行长宽同比例放大，得到放大锚定框。

可选地，所述掘进机的目标检测结果包括所述掘进机的中心点坐标、目标长度及目标宽度；所述根据所述目标检测结果确定所述掘进机对应的初始锚定框，并根据所述初始锚定框确定放大锚定框，包括：以所述掘进机的中心点坐标为锚定框的中心、目标长度为锚定框的长度、目标宽度为锚定框的宽度，得到初始锚定框；将所述初始锚定框的前侧边界、左侧边界、右侧边界分别向外扩张预设距离，得到放大锚定框。

可选地，所述人员的目标检测结果包括所述人员的中心点坐标、目标长度及目标宽度；在所述根据所述目标检测结果确定所述掘进机对应的初始锚定框，并根据所述初始锚定框确定放大锚定框之后，所述方法还包括：判断人员的中心点坐标是否落在所述危险区内；若落在所述危险区内，则确定人员位置在所述危险区内。

可选地，所述人员的中心点坐标为(xp，yp)，所述初始锚定框坐标为(xj，yj，wj，hj)、所述放大锚定框坐标为(xj，yj，θwj，θhj)；

其中，xj，yj为所述初始锚定框及所述放大锚定框的中心点的坐标；wj为所述初始锚定框归一化的宽度，hj为所述初始锚定框归一化的高度；θ为预设放大系数，θwj为所述放大锚定框归一化的宽度，θhj为所述放大锚定框归一化的高度；

所述判断人员的中心点坐标是否落在所述危险区内，包括：

针对所述初始锚定框前方的危险区，若且则确定人员的中心点坐标落在所述危险区内；

针对所述初始锚定框左方的危险区，若且则确定人员的中心点坐标落在所述危险区内；

针对所述初始锚定框右方的危险区，若且则确定人员的中心点坐标落在所述危险区内。

可选地，所述根据所述目标检测结果判断所述掘进机是否处于运行状态，包括：获取所述目标检测结果中第一图像帧中特征物的第一位置信息及第二图像帧中所述特征物的第二位置信息；所述第一图像帧与所述第二图像帧间隔预设数量的图像帧；根据所述第一位置信息、所述第二位置信息确定所述特征物的水平位移；若所述水平位移与所述图像帧的长度之比大于第一移动容忍度，则确定所述掘进机处于运行状态；或者，根据所述第一位置信息、所述第二位置信息确定所述特征物的竖直位移；若所述竖直位移与所述图像帧的宽度之比大于第二预设移动容忍度，则确定所述掘进机处于运行状态。

可选地，所述方法还包括：获取所述掘进机的历史监控视频的图像帧对应的训练样本；所述训练样本包括已进行目标对象的位置及分类标注后的所述图像帧，所述目标对象包括以下至少一项：掘进机、尾灯、工具箱、临时支护、截割机构、人员；根据所述训练样本训练得到目标检测模型。

可选地，所述对所述监控视频的图像帧进行目标检测，得到所述掘进机和人员的目标检测结果，包括：将所述监控视频的图像帧转换至预设分辨率，得到转换后的图像帧；将转换后的图像帧输入所述目标检测模型得到所述掘进机和人员的目标检测结果。

本发明提供一种掘进机人员违规越界的检测装置，所述装置包括：视频获取模块，用于获取掘进机的监控视频；目标检测模块，用于对所述监控视频的图像帧进行目标检测，得到所述掘进机和人员的目标检测结果；运行判断模块，用于根据所述目标检测结果判断所述掘进机是否处于运行状态；锚定框确定模块，用于若处于运行状态，则根据所述目标检测结果确定所述掘进机对应的初始锚定框，并根据所述初始锚定框确定放大锚定框；其中，所述放大锚定框包围所述初始锚定框，将所述放大锚定框与所述初始锚定框之间的区域设定为危险区；越界检测模块，用于根据所述目标检测结果判断在所述危险区内是否有人员违规越界。

本发明提供一种掘进机人员违规越界的检测系统，包括摄像机及处理器；所述摄像机，用于采集监控视频；所述处理器，用于执行上述掘进机人员违规越界的检测方法。

本发明通过目标检测结果确定掘进机对应的初始锚定框及放大锚定框，及根据初始锚定框及放大锚定框设定危险区，若检测到人员位于该危险区内，则确定出现人员违规越界，能够自动化地识别掘进机人员违规越界操作行为，及时发现以及报警，保证安全生产，避免安全生产责任事故发生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的一个实施例中掘进机人员违规越界的检测系统的结构示意图；

图2为本发明的一个实施例中一种掘进机人员违规越界的检测方法的示意性流程图；

图3为本发明的一个实施例中掘进机和人员的目标检测结果的示意图；

图4为本发明的一个实施例中判断掘进机运行状态算法的示意图；

图5为本发明的一个实施例中判断人员违规越界算法的示意图；

图6为本发明的一个实施例中一种掘进机人员违规越界的检测装置的结构示意图。

附图标记说明：

101-摄像机；102-处理器；601-视频获取模块；602-目标检测模块；603-运行判断模块；604-锚定框确定模块；605-越界检测模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1所示的掘进机人员违规越界的检测系统的结构示意图，包括摄像机101及处理器102；摄像机101用于采集监控视频，处理器102，用于执行如掘进机人员违规越界的检测方法。可选地，该处理器102可以是图形处理器(graphicsprocessingunit，gpu)。

在生产环境中，将摄像机固定部署于掘进机后，使掘进机位于摄像机的监控视野范围内。摄像机采集实时视频数据通过网络回传至gpu服务器，gpu服务器在接收到摄像机原始数据后进行后台解码，解码后的图像存储于内存中供后续使用。在执行人员违规越界检测算法前，需要确认摄像机可以从掘进机后方观察到掘进机全貌，并且确定gpu服务器可以读取到摄像机的视频流。

gpu服务器利用计算机视觉中的目标检测技术，检测目标分类信息和目标位置信息，再通过人员违规越界检测算法判断是否存在人员越界违规。可选地，人员违规越界检测算法包括：判断掘进机移动的算法以及判断人员违规越界的算法两部分。

图2是本发明的一个实施例中一种掘进机人员违规越界的检测方法的示意性流程图，包括：

s202，获取掘进机的监控视频。

s204，对监控视频的图像帧进行目标检测，得到掘进机和人员的目标检测结果。该目标检测结果可包括各个目标对象的目标类别信息及目标位置信息。

可选地，基于预先训练的目标检测模型执行图像帧的目标检测，得到监控视频的多个图像帧的目标检测结果。预先训练目标检测模型，可包括以下步骤：

(1)获取掘进机的历史监控视频的图像帧对应的训练样本。该训练样本包括已进行目标对象的位置及分类标注后的图像帧，该目标对象包括以下至少一项：掘进机、尾灯、工具箱、临时支护、截割机构、人员。

在收集到历史监控视频后，对需要跟踪识别的目标对象的位置和分类信息进行标注和训练，模型收敛后提取最优化模型进行部署。部署后的模型可以识别上述目标对象的类别信息和位置信息。在上述目标对象中，有的目标对象在掘进机运行过程中，会相对于掘进机主体相对运动，例如上述截割机构在掘进机运行过程中逐渐向前延伸，因此具备上述特征的目标对象可以作为表征掘进机运行状态的特征物。

(2)根据上述训练样本训练得到目标检测模型。

参见图3所示的掘进机和人员的目标检测结果的示意图，示出了掘进机、机箱、灯及人员的类别及位置，分别以锚定框表示。该锚定框为目标检测算中预定义的框集合，其宽度和高度与数据集中对象的宽度和高度相匹配。

s206，根据目标检测结果判断掘进机是否处于运行状态。

基于监控视频的多个图像帧的目标检测结果，通过比较不同图像帧中同一特征物的位移情况，若其位移大于预设阈值，则确定掘进机处于运行状态。

s208，若处于运行状态，则根据目标检测结果确定掘进机对应的初始锚定框，并根据初始锚定框确定放大锚定框。

其中，放大锚定框包围初始锚定框，将放大锚定框与初始锚定框之间的区域设定为危险区。可选地，将上述区域中位于初始锚定框前方、左侧及右侧的区域，设定为危险区。由于掘进机对人员造成伤害的方向仅限于前方及左右两侧，后方危险性较低，因此可以仅将上述两个锚定框之间区域的前方及左右两侧的区域设定为危险区。

上述目标检测结果包括掘进机的中心点坐标、目标长度及目标宽度。可选地，一种确定初始锚定框及放大锚定框的方式如下：

a1，以掘进机的中心点坐标为锚定框的中心、目标长度为锚定框的长度、目标宽度为锚定框的宽度，得到初始锚定框。

a2，将初始锚定框按照预设放大系数进行长宽同比例放大，得到放大锚定框。该预设放大系数可以参照上述目标检测结果中人员的目标长度及目标宽度的平均值或者最大值确定，初始锚定框及放大锚定框之间条形区域的宽度需要满足大于人员的目标长度的1/2及目标宽度的1/2，以保证人员的中心点坐标落入放大锚定框的情况下，人员并未与掘进机实际接触。

可选地，另一种确定初始锚定框及放大锚定框的方式如下：

b1，以掘进机的中心点坐标为锚定框的中心、目标长度为锚定框的长度、目标宽度为锚定框的宽度，得到初始锚定框；

b2，将初始锚定框的前侧边界、左侧边界、右侧边界分别向外扩张预设距离，得到放大锚定框。该预设距离的确定方式与上述预设放大系数的确定过程类似，需保证人员的中心点坐标落入放大锚定框的情况下，人员并未与掘进机实际接触，在此不再赘述。

s210，根据上述目标检测结果判断在危险区内是否有人员违规越界。

上述目标检测结果包括人员的中心点坐标、目标长度及目标宽度。执行判断人员的中心点坐标是否落在危险区内；若落在危险区内，则确定人员位置在危险区内。若人员位置在危险区内，则进行人员违规越界报警。

本实施例提供的掘进机人员违规越界的检测方法，通过目标检测结果确定掘进机对应的初始锚定框及放大锚定框，及根据初始锚定框及放大锚定框设定危险区，若检测到人员位于该危险区内，则确定出现人员违规越界，能够自动化地识别掘进机人员违规越界操作行为，及时发现以及报警，保证安全生产，避免安全生产责任事故发生。

以下具体介绍掘进机是否处于运行状态的判断过程，包括：

(1)获取目标检测结果中第一图像帧中特征物的第一位置信息及第二图像帧中特征物的第二位置信息。该第一图像帧与第二图像帧间隔预设数量的图像帧。

其中，特征物为在掘进机运行过程中相对于掘进机主体相对运动的部件，例如截割机构等，通过其位置变化可确定掘进机的运行状态。需要说明的是，上述特征物需要提前选取及设定。

(2)根据上述第一位置信息、第二位置信息确定特征物的水平位移。若水平位移与图像帧的长度之比大于预设移动容忍度，则确定掘进机处于运行状态。或者，根据上述第一位置信息、第二位置信息确定特征物的竖直位移；若竖直位移与图像帧的宽度之比大于第二预设移动容忍度，则确定掘进机处于运行状态。

上述预设移动容忍度为特征物体中心点移动轨迹在水平方向、竖直方向的投影占图像帧的长度或宽度的比例。每间隔固定帧数进行一次检测，当相邻两次检测的特征物在水平或竖直方向的位置超过预设的移动容忍度，则确定为掘进机正在运行。

基于目标检测得到的目标位置的信息格式为：(x，y，w，h)其中x，y为归一化的中心点坐标，w，h为归一化的目标宽度和目标高度。

参见图4所示的判断掘进机运行状态算法的示意图，对原始图像帧f识别得到掘进机的锚定框a，以及在锚定框a中的特征物的锚定框a及锚定框a′，锚定框a对应于某图像帧，锚定框a′对应于t帧后的图像帧。

若特征物的初始中心点坐标为(x，y)，t帧过后特征物的中心点变为(x′，y′)，则该特征物移动的像素点δx＝x-x′，δy＝y-y′。图像帧的长度和宽度以像素点分别表示为w和h。若或则判定为掘进机正在运行，该th为移动容忍度阈值。

参见图5所示的判断人员违规越界算法的示意图，对原始图像帧f识别得到掘进机的初始锚定框a，在初始锚定框a与放大锚定框b之间区域，分为前方的危险区d1、左方的危险区d2、右方的危险区d3，以及示出了人员锚定框p。

以图5竖直向下方向为y轴正方向，以图5水平向右方向为x轴正方向，人员锚定框p的中心点坐标为(xp，yp)，初始锚定框坐标为(xj，yj，wj，hj)、放大锚定框坐标为(xj，yj，θwj，θhj)。

其中，xj，yj为初始锚定框及放大锚定框的中心点的坐标；wj为初始锚定框归一化的宽度，hj为初始锚定框归一化的高度；θ为预设放大系数，θwj为放大锚定框归一化的宽度，θhj为放大锚定框归一化的高度。

可选地，判断人员的中心点坐标是否落在危险区内，包括：

针对初始锚定框前方的危险区，若且则确定人员的中心点坐标落在危险区内。

针对初始锚定框左方的危险区，若且则确定人员的中心点坐标落在危险区内。

针对初始锚定框右方的危险区，若且则确定人员的中心点坐标落在危险区内。

在对监控视频的图像帧进行目标检测时，可以将监控视频的图像帧转换至预设分辨率，得到转换后的图像帧；然后，将转换后的图像帧输入目标检测模型得到目标检测结果。可选地，服务器提取内存中图像帧并将其图像分辨率统一归为416*416*3。

本实施例在掘进机工作过程中，对掘进机工作人员违规越界进入危险区域进行检测，利用计算机视觉技术自动化地识别工人违规行为，检测的结果可根据需求接入煤矿安全生产监控平台，以进行违规报警，及时发现违规行为，保证煤矿安全生产。

图6是本发明的一个实施例中一种掘进机人员违规越界的检测装置的结构示意图，所述装置包括：

视频获取模块601，用于获取掘进机的监控视频；

目标检测模块602，用于对所述监控视频的图像帧进行目标检测得到所述掘进机和人员的目标检测结果；

运行判断模块603，用于根据所述目标检测结果判断所述掘进机是否处于运行状态；

锚定框确定模块604，用于若处于运行状态，则根据所述目标检测结果确定所述掘进机对应的初始锚定框，并根据所述初始锚定框确定放大锚定框；其中，所述放大锚定框包围所述初始锚定框，将所述放大锚定框与所述初始锚定框之间的区域设定为危险区；

越界检测模块605，用于根据所述目标检测结果判断在所述危险区内是否有人员违规越界。

本实施例提供的掘进机人员违规越界的检测装置，通过目标检测结果确定掘进机对应的初始锚定框及放大锚定框，及根据初始锚定框及放大锚定框设定危险区，若检测到人员位于该危险区内，则确定出现人员违规越界，能够自动化地识别掘进机人员违规越界操作行为，及时发现以及报警，保证安全生产，避免安全生产责任事故发生。

可选地，作为一个实施例，所述掘进机的目标检测结果包括所述掘进机的中心点坐标、目标长度及目标宽度；所述锚定框确定模块603，具体用于：以所述掘进机的中心点坐标为锚定框的中心、目标长度为锚定框的长度、目标宽度为锚定框的宽度，得到初始锚定框；将所述初始锚定框按照预设放大系数进行长宽同比例放大，得到放大锚定框。

可选地，作为一个实施例，所述掘进机的目标检测结果包括所述掘进机的中心点坐标、目标长度及目标宽度；所述锚定框确定模块603，具体用于：以所述掘进机的中心点坐标为锚定框的中心、目标长度为锚定框的长度、目标宽度为锚定框的宽度，得到初始锚定框；将所述初始锚定框的前侧边界、左侧边界、右侧边界分别向外扩张预设距离，得到放大锚定框。

可选地，作为一个实施例，所述人员的目标检测结果包括所述人员的中心点坐标、目标长度及目标宽度；所述装置还包括越界判断模块，用于：判断人员的中心点坐标是否落在所述危险区内；若落在所述危险区内，则确定人员位置在所述危险区内。

可选地，作为一个实施例，所述人员的中心点坐标为(xp，yp)，所述初始锚定框坐标为(xj，yj，wj，hj)、所述放大锚定框坐标为(xj，yj，θwj，θhj)；

其中，xj，yj为所述初始锚定框及所述放大锚定框的中心点的坐标；wj为所述初始锚定框归一化的宽度，hj为所述初始锚定框归一化的高度；θ为预设放大系数，θwj为所述放大锚定框归一化的宽度，θhj为所述放大锚定框归一化的高度；

所述越界判断模块，具体用于：针对所述初始锚定框前方的危险区，若且则确定人员的中心点坐标落在所述危险区内；针对所述初始锚定框左方的危险区，若且则确定人员的中心点坐标落在所述危险区内；针对所述初始锚定框右方的危险区，若且则确定人员的中心点坐标落在所述危险区内。

可选地，作为一个实施例，所述运行判断模块602，具体用于：获取所述目标检测结果中第一图像帧中特征物的第一位置信息及第二图像帧中所述特征物的第二位置信息；所述第一图像帧与所述第二图像帧间隔预设数量的图像帧；根据所述第一位置信息、所述第二位置信息确定所述特征物的水平位移；若所述水平位移与所述图像帧的长度之比大于第一预设移动容忍度，则确定所述掘进机处于运行状态；或者，根据所述第一位置信息、所述第二位置信息确定所述特征物的竖直位移；若所述竖直位移与所述图像帧的宽度之比大于第二预设移动容忍度，则确定所述掘进机处于运行状态。

可选地，作为一个实施例，所述装置还包括模型训练模块，用于：获取所述掘进机的历史监控视频的图像帧对应的训练样本；所述训练样本包括已进行目标对象的位置及分类标注后的所述图像帧，所述目标对象包括以下至少一项：掘进机、尾灯、工具箱、临时支护、截割机构、人员；根据所述训练样本训练得到目标检测模型。

可选地，作为一个实施例，所述目标检测模块601，具体用于：将所述监控视频的图像帧转换至预设分辨率，得到转换后的图像帧；将转换后的图像帧输入所述目标检测模型得到所述掘进机和人员的目标检测结果。

本发明实施例还提供一种掘进机人员违规越界的检测系统，包括摄像机及处理器；所述摄像机，用于采集监控视频；所述处理器，用于执行上述掘进机人员违规越界的检测方法。

上述实施例提供的掘进机人员违规越界的检测装置能够实现上述基于掘进机人员违规越界的检测方法的实施例中的各个过程，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述掘进机人员违规越界的检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。