一种燃气设施区域的智能监控方法及装置与流程

1.本发明属于安全监控技术领域，具体涉及一种燃气设施区域的智能监控方法及装置。


背景技术：

2.燃气作为人民生活中的必需品，一方面提高了人民的生活质量，另一方面也存在着潜在的风险。燃气设施的不当使用、人为破坏都有可能引发燃气设施损坏，燃气泄漏，导致人员中毒、火灾甚至燃气爆炸的发生，严重威胁着燃气设施和人员的人身安全。燃气事故不仅给国家造成了巨大损失，而且对人民的生命和财产安全构成了严重威胁。据统计，2020年中国共发生燃气事故539例，造成88人遇难和496人受伤。因此，保障燃气设施的平稳运行对构建安全的生活环境具有重要意义。
3.随着电子、通信和视频监控技术的不断发展与更新，视频监控系统在各个领域中得到了广泛地应用。为了实现对燃气设施区域的安全监控，本发明提出一种基于视频图像的智能监控方法及装置。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种燃气设施区域的智能监控方法及装置。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种燃气设施区域的智能监控方法，包括以下步骤：
7.基于人工神经网络构建人员检测模型，所述模型输出人员位置及包括工作人员和非工作人员的人员类别；
8.实时获取燃气设施区域的监控视频图像，将所述图像输入至训练好的人员检测模型，得到人员的位置及类别；
9.基于所述人员的位置及类别对所述人员进行异常行为检测，如果存在异常行为，则进行报警。
10.进一步地，所述人员检测模型采用改进的yolov4-tiny网络结构，在原有的两个特征层的基础上，增加一个较大尺寸的特征层，用于对小目标进行预测；利用k-means++聚类算法计算出当前数据集中人员图像的宽高尺寸，从而确定检测框的数量和尺寸大小；引入了注意力机制模块，通过训练确定不同尺度的特征融合权重。
11.进一步地，所述异常行为检测包括携带异物检测，方法如下：
12.构建异物检测模型，并对所述模型进行训练；
13.将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；
14.计算人员检测框和异物检测框交集的面积与异物检测框的面积的比值k：
15.16.式中，s
a∩b
为人员检测框和异物检测框交集的面积，sb为异物检测框的面积；
17.若k大于设定的阈值，则认为所述人员携带异物。
18.进一步地，所述异常行为检测包括人员徘徊检测，方法如下：
19.将实时获取的视频图像输入人员检测模型，识别出人员类别并获得人员检测框；
20.对所述人员进行跟踪，估算所述检测框的运动速度v；
21.计算所述人员通过燃气设施区域所用的时间t；
22.若t大于设定的阈值，则认为所述人员存在徘徊行为，所述阈值与v负相关，即v越大所述阈值越小。
23.进一步地，所述方法还包括生成视频监控界面，所述监控界面包括分区显示界面、查询详细信息界面、设备分布显示界面、设备状态显示界面、实时监控画面界面和场景显示界面。
24.第二方面，本发明提供一种燃气设施区域的智能监控装置，包括：
25.模型构建模块，用于基于人工神经网络构建人员检测模型，所述模型输出人员位置及包括工作人员和非工作人员的人员类别；
26.人员检测模块，用于实时获取燃气设施区域的监控视频图像，将所述图像输入至训练好的人员检测模型，得到人员的位置及类别；
27.异常检测模块，用于基于所述人员的位置及类别对所述人员进行异常行为检测，如果存在异常行为，则进行报警。
28.进一步地，所述人员检测模型采用改进的yolov4-tiny网络结构，在原有的两个特征层的基础上，增加一个较大尺寸的特征层，用于对小目标进行预测；利用k-means++聚类算法计算出当前数据集中人员图像的宽高尺寸，从而确定检测框的数量和尺寸大小；引入了注意力机制模块，通过训练确定不同尺度的特征融合权重。
29.进一步地，所述异常行为检测包括携带异物检测，方法如下：
30.构建异物检测模型，并对所述模型进行训练；
31.将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；
32.计算人员检测框和异物检测框交集的面积与异物检测框的面积的比值k：
[0033][0034]
式中，s
a∩b
为人员检测框和异物检测框交集的面积，sb为异物检测框的面积；
[0035]
若k大于设定的阈值，则认为所述人员携带异物。
[0036]
进一步地，所述异常行为检测包括人员徘徊检测，方法如下：
[0037]
将实时获取的视频图像输入人员检测模型，识别出人员类别并获得人员检测框；
[0038]
对所述人员进行跟踪，估算所述检测框的运动速度v；
[0039]
计算所述人员通过燃气设施区域所用的时间t；
[0040]
若t大于设定的阈值，则认为所述人员存在徘徊行为，所述阈值与v负相关，即v越大所述阈值越小。
[0041]
进一步地，所述装置还包括显示模块，用于生成视频监控界面，所述监控界面包括分区显示界面、查询详细信息界面、设备分布显示界面、设备状态显示界面、实时监控画面界面和场景显示界面。
[0042]
与现有技术相比，本发明具有以下有益效果。
[0043]
本发明通过基于人工神经网络构建人员检测模型，所述模型输出人员位置及包括工作人员和非工作人员的人员类别，实时获取燃气设施区域的监控视频图像，将所述图像输入至训练好的人员检测模型，得到人员的位置及类别，基于所述人员的位置及类别对所述人员进行异常行为检测，如果存在异常行为，则进行报警，实现了燃气设施区域的自动监控与报警。本发明通过构建人员检测模型，能够自动识别进入监控区域的人员类别；通过对进入监控区域的人员进行异常行为检测，能够对监控区域存在的潜在危险进行自动检测并报警。
附图说明
[0044]
图1为本发明实施例一种燃气设施区域的智能监控方法的流程图。
[0045]
图2为人员携带异物检测示意图。
[0046]
图3为本发明实施例一种燃气设施区域的智能监控装置的方框图。
具体实施方式
[0047]
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
图1为本发明实施例一种燃气设施区域的智能监控方法的流程图，包括以下步骤：
[0049]
步骤101，基于人工神经网络构建人员检测模型，所述模型输出人员位置及包括工作人员和非工作人员的人员类别；
[0050]
步骤102，实时获取燃气设施区域的监控视频图像，将所述图像输入至训练好的人员检测模型，得到人员的位置及类别；
[0051]
步骤103，基于所述人员的位置及类别对所述人员进行异常行为检测，如果存在异常行为，则进行报警。
[0052]
本实施例中，步骤101主要用于构建人员检测模型。本实施例基于人工神经网络构建人员检测模型。本实施例所要识别的人员类别包括工作人员和非工作人员。识别工作人员和非工作人员很重要，比如工作人员和非工作人员的相同行为对燃气设施产生的影响却有明显区别，因此需要识别人员类别，而且进行报警时一定要标示人员类别。构建人员检测模型，首先要确定模型的网络结构，然后通过搜集历史监控视频图像建立训练数据集，并利用所述训练数据集对所述模型进行训练，确定模型参数。训练数据集中包括工作人员和非工作人员的图像的数量要相当；工作人员和非工作人员的一个明显区别是服装不同，工作人员一般着具有相同样式和颜色的制服，而非工作人员的服装的规律性或一致性较差。
[0053]
本实施例中，步骤102主要用于人员类别识别。本实施例通过将实时获取的燃气设施区域的监控视频图像，输入至训练好的人员检测模型，得到人员的位置及类别。本实施例通过架设摄像机实时获取燃气设施区域的监控视频图像，所述摄像机一般选取ip网络摄像机。ip网络摄像机是基于网络传输的数字化设备，网络摄像机除了具有普通复合视频信号输出接口bnc外，还有网络输出接口，可直接将摄像机接入本地局域网，每一个ip网络摄像
机都有自己的ip网址。比如，可以选用华为的d3220p摄像机，分辨率可达1080p，帧率最高可为32fps，传输带宽可达5mz，传统方式采用云端传输。
[0054]
本实施例中，步骤103主要用于进行人员异常行为检测。人员异常行为的界定与实际的监控环境有关，也就是说不同的监控环境和目的对异常行为的定义不同。由于本实施例的监控对象是燃气设施，目的是保证燃气设施安全，因此异常行为的定义与是否可能对燃气设施构成威胁有关。比如，在燃气设施区域应用场景下，当存在人员携带异物进入燃气设施区域时，该人员可能会对燃气设施造成破坏，因此可以将人员携带异物进入燃气设施区域视认异常行为，需要及时告警与记录。还有，踢打行为和徘徊行为也都视为异常行为。本实施例是在人员类别识别的基础上进行异常行为检测，如果检测到存在异常行为，则及时报警；报警时说明人员的类别(如“工作人员携带异物”)，以便针对不同人员类别采取不同的对策。异常行为检测仍然基于人工神经网络构建检测模型，并根据不同异常行为采用不同判定规则。
[0055]
本实施例通过构建人员检测模型，能够自动识别进入监控区域的人员类别；通过对进入监控区域的人员进行异常行为检测，能够对监控区域存在的潜在危险进行自动检测并报警。
[0056]
作为一可选实施例，所述人员检测模型采用改进的yolov4-tiny网络结构，在原有的两个特征层的基础上，增加一个较大尺寸的特征层，用于对小目标进行预测；利用k-means++聚类算法计算出当前数据集中人员图像的宽高尺寸，从而确定检测框的数量和尺寸大小；引入了注意力机制模块，通过训练确定不同尺度的特征融合权重。
[0057]
本实施例给出了人员检测模型的一种网络结构。由于本实施例的人员检测模型针对的是进入燃气设施区域的人员，目的是准确快速地检测出进入所述区域的人员位置信息和其对应的身份类别(工作或非工作人员)，因此对实时性要求较高。为了兼顾检测的精度和实时性，本实施例采用目前运行效率较高的目标检测算法yolov4-tiny模型，并对yolov4-tiny模型进行改进。主要改进如下：
[0058]
在部分燃气设施区域，监控设备视野较为广阔，存在人员在监控画面上占比较小的情况。为提升模型检测效果，在原有的两个特征层的基础上，增加一个大尺寸特征层，负责对小目标进行预测，提高模型对小目标的检测能力。
[0059]
由于模型需要检测的对象为进入燃气设施区域的人员，人员检测框的比例相对固定，通过k-means++聚类算法，计算出当前数据集中人员所占的宽高比，通过聚类算法确定最能代表所有数据的宽高尺寸，从而调整检测框的尺寸。
[0060]
引入了注意力机制模块，通过训练决定不同尺度的特征融合权重，使模型更加关注重要的特征，对工作人员服装特征提取更加精准，提升模型的细粒度检测效果，增强模型区分不同人员类别特征的能力。
[0061]
作为一可选实施例，所述异常行为检测包括携带异物检测，方法如下：
[0062]
构建异物检测模型，并对所述模型进行训练；
[0063]
将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；
[0064]
计算人员检测框和异物检测框交集的面积与异物检测框的面积的比值k：
[0065]
[0066]
式中，s
a∩b
为人员检测框和异物检测框交集的面积，sb为异物检测框的面积；
[0067]
若k大于设定的阈值，则认为所述人员携带异物。
[0068]
本实施例给出了携带异物检测的一种技术方案。本实施例首先通过建立异物检测模型，将实时获取的视频图像输入到训练好的模型中，得到异物检测框，如图2所示；然后计算人员检测框和异物检测框的重合部分面积，即两个检测框交集的面积s
a∩b
，并计算s
a∩b
与异物检测框的面积sb的比值k。k的大小反映了人员和异物的接近程度，k越大，人员和异物越接近；最后根据k值与设定的阈值的相对大小进行判定，若k大于设定的阈值，则认为所述人员携带异物。所述阈值的大小对检测结果有直接影响，因此阈值选取一定要慎重，一般根据行业经验或反复实验设定。
[0069]
作为一可选实施例，所述异常行为检测包括人员徘徊检测，方法如下：
[0070]
将实时获取的视频图像输入人员检测模型，识别出人员类别并获得人员检测框；
[0071]
对所述人员进行跟踪，估算所述检测框的运动速度v；
[0072]
计算所述人员通过燃气设施区域所用的时间t；
[0073]
若t大于设定的阈值，则认为所述人员存在徘徊行为，所述阈值与v负相关，即v越大所述阈值越小。
[0074]
本实施例给出了徘徊检测的一种技术方案。对于进入燃气设施区域的人员来说，一直沿着某一方向通过所述区域属于正常行为；如果出现左顾右盼、频繁改变行走方向等徘徊现象，则认为是一种异常行为。徘徊检测的方法很多，本实施例进行徘徊检测的技术原理是：徘徊通过所述区域的时间大于正常行走通过所述区域的时间。因此可通过计算人员通过燃气设施区域所用的时间t，并与设定的阈值进行比较，判定是否存在徘徊行为。由于t的大小与行走速度有关(速度越大，t越小)，为了提高徘徊检测的精度，本实施例设计了动态检测阈值，即根据人员的行走速度动态调整检测阈值的大小，速度越大，设定的检测阈值越小。行走速度可通过计算一小段时间内人员检测框中心点移动的距离获得。
[0075]
作为一可选实施例，所述方法还包括生成视频监控界面，所述监控界面包括分区显示界面、查询详细信息界面、设备分布显示界面、设备状态显示界面、实时监控画面界面和场景显示界面。
[0076]
本实施例给出了对视频监控画面进行显示的一种技术方案。本实施例通过在显示屏上生成视频监控界面进行监控显示。所述监控界面包括多个界面，下面分别进行介绍。
[0077]
分区显示界面：主要用于显示不同区域不同设备的情况。比如，该区域是否有异常情况的发生，曾发生的异常事件类型，发生总数的多少。可以更好地帮助工作人员针对某种情况做重点监测。
[0078]
查询详细信息界面：主要用于当某区域发生异常情况告警时，工作人员可通过点击查询详细信息功能查看此时摄像机捕捉到的画面，当时发生的异常情况的细节，如人员类型和具体位置等，同时也可排查是否为误报，再进行下一步的处理。
[0079]
设备分布显示界面：主要用于显示当前设备所处的位置，一旦某个区域的设备发生异常，在显示功能上将无法显示，因此工作人员还可以通过这个画面判断当前每个区域设备是否正常工作。
[0080]
设备状态显示界面：主要用于显示每个重点区域的状况。比如是否有异常情况发生，当前场景下有多少人员出现等。
[0081]
实时监控画面界面：主要用于更加直观地察看当前时刻是否异常情况发生，以及异常情况发生的类型。一旦有异常情况发生，右侧的告警信息栏里会出现文字信息提醒工作人员，此时有异常情况发生，请立即处理。
[0082]
场景截图界面：主要用于在检测到异常情况发生时，自动保存当前处理帧以及视频帧的图像，为工作人员提供历史检索的功能，可以及时排查监控漏洞。
[0083]
图3为本发明实施例一种燃气设施区域的智能监控装置的组成示意图，所述装置包括：
[0084]
模型构建模块11，用于基于人工神经网络构建人员检测模型，所述模型输出人员位置及包括工作人员和非工作人员的人员类别；
[0085]
人员检测模块12，用于实时获取燃气设施区域的监控视频图像，将所述图像输入至训练好的人员检测模型，得到人员的位置及类别；
[0086]
异常检测模块13，用于基于所述人员的位置及类别对所述人员进行异常行为检测，如果存在异常行为，则进行报警。
[0087]
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
[0088]
作为一可选实施例，所述人员检测模型采用改进的yolov4-tiny网络结构，在原有的两个特征层的基础上，增加一个较大尺寸的特征层，用于对小目标进行预测；利用k-means++聚类算法计算出当前数据集中人员图像的宽高尺寸，从而确定检测框的数量和尺寸大小；引入了注意力机制模块，通过训练确定不同尺度的特征融合权重。
[0089]
作为一可选实施例，所述异常行为检测包括携带异物检测，方法如下：
[0090]
构建异物检测模型，并对所述模型进行训练；
[0091]
将实时获取的视频图像输入至训练好的所述模型，得到异物检测框；
[0092]
计算人员检测框和异物检测框交集的面积与异物检测框的面积的比值k：
[0093][0094]
式中，s
a∩b
为人员检测框和异物检测框交集的面积，sb为异物检测框的面积；
[0095]
若k大于设定的阈值，则认为所述人员携带异物。
[0096]
作为一可选实施例，所述异常行为检测包括人员徘徊检测，方法如下：
[0097]
将实时获取的视频图像输入人员检测模型，识别出人员类别并获得人员检测框；
[0098]
对所述人员进行跟踪，估算所述检测框的运动速度v；
[0099]
计算所述人员通过燃气设施区域所用的时间t；
[0100]
若t大于设定的阈值，则认为所述人员存在徘徊行为，所述阈值与v负相关，即v越大所述阈值越小。
[0101]
作为一可选实施例，所述装置还包括显示模块，用于生成视频监控界面，所述监控界面包括分区显示界面、查询详细信息界面、设备分布显示界面、设备状态显示界面、实时监控画面界面和场景显示界面。
[0102]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。