一种用于烟火及人员行为视频分析的前端设备的制作方法

1.本发明属于烟火及人员行为识别技术领域，具体为一种用于烟火及人员行为视频分析的前端设备。


背景技术：

2.近些年随着视频监控设备的不断普及和人工智能技术的不断完善，通过视频智能分析识别某些行为和现象，从而辅助人的决策，将极大提升社会整体智能化水平。传统的后端视频分析采用分析通过前端设备采集数据、数据传输至后端服务器进行分析的方式，目前单台服务器仅能接入有限路数的监控设备，面对大场景存在服务器部署成本高的难题；且数据在传输过程中因经过压缩处理，故后端分析效率将会降低。视频智能分析采用前端分析处理将会极大提升分析效率。
3.但是现有技术多为基于后端的视频分析设备，单台分析服务器接入视频路数有限，企业在使用中存在“服务器部署成本高”等问题；后端分析“图像数据多为压缩后进行传输，图像分辨率有所降低，分析效率较低”；现有前端智能分析受限于较弱的计算资源和有限的空间。


技术实现要素：

4.本发明的目的在于：为了解决上述提出的问题，提供一种用于烟火及人员行为视频分析的前端设备。
5.本发明采用的技术方案如下：一种用于烟火及人员行为视频分析的前端设备，其特征在于：所述前端设备的内部设置有用于烟火及人员行为视频分析系统，该系统在运行时包括：
6.s1:先进行卷积神经网络对火灾(烟雾、火焰)图像识别的主要过程是使用现有火灾图像对网络进行训练，提取火灾图像特征，由于类似于人类的记忆学习过程近似，故被称为网络的学习过程；本发明通过预处理的火灾图像数据集对卷积神经网络训练提取火灾特征，并结合 darknet网络模型进行火灾检测；
7.s2:对其进行下采样，采样窗口为10x10，最终将其下采样成为一个2x2大小的特征图；
8.s3:收集含有烟雾或火焰的图像制作训练数据集，结合企业危险源分析，选择不同可燃物类型的火灾图片，火灾图片包括汽油火灾、柴油火灾、润滑油火灾、天然气火灾、木垛火灾、轮胎火灾、电缆电气火灾，选择不同规模尺寸的火灾图片，小尺寸火灾图片(一级灵敏度)、中尺寸火灾图片(二级灵敏度)、大尺寸火灾图片(三级灵敏度)，不同烟雾类型的火灾图片，如稀薄烟雾、白烟烟雾、黑烟烟雾、低照度下的烟雾图片；
9.s4:进行原始烟雾和火焰图像采集(不同背景下的不同形态被检测目标)；通过提出典型火灾烟雾或火焰特征元素，针对不同背景进行目标叠加，模拟特定场所火警的火灾图片；针对扣取火灾特征元素标进行45
°
、135
°
等角度旋转叠加至不同背景下，模拟真实火
灾情况下受到烟气、风力影响；
10.s5:进行模型训练，得到训练数据集后，通过深度学习网络模型对数据集进行训练，训练过程可以通过可视化工具进行观察分析；即为训练过程中损失函数loss的变化趋势，可以看出整个训练过程进行了50000次迭代，其中在到达15000次的时候损失基本趋于稳定，训练过程基本达到预期；该算法的训练效率对运行环境有较高的依赖，训练趋势实验仅在单gpu环境下进行，通过提高gpu的数量并行运算可以使得训练时间大幅缩短；
11.s6:进行人员行为分析，针对关键岗位的人员行为分析的问题，提出了一种基于视频的行为分析方法；制作了包含多姿态样本的岗位人员行为数据集，并使用yolov3网络训练该数据集得到行为检测模型；使用提出的人员行为分析算法结合行为检测模型对视频进行处理，对人员行为进行初步分析；在人员行为分析算法的基础上，结合图像相似度和明暗度特征，进行深度分析并给出离岗、睡觉、摔倒、抽烟和玩手机等事件的判断结果；
12.s7:进行基于视频帧序列的行为分析，针对视频序列的信息分析，提出了一个基于视频的行为分析方法；该方法对于连续的多个单帧图像的行为进行检测，再利用逻辑判断，分析出视频中的行为事件；这样，使用多帧图像综合分析行为事件，避免了单帧图像漏检、错检而造成的事件错误判断，提高了行为事件判断的鲁棒性与适应性。
13.在一优选的实施方式中，所述步骤s1中，low-level层卷积可以提取出低层次的特征；mid-level层卷积可以提取出中层次的特征； high-level层卷积可以提取出高层次的特征。
14.在一优选的实施方式中，所述步骤s2中，边框的表示方式通过框的中心坐标bx,by以及框的宽bw，高bh这4个变量来表示；实际预测的值为tx,ty,tw,th；由tx,ty,tw,th得到bx,by,bw,bh的详细公式如上图，其中，cx，cy为框的中心坐标所在的gridcell距离左上角第一个gridcell的cell个数；tx,ty为预测的边框的中心点坐标；σ(t)函数为logistic函数，将坐标归一化到0-1之间；最终得到的 bx,by为归一化后的相对于gridcell的值tw,th为预测的边框的宽，高；pw,ph为anchor的宽，高；实际在使用中，为了将bw,bh也归一化到0-1，实际程序中的pw,ph为anchor的宽，高和featuremap 的宽，高的比值；最终得到的bw,bh为归一化后相对于featuremap 的比值；σ(t0)表示预测的边框的置信度，为预测的边框的概率和预测的边框与groundtruth的iou值的乘积。
15.在一优选的实施方式中，所述步骤s6中，采用了精度与速度都较优的yolov3算法；其在网络结构方面基于残差网络提出了 darknet-53，在网络层间设置了快捷链路，并利用多尺度的特征进行对象预测，如图5所示；同时，yolov3使用9种尺度的先验框，分别在三个预测尺度上进行分配，并且使用了logistic分类代替了 softmax分类，能够进行多标签预测。
16.在一优选的实施方式中，所述针对部分数据集火灾图片添加噪声或颜色渲染等，模拟视频源数据或视频传输过程中视频质量受到干扰影响；干扰源学习，针对化工园区内可能存在的干扰源，收集相关图片进行标定学习，如粉尘和水蒸气。
17.在一优选的实施方式中，所述步骤s7中，针对两帧图像的相似度分析，本发明提出了一种相似度计算方法，原理如图6所示；首先从缓存区中取两帧图像中的目标人，得到两个框的相交区域；之后，对两个相交区域进灰度化处理，取绝对值差，对其进行二值化处理；然后，使用小卷积核对差值图像做腐蚀操作，消除图像的噪声等微小变化对算法造成的影
响；再接着，使用大卷积核对处理后的图像做膨胀操作，增大变化区域的权重；最后，统计出图像中像素值为0的黑色像素数占整个图像像素数的比值，如式(3)所示，
[0018][0019]
其中pixeli,j代表图像中第i行j列的像素值；当相似比大于 tsimilar，则认为检测到的人保持静止，疑似睡觉，累加睡觉时间计数器countsleep。
[0020]
在一优选的实施方式中，所述步骤s3中，总计收集整理100000 张包含烟雾或火焰的图像和5000张其他干扰图像作为训练数据，将其中50000张作为训练数据集，50000张作为测试数据集；将全部训练数据集和测试数据集的图像进行预处理后使用深度学习网络进行训练学习；其中每个图像都包含了对应的分类标签。
[0021]
在一优选的实施方式中，所述步骤s7中，基于视频帧序列的人员行为分析算法的流程如下：
[0022]
输入：视频流图像及深度学习检测结果framet
[0023]
输出：视频流场景的行为识别结果
[0024]
初始化：缓存区存入间隔帧数framenum＝n+，
[0025]
视频帧号frameno＝0，
[0026]
缓存区大小b∈n+，行为事件判断阈值t
[0027][0028]
在一优选的实施方式中，所述步骤s7中，对于基于视频帧序列的行为分析算法，首先建立一个视频帧序列缓存区，每隔一定的帧数framenum在缓存区存入视频帧的图像信息以及检测结果信息，当缓存区存满时，对每一个缓存块进行分析，输出一个行为事件的结果；本算法选取了离岗、睡觉行为事件进行了基于视频的行为模式识别算法分析，重点考虑了不同行为事件的判别方法。
[0029]
在一优选的实施方式中，所述离岗事件的判断需要对连续的视频帧进行处理，间隔一定的时间将一帧图像和其检测结果存入缓存区；当缓存区存满时，对缓存区的有人帧county和无人帧countn分别进行累加统计，然后计算其比值，若大于离岗判断阈值tleave∈(1,b)，则输出有人，反之无人；如式(1)，true代表有人；
[0030]
计算公式为：
[0031][0032]
所述睡觉事件的判断时针对睡觉事件，从缓存区中提取出视频帧图像以及检测结果进行判断，采取的方法是对缓存区的图像两两进行相似度分析，得出两幅图像的相似比，若两幅图像的相似比高于相似度阈值tsimilar，则累加睡觉时间计数器countsleep，若大于判断阈值tsleep∈(0,1)，则认为有睡觉事件；使用式(2)进行计算，true 代表有睡觉事件，计算公式为：
[0033][0034]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0035]
1、本发明中，为实现多种方式在前端同时识别的效率，甄选了高效、可靠的人工智能算法，包括基于mul-scales策略卷积神经网络的烟火识别，以及基于yolov3算法的人员行为检测，通过两种算法融合于前端实现不同场景针对不同内容的检测。烟火识别通过预处理的火灾图像数据集对卷积神经网络训练提取火灾特征，并结合 darknet网络模型进行火灾检测，在基于yolov3的多gpu支持下对火灾图像特征的提取训练时间大大缩短。人员行为分析方法对于连续的多个单帧图像的行为进行检测，再利用逻辑判断，分析出视频中的行为事件。这样，使用多帧图像综合分析行为事件，避免了单帧图像漏检、错检而造成的事件错误判断，提高了行为事件判断的鲁棒性与适应性。结合人工智能算法和强大的训练集，极大的提高了识别效率；同时将两者整合至前端，可适应任何一个场景，全面提高企业的生产安全，解决数据传输后端服务器分析的繁琐程序，同时针对烟火识别的高训练集，极大的提升识别准确率；针对烟火及人员行为识别算法的融合，实现不同场景统一识别；将识别算法嵌入前端，解决后端分析带来的诸多不便，监测更高效。
附图说明
[0036]
图1为本发明的卷积计算流程图；
[0037]
图2为本发明中池化过程示意图；
[0038]
图3为本发明中anchor策略图；
[0039]
图4为本发明中backbone骨架图；
[0040]
图5为本发明中模型精度对比图；
[0041]
图6为本发明中模型算法流程图；
[0042]
图7为本发明中loss训练趋势图；
[0043]
图8为本发明中yolov3结构示意图。
具体实施方式
[0044]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0045]
参照图1-5，
[0046]
实施例：
[0047]
一种用于烟火及人员行为视频分析的前端设备，所述前端设备的内部设置有用于烟火及人员行为视频分析系统，该系统在运行时包括：
[0048]
s1:先进行卷积神经网络对火灾(烟雾、火焰)图像识别的主要过程是使用现有火灾图像对网络进行训练，提取火灾图像特征，由于类似于人类的记忆学习过程近似，故被称为网络的学习过程；本发明通过预处理的火灾图像数据集对卷积神经网络训练提取火灾特征，并结合 darknet网络模型进行火灾检测；
[0049]
s2:对其进行下采样，采样窗口为10x10，最终将其下采样成为一个2x2大小的特征图；
[0050]
s3:收集含有烟雾或火焰的图像制作训练数据集，结合企业危险源分析，选择不同可燃物类型的火灾图片，火灾图片包括汽油火灾、柴油火灾、润滑油火灾、天然气火灾、木垛火灾、轮胎火灾、电缆电气火灾，选择不同规模尺寸的火灾图片，小尺寸火灾图片(一级灵敏度)、中尺寸火灾图片(二级灵敏度)、大尺寸火灾图片(三级灵敏度)，不同烟雾类型的火灾图片，如稀薄烟雾、白烟烟雾、黑烟烟雾、低照度下的烟雾图片；
[0051]
s4:进行原始烟雾和火焰图像采集(不同背景下的不同形态被检测目标)；通过提出典型火灾烟雾或火焰特征元素，针对不同背景进行目标叠加，模拟特定场所火警的火灾图片；针对扣取火灾特征元素标进行45
°
、135
°
等角度旋转叠加至不同背景下，模拟真实火灾情况下受到烟气、风力影响；
[0052]
s5:进行模型训练，得到训练数据集后，通过深度学习网络模型对数据集进行训练，训练过程可以通过可视化工具进行观察分析；即为训练过程中损失函数loss的变化趋势，可以看出整个训练过程进行了50000次迭代，其中在到达15000次的时候损失基本趋于稳定，训练过程基本达到预期；该算法的训练效率对运行环境有较高的依赖，训练趋势实验仅在单gpu环境下进行，通过提高gpu的数量并行运算可以使得训练时间大幅缩短；
[0053]
s6:进行人员行为分析，针对关键岗位的人员行为分析的问题，提出了一种基于视频的行为分析方法；制作了包含多姿态样本的岗位人员行为数据集，并使用yolov3网络训练该数据集得到行为检测模型；使用提出的人员行为分析算法结合行为检测模型对视频进行处理，对人员行为进行初步分析；在人员行为分析算法的基础上，结合图像相似度和明暗度特征，进行深度分析并给出离岗、睡觉、摔倒、抽烟和玩手机等事件的判断结果；
[0054]
s7:进行基于视频帧序列的行为分析，针对视频序列的信息分析，提出了一个基于视频的行为分析方法；该方法对于连续的多个单帧图像的行为进行检测，再利用逻辑判断，分析出视频中的行为事件；这样，使用多帧图像综合分析行为事件，避免了单帧图像漏检、错检而造成的事件错误判断，提高了行为事件判断的鲁棒性与适应性。
[0055]
所述步骤s1中，low-level层卷积可以提取出低层次的特征； mid-level层卷积可以提取出中层次的特征；high-level层卷积可以提取出高层次的特征。
[0056]
所述步骤s2中，边框的表示方式通过框的中心坐标bx,by以及框的宽bw，高bh这4个变量来表示；实际预测的值为tx,ty,tw,th；由tx,ty,tw,th得到bx,by,bw,bh的详细公式如上图，其中，cx，cy 为框的中心坐标所在的gridcell距离左上角第一个gridcell的cell 个数；tx,ty为预测的边框的中心点坐标；σ(t)函数为logistic函数，将坐标归一化到0-1之间；最终得到的bx,by为归一化后的相对于gridcell的值tw,th为预测的边框的宽，高；pw,ph为anchor的宽，高；实际在使用中，为了将bw,bh也归一化到0-1，实际程序中的pw,ph为
anchor的宽，高和featuremap的宽，高的比值；最终得到的bw,bh为归一化后相对于featuremap的比值；σ(t0)表示预测的边框的置信度，为预测的边框的概率和预测的边框与groundtruth 的iou值的乘积。
[0057]
所述步骤s6中，采用了精度与速度都较优的yolov3算法；其在网络结构方面基于残差网络提出了darknet-53，在网络层间设置了快捷链路，并利用多尺度的特征进行对象预测，如图5所示；同时， yolov3使用9种尺度的先验框，分别在三个预测尺度上进行分配，并且使用了logistic分类代替了softmax分类，能够进行多标签预测。
[0058]
所述针对部分数据集火灾图片添加噪声或颜色渲染等，模拟视频源数据或视频传输过程中视频质量受到干扰影响；干扰源学习，针对化工园区内可能存在的干扰源，收集相关图片进行标定学习，如粉尘和水蒸气。
[0059]
所述步骤s7中，针对两帧图像的相似度分析，本发明提出了一种相似度计算方法，原理如图6所示；首先从缓存区中取两帧图像中的目标人，得到两个框的相交区域；之后，对两个相交区域进灰度化处理，取绝对值差，对其进行二值化处理；然后，使用小卷积核对差值图像做腐蚀操作，消除图像的噪声等微小变化对算法造成的影响；再接着，使用大卷积核对处理后的图像做膨胀操作，增大变化区域的权重；最后，统计出图像中像素值为0的黑色像素数占整个图像像素数的比值，如式(3)所示，
[0060]
其中pixeli,j代表图像中第i行j列的像素值；当相似比大于 tsimilar，则认为检测到的人保持静止，疑似睡觉，累加睡觉时间计数器countsleep。
[0061]
所述步骤s3中，总计收集整理100000张包含烟雾或火焰的图像和5000张其他干扰图像作为训练数据，将其中50000张作为训练数据集，50000张作为测试数据集；将全部训练数据集和测试数据集的图像进行预处理后使用深度学习网络进行训练学习；其中每个图像都包含了对应的分类标签。
[0062]
所述步骤s7中，基于视频帧序列的人员行为分析算法的流程如下：
[0063]
输入：视频流图像及深度学习检测结果framet 输出：视频流场景的行为识别结果
[0064]
初始化：缓存区存入间隔帧数framenum＝n+，视频帧号frameno＝0，
[0065]
缓存区大小b∈n+，行为事件判断阈值t
[0066][0067][0068]
所述步骤s7中，对于基于视频帧序列的行为分析算法，首先建立一个视频帧序列缓存区，每隔一定的帧数framenum在缓存区存入视频帧的图像信息以及检测结果信息，当缓存区存满时，对每一个缓存块进行分析，输出一个行为事件的结果；本算法选取了离岗、睡觉行为事件进行了基于视频的行为模式识别算法分析，重点考虑了不同行为事件的判别方法。
[0069]
所述离岗事件的判断需要对连续的视频帧进行处理，间隔一定的时间将一帧图像和其检测结果存入缓存区；当缓存区存满时，对缓存区的有人帧county和无人帧countn分别进行累加统计，然后计算其比值，若大于离岗判断阈值tleave∈(1,b)，则输出有人，反之无人；如式(1)，true代表有人；
[0070]
计算公式为：
[0071][0072]
所述睡觉事件的判断时针对睡觉事件，从缓存区中提取出视频帧图像以及检测结果进行判断，采取的方法是对缓存区的图像两两进行相似度分析，得出两幅图像的相似比，若两幅图像的相似比高于相似度阈值tsimilar，则累加睡觉时间计数器countsleep，若大于判断阈值tsleep∈(0,1)，则认为有睡觉事件；使用式(2)进行计算，true代表有睡觉事件，计算公式为：
[0073][0074]
本发明中，为实现多种方式在前端同时识别的效率，甄选了高效、可靠的人工智能算法，包括基于mul-scales策略卷积神经网络的烟火识别，以及基于yolov3算法的人员行为检测，通过两种算法融合于前端实现不同场景针对不同内容的检测。烟火识别通过预处理的火灾图像数据集对卷积神经网络训练提取火灾特征，并结合darknet网络模型进行火灾检测，在基于yolov3的多gpu支持下对火灾图像特征的提取训练时间大大缩短。人员行为分析方法对于连续的多个单帧图像的行为进行检测，再利用逻辑判断，分析出视频中的行为事件。这样，使用多帧图像综合分析行为事件，避免了单帧图像漏检、错检而造成的事件错误判断，提高了行为事件判断的鲁棒性与适应性。结合人工智能算法和强大的训练集，极大的提高了识别效率；同时将两者整合至前端，可适应任何一个场景，全面提高企业的生产安全，解决数据传输后端服务器分析的繁琐程序，同时针对烟火识别的高训练集，极大的提升识别准确率；针对烟火及人员行为识别算法的融合，实现不同场景统一识别；将识别算法嵌入前端，解决后端分析带来的诸多不便，监测更高效。
[0075]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。