基于煤矿掘进工作面关键特征的视频编码注意力标定系统的制作方法

本发明涉及视频编码压缩领域，具体涉及基于煤矿掘进工作面关键特征的视频编码注意力标定系统。

背景技术：

1、绝大多数煤矿具有地质条件复杂、开采难度大、灾害类型多、分布面广、人的不安全行为和环境、物的不安全状态等隐患众多等特点，导致煤矿安全生产事故时有发生，致使人身伤亡。为了及时发现煤矿隐患问题，遏制矿山重特大事故发生，煤矿开采单位通常会对煤矿掘进工作面进行视频监控，通过视频对煤矿各类隐患进行分析研判。

2、目前通常使用“前端采集+后台分析”的视频分析模式，但该模式从视频图像采集、分析、判断、决策、反馈的整个过程会产生较长的时间延迟，无法第一时间识别出各类隐患。

3、针对以上问题，本发明提出一种云-边-端协同分析模型，使得煤矿各类隐患分析研判由云平台和边缘节点互相配合进行，通过边缘节点对视频中煤矿掘进工作面的关键特征进行识别标定，结合标定内容对视频进行压缩，并传输至云平台，云平台根据标定内容进行煤矿各类隐患的识别。通过云-边-端协同分析的模式，减少云端的计算量，节省视频响应时间，提高各类隐患的识别效率。

技术实现思路

1、为了解决上述问题，本发明提供基于煤矿掘进工作面关键特征的视频编码注意力标定系统，所述系统包括：

2、视频采集模块，采集煤矿掘进工作面视频；

3、视频标定模块，边缘节点获取视频帧的标定结果；

4、损失阈值获取模块，根据标定结果以及像素点的灰度值获取像素点的损失阈值；

5、视频压缩模块，s1：构建初始的共识字典；将视频帧中所有像素点的灰度值构成待压缩序列；

6、s2：将待压缩序列中第一个灰度值作为前缀，根据前缀对应像素点的损失阈值在共识字典中获取多个前缀匹配灰度值；

7、s3：对每个前缀匹配灰度值分别执行匹配操作，得到预压缩数据以及匹配结果，包括：

8、s301：将待压缩序列中前缀的下一个灰度值作为后缀，获取后缀对应像素点的损失阈值；根据共识字典以及后缀获取第一差值；

9、当前缀匹配灰度值与前缀相同且第一差值小于或等于，或前缀匹配灰度值与前缀不同且第一差值为0时，获取新的前缀以及新的前缀匹配灰度值；否则，将前缀作为预压缩数据，将前缀匹配灰度值作为匹配结果；

10、s302：当未获得预压缩数据以及匹配结果时，重复s301，直到获取预压缩数据以及匹配结果时停止迭代；

11、s4：根据预压缩数据以及匹配结果获取预压缩数据的匹配率；将匹配率最大的预压缩数据作为待压缩数据，获取待压缩数据的编码，对共识字典以及待压缩序列进行更新；

12、s5：重复s2到s4，直到待压缩序列为空时停止迭代；将所有待压缩数据的编码构成编码序列；对编码序列以及标定结果进行压缩得到视频压缩数据；

13、视频传输模块，将视频压缩数据至传输云平台；

14、风险隐患识别预警模块，对视频压缩数据进行解压以及风险隐患识别预警。

15、优选的，所述获取视频帧的标定结果，包括的步骤为：

16、利用语义分割网络将视频帧中所有像素点分为多个类别，将语义分割网络输出的视频帧中每个像素点的类别作为视频帧的标定结果。

17、优选的，所述根据标定结果以及像素点的灰度值获取像素点的损失阈值，包括的步骤为：

18、根据标定结果预设每个像素点的重要程度，同一类别的像素点的重要程度相同，重要程度最大为1，最小为0；

19、根据视频帧中像素点的灰度值获取每个像素点的显著性：

20、其中为视频帧中第i个像素点的显著性；m为视频帧中第i个像素点的邻域范围；为视频帧中第i个像素点的灰度值；为视频帧中第i个像素点的m邻域内第k个像素点的灰度值；为超参数；为双曲正切函数；

21、根据每个像素点的重要程度以及显著性获取每个像素点的损失阈值：

22、其中为视频帧中第i个像素点的损失阈值；为超参数；为视频帧中第i个像素点的显著性；为视频帧中第i个像素点的重要程度；为以自然常数为底的指数函数。

23、优选的，所述构建初始的共识字典，包括的步骤为：

24、统计历史的煤矿掘进工作面视频中[0,255]范围内的每个灰度值的频率，按照所有灰度值的频率从大到小的顺序对所有灰度值进行排列，将排列结果作为初始的共识字典。

25、优选的，所述根据前缀对应像素点的损失阈值在共识字典中获取多个前缀匹配灰度值，包括的步骤为：

26、将前缀在视频帧中所对应的像素点的损失阈值记为，获取共识字典中与前缀的差值绝对值小于或等于所有灰度值，分别作为前缀匹配灰度值。

27、优选的，所述根据共识字典以及后缀获取第一差值，包括的步骤为：

28、获取前缀匹配灰度值中最后一个灰度值，将所述最后一个灰度值在共识字典中的前一个灰度值作为目标灰度值，将目标灰度值与后缀的差值绝对值作为第一差值。

29、优选的，所述获取新的前缀以及新的前缀匹配灰度值，包括的步骤为：

30、将后缀拼接在前缀之后，作为新的前缀；将目标灰度值作为后缀匹配灰度值，将后缀匹配灰度值拼接前缀匹配灰度值之后，作为新的前缀匹配灰度值。

31、优选的，所述根据预压缩数据以及匹配结果获取预压缩数据的匹配率，包括的步骤为：

32、判断预压缩数据与匹配结果中同一个位置的灰度值是否相同，若不同，则将预压缩数据中对应位置的灰度值作为损失灰度值，将预压缩数据的匹配结果中对应位置的灰度值作为损失匹配灰度值；

33、当预压缩数据存在损失灰度值时，计算损失灰度值与匹配结果中的损失匹配灰度值的差值绝对值，将所得结果除以损失灰度值在视频帧对应的像素点的损失阈值，作为预压缩数据的损失率；当预压缩数据不存在损失灰度值时，将0作为预压缩数据的损失率；

34、根据损失率以及预压缩数据的长度获取预压缩数据的匹配率：

35、其中为第j个预压缩数据的匹配率；为第j个预压缩数据的损失率；为第j个预压缩数据的长度。

36、优选的，所述获取待压缩数据的编码，对共识字典以及待压缩序列进行更新，包括的步骤为：

37、获取待压缩数据对应的匹配结果中第一个灰度值在共识字典中的索引，作为第一索引，记为d；将待压缩数据的长度记为l；将第一索引d与待压缩数据的长度l作为待压缩数据的编码(d,l)；将共识字典中索引为d-l到d的灰度值一同提取到共识字典开始的位置；将待压缩数据从待压缩序列中删除。

38、本发明至少具有如下有益效果：

39、1．本发明通过为对视频帧中像素点进行标定来为不同类别的像素点设置不同的重要程度，根据每个像素点与周围像素点的灰度值的差异获取每个像素点的显著性，结合重要程度以及显著性获取每个像素点的损失阈值，使得根据损失阈值对视频帧进行压缩时更加关注重要程度大且包含信息量大的像素点，进一步使得最终得到的视频压缩数据中损失的信息量少，确保了云平台根据视频压缩数据识别煤矿各类隐患的准确性；

40、2．本发明结合mtf编码的思想，根据视频帧具有局部相似性以及纹理规律性的特征，对mtf编码进行改进，实现了对视频帧中多个像素点的灰度值在共识字典中同时进行逆向匹配，并结合了每个像素点的损失阈值，使得最终的匹配结果长度尽可能长的同时损失的信息量尽可能少，进一步使得得到的编码序列长度尽可能短，从而使得改进之后的mtf编码具有压缩效果的同时，还保留了改进之前mtf编码的编码结果中数字的重复率高的特点，利用霍夫曼编码等压缩算法对编码序列进行进一步压缩的效率更高，提高了视频传输的效率，确保了根据视频压缩数据识别煤矿各类隐患的准确性以及实时性。

41、3．传统的“前端采集+后台分析”的视频分析模式，从视频图像采集、分析、判断、决策、反馈的整个过程会产生较长的时间延迟，无法第一时间识别出各类隐患。而本发明采用的云-边-端协同分析模式，通过边缘节点对视频中煤矿掘进工作面的关键特征进行识别标定，通过云平台根据标定内容进行煤矿各类隐患的识别，从而使得煤矿各类隐患分析研判由云平台和边缘节点互相配合进行，减少云端的计算量，节省视频响应时间，提高各类隐患的识别效率。