基于频带熵和像素显著性的带式输送机巡检机器人音频关键帧提取方法与流程

本发明属于基于巡检机器人的矿用带输送机托辊故障诊断领域，涉及一种基于频带熵和像素显著性的带式输送机巡检机器人音频关键帧提取方法

背景技术：

1、带式输送机作为煤矿主运装备，其运行的安全性和平稳性对于煤矿的生产效率和安全性具有重要意义。传统人工巡检方式存在效率低、实时性差、存在安全隐患的问题；固定式传感器具有布设难度大、维护困难、成本高等问题。带式输送机巡检机器人的出现为巡检方式提供了新的模式。不同于固定传感器固定模态的单一数据，巡检机器人在移动过程中采集的数据具有动态性和时变性。传统的固定传感器故障诊断方法在巡检机器人上直接应用的效果往往比较差，其原因主要包括：

2、1)固定传感器安装在某个托辊附近，其采集的健康或故障的信号有两种截然不同的模式，通过信号处理、模式识别可以有效检测故障。然而由于巡检机器人一直在移动，其采集的信号具有时变性和动态性，没有固定的模式，因此传统故障检测方法难以处理。

3、2)巡检机器人沿途的路径存在各种非平稳噪声干扰，其采集的音频中可能有附近设备声音、路边行人声音、环境噪声等。传统的信号处理方式很难将各种噪声区分并清除，传统故障检测方法容易将该种类型噪声识别为托辊故障。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于频带熵和像素显著性的带式输送机巡检机器人音频关键帧提取方法，频带熵可以提取音频能量集中的故障或异响帧，图像显著性可以提取轻微连续碰撞导致的故障或异响帧，通过音频关键帧的提取为后续的托辊故障定位和故障识别提供基础数据。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于频带熵和像素显著性的带式输送机巡检机器人音频关键帧提取方法，该方法包括：

4、s1、输入巡检机器人采集的音频信号，通过短时傅里叶变换得到输入音频信号的时频矩阵；时频矩阵的每行代表某一个频带内在一时间段内信号幅值的变化，每列代表同一时间窗口内频率分布情况；

5、s2、对时频矩阵的每一行计算熵值得到每个频率段的信息熵，得到频带熵；

6、s3、判断频带熵是否存在低于下阈值的情况，若存在则将该音频帧作为异常关键帧提取，否则进入步骤s4；

7、s4、判断是否存在一段时间内n个频带熵低于上阈值的情况，若存在则将该音频帧作为异常关键帧提取，否则进入步骤s5；

8、s5、基于音频信号的时频矩阵计算像素显著性指标，判断音频信号在中高频的显著性加和是否超过设定超限阈值，若超过则该音频帧作为异常关键帧提取，否则判断输送机托辊无异常。

9、进一步的，步骤s2中，信息熵通过下式计算：

10、

11、pi＝p9xi_,i＝1,2,…,n

12、

13、式中，h(x)表示信息熵，xi表示离散随机变量，pi表示xi出现的概率；其中，当pi＝0时，定义ln0＝0。

14、进一步的，步骤s5中，像素显著性指标的计算方法包括：

15、以时频矩阵中第i行第j列的像素pi,j为目标像素，以目标像素为中心选定长度为2n的局部窗口为：

16、

17、式中，wini,j表示以像素pi,j为中心的局部窗口；

18、计算局部距离矩阵：

19、di,j＝pi,j-wini,j

20、式中，“-”表示利用像素pi,j的值对窗口wini,j的每一个值分别做减法，矩阵di,j表示目标像素与周围像素的差异度，代表了局部图像的变化剧烈程度。

21、计算目标像素的显著性：

22、

23、式中，n表示离散音频信号的数量；显著性指标si,j衡量目标像素pi,j与其邻域局部窗口像素变化情况。

24、计算得到像素显著性指标后，设定所有像素点显著性指标的99.5％上分位点为阈值，保留大于阈值的像素点作为显著的像素点。

25、进一步的，步骤s5中，超限阈值为2khz以上频率像素显著性的加和，且该加和达到像素显著性总和的三分之一。

26、本发明的有益效果在于：

27、(1)本发明突破了传统故障检测算法无法在巡检机器人上直接应用的限制，可以从巡检机器人采集的音频信号中提取出可能包含托辊故障的关键帧；

28、(2)本发明综合了信号处理和图像分析两种算法的优势，实现了对断裂、磨损、堵转、轴承损坏等故障托辊附近的音频帧的提取。

29、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

技术特征：

1.一种基于频带熵和像素显著性的带式输送机巡检机器人音频关键帧提取方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的音频关键帧提取方法，其特征在于：步骤s2中，所述信息熵通过下式计算：

3.根据权利要求1所述的音频关键帧提取方法，其特征在于：步骤s5中，像素显著性指标的计算方法包括：

4.根据权利要求3所述的音频关键帧提取方法，其特征在于：计算得到像素显著性指标后，设定所有像素点显著性指标的99.5％上分位点为阈值，保留大于阈值的像素点作为显著的像素点。

5.根据权利要求1所述的音频关键帧提取方法，其特征在于：步骤s5中，所述超限阈值为2khz以上频率像素显著性的加和，且该加和达到像素显著性总和的三分之一。

技术总结
本发明涉及一种基于频带熵和像素显著性的带式输送机巡检机器人音频关键帧提取方法，属于带式输送机托辊故障检测领域。该方法包括：输入巡检机器人采集的音频信号，通过短时傅里叶变换得到输入音频信号的时频矩阵；对时频矩阵的每一行计算熵值得到每个频率段的信息熵，得到频带熵；判断频带熵是否存在低于下阈值的情况，若存在则将该音频帧作为异常关键帧提取，否则判断是否存在一段时间内n个频带熵低于上阈值的情况，若存在则将该音频帧作为异常关键帧提取；基于时频矩阵计算像素显著性指标，判断音频信号在中高频的显著性加和是否超过设定超限阈值，若超过则该音频帧作为异常关键帧提取，否则判断输送机托辊无异常。

技术研发人员：杨筱彧,佘影,罗明华,方崇全,李一文,秦伟,黄春,朱兴林,向兆军,游磊,陈雨,张海峰,张先锋,孙柳军,周斌,刘晏驰,饶俊宏
受保护的技术使用者：中煤科工集团重庆研究院有限公司
技术研发日：
技术公布日：2024/3/21