多模态数据协同的输电线路闪爆预警异常目标检测方法与流程

本发明涉及输电线路检测，特别涉及一种多模态数据协同的输电线路闪爆预警异常目标检测方法。

背景技术：

1、随着经济和社会的发展，发电量和用电量逐年上升，稳定安全的电力保障关系到国计民生。在常年的使用过程中，用于电力传输的输电线路不可避免地受到外界环境的影响，输电线路容易出现因外界环境因素导致的输电故障。如异常目标靠近高压输电线，或输电线遭受自然雷击，当异常目标靠近输电线路时，线路周围的电场会发生变化，电荷会在异物和输电线之间累计，导致输电线路闪爆，它已经成为影响当前输电网安全稳定运行的一个主要故障。

2、分析受外力破坏发生的输电线路闪爆故障事件过程中发现，人为的外力撞击占比接近25％，在这些外力撞击中工程机械占比接近80％，而究其根本都是由于施工单位在施工前未对施工现场勘察，未按规定使用工程机械施工，致使输电线破损、断开，从而引发闪爆事故。如果能够减少或消除由施工单位误操作造成的影响，那么输电线路闪爆事故将会大大减小。

3、输电线路在受到外力破坏后不仅会产生永久故障点使得输电线路跳闸，还会对当事人的人身安全产生严重威胁。因此，需要对输电线路采取有效的监测预警措施来防止线路闪爆故障的发生。目前，人工巡检和无人机巡检方法广泛应用在输电线路防护当中。其中，人工巡检具有时间随机性，当工作人员离开后，很难及时发现输电线的异常情况。并且人工巡检方式存在劳动强度大、工作效率低、检测质量分散、手段单一等不足之处，人工检测的数据也无法准确、及时地接入管理信息系统。无人机巡检是采用无人机进行输电线路巡查，显著降低了劳动强度，并且大大降低了线路巡检成本，提高了输电线路维护和检修的速度和效率，使许多工作能在完全带电的环境下迅速完成。但是无人机进行较长输电线路巡检时，存在着续航能力不足的问题，并且只适用于视野比较广阔的地区，若视野较为狭隘，只能通过安装更多摄像头来解决，视频监控设备体积大，在安装过程中需要与各个部门进行协调，安装难度大，由于成本问题，一般只在重要线路上使用。人工巡检和无人机巡检都存在着各自的局限性，主要表现在普遍存在检测效率较低、准确性差的问题。

技术实现思路

1、针对现有技术中存在的不足，本发明提供一种多模态数据协同的输电线路闪爆预警异常目标检测方法，能够解决现有技术的输电线路闪爆故障检测存在的检测效率低、准确性差的问题。

2、具体技术方案如下：

3、一种多模态数据协同的输电线路闪爆预警异常目标检测方法，包括以下步骤：

4、s1、通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测；

5、s2、采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警；

6、s3、采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置；

7、s4、对采集的声音数据分析定位后，找到可能造成输电线路发生闪爆故障的地点，采用摄像头拍摄定位现场的外力破坏源图像；

8、s5、采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警；

9、s6、综合传感器输出的声音数据和所拍摄的图像数据研判，从而完成输电线路闪爆预警异常目标检测。

10、进一步地，所述通过传感器采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号，对采集的声音信号进行预处理和端点检测，包括以下步骤：

11、s11、声音信号的采集，其表达式如下：

12、fs≥sf；

13、其中fs为采样频率，f为异常目标产生的声音信号频率；

14、s12、声音信号的预处理，其包括有预加重、分帧和加窗操作；

15、s13、声音信号的端点检测，端点检测计算表达式如下：

16、

17、式中，xn为异常目标声音信号，sgn[x(n)]是符号函数，其表达式如下：

18、

19、加入窗函数ω(n)，则：

20、

21、其中，窗函数ω(n)表达式如下：

22、

23、式中，n为异常目标声音信号的帧长。

24、进一步地，所述声音信号的预处理中，

25、预加重，为把声音信号高频分量加重，恢复原来的信号功率分布，使传输质量增加，高、低频也维持在平衡的状况当中，设经过采样和预加重滤波器后的信号为s(n)，则

26、s(n)＝s(n)-as(n-1)；

27、式中，a为预加重系数；

28、分帧，为对时域信号分段使其平稳过渡；

29、加窗，为对抽样n附近的声音波形加以强调而对波形的其余部分加以减弱。

30、进一步地，步骤s2中，提前选择可能造成输电线路发生闪爆的外力闪爆源声音样本，对采集的声音信号进行傅里叶变换，采用频域特征提取方法提取变换后的频率特征、频谱能量特征以及谱质心特征，构建相应的特征集，并采用支持向量法作为声音识别模型的匹配方法，在识别过程中，把待鉴别的声音输入到识别模型中进行识别，得到识别结果，并进行输电线路闪爆预警。

31、进一步地，采用声纹识别技术对采集的声音信号进行处理，并进行输电线路闪爆预警，包括以下步骤：

32、s21、特征提取：对预处理后的声音信号进行特征提取，提取的频域特征包括频率特征、谱能量特征和谱质心特征；

33、s22、特征向量构建：将从声音信号中提取的频率特征、频谱能量特征和谱质心特征组合成特征向量，该特征向量将作为声纹识别模型的输入；

34、s23、声纹识别模型建立：采用支持向量法作为声纹识别模型的匹配方法，选择部分已知异常闪爆源的声音样本，并为每个样本分配相应的类别标签，通过计算特征向量之间的相似度，模型能够学习到声音特征与异常闪爆源之间的关联；

35、s24、声音识别和闪爆预警：将待识别的声音输入到训练好的声纹识别模型中进行识别，模型将计算输入声音特征向量与训练样本之间的相似度，并确定输入声音所属异常闪爆源类型，根据模型输出的识别结果，进行输电线路的闪爆预警。

36、进一步地，频率特征，包括平均值、最大值和标准差；

37、频谱能量特征，其表达式如下：

38、

39、其中，f(t)为声音信号；

40、设第i帧的谱质心为ci，谱质心特征表达式如下：

41、

42、其中，xi(k)是第i帧的傅里叶变换，n为帧长度。

43、进一步地，所述声源定位算法采用基于时间到达差的定位算法，包括：通过时间延误估计算法来求取声源发出信号到达不同声音传感器的时间差，由声速与时间差可以求取各传感器与声源之间的路程差；根据求得的路程差，以及声音传感器阵列放置的几何位置，则可解得声源位置，也即对采集的声音数据分析定位。

44、进一步地，采用声源定位算法对的声音信号进行处理，定位到可能造成输电线路发生闪爆的异常闪爆源的位置，包括：

45、设m1传感器的位置为(x1，y1)，取m1传感器的位置作为参考点,声源待求位置为(x，y)，第i个传感器到声源位置之间的距离表示为ri，则

46、第i个传感器和声源位置的关系方程为：

47、

48、建立声源位置(x，y)和距离差之间的关系方程：

49、

50、其中，ri1表示传感器m1到声源位置的距离与第i个传感器到声源位置的距离相减的距离之差,c为信号传播速度,ti为声源信号到达第i个传感器的到达时间，t1为声源信号到达传感器m1的到达时间；通过求解上述方程，即可得到声源的位置坐标(x，y)。

51、进一步地，所述采用反向传播神经网络进行输电线路闪爆图像识别，并进行输电线路闪爆预警，包括以下步骤：

52、s51、数据准备：准备一定数量的外力破坏源图像作为训练数据集；

53、s52、特征提取：采用颜色直方图描述图像的颜色特征，灰度共生矩阵提取图像的纹理特征，边缘检测算法提取图像的轮廓特征；

54、s53、网络构建：构建反向传播神经网络模型用于图像识别；

55、s54、网络训练：将准备好的训练数据集输入到神经网络中进行训练；

56、s55、模型评估：使用测试数据集评估训练好的神经网络模型的性能；

57、s56、实时识别：将摄像头采集到的图像输入到训练好的神经网络模型中进行实时目标识别，通过对图像进行特征提取和神经网络的前向传播，获得预测结果，从而实现对异常目标的闪爆预警识别。

58、进一步地，网络训练的算法表达式如下：

59、xs+1＝xs-(h+αi)-1g；

60、其中，h为多维向量的矩阵，g为多维向量的一阶梯度,xs为上一步的函数极值，α为步长，i为单位矩阵。

61、随着人工智能技术和物联网技术的发展，输电线路监测逐渐由人工监测转变为智能在线监测，智能在线监测是指利用先进传感技术对输电线路的运行状态进行监测，这种在线监测方法实现了对现场状况的实时监测，并能够对即将造成输电线路发生闪爆的各种违章行为进行快速预警，方便提醒后台工作人员和现场违章人员及时发现违章行为，并快速制止违章行为。

62、本发明公开了一种多模态数据协同的输电线路闪爆预警异常目标检测方法，该发明采用声音传感器收集可能造成输电线路发生闪爆的声音数据，并提取声纹特征；然后采用声源定位技术找到可能发生闪爆的线路位置，协同控制传感器摄像头开启，获得可能发生线路闪爆区域目标图像；通过图像和声纹识别该区域场景下可能造成线路闪爆故障发生的异常目标，达到检测输电线路闪爆预警异常目标的目的。

63、与现有技术相比，本发明的有益效果为：

64、本方法通过采集可能造成输电线路发生闪爆的各类异常目标产生的声音信号和图像并进行预处理、特征提取、特征选择和建立模型，能够判断可能造成输电线路发生闪爆的异常目标类型，并进行输电线路的闪爆预警，具体而言，具有以下有益效果：

65、1、通过结合声音和图像的方法，能够更准确地判断可能造成输电线路发生闪爆的异常目标类型，避免了传统方法中存在的误判和漏判的情况，提高了检测的准确率；

66、2、多模态数据协同的输电线路闪爆预警异常目标检测方法能够快速识别可能造成输电线路发生闪爆的异常目标类型，并对相关工作人员进行提醒，从而提高了输电线路闪爆预警的效率。