一种架空输电线路鸟巢检测方法、介质及系统与流程

1.本发明涉及架空输电线路技术领域，尤其涉及一种架空输电线路鸟巢检测方法、介质及系统。


背景技术：

2.我国高压输电架空线路的不断增多，并且输电线路本身部署在恶劣的自然环境中，且跨度很长，动辄几十、上百公里。鸟类给电力系统带来很多的困扰和危害。然而传统方法需要工程师到现场使用望远镜逐段监测，监测效率、监测准确率和人员安全性较低，给电力工作者带来很大的困扰。随着人工智能技术的发展，基于卷积神经网络的深度学习目标检测方法广泛应用在安防等领域并在大数据场景中展现出远超过传统方法的性能。然而卷积神经网络由于其感受野通过多层卷积层逐渐扩大，面对复杂遮挡时的目标检测结果受限于不灵活的感受野，性能有待提高，对于复杂背景，特别是架空输电线路遮挡下的鸟巢检测的效果不佳。


技术实现要素：

3.本发明实施例提供一种架空输电线路鸟巢检测方法、介质及系统，以解决现有技术对架空输电线路遮挡下的鸟巢检测的效果不佳的问题。
4.第一方面，提供一种架空输电线路鸟巢检测方法，包括：
5.获取架空输电线路的若干第一图像，其中，所述第一图像中的架空输电线路上具有被架空输电线路至少部分遮挡的鸟巢；
6.对若干所述第一图像中的鸟巢进行位置标注，得到若干第二图像；
7.采用若干所述第二图像对conditional detr的目标检测模型进行训练，得到训练后的conditional detr的目标检测模型；
8.实时采集架空输电线路的第三图像；
9.将所述第三图像输入所述训练后的conditional detr的目标检测模型后，输出预设数量的边界框，并将置信度大于阈值的边界框作为最终的预测框，得到所述第三图像中鸟巢的位置。
10.第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述第一方面实施例所述的架空输电线路鸟巢检测方法。
11.第三方面，提供一种架空输电线路鸟巢检测系统，包括：如上述第二方面实施例所述的计算机可读存储介质。
12.这样，本发明实施例，可以较为准确且快速地得到架空输电线路鸟巢的位置，特别适用于被架空输电线路遮挡的鸟巢的检测。
附图说明
13.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1是本发明实施例的架空输电线路鸟巢检测方法的流程图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
16.本发明实施例公开了一种架空输电线路鸟巢检测方法。具体的，如图1所示，该方法包括如下的步骤：
17.步骤s1：获取架空输电线路的若干第一图像。
18.其中，第一图像中的架空输电线路上具有被架空输电线路至少部分遮挡的鸟巢。第一图像可通过无人机或者塔基摄像头采集。
19.步骤s2：对若干第一图像中的鸟巢进行位置标注，得到若干第二图像。
20.鸟巢的位置标注为(x,y,w,h)，其中(x,y)表示鸟巢区域的中心点坐标，w表示鸟巢区域的宽度，h表示鸟巢区域的高度。
21.优选的，进行下述的步骤s3之前，该方法还包括：
22.随机采用至少一种图像预处理方式对每一第二图像进行预处理。
23.其中，图像预处理方式包括：翻转、颜色空间变换、裁剪、旋转、锐化、模糊和混合。因此，对于每一第二图像，随机采用上述的七种图像预处理方式中的至少一种对第二图像进行预处理，当采用至少两种图像预处理方式处理时，至少两种图像预处理方式的顺序不限，这样，每种图像预处理方式都有1/7的概率对第二图像进行扩增，从而能够获得7^7种可能扩增的结果，能够很好地对原始数据进行扩增，弥补已有数据集样本少的缺陷，更好地模拟真实场景的情况。
24.步骤s3：采用第二图像对conditional detr的目标检测模型进行训练，得到训练后的conditional detr的目标检测模型。
25.应当理解的是，如果对第二图像进行了预处理，则输入该目标检测模型的是预处理后的第二图像。
26.conditional detr的目标检测模型依次包括：特征提取模块、编码模块、解码模块和预测头部模块。
27.具体的，该步骤包括：
28.(1)将第二图像输入特征提取模块后，输出特征图像和特征图像中各像素点的位置编码。
29.其中，特征提取模块为mobilenet网络。mobilenet网络更轻量化，在实际应用过程中，可保障测试速度。
30.在特征提取模块中，位置编码(pe)的计算如下式所示：
31.pe(pos,2i)＝sin(pos/10000
2i/dmodel
)。
32.pe(pos,2i+1)＝sin(pos/10000
2i/dmodel
)。
33.其中，pos表示像素点在特征图像中的位置，i表示特征图的维度，d
model
表示模型设置的向量维度。
34.(2)将特征图像和位置编码输入到编码模块后，输出第一输出值。
35.其中，编码模块为transformer网络的依次连接的六个编码器。在第一个编码器中，输入特征图像x
embedding
和位置编码(pe)x
pos
，输出一个输出值，再将该输出值输入到下一个编码器，下一个编码器输出一个输出值，以此类推，最后一个编码器输出第一输出值。
36.对于每一编码器，其包括依次连接的多头注意力机制网络、残差网络、层归一化网络、前馈网络、残差网络和层归一化网络。
37.在此引入query，key和value的概念，query(q)是查询的意思，key(k)是键，用来和要查询的query做比较，比较得到一个分数(相关性或者相似度)再乘以value(v)值得到最终的结果。
38.对于多头自注意力机制，其输入的参数q为上一个编码器的输出(如果当前编码器是第一个编码器则是特征图像x
embedding
)加上位置编码(pe)，k为上一个编码器的输出(如果当前编码器是第一个编码器则是特征图像x
embedding
)加上位置编码(pe)，v是上一个编码器的输出(如果当前编码器是第一个编码器则是特征图像x
embedding
)。
39.具体的，多头注意力机制网络通过多头注意力机制进行计算，计算式如下：
[0040][0041]
其中，多头注意力机制网络用于计算相关性，是为了把注意力矩阵变成标准正态分布，上式表示多头注意力机制使用多个不同的参数q，k，v计算attention的结果进行合并(concat)，然后通过一个矩阵相乘进行维度调整，将维度调整为与编码器的输入值的维度一致。
[0042]
具体的，前馈网络是一个两层的全连接层，第一层的激活函数为relu，第二层不使用激活函数，前馈网络最终得到的输出矩阵的维度与输入矩阵的维度一致。其计算式如下：
[0043]
output＝max(0,xw1+b1)w2+b2。
[0044]
其中，x表示输入，w1表示全连接中的矩阵，b1表示偏置项，max()表示取最大值函数，w2表示全连接中的矩阵，b2表示偏置项。
[0045]
(3)将第一输出值输入到解码模块后，输出第二输出值。
[0046]
其中，解码模块为依次连接的六个基于条件交叉注意力机制的解码器。具体的，每个解码器的输入包含三个部分，第一个部分为编码模块的第一输出值(image embedding)和位置编码(pe)，第二个部分为上一个解码器的输出，第三个部分为预先设置的参数可学习的目标query(object query)。
[0047]
对于每一解码器，其包括依次连接的多头自注意力机制网络、残差网络、层归一化网络、基于条件交叉注意力机制网络、残差网络、层归一化网络、前馈网络、残差网络和层归一化网络。
[0048]
对于多头自注意力机制，其计算方式与编码器中的多头自注意力机制一致，其输入的参数q为上一个解码器的输出(如果当前解码器是第一个解码器则是目标query)加上目标query，参数k为上一个解码器的输出(如果当前解码器是第一个解码器则是目标query)加上目标query，参数v是上一个解码器的输出(如果当前解码器是第一个解码器则是目标query)。
[0049]
对于基于条件交叉注意力机制网络，输入的参数q为经过解码器的多头自注意力机制网络、残差网络、层归一化网络后的输出与编码化后的目标query进行合并concat操作，输入的参数k为编码模块的第一输出值与位置标注进行合并concat操作，输入的参数v为编码模块的第一输出值。
[0050]
现有技术的解码模块的交叉注意力机制中参数q和位置编码pe以及k与目标query是通过相加进行匹配的，这样对参数q、k的质量要求很高，否则定位不准确，而对于被输电线路遮挡的鸟巢这种遮挡目标而言，参数q、k的质量本身就不是很好。因此对于遮挡目标的学习是有限的。本发明的解码模块采用条件交叉注意力机制，通过解耦参数q和位置编码pe以及参数k与目标query，使参数q、k搜索目标相关区域，位置编码pe和目标query负责定位区域，从而能够缩小搜索物体的范围，对于搜索遮挡目标有较大帮助，因此，本发明使用条件交叉注意力机制有助于遮挡物体的检测。
[0051]
(4)将第二输出值输入到预测头部模块，输出类别预测和边界框预测结果，并分别计算得到类别预测损失计算值和边界框预测损失计算值。
[0052]
其中，预测头部模块为两个独立的第一前馈网络和第二前馈网络。
[0053]
具体的，第一前馈网络用于类别预测，第一前馈网络输出的类别预测结果采用聚焦损失函数进行损失值计算，聚焦损失函数的计算式如下：
[0054]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
[0055]
其中，α
t
是正负样本不平衡的权重因子，取0.25；对于类别1乘以α
t
，而对于类别-1乘以1-α
t
；γ是表示进行难例挖掘的权重因子，其值取2，对于难例p
t
越小，容易例子p
t
越大，通过γ来突出难例对损失函数的贡献。
[0056]
具体的，第二前馈网络用于边界框预测，第二前馈网络输出的边界框预测结果采用l1损失函数与giou损失函数的和进行损失值计算。
[0057]
l1损失函数的计算式如下：
[0058]
l1＝|f(x)-y|。
[0059]
其中，f(x)表示模型预测的结果，y表示真值。
[0060]
giou损失函数的计算式如下：
[0061]
l
giou
＝1-giou。
[0062]
其中，iou表示a框和b框的交并比，c表示a框和b框的最小封闭区域。
[0063]
(5)通过梯度回传损失函数计算值进行网络参数更新。
[0064]
最终，通过上述的过程，将训练好的参数导入到conditional detr的目标检测模型中，可以得到训练好的conditional detr的目标检测模型。
[0065]
步骤s4：实时采集架空输电线路的第三图像。
[0066]
同样的，第三图像可通过无人机或者塔基摄像头采集。
[0067]
步骤s5：将第三图像输入训练后的conditional detr的目标检测模型后，输出预设数量的边界框，并将置信度大于阈值的边界框作为最终的预测框，得到第三图像中鸟巢的位置。
[0068]
通过上述的过程，可以较为准确且快速地得到架空输电线路鸟巢的位置，特别适用于被架空输电线路遮挡的鸟巢的检测；可将检测得到的鸟巢坐标导出提交报告至电力保障部门，以便进行清理，避免安全隐患。
[0069]
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述实施例所述的架空输电线路鸟巢检测方法。
[0070]
本发明实施例还公开了一种架空输电线路鸟巢检测系统，包括：如上述实施例所述的计算机可读存储介质。
[0071]
综上，本发明实施例，可以较为准确且快速地得到架空输电线路鸟巢的位置，特别适用于被架空输电线路遮挡的鸟巢的检测。
[0072]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。