一种导线跟踪方法及设备与流程

1.本技术涉及电力技术领域，尤其涉及一种导线跟踪方法及设备。


背景技术：

2.目标跟踪是计算机视觉领域的重要研究问题，在目标跟踪领域，对于输电导线的跟踪技术的研究，对输电通道的安全维护具有重要的意义。导线跟踪技术有两个较为重要的技术要点。一是精准检测识别出导线，对于后续的导线跟踪起到非常重要的作用。二是选择合适且精确的跟踪点，对导线进行精准跟踪。
3.针对输电通道图像中导线检测与跟踪，现有方法多依赖边缘检测与直接检测结合进行导线检测，但由于输电导线非常细长且远景导线成像质量往往偏低，当输电通道背景并非只有天空时(例如背景为群山或大片建筑)，这样的方法无法应对复杂的导线背景，无法完整有效提取出导线轮廓，导致后续导线跟踪的失败。另外，传统关键点跟踪可使用稀疏光流算法(lucas kanade，lk)来实现，但在输电通道场景中对导线观察点进行跟踪时，由于导线上不同点位的观察点位置和像素值非常相似，直接使用lk算法可能出现局部观察点漂移或预测偏差较大的情况，不利于输电通道的导线监测。


技术实现要素：

4.本技术实施例提供了一种导线跟踪方法及设备，用于解决如下技术问题：现有的导线跟踪方法检测的导线轮廓不准确，且导线跟踪的跟踪偏差大。
5.本技术实施例采用下述技术方案：
6.一方面，本技术实施例提供了一种导线跟踪方法，方法包括：构建并训练导线检测模型；通过预设的混合损失函数，对训练后的所述导线检测模型进行优化；通过优化后的所述导线检测模型，对输电通道视频中的第一帧视频图像进行识别，得到第一帧视频图像对应的导线轮廓图像；根据所述导线轮廓图像，在所述第一帧视频图像中，确定导线观察点集合；在所述导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合；根据所述有效观察点集合，对所述输电通道视频中的导线进行跟踪。
7.本技术实施例仅通过导线检测模型检测第一帧图像，然后通过导线与平行线交叉策略来构造导线跟踪观察点；根据有效观察点集合，对输电通道视频中的导线进行跟踪；最后通过双向光流预测策略保证跟踪鲁棒性。本技术的快速跟踪主要体现在仅对一张图跑模型，如果对每一张都跑就会很慢。
8.在一种可行的实施方式中，构建并训练导线检测模型，具体包括：构建多层级残差特征提取模块；其中，所述多层级残差特征提取模块由多个残差模块构成，每个残差模块包括深度分离卷积层、批归一化层以及激活层；构建多感受野特征提取模块；其中，所述多感受野特征提取模块包括空洞深度分离卷积层以及全局池化层；构建特征融合模块，将所述多感受野特征提取模块输出的多感受野特征图，与所述多层级残差特征提取模块中的第一个残差模块提取的浅层特征图进行特征融合，得到特征融合图像；其中，在特征融合前，将
所述浅层特征图上采样至所述多感受野特征图的相同尺寸；构建解码预测模块，对所述特征融合图像进行解码预测，得到输出图像；将所述多层级残差特征提取模块、所述多感受野特征提取模块、所述特征融合模块以及所述解码预测模块构成所述导线检测模型；通过训练数据集，对所述导线检测模型进行训练。
9.在一种可行的实施方式中，构建多层级残差特征提取模块，具体包括：将第一深度分离卷积层、批归一化层、激活层以及第二深度分离卷积层依次相连；其中，所述第一深度分离卷积层用于对输入图像进行深度分离卷积处理，并将处理结果输入到批归一化层中进行归一化处理；所述激活层用于对所述批归一化层的输出特征中的预设重要特征进行激活，并对预设不重要特征进行抑制，所述第二深度分离卷积层用于对激活层输出的特征再次进行深度分离卷积处理；构建相加层，将输入图像与所述第二深度分离卷积层的输出结果相加；所述第一深度分离卷积层、所述批归一化层、所述激活层、所述第二深度分离卷积层以及所述相加层，构成一个残差模块；将多个所述残差模块相连接，构成所述多层级残差特征提取模块。
10.在一种可行的实施方式中，构建多感受野特征提取模块，具体包括：分别构建第一空洞深度分离卷积层、第二空洞深度分离卷积层、第三空洞深度分离卷积层、第四空洞深度分离卷积层以及全局池化层，以对输入图像进行多感受野特征提取；其中，所述第一空洞深度分离卷积层为1*1空洞深度分离卷积层；所述第二空洞深度分离卷积层为空洞率为1的3*3空洞深度分离卷积层；所述第三空洞深度分离卷积层为空洞率为3的3*3空洞深度分离卷积层；所述第四空洞分离卷积层为空洞率为5的3*3空洞深度分离卷积层；构建级联层，对提取的所述多感受野特征进行拼接；构建1*1的卷积块，对拼接的多感受野特征进行融合；所述第一空洞深度分离卷积层、所述第二空洞深度分离卷积层、所述第三空洞深度分离卷积层、所述第四空洞深度分离卷积层、所述全局池化层、所述级联层以及所述1*1的卷积块，构成所述多感受野特征提取模块。
11.在一种可行的实施方式中，通过预设的混合损失函数，对训练后的所述导线检测模型进行优化，具体包括：根据训练后的所述导线检测模型输出的导线轮廓预测图像的预测准确性，构建focal loss损失函数；根据所述导线轮廓预测图像与对应的训练样本的相似度，构建dice loss损失函数；根据loss＝w1*focalloss+w2*diceloss，得到所述混合损失函数loss；其中，ω1为所述focal loss损失函数的损失平衡因子，ω2为所述dice loss损失函数的损失平衡因子；对训练后的所述掉线检测模型进行参数寻优，直至所述混合损失函数收敛，得到优化后的导线检测模型。
12.在一种可行的实施方式中，根据所述导线轮廓图像，在所述第一帧视频图像中，确定导线观察点集合，具体包括：根据所述导线轮廓图像中的导线特征，确定所述第一帧视频图像中导线所在区域的最小外接矩形；在所述视频图像的所述最小外接矩形内绘制等间隔的平行线；确定所述平行线与所述视频图像中的导线产生的交点位置坐标，得到局部导线跟踪点集合；在所述最小外接矩形区域中，通过shi-tomasi角点检测算法生成候选跟踪点集合；将所述局部导线跟踪点集合与所述候选跟踪点集合组合为导线候选观察点集合；根据所述导线轮廓图像中的导线轨迹，生成导线掩膜，并根据所述导线掩膜，在所述导线候选观察点集合中筛选出存在于导线轨迹上的点，得到所述导线观察点集合；其中，所述导线观察点集合中存储有所有导线观察点的位置坐标。
13.在一种可行的实施方式中，在所述导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合，具体包括：将第一帧视频图像的导线观察点集合中的点作为跟踪点，并对所述跟踪点进行前向光流跟踪，得到第二帧视频图像的预测导线观察点集合；将所述第二帧视频图像的预测导线观察点集合中的点作为跟踪点，并对所述跟踪点进行反向光流跟踪，得到所述第一帧视频图像的预测导线观察点集合；计算所述第一帧视频图像的导线观察点集合与预测导线观察点集合中对应点的欧拉距离；若所述欧拉距离大于预设阈值，则确定对应的导线观察点为无效观察点，进行剔除；将所述第一帧视频图像的导线观察点集合中的无效观察点全部剔除后，得到有效观察点集合。
14.在一种可行的实施方式中，根据所述有效观察点集合，对所述输电通道视频中的导线进行跟踪，具体包括：根据所述第一帧视频图像的有效观察点集合进行前向光流跟踪，得到第二帧视频图像的预测有效观察点集合；根据所述第二帧视频图像的预测有效观察点集合，计算第二帧视频图像的跟踪框的位置以及尺寸，以此类推，得到每一帧视频图像的跟踪框的位置以及尺寸，以对所述输电通道视频中的导线进行跟踪。
15.在一种可行的实施方式中，在构建并训练导线检测模型之前，所述方法还包括：收集预设数量的包含输电导线的输电通道图像；通过labelme软件，对所述输电通道图像中的每一根输电导线标注导线区域掩膜，得到每张输电通道图像对应的标注图像；将所述预设数量的输电通道图像与对应的标注图像，组成所述导线检测模型的训练数据集。
16.另一方面，本技术实施例还提供了一种导线跟踪设备，设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行根据上述任一实施方式所述的一种导线跟踪方法。
17.本技术实施例提供的一种导线跟踪方法及设备中，首先提出一种基于深度分离卷积的轻量级导线检测模型，该模型通过深度分离卷积提取特征但同时保持低计算量。为解决复杂背景导线检测难问题，本技术提出空洞深度分离卷积的多感受野融合模块来提升模型对导线与背景的区分能力。为解决导线占比小难以检测问题，本技术提出一种基于focal loss与dice loss的混合损失函数来优化导线检测模型，增强导线检测。最后，针对单向光流可能造成的导线观察点跟踪漂移问题，本技术提出一种新的观察点选取方法，并通过双向光流跟踪确认方法来提升光流跟踪的鲁棒性。整体上提高了导线跟踪的准确度。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本技术实施例提供的一种导线跟踪方法流程图；
20.图2为本技术实施例提供的一种导线检测模型示意图；
21.图3为本技术实施例提供的一种残差模块示意图；
22.图4为本技术实施例提供的一种多感受野特征提取模块示意图；
23.图5为本技术实施例提供的一种导线观察点构造示意图；
24.图6为本技术实施例提供的一种导线跟踪设备的结构示意图。
具体实施方式
25.为了使本技术领域的人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
26.本技术实施例提供了一种导线跟踪方法，如图1所示，导线跟踪方法具体包括步骤s101-s106：
27.s101、构建并训练导线检测模型。
28.具体地，构建多层级残差特征提取模块。多层级残差特征提取模块由多个残差模块构成，每个残差模块包括深度分离卷积层、批归一化层以及激活层。
29.进一步地，构建多感受野特征提取模块。多感受野特征提取模块包括空洞深度分离卷积层以及全局池化层。
30.进一步地，构建特征融合模块，将多感受野特征提取模块输出的多感受野特征图，与多层级残差特征提取模块中的第一个残差模块提取的浅层特征图进行特征融合，得到特征融合图像。在特征融合前，将浅层特征图上采样至多感受野特征图的相同尺寸。
31.进一步地，构建解码预测模块，对特征融合图像进行解码预测，得到输出图像。将多层级残差特征提取模块、多感受野特征提取模块、特征融合模块以及解码预测模块构成导线检测模型。
32.作为一种可行的实施方式，图2为本技术实施例提供的一种导线检测模型示意图。如图2所示，将原始图像输入由3个残差模块构成的多层级残差特征提取模块，进行多层特征图提取，并将提取的深层特征图输入多感受野特征提取模块中进行多感受野特征提取及融合。再将多层级残差特征提取模块中的第一个残差模块输出的浅层特征图进行上采样，直至尺寸与多感受野特征提取模块输出的多感受野特征图相同后，通过特征融合模块将上采样后的浅层特征图与多感受野特征图进行特征融合，得到特征融合图像。最后通过解码预测模块对特征融合图像进行解码，得到预测的导线轮廓图像。
33.在一个实施例中，多层级残差特征提取模块、多感受野特征提取模块以及特征融合模块为导线检测模型的编码模块，解码预测模块为导线检测模型的解码模块。
34.作为一种可行的实施方式，构建多层级残差特征提取模块，具体包括：将第一深度分离卷积层、批归一化层、激活层以及第二深度分离卷积层依次相连；其中，第一深度分离卷积层用于对输入图像进行深度分离卷积处理，并将处理结果输入到批归一化层中进行归一化处理；激活层用于对批归一化层的输出特征中的预设重要特征进行激活，并对预设不重要特征进行抑制，第二深度分离卷积层用于对激活层输出的特征再次进行深度分离卷积处理。构建相加层，将输入图像与第二深度分离卷积层的输出结果相加。第一深度分离卷积层、批归一化层、激活层、第二深度分离卷积层以及相加层，构成一个残差模块。将多个残差模块相连接，构成多层级残差特征提取模块。
35.在一个实施例中，图3为本技术实施例提供的一种残差模块示意图，如图3所示，将
输入图像输入到第一深度分离卷积层中进行深度分离卷积处理，并将处理结果输入到批归一化层中进行归一化处理，再通过激活层对批归一化层的输出特征中的预设重要特征进行激活，并对预设不重要特征进行抑制，再通过第二深度分离卷积层对激活层输出的特征再次进行深度分离卷积处理，最后将输入图像与第二深度分离卷积层的输出结果相加，得到输出特征图。深度分离卷积层通过将普通卷积的过程拆分成深度卷积与逐点卷积来达到减少参数量、加速计算的效果。激活层在特征图上激活部分特征而抑制部分不重要特征，批归一化层对激活输出特征图归一化操作稳定模型训练。本技术将卷积输入与激活层输出结果相加构成一个残差结构，残差结构中的恒等分支设计可极大缓解模型过深导致的梯度消失问题。
36.作为一种可行的实施方式，构建多感受野特征提取模块，具体包括：分别构建第一空洞深度分离卷积层、第二空洞深度分离卷积层、第三空洞深度分离卷积层、第四空洞深度分离卷积层以及全局池化层，以对输入图像进行多感受野特征提取。然后构建级联层，对提取的多感受野特征进行拼接。最后构建1*1的卷积块，对拼接的多感受野特征进行融合。第一空洞深度分离卷积层、第二空洞深度分离卷积层、第三空洞深度分离卷积层、第四空洞深度分离卷积层、全局池化层、级联层以及1*1的卷积块，构成多感受野特征提取模块。
37.在一个实施例中，图4为本技术实施例提供的一种多感受野特征提取模块示意图，如图4所示，其中dw表示空洞深度分离卷积，r表示空洞率，cat表示级联操作，pooling表示全局池化层。具体地，针对stride为16的特征图，通过不同的空洞深度分离卷积层提取不同感受野特征并拼接至一起，然后采用1*1的卷积融合多感受野特征，这样的方式在有效提升特征图感受野的同时而不增加计算量。第一空洞深度分离卷积层为1*1空洞深度分离卷积层；第二空洞深度分离卷积层为空洞率为1的3*3空洞深度分离卷积层；第三空洞深度分离卷积层为空洞率为3的3*3空洞深度分离卷积层；第四空洞分离卷积层为空洞率为5的3*3空洞深度分离卷积层。
38.进一步地，收集预设数量的包含输电导线的输电通道图像。通过labelme软件，对输电通道图像中的每一根输电导线标注导线区域掩膜，得到每张输电通道图像对应的标注图像。将预设数量的输电通道图像与对应的标注图像，组成导线检测模型的训练数据集。通过训练数据集，对导线检测模型进行训练。
39.s102、通过预设的混合损失函数，对训练后的导线检测模型进行优化。
40.具体地，根据训练后的导线检测模型输出的导线轮廓预测图像的预测准确性，构建focal loss损失函数。根据导线轮廓预测图像与对应的训练样本的相似度，构建dice loss损失函数。然后根据
41.loss＝w1*focalloss+w2*diceloss，得到混合损失函数。其中，ω1为focal loss损失函数的损失平衡因子，ω2为dice loss损失函数的损失平衡因子。对训练后的掉线检测模型进行参数寻优，直至混合损失函数收敛，得到优化后的导线检测模型。
42.在一个实施例中，考虑到导线非常细长，所占面积占图片面积非常小，这对模型区分导线与背景像素以及模型预测无偏袒提出较大挑战。样本分布不均导致使用常规的交叉熵损失训练模型过程中会使易分且占比远大于导线的背景区域损失淹没导线损失，这样训练出来的模型会偏向背景预测且泛化性能弱。为解决这样的问题，本技术提出focal loss与dice loss相结合的混合损失函数来训练导线检测模型，损失平衡因子ω1和ω2，在本申
请中均设置为0.5。
43.s103、通过优化后的导线检测模型，对输电通道视频中的第一帧视频图像进行识别，得到第一帧视频图像对应的导线轮廓图像。
44.具体地，本技术仅通过导线检测模型检测输电通道视频中的第一帧视频图像，而不是对每帧图像都检测，以实现以对导线的快速跟踪。
45.s104、根据导线轮廓图像，在对应的视频图像中，确定导线观察点集合。
46.具体地，根据导线轮廓图像中的导线特征，确定第一帧视频图像中导线所在区域的最小外接矩形。在视频图像的最小外接矩形内绘制等间隔的平行线。确定平行线与视频图像中的导线产生的交点位置坐标，得到局部导线跟踪点集合。在最小外接矩形区域中，通过shi-tomasi角点检测算法生成候选跟踪点集合。将局部导线跟踪点集合与候选跟踪点集合组合为导线候选观察点集合。
47.进一步地，根据导线轮廓图像中的导线轨迹，生成导线掩膜，并根据导线掩膜，在导线候选观察点集合中筛选出存在于导线轨迹上的点，得到导线观察点集合。其中，导线观察点集合中存储有所有导线观察点的位置坐标。
48.作为一种可行的实施方式，图5为本技术实施例提供的一种导线观察点构造示意图，如图5所示，依据导线检测模型输出的导线轮廓图像，我们可以确定原始图像中所有导线所在区域的最小外接矩形，在该最小外接矩形区域内绘制等间隔等粗细的平行线，平行线与所检测导线轨迹相交产生交点，这些交点即为局部导线跟踪点。此外，在该最小外接矩形区域，通过shi-tomasi角点检测算法生成候选跟踪点与上述交点构成导线候选观察点。为了进一步筛选仅处于导线上的候选观察点，依据导线检测轨迹生成导线掩膜，依据该导线掩膜从导线候选观察点中筛选出仅在导线上的点，这些点称为导线观察点。
49.s105、在导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合。
50.具体地，将第一帧视频图像的导线观察点集合中的点作为跟踪点，并对跟踪点进行前向光流跟踪，得到第二帧视频图像的预测导线观察点集合。将第二帧视频图像的预测导线观察点集合中的点作为跟踪点，并对跟踪点进行反向光流跟踪，得到第一帧视频图像的预测导线观察点集合。计算第一帧视频图像的导线观察点集合与预测导线观察点集合中对应点的欧拉距离。若欧拉距离大于预设阈值，则确定对应的导线观察点为无效观察点，进行剔除。将第一帧视频图像的导线观察点集合中的无效观察点全部剔除后，得到有效观察点集合。
51.作为一种可行的实施方式，传统关键点跟踪可使用lucas kanade稀疏光流算法(lk算法)来实现，但在输电通道场景中对导线观察点的跟踪，直接使用lk算法可能带来局部观察点漂移或预测偏差较大情况，这主要还是因为导线上不同点位观察点非常相似造成的。为了缓解该问题，本技术针对所有导线观察点，从t时刻图像中预测t+1时刻图像中所有导线观察点的位置，再从t+1时刻预测的所有导线观察点的位置，预测t时刻图像中的导线观察点位置，若与t时刻的原始导线观察点位置的距离误差在一定范围内，则认为这个导线观察点有效，否则剔除这个导线观察点。
52.s106、根据有效观察点集合，对输电通道视频中的导线进行跟踪。
53.具体地，根据第一帧视频图像的有效观察点集合进行前向光流跟踪，得到第二帧视频图像的预测有效观察点集合。
54.进一步地，根据第二帧视频图像的预测有效观察点集合，计算第二帧视频图像的跟踪框的位置以及尺寸，以此类推，得到每一帧视频图像的跟踪框的位置以及尺寸，以对输电通道视频中的导线进行跟踪。
55.另外，本技术实施例还提供了一种导线跟踪设备，如图6所示，导线跟踪设备600具体包括：
56.至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，
57.存储器602存储有能够被至少一个处理器601执行的指令，以使至少一个处理器601能够执行：
58.构建并训练导线检测模型；
59.通过预设的混合损失函数，对训练后的所述导线检测模型进行优化；
60.通过优化后的所述导线检测模型，对输电通道视频中的第一帧视频图像进行识别，得到第一帧视频图像对应的导线轮廓图像；
61.根据所述导线轮廓图像，在所述第一帧视频图像中，确定导线观察点集合；
62.在所述导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合；
63.根据所述有效观察点集合，对所述输电通道视频中的导线进行跟踪。
64.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
65.上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
66.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术的实施例可以有各种更改和变化。凡在本技术实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。