一种输电通道的稀疏深度图填充和扩充方法及存储介质

本发明涉及输电线路智能巡检领域，尤其涉及一种输电通道的稀疏深度图填充和扩充方法及存储介质。

背景技术：

1、随着计算机视觉技术的飞速发展，在输电通道中利用目标检测和空间测距技术实现智能监测和预警，是实现自动化、智能化巡检，保证巡检人员生命安全，提高巡检效率的有效方法。基于图像的目标检测技术与空间距离测量技术进行融合，可实现有效的隐患报警和预警。其中，空间距离测量技术需要以输电通道内的地面深度信息作为支撑，实现隐患的定位和隐患目标与导线的空间距离量测。

2、机载lidar点云数据的扫描宽度往往在80～100m之间，而输电通道内的图像数据所覆盖的范围远远大于该扫描宽度，为实现大范围、精准的测距能力，需要利用大覆盖范围的深度图像，直接扩大输电通道内点云的扫描范围或增加多个航线来实现更大范围点云的获取是非常有效的方式，但前者采集的点云在边缘区域只能获取十分稀疏的点云，而后者极大地增加了输电智能巡检的应用成本。同时，深度图中仅利用点云中的地面信息，而地面信息由于地物(植被，树木和人工建筑)等的影响，分类后获取的点云数据极为稀疏。因此，本发明公开了一种输电通道的稀疏深度图填充和扩充方法，不仅将稀疏深度图内部的空洞进行填充，也可以根据应用的具体需要向通道两侧进行一定范围的扩充。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供一种输电通道的稀疏深度图填充和扩充方法及存储介质。

2、第一方面，本发明提供一种输电通道的稀疏深度图填充和扩充方法，包括：

3、采集输电通道的点云数据和图片；

4、将通道内的点云数据进行点云滤波，剔除非地面点云；

5、将得到的稀疏地面点云利用tps插值方法进行稠密化，并向外按照设定程度进行扩充；

6、利用图片和处理后的地面点云数据进行配准，得到采集通道图片的监拍设备的内参和外参；其中所述配准为以通道图片为基准，通过对点云进行平移和旋转，直到点云与通道图片匹配一致；其中所述内参为监拍设备自身的属性，外参为以监拍设备为三维坐标系的原点，其所在空间中位姿，包括旋转矩阵和平移矩阵；

7、利用配准参数将点云转换为监拍设备视角下输电通道内的地面深度图；

8、采用形态学闭运算的方法，填充地面深度图的空洞；

9、搜索深度图中的空洞像素并采用查找最邻近非空像素的方法进行填补，最终得到范围扩充且不存在空洞的输电通道深度图。

10、更进一步地，通过设定滤波参数的布料滤波算法对输电通道点云数据进行滤波得到仅地面信息的稀疏地面点云。

11、更进一步地，所述布料滤波算法的滤波参数包括格网大小、滤波迭代次数和分类阈值。

12、更进一步地，将得到的稀疏地面点云利用tps插值方法进行稠密化，并向外按照设定程度进行扩充包括：

13、以固定间隔将稀疏地面点云划分为不同的格网，每个格网中包含的所有点云的平均值作为当前格网的代表点，若格网内不存在点则记录格网的中心坐标；

14、以纵坐标为x轴，横坐标为y轴，沿着x轴向上下进行扩充；

15、按所述固定间隔将外扩区域划分为格网，记录外扩区域格网坐标；将所有格网化后的点云作为点云插值的输入点，利用tps插值方法拟合曲面函数；将不存在点云网格和外扩网格坐标点作为待插值点，带入拟合平面函数，计算待插值点的高程zgrid和zexpansion；固定间隔的稠密化的地面点云数据ptps，并将原始的地面点云数据p加入新生成的地面点云数据ptps，组成稠密点云pits。

16、更进一步地，监拍设备内参m如下：

17、

18、其中，fx为监拍设备x轴(水平)方向焦距的长度；fy为监拍设备y轴(垂直)方向焦距的长度；cx为图像坐标系水平方向中心点位置，cy为图像坐标系垂直方向中心点位置；

19、监拍设备外参分别为3×3旋转矩阵r和3×1平移矩阵t：

20、

21、t＝[txtytz]t。

22、更进一步地，以监拍设备为原点，对点云进行平移和旋转得到与通道图像特征一致的点云，公式如下：

23、

24、更进一步地，所述采用形态学闭运算的方法，填充地面深度图的空洞包括：利用5×5的菱形膨胀核对深度图进行形态学闭运算，填充深度图中的小空洞；然后，利用7×7的全形膨胀核再次进行形态学的闭运算，实现深度图大空洞的填充；

25、5×5的菱形膨胀核：

26、

27、7×7的全形膨胀核：

28、

29、更进一步地，所述利用配准参数将点云转换为监拍设备视角下输电通道内的地面深度图的计算方法如下：

30、dl[0,:]＝dl[0,:]*dl[2,:]

31、dl[1,:]＝dl[1,:]*dl[2,:]

32、dcl＝m*dl，

33、其中，dcl为导线点云，是一个行数为3的二维矩阵，m为监拍设备内参矩阵，dl为地面深度信息。

34、更进一步地，所述搜索深度图中的空洞像素并采用查找最邻近非空像素的方法进行填补包括：

35、以图像的每列作为基本的处理单元，逐次获取每列像素第一个像素不为空的像素坐标，该坐标与该列的最后一个像素坐标中间若存在没有深度信息的像素则进行记录；

36、逐行搜索每列像素，直到所有空洞像素被找到，计算空洞值像素的最近邻非空深度值，并将其赋给空洞像素；

37、直到空洞值都被填充，则计算停止，最终得到填充后的深度图。

38、第二方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时，实现如所述的输电通道的稀疏深度图填充和扩充方法。

39、本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

40、本发明基于插值的方法对点云进行稠密化和外扩，同时利用数学形态学闭运算的方法对深度图进行快速的内部填充。本发明提出的方法可实现快速的深度图填充和扩充效果，根据点云数据实现深度信息的填充，避免了通过图像进行填充所导致的精度信息严重损失问题，为智能化输电通道巡检提供了强有力的数据基础和技术支撑。

技术特征：

1.一种输电通道的稀疏深度图填充和扩充方法，其特征在于，包括：

2.根据权利要求1所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，通过设定滤波参数的布料滤波算法对输电通道点云数据进行滤波得到仅地面信息的稀疏地面点云。

3.根据权利要求2所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，所述布料滤波算法的滤波参数包括格网大小、滤波迭代次数和分类阈值。

4.根据权利要求1所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，将得到的稀疏地面点云利用tps插值方法进行稠密化，并向外按照设定程度进行扩充包括：

5.根据权利要求1所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，监拍设备内参m如下：

6.根据权利要求1所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，以监拍设备为原点，对点云进行平移和旋转得到与通道图像特征一致的点云，公式如下：

7.根据权利要求1所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，所述采用形态学闭运算的方法，填充地面深度图的空洞包括：利用5×5的菱形膨胀核对深度图进行形态学闭运算，填充深度图中的小空洞；然后，利用7×7的全形膨胀核再次进行形态学的闭运算，实现深度图大空洞的填充；

8.根据权利要求1所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，所述利用配准参数将点云转换为监拍设备视角下输电通道内的地面深度图的计算方法如下：

9.根据权利要求1所述的输电通道的稀疏深度图填充和扩充方法，其特征在于，所述搜索深度图中的空洞像素并采用查找最邻近非空像素的方法进行填补包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-9任一项所述的输电通道的稀疏深度图填充和扩充方法。

技术总结
本发明提供了一种输电通道的稀疏深度图填充和扩充方法及存储介质，属于输电线路的智能运检领域，所述方法包括：采集输电通道的点云数据和通道图片；将输电通道内的点云数据进行点云滤波，得到仅包含地面点的地面点云数据，然后利用插值方法将稀疏地面点云进行稠密化，并向通道外进行扩充；将图片和地面点云数据进行配准得到输电通道内的地面深度图；采用形态学膨胀方法，填充深度图的空洞，搜索深度图中的空洞像素并采用邻近填充的方法进行填补，最终得到通道扩充且不存在空洞的输电通道深度图。本发明采用三维散乱点云与二维深度图相结合的方式，实现输电通道深度图信息的扩充和完善，为输电网线的无人化、智能化隐患检测提供技术支撑。

技术研发人员：武慧明,李来国,解媛媛,朱言庆,方亮,房占磊
受保护的技术使用者：临沂科技职业学院
技术研发日：
技术公布日：2024/3/27