基于无人机的分布式光伏屋顶勘测方法、装置及设备与流程

本发明涉及目标检测，尤其涉及一种基于无人机的分布式光伏屋顶勘测方法、装置及设备。

背景技术：

1、分布式光伏安装屋顶勘测是为了统计屋顶光伏发电的需求、推进分布式光伏发电的一种有效方法。城市场景屋顶作为光伏发电的重要载体，有助于推动光伏发电的利用率，可以防止弃光现象发生，减少能源浪费，同时最大化降低建设成本，实现城市场景屋顶的利用最大化。

2、目前，基于无人机的分布式光伏屋顶勘测方法依然采用传统的人力勘测方式，难以对所勘测区域进行全面了解，且勘测效率较低。

技术实现思路

1、本发明实施例的主要目的在于提出一种基于无人机的分布式光伏屋顶勘测方法、装置及设备，通过充分利用基于无人机遥感图像的多模态目标检测高效率的检测方式，提高对基于无人机的分布式光伏屋顶勘测的效率。

2、为实现上述目的，本发明实施例的第一方面提出了一种基于无人机的分布式光伏屋顶勘测方法，所述方法包括：

3、获取无人机在勘测区域采集的遥感图像；

4、对所述遥感图像进行预处理，得到rgb图像、深度图像和多光谱图像；

5、将所述rgb图像、所述深度图像和所述多光谱图像输入至多模态目标检测模型，得到检测结果，其中，所述多模态目标检测模型包括细节特征模块、注意力交互模块和回溯补充模块，所述细节特征模块内置有中层特征提取模块和信息交互机制模块，所述注意力交互模块内置有注意力交互机制模块，所述回溯补充模块内置有信息交互机制模块；

6、根据所述检测结果判断所述勘测区域的屋顶大小是否合适安装分布式光伏。

7、在一些实施例，所述将所述rgb图像、所述深度图像和所述多光谱图像输入至多模态目标检测模型，得到检测结果，包括：

8、将所述rgb图像输入到所述细节特征模块，得到第一特征图；

9、将所述深度图像和所述多光谱图像输入到所述注意力交互模块，得到第二特征图；

10、将所述第一特征图和所述第二特征图输入到所述回溯补充模块，得到具有丰富语义信息的显著特征图。

11、在一些实施例，所述将所述rgb图像输入到所述细节特征模块，得到第一特征图，包括：

12、通过所述细节特征模块对所述rgb图像进行特征提取，采用多个卷积操作来得到多个不同深度的第一层特征；

13、对多个所述第一层特征使用信息交互机制进行处理，以产生多个不同大小的所述第一特征图。

14、在一些实施例，所述对多个所述第一层特征使用信息交互机制进行处理，以产生多个不同大小的所述第一特征图，包括：

15、对多个所述第一层特征进行中层特征提取，得到多个不同大小的最优细节特征；

16、对多个不同大小的所述最优细节特征输入至所述信息交互机制模块，通过相互相乘和相互相加进行特征融合，得到所述第一特征图。

17、在一些实施例，所述将所述深度图像和所述多光谱图像输入到所述注意力交互模块，得到第二特征图，包括：

18、通过所述注意力交互模块对所述深度图像和所述多光谱图像同时进行处理，得到特征块；

19、使用注意力交互机制对所述特征块进行信息交互，得到所述第二特征图。

20、在一些实施例，所述将所述第一特征图和所述第二特征图输入到所述回溯补充模块，得到具有丰富语义信息的显著特征图，包括：

21、将所述第一特征图与所述第二特征图进行匹配，得到匹配结果；

22、将所述匹配结果输入到所述回溯补充模块中的信息交互机制模块进行回溯相加，以产生多个不同大小的显著特征图，所述显著特征图用于预测在所述勘测区域安装分布式光伏的目标位置和属性。

23、在一些实施例，所述根据所述检测结果判断所述勘测区域的屋顶大小是否合适安装分布式光伏，包括：

24、根据所述检测结果确定预测框对应的预测坐标值；

25、根据所述预测坐标值判断所述勘测区域的屋顶大小是否合适安装分布式光伏。

26、为实现上述目的，本发明实施例的第二方面提出了一种基于无人机的分布式光伏屋顶勘测装置，所述装置包括：

27、获取模块，用于获取无人机在勘测区域采集的遥感图像；

28、处理模块，用于对所述遥感图像进行预处理，得到rgb图像、深度图像和多光谱图像；

29、检测模块，用于将所述rgb图像、所述深度图像和所述多光谱图像输入至多模态目标检测模型，得到检测结果，其中，所述多模态目标检测模型包括细节特征模块、注意力交互模块和回溯补充模块，所述细节特征模块内置有中层特征提取模块和信息交互机制模块，所述注意力交互模块内置有注意力交互机制模块，所述回溯补充模块内置有信息交互机制模块；

30、判断模块，用于根据所述检测结果判断所述勘测区域的屋顶大小是否合适安装分布式光伏。

31、为实现上述目的，本发明实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

32、为实现上述目的，本发明实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

33、本发明提出的基于无人机的分布式光伏屋顶勘测方法、装置及设备,通过获取无人机在勘测区域采集的遥感图像；对遥感图像进行预处理，得到rgb图像、深度图像和多光谱图像；将rgb图像、深度图像和多光谱图像输入至多模态目标检测模型，得到检测结果，其中，多模态目标检测模型包括细节特征模块、注意力交互模块和回溯补充模块，细节特征模块内置有中层特征提取模块和信息交互机制模块，注意力交互模块内置有注意力交互机制模块，回溯补充模块内置有信息交互机制模块；根据检测结果判断勘测区域的屋顶大小是否合适安装分布式光伏。本发明首先对复杂场景的无人机遥感影像进行预处理，转换为同场景的深度图像和多光谱图像，从而得到rgb图像、深度图像和多光谱图像。将rgb图像输入到细节特征模块，深度图像和多光谱图像输入到注意力交互模块。对rgb图像进行中层特征提取，基于具有不同语义信息和位置信息的相邻特征组合，提取出多级细化特征后，得到初步特征图并进行检测分类。同时，将深度图像与多光谱图像输入进注意力交互模块，并在此阶段进行检测分类，有助于分布式光伏安装屋顶快速勘测。在多模态目标检测模型还内置有信息交互机制，将不同模态的特征信息进行相互补充。最后，将rgb特征与深度图像和多光谱图像的信息特征输入进回溯补充模块，得到具有丰富语义信息的显著特征图，从而提升最终的检测性能。本发明针对当前分布式光伏安装屋顶勘察中面临的难点，通过减少光照影响的多模态目标检测算法，实现对复杂场景下屋顶轮廓的精准抓取。基于此，本发明实施例能够提高对基于无人机的分布式光伏屋顶勘测的效率，适应新能源行业发展需求与结构性调整变化，促进资源合理分配。

技术特征：

1.一种基于无人机的分布式光伏屋顶勘测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述rgb图像、所述深度图像和所述多光谱图像输入至多模态目标检测模型，得到检测结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述rgb图像输入到所述细节特征模块，得到第一特征图，包括：

4.根据权利要求3所述的方法，其特征在于，所述对多个所述第一层特征使用信息交互机制进行处理，以产生多个不同大小的所述第一特征图，包括：

5.根据权利要求2所述的方法，其特征在于，所述将所述深度图像和所述多光谱图像输入到所述注意力交互模块，得到第二特征图，包括：

6.根据权利要求2所述的方法，其特征在于，所述将所述第一特征图和所述第二特征图输入到所述回溯补充模块，得到具有丰富语义信息的显著特征图，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据所述检测结果判断所述勘测区域的屋顶大小是否合适安装分布式光伏，包括：

8.一种基于无人机的分布式光伏屋顶勘测装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于无人机的分布式光伏屋顶勘测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于无人机的分布式光伏屋顶勘测方法。

技术总结
本发明实施例提供了一种基于无人机的分布式光伏屋顶勘测方法、装置及设备。该方法包括获取无人机在勘测区域采集的遥感图像；对遥感图像进行预处理，得到RGB图像、深度图像和多光谱图像；将RGB图像、深度图像和多光谱图像输入至多模态目标检测模型，得到检测结果，其中，多模态目标检测模型包括细节特征模块、注意力交互模块和回溯补充模块，细节特征模块内置有中层特征提取模块和信息交互机制模块，注意力交互模块内置有注意力交互机制模块，回溯补充模块内置有信息交互机制模块；根据检测结果判断勘测区域的屋顶大小是否合适安装分布式光伏。基于此，本发明实施例能够提高对基于无人机的分布式光伏屋顶勘测的效率。

技术研发人员：谭梓峻,肖廷轩,吕浩霖,周建宏,翟懿奎,李文霸,梁长钊,沈展宇,何元锋,黄梓杰
受保护的技术使用者：未来航空科技（江门）有限公司
技术研发日：
技术公布日：2024/1/22