一种室内电力设备三维重建方法、系统、设备及介质与流程

本发明属于计算机视觉，涉及一种室内电力设备三维重建方法、系统、设备及介质。

背景技术：

1、对变电站场景中生产作业、管理、服务等全流程开展数字化赋能，打造电气设备智能巡视、人机协同一体化智能作业管控与辅助、高风险区设备与人身智能安全管控、全景交互式的场站与设备教字化设计等智能交互的基础是开展电气设备的三维数字化技术研究。

2、传统电气设备三维建模方法主要是采用激光雷达的方式实现三维重建，存在采集工作耗时耗力问题，并且激光雷达采集设备昂贵，不适合区域面积大的电气设备的数据采集重建。

3、目前针对以上问题，现有技术中给出了以下解决方案：

4、第一种方案：鉴于单张图像包含信息是有限的且大多方法只关注目标单一特征内容，同时实验的样本数据量大，造成网络模型训练在时空上的耗费。

5、第一种方案的问题在于：基于深度学习的单幅图像点云三维重建研究由于只有单一图像的输入，一旦产生遮挡或图像不清晰等问题很容易影响三维成像的效果。

6、第二种方案：为了从单张任意视角的彩色图像中恢复物体的完整三维结构，从大规模三维数据集中学习几何先验，建立从rgb空间到三维模型空间的映射关系。在pix2vox中,物体三维结构是使用体素表示的。在体素中，0和1分别表示一个体索点是未被填充的和被填充的。首先，编码器将每张图像编码成一个特征向量；接着解码器从每个特征向量都恢复出一个粗略的三维体素模型；最后，基于u-net的微调器通过残差连接形成一个残差网络，从而用于进一步优化重建结果。

7、第二种方案的问题在于：对于一些特殊或复杂的场景，可能难以找到合适的规则，不具备很好的泛化效果。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供了一种室内电力设备三维重建方法、系统、设备及介质，该方法、系统、设备及介质能够实现电力设备的三维重建，且泛化效果较好，三维重建效果优异。

2、为达到上述目的，本发明采用如下技术方案：

3、本发明一方面，本发明提供了一种室内电力设备三维重建方法，包括：

4、获取室内电气设备的双目彩色图像；

5、将所述室内电气设备的双目彩色图像输入到三维重建网络recnet中，得到点云模型及体素模型，完成室内电力设备三维重建。

6、本发明所述室内电力设备三维重建方法进一步的改进在于：

7、所述将所述室内电气设备的双目彩色图像输入到三维重建网络recnet中，得到点云模型及体素模型的过程为：

8、将所述室内电气设备的双目彩色图像输入到dispnet-b模块中，得到视差图；

9、在通道维度拼接所述双目彩色图像，生成图像ml；

10、在通道维度拼接所述视差图，生成图像mr；

11、将图像ml输入到recnet编码器中，recnet编码器的第二个卷积层及第四个卷积层分别生成特征fl2及特征fl4；

12、将图像mr输入到recnet编码器中，recnet编码器的第二个卷积层及第四个卷积层分别生成特征fr2及特征fr4；

13、根据特征fl2及特征fr2生成视图相关性向量c；

14、将视图相关性向量c、特征fl4及特征fr4进行拼接，得到特征ff；

15、将特征ff输入到recnet点云解码器中，得到点云模型；

16、将特征ff输入到recnet体素解码器中，得到体素模型；

17、所述根据特征fl2及特征fr2生成视图相关性向量c的过程为：

18、特征fl2及特征fr2输入到视图关联网络corrnet中，生成视图相关性向量c。

19、dispnet-b模块的损失函数基于视差图中左右视图视差的真实值及估计值构建而成。

20、所述将所述室内电气设备的双目彩色图像输入到三维重建网络recnet中之前还包括：

21、对所述室内电气设备的双目彩色图像进行预处理。

22、当所述室内电气设备的双目彩色图像为热红外图像时，所述对所述室内电气设备的双目彩色图像进行预处理的过程为：

23、对热红外图像进行限制对比度的自适应直方图均衡化处理及引导滤波处理。

24、当所述室内电气设备的双目彩色图像为可见光图像时，所述对所述室内电气设备的双目彩色图像进行预处理的过程为：

25、对可见光图像进行去噪及增强处理。

26、本发明二方面，本发明提供了一种室内电力设备三维重建系统，包括：

27、获取模块，用于获取室内电气设备的双目彩色图像；

28、构建模块，用于将所述室内电气设备的双目彩色图像输入到三维重建网络recnet中，得到点云模型及体素模型，完成室内电力设备三维重建。

29、本发明三方面，本发明提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述室内电力设备三维重建方法的步骤。

30、本发明四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述室内电力设备三维重建方法的步骤。

31、本发明具有以下有益效果：

32、本发明所述的室内电力设备三维重建方法、系统、设备及介质在具体操作时，采用双目彩色图像及三维重建网络recnet，进行室内电力设备的三维重建，泛化效果较好，三维重建效果优异，高度自动化的室内三维重建，降低了人工干预的需求，提高了监测的效率和稳定性，具体的，将所述室内电气设备的双目彩色图像输入到三维重建网络recnet中，得到点云模型及体素模型，完成室内电力设备三维重建，其中，三维重建网络recnet能够实现左右视角的图片融合，提高模型塑造的真实性，操作简单，方便，实现电力可视化。

技术特征：

1.一种室内电力设备三维重建方法，其特征在于，包括：

2.根据权利要求1所述的室内电力设备三维重建方法，其特征在于，所述将所述室内电气设备的双目彩色图像输入到三维重建网络recnet中，得到点云模型及体素模型的过程为：

3.根据权利要求2所述的室内电力设备三维重建方法，其特征在于，所述根据特征fl2及特征fr2生成视图相关性向量c的过程为：

4.根据权利要求2所述的室内电力设备三维重建方法，其特征在于，dispnet-b模块的损失函数基于视差图中左右视图视差的真实值及估计值构建而成。

5.根据权利要求1所述的室内电力设备三维重建方法，其特征在于，所述将所述室内电气设备的双目彩色图像输入到三维重建网络recnet中之前还包括：

6.根据权利要求5所述的室内电力设备三维重建方法，其特征在于，当所述室内电气设备的双目彩色图像为热红外图像时，所述对所述室内电气设备的双目彩色图像进行预处理的过程为：

7.根据权利要求5所述的室内电力设备三维重建方法，其特征在于，当所述室内电气设备的双目彩色图像为可见光图像时，所述对所述室内电气设备的双目彩色图像进行预处理的过程为：

8.一种室内电力设备三维重建系统，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述室内电力设备三维重建方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述室内电力设备三维重建方法的步骤。

技术总结
本发明公开了一种室内电力设备三维重建方法、系统、设备及介质，包括：获取室内电气设备的双目彩色图像；将所述室内电气设备的双目彩色图像输入到三维重建网络RecNet中，得到点云模型及体素模型，完成室内电力设备三维重建，该方法、系统、设备及介质能够实现电力设备的三维重建，且泛化效果较好，三维重建效果优异。

技术研发人员：卢士达,冯天波,陈晓露,孙浩之
受保护的技术使用者：国网上海市电力公司
技术研发日：
技术公布日：2024/5/9