技术特征：
1.一种基于多阶段神经网络的透明物体深度图像修复方法，包括以下步骤：s1.读取需要输入的彩色rgb图像i
rgb
，相对应的深度图像i
dep
；s2.对读取的图片进行放缩处理，使用双线性插值将图像分辨率调整为网络所需要的分辨率height
×
width；height表示图像纵向的分辨率，width表示图像横向的分辨率；s3.使用deeplab v3+网络模型获得分割图像i
seg
，公式如下：i
seg
＝deeplab(i
rgb
)
ꢀꢀꢀꢀ
(1)其中，deeplab()表示deeplab v3+网络模型，如图2所示；s4：去除深度图像中的噪声；使用预测出的分割图像i
seg
，将深度图像中i
dep
属于透明物体像素的深度值修改为0，从而去除深度图像中的噪声；公式如下：其中表示分割图像中位于i行、j列的像素，表示深度图像位于i行、j列个像素；s5.使用动态卷积层初步提取图像特征，公式如下：其中conv
dynamic
()表示动态卷积层，f
rgb0
表示对i
rgb
提取到的初始特征，f
dep0
表示对i
dep
提取到的初始特征；s6.使用编解码器架构提取第一阶段的特征；公式如下：其中unet()表示编解码器架构的unet子网络模型；f
rgb1
表示对f
rgb0
进行特征提取得到的特征，f
dep1
表示对f
dep0
进行特征提取得到的特征；s7.生成空间注意力图；公式如下：其中sab()表示空间注意力模块，sa
rgb
表示对f
rgb1
进行解码得到的空间注意力图，sa
dep
表示对f
dep1
进行解码得到的空间注意力图；s8.生成第一阶段修复图像out
rgb
与out
dep
；公式如下：其中dec()表示解码模块，用来输出修复后的结果；out
rgb
表示对f
rgb1
解码得到的结果，out
dep
表示对f
dep1
解码得到的结果；s9.对预测结果进行融合得到第一阶段的输出结果out1；公式如下：out1＝sa
rgb
·
out
rgb
+sa
dep
·
out
dep
ꢀꢀꢀꢀ
(7)s10.将f
rgb1
与f
dep1
相加得到融合特征f1，输入第二阶段的子网络提取特征；公式如下：其中f2表示第二阶段网络提取到的特征；
s11.使用解码模块对特征f2解码，得到第二阶段的输出结果out2；s12.将特征f2输入第三阶段的网络得到特征f3；公式如下：f3＝ornet(f2)
ꢀꢀꢀꢀ
(9)其中ornet()表示带有空间注意力的尺度不变网络；s13.使用解码模块对特征f3解码，得到第三阶段的输出结果out3；s14.使用空间注意力模块预测输出结果out1的空间注意力图sa1，输出结果out2的空间注意力图sa2，输出结果out3的空间注意力图sa3；s15.对各阶段的输出结果进行融合即可得到修复后的深度图像i
out
；公式如下：i
out
＝sa1·
out1+sa2·
out2+sa3·
out3ꢀꢀꢀꢀ
(10)。
技术总结
一种基于多阶段神经网络的透明物体深度图像修复方法，包括：读取输入图像进行放缩；预测分割图像；去除深度图像中的噪声；使用动态卷积初步提取特征；提取第一阶段特征；生成第一阶段不同分支的空间注意力图；生成第一阶段不同分支的修复图像；融合第一阶段预测结果；提取第二阶段特征；生成第二阶段修复图像；提取第三阶段特征；生成第三阶段修复图像；融合三个阶段预测结果，得到修复后的深度图像。本发明提升了推理速度，提高了模型精度，脱离了外部环境依赖性，提升了方法的泛化性。提升了方法的泛化性。提升了方法的泛化性。
技术研发人员：王万良 胡宇韬 赵燕伟 陈嘉诚 潘杰 钱宇彤
受保护的技术使用者：浙江工业大学
技术研发日：2022.05.17
技术公布日：2022/8/26