一种基于彩色图引导的深度图超分辨率重建网络构建方法与流程

本发明属于计算机视觉领域，具体涉及一种基于彩色图引导的深度图超分辨率重建网络构建方法。

背景技术：

随着获取深度信息的技术的发展，如激光雷达，飞行时间(tof)相机，三维结构光，深度图像已被广泛应用于移动机器人，人机交互，人体姿态估计和三维场景重建等。然而，从这些技术获得的深度图像仍然无法满足实际需求，尤其是获取的深度图像分辨率较低。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。

近年来，随着深度学习的发展，越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练，卷积神经网络能够充分学习目标物体的特征，并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法，基于卷积神经网络的超分辨算法需要依赖于非常大的数据集，所以通过卷积层提取出的特征更具有普适性，更能代表物体的通用特征。通常，基于cnn的深度超分辨率方法可以实现比传统方法更好的性能。

目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建，获取高分辨率高质量的彩色图像的方法已经比较成熟，但相较于深度图像，彩色图像纹理区域较多，利用普通的卷积神经网进行彩色图像引导深度图像重建可能会带来负面作用，因此需要构建具有强大的特征提取能力的网络。

技术实现要素：

本发明的目的就是克服现有技术的不足，提出了一种基于彩色图引导的深度图超分辨率重建网络构建方法。本方法不仅可以很好地提取了同场景下高分辨率高质量的彩色图像可以提供的深度图像重建有利信息，而且可以丰富深度特征图像的多样性。最终融合这些有利信息，重建出高分辨率高质量的深度图像。具体步骤如下：

步骤(1)：利用rgb-d相机获取同场景彩色图像和深度图像

使用rgb-d相机得到一张低分辨率深度图像idepth其分辨率为m*n，和一张相同视角下的高分辨率彩色图像icolor其分辨率为rm*rn，其中r为倍率，m和n分别为图像的高和宽。对低分辨率的深度图像idepth进行双三次上采样操作放大至rm*rn，获得了初始的低质量高分辨率深度图像并把彩色图像icolor转为ycbcr色彩空间，并取y通道图像得到

步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由两层卷积核大小为3*3的卷积层和五个权值共享的多尺度残差块multi-scalerecursiveresidualblock组成，这个阶段中的所有的卷积层之后都紧连着一个rectifiedlinearunit激活层，得到了设计网络的特征提取部分。

(a)和首先各自通过各支的卷积核大小为3*3卷积层得到初始的特征图和

(b)多尺度残差结构构建，然后各自经过五个多尺度残差块的提取特征，假设输入特征图为xm-1，每个多尺度残差块的计算步骤如下：

①

首先将特征图xm-1经过并行结构中卷积核大小为3*3的卷积层之后通过激活层得到的特征图r1。其中σ(·)代表激活层，为卷积核大小为3*3的卷积层权值，其上标表示该卷积层的结构位置，下标表示卷积核大小。

②

同时特征图xm-1也经过并行结构中卷积核大小为5*5的卷积层之后通过激活层得到的特征图p1，其中为卷积核大小为5*5的卷积层权值。

③

之后将特征图r1和特征图p1拼接在一起，输入卷积核大小为5*5的卷积层通过激活层得到特征图r2。<r1,p1>表示将r1和p1阶段的特征图像拼接在一起。

④

最后特征图r2通过卷积核大小为1*1的卷积层降低维度，并使用残差连接，将输入xm-1与降低维度后的特征图r2元素相加得到多尺度残差块输出xm。五个残差块之间，利用递归学习的思想，将多尺度残差块递归五次。在递归中，不同的多尺度残差块之间相同结构位置、相同卷积核大小的卷积层权值共享，例如递归的五个多尺度残差块之中，任意一个多尺度残差块的权值与剩下四个多尺度残差块的是共享的。

初始的特征图和经过五个递归的多尺度残差块结构之后，得到深度图像的特征图和y通道的特征图

步骤(3)：特征融合网络结构构建

特征融合引导阶段的网络由一个特征图像拼接操作、三个权值共享的多尺度残差块和一个卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个rectifiedlinearunit激活层。

将深度图像的特征图和y通道特征图首先通过拼接操作得到初始融合特征图然后经过三个递归块进行细化融合，利用网络学习中有用的边缘部分，使彩色图像充分地起到引导作用，最后经过一个卷积核大小为3*3的卷积层，完成了特征融合引导的构造，得到了融合特征图，记为

步骤(4)：残差结构构建，重建高质量高分辨率深度图像

重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。

通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为最后将与进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像

本发明的有益效果：本发明利用卷积神经网络学习彩色图像中对引导深度图像重建有利的信息，可以免去人工寻找彩图引导特征的过程，很好的利用了深度图像和彩色图像相关性，能够重建出高质量高分辨率的深度图像。

附图说明

图1为本发明的流程图。

具体实施方式

以下结合附图1对本发明作进一步说明，本发明包括以下步骤：

步骤(1)：利用rgb-d相机获取同场景彩色图像和深度图像

使用rgb-d相机得到一张低分辨率深度图像idepth其分辨率为m*n，和一张相同视角下的高分辨率彩色图像icolor其分辨率为rm*rn，其中r为倍率，m和n分别为图像的高和宽。对低分辨率的深度图像idepth进行双三次上采样操作放大至rm*rn，获得了初始的低质量高分辨率深度图像并把彩色图像icolor转为ycbcr色彩空间，并取y通道图像得到

步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由两层卷积核大小为3*3的卷积层和五个权值共享的多尺度残差块multi-scalerecursiveresidualblock组成，这个阶段中的所有的卷积层之后都紧连着一个rectifiedlinearunit激活层，得到了设计网络的特征提取部分。

(a)和首先各自通过各支的卷积核大小为3*3卷积层得到初始的特征图和

(b)多尺度残差结构构建，然后各自经过五个多尺度残差块的提取特征，假设输入特征图为xm-1，每个多尺度残差块的计算步骤如下：

①

首先将特征图xm-1经过并行结构中卷积核大小为3*3的卷积层之后通过激活层得到的特征图r1。其中σ(·)代表激活层，为卷积核大小为3*3的卷积层权值，其上标表示该卷积层的结构位置，下标表示卷积核大小。

②

同时特征图xm-1也经过并行结构中卷积核大小为5*5的卷积层之后通过激活层得到的特征图p1，其中为卷积核大小为5*5的卷积层权值。

③

之后将特征图r1和特征图p1拼接在一起，输入卷积核大小为5*5的卷积层通过激活层得到特征图r2。<r1,p1>表示将r1和p1阶段的特征图像拼接在一起。

④

最后特征图r2通过卷积核大小为1*1的卷积层降低维度，并使用残差连接，将输入xm-1与降低维度后的特征图r2元素相加得到多尺度残差块输出xm。五个残差块之间，利用递归学习的思想，将多尺度残差块递归五次。在递归中，不同的多尺度残差块之间相同结构位置、相同卷积核大小的卷积层权值共享，例如递归的五个多尺度残差块之中，任意一个多尺度残差块的权值与剩下四个多尺度残差块的是共享的。

初始的特征图和经过五个递归的多尺度残差块结构之后，得到深度图像的特征图和y通道的特征图

步骤(3)：特征融合网络结构构建

特征融合引导阶段的网络由一个特征图像拼接操作、三个权值共享的多尺度残差块和一个卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个rectifiedlinearunit激活层。

将深度图像的特征图和y通道特征图首先通过拼接操作得到初始融合特征图然后经过三个递归块进行细化融合，利用网络学习中有用的边缘部分，使彩色图像充分地起到引导作用，最后经过一个卷积核大小为3*3的卷积层，完成了特征融合引导的构造，得到了融合特征图，记为

步骤(4)：残差结构构建，重建高质量高分辨率深度图像

重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。

通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为最后将与进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像