一种深度图像超分辨率重建方法及系统与流程

本发明涉及图像处理领域中的深度图像重建技术问题，具体涉及一种基于深度卷积神经网络与彩色图引导的深度图像超分辨率重建系统。

背景技术：

rgb-d图像(rgb-d图像其实是两幅图像：一个是普通的rgb三通道彩色图像，另一个是depth图像。depth图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常rgb图像和depth图像是配准的，因而像素点之间具有一对一的对应关系)在越来越多的领域得到了应用，例如娱乐、工厂自动化、机器人、人机交互等。然而，rgb-d图像仍然存在许多问题，包括深度图像的高噪声干扰，目标边缘深度信息丢失等。这些问题使得rgb-d图像的质量变得较差。在图像识别，例如计算机视觉中的自动分析、目标识别以及姿态估计时由于深度信息导致计算机视觉效果不佳。

技术实现要素：

本发明的目的在于针对上述缺陷，提出一种深度图像超分辨率方法和系统，通过利用，深度卷积神经网络的良好非线性拟合的优点以及rgb彩色图像的边缘细节较深度图更精确的优点，构建一种高性能的深度像超分辨率系统，能够很好地提升深度图像的质量。

一方面，本发明提出了一种基于深度卷积神经网络与彩色图引导的深度图像超分辨率重建方法，主要包括以下操作步骤：

步骤1，构建深度卷积神经网络模型，用于深度图像的超分辨率重建；

步骤2，采集rgb-d图像数据集，用于构建深度图像的高低分辨率训练样本对；

步骤3，利用所述训练样本对进行深度卷积神经网络优化训练；

步骤4，输入rgb-d图像，利用训练得到的深度卷积神经网络对所述输入图像的深度图进行超分辨率重建，得到重建深度图像；

步骤5，对所述rgb-d图像的rgb彩色图进行非局部相似块搜索，构建非局部加权矩阵；

步骤6，以所述重建深度图像作为初始高分辨率深度图像估计，利用所述非局部加权矩阵作进一步分辨率增强，得到最终的高分辨率深度估计图像。

可选地，所述步骤1中，卷积层，用于实现输入深度图像的低分辨率特征提取，堆栈k个局部残差块，用于进一步的特征提取，每一个残差块由两个卷积层与两个激励层relu交替堆叠实现局部残差预测，然后与残差块的输入相加得到各个残差块的输出特征。

进一步地，将每一个局部残差块的输出通过级联层进行级联，形成高维度的特征；级联后的高维度特征经过1×1的卷积层实现降维；降维的特征经过最后一个卷积层进行残差重建；最后，将低分辨率输入深度图与深度图残差估计进行相加，得到最终的高分辨率深度图估计。

进一步地，所述步骤5，利用rgb彩色图进行非局部相似块搜索，得到每一个目标像素点对应的所有相似像素，并计算这些非局部相似像素与目标像素点的相似权重，最终构建非局部加权矩阵wnl，其中权重函数采用高斯函数。

所述步骤6中，得到最终的高分辨率深度估计图像，对应的代价函数如下：

其中，x表示待估计高分辨率深度图像，x⁰为初始高分辨率深度图像估计，wnl为非局部加权矩阵，i为单位矩阵，α为正则化系数。

可选地，将所述深度卷积神经网络模型导入计算机视觉系统，对输入图像进行高分辨率深度估计后进行自动分析、目标识别或姿态估计。

另一方面，本发明提供一种基于深度卷积神经网络与彩色图引导的深度图像超分辨率重建系统，包括：

模型建立模块，用于构建深度卷积神经网络模型，用于深度图像的超分辨率重建；

数据采集模块，用于采集rgb-d图像数据集，用于构建深度图像的高低分辨率训练样本对，所述数据采集模块采集的训练样本输入模型建立模块进行深度卷积神经网络优化训练；

输入模块，用于输入rgb-d图像；

深度图重建模块，根据输入模块得到的rgb-d图像，将深度图d进行超分辨率重建，得到重建深度图像；将rgb彩色图进行非局部相似块搜索，构建非局部加权矩阵；以所述重建深度图像作为初始高分辨率深度图像估计，利用所述非局部加权矩阵作进一步分辨率增强，得到最终的高分辨率深度估计图像。

技术效果

本发明通过深度卷积神经网络来对深度图进行超分辨率重建，并利用rgb彩色图像的边缘细节较深度图更精确的优点，进一步增强深度图像的超分辨率估计，可有效地提高图像识别的质量和效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明系统的工作流程示意图；

图2是本发明基于深度卷积神经网络的深度图像超分辨率重建的网络结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明做进一步地详细描述。

实施例1

如图1所示，其为本发明的一具体实施例，包括以下操作步骤：

1、采集大量的rgb-d图像数据集，并构建高低分辨率深度图训练样本对；

2、进行端到端的网络训练，形成训练后的基于深度卷积神经网络的超分辨率重建模型；

3、将实际获取的rgb-d图像的深度图输入该模型中，通过所述超分辨率重建模型完成深度图的超分辨率重建，并以此作为初始估计；

4、同时，将实际获取的rgb图像通过构建的非局部加权矩阵进行处理，将处理结果与初始估计的图像结合，进行进一步的分辨率增强，形成最终的高分辨率深度图估计。

步骤1中，我们采集大量的rgb-d图像数据，并对其中的深度图像进行高低分辨率深度图训练样本对的构建。

步骤2中，基于深度卷积神经网络的深度图像超分辨率网络模型，如图2所示。其中，第一个矩形框代表卷积层，用于实现输入深度图像的低分辨率特征提取；接下来，我们堆栈k(本发明中，k＝10)个局部残差块(由带斜线条的矩形框表示)，用于进一步的特征提取。每一个残差块首先由两个卷积层与两个激励层relu交替堆叠实现局部残差预测，然后与残差块的输入相加得到各个残差块的输出特征；为了进一步提升网络的性能，本发明将每一个局部残差块的输出通过级联层(concat层，由带横线条的矩形框表示)进行级联，形成高维度的特征；级联后的高维度特征经过1×1的卷积层实现降维；降维的特征经过最后一个卷积层进行残差重建；最后，将低分辨率输入深度图与深度图残差估计进行相加，得到最终的高分辨率深度图估计。

在训练过程中，训练过程中，利用构建的基于深度卷积神经网络的深度图像超分辨率网络模型来训练得到的训练样本。优选地，采用端到端的优化训练方式。

步骤3，在采集到实际rgb-d图像后，利用训练得到的深度卷积神经网络对输入低分辨率深度图进行超分辨率重建，提升深度图的质量，得到初始高分辨率深度图像估计x⁰。

步骤4，利用rgb彩色图进行非局部相似块搜索，得到每一个目标像素点对应的所有相似像素，并计算这些非局部相似像素与目标像素点的相似权重，最终构建非局部加权矩阵wnl，其中权重函数采用高斯函数。将步骤3得到的高分辨率深度图x⁰作为初始图像，结合获取的非局部加权矩阵wnl对高分辨率深度图像进行约束，以进一步增强深度图像的分辨率，得到最终的高分辨率深度图像。其对应代价函数如下：

其中，x表示待估计高分辨率深度图像，i为单位矩阵，α为正则化系数。第一项表示最终估计的高分辨率深度图像需要与初始估计x⁰接近，第二项表示最终估计的高分辨率深度图像需要与非局部滤波后的结果接近。该代价函数可以通过梯度法快速求解。

优选地，可将得到的神经网络模型网络导入计算机视觉系统中，作为事先已知的模型数据，用于后期深度图像的超分辨率处理.

实施例2

一种基于深度卷积神经网络与彩色图引导的深度图像超分辨率重建系统，包括：

模型建立模块，用于构建深度卷积神经网络模型，用于深度图像的超分辨率重建；

数据采集模块，用于采集rgb-d图像数据集，用于构建深度图像的高低分辨率训练样本对，所述数据采集模块采集的训练样本输入模型建立模块进行深度卷积神经网络优化训练；

输入模块，用于输入rgb-d图像；

深度图重建模块，根据输入模块得到的rgb-d图像，将深度图d进行超分辨率重建，得到重建深度图像；将rgb彩色图进行非局部相似块搜索，构建非局部加权矩阵；以所述重建深度图像作为初始高分辨率深度图像估计，利用所述非局部加权矩阵作进一步分辨率增强，得到最终的高分辨率深度估计图像。

进一步地，得到最终的高分辨率深度估计图像，对应的代价函数如下：

其中，x表示待估计高分辨率深度图像，x⁰为初始高分辨率深度图像估计，wnl为非局部加权矩阵，i为单位矩阵，α为正则化系数。

优选地，所述深度图像超分辨率重建系统嵌入计算机视觉系统，可对输入图像进行高分辨率深度估计后进行自动分析、目标识别或姿态估计。

本发明方法能够获得很好的深度图像超分辨率效果。而且本方法的实质是提出了一个有效的网络结构与分辨率增强系统，能够很容易地扩展到别的图像视频处理领域。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。