一种单幅图像深度恢复方法和系统与流程

本发明属于计算机视觉技术领域，尤其涉及一种单幅图像深度恢复方法和系统。

背景技术：

单幅图像的深度恢复是计算机视觉领域的重要研究课题，可以应用在三维建模、医学图像、机器人导航、无人机驾驶测障、目标检测与跟踪、虚拟漫游等方面。目前在深度信息估计方面主要的方法有：

主动照明方法采取附加场景照明辅助深度估计，深度测定是依据衰减的投射光或者是与预测模型的差异。编码孔径方法是改进相机镜头，使得模糊核对于去模糊更可靠。但以上方法需要改进硬件或增加外界设置。saxena等人将图像的颜色、纹理、形状等特征，抽象为马尔科夫随机场模型，通过建立特征与深度之间的函数关系，通过马尔科夫随机场和吉布斯场的等价性，估计出图像的深度。但方法模型的建立非常复杂，并需要大量的先验知识，实际应用领域受到限制。zhuo等人以边缘位置的局部模糊作为初始值，进行离焦图像的深度恢复，将此值扩展至整幅图像，得到完整的深度信息，此方法模糊扩散方法复杂，效率较低，实际应用也受到限制。ma等人用模糊信息估计特征—轮廓锐度算法提取单视点图像深度信息，用梯度轮廓的锐度参数表征模糊信息程度，同时加入边缘空间信息，对图像的轮廓进行提取，获取图像深度图，此方法算法提取比较复杂，实际应用领域也受到限制。

技术实现要素：

为克服上述现有技术存在的模型建立复杂，应用领域受限的不足，本发明提供了一种单幅图像深度恢复方法和系统，通过检索的方法获取与待恢复图像相似的彩色图像和深度图像，以待恢复图像和彩色图像的映射关系为桥梁，获取待恢复图像相应的深度梯度场，并对该深度梯度场进行一系列后处理获取最终梯度图像。该方法算法简单且无需建立复杂的数学模型，能够针对单幅彩色图像进行快速恢复。

为实现上述目的，本公开的一个或多个实施例采用如下技术方案：

一种单幅图像深度恢复方法，包括以下步骤：

接收单幅彩色测试图像，在彩色-深度图像数据库中检索与所述测试图像相似的多幅彩色图像，并获取相应的深度图像，得到训练图像对；

计算所述测试图像与每个训练图像对中彩色图像像素之间的映射关系；

根据每个训练图像对中的深度图像和所述映射关系，获取多个深度梯度；

基于所述多个深度梯度计算所述测试图像相应的深度图像。

进一步地，在检索与所述测试图像相似的多幅图像前，还包括：将彩色-深度图像数据库中的彩色图像和所述测试图像均进行亮度重映射。

进一步地，所述检索与所述测试图像相似的多幅彩色图像包括：

基于金字塔方向梯度直方图，计算彩色-深度图像数据库中彩色图像与所述测试图像之间的相似度；选择相似度超过一定阈值的彩色图像。

进一步地，所述计算所述测试图像与每个训练图像对中彩色图像像素之间的映射关系用翘曲函数表示：

其中，mk(p)为翘曲函数，fi(p)表示测试图像i在像素p处的特征向量，fk(p)表示第k个训练图像对中彩色图像在像素p处的特征向量，k＝1,2,…k。

进一步地，所述获取多个深度梯度包括：

其中，g^(k)(p)表示第k个深度梯度，为q方向的梯度因子，dk(p)表示深度图像在像素p处的深度值。

进一步地，所述基于所述多个深度梯度计算所述测试图像相应的深度图像包括：

计算所述测试图像所有像素相对于每个彩色图像的置信度；

对于每个像素，对所述置信度进行升序排列并编号1,2,…k，计算一个最小的k*使得编号1-k*对应的置信度总和大于等于所有置信度总和的一半；

对所述多个深度梯度进行升序排列，提取每个像素对应于编号k*的深度梯度构成最终梯度场；

将深度场中各像素值归一化至区间[0,255]，得到最终深度图。

进一步地，所述置信度计算公式为：

wk(p)表示测试图像相对于第k个训练图像对中彩色图像在像素p处的置信度。

一个或多个实施例提供了一种基于单幅图像的三维重建方法，包括以下步骤：

接收单幅彩色测试图像，基于所述深度恢复方法获取深度图像；

根据所述彩色测试图像和深度图像进行三维重建。

一个或多个实施例提供了一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的单幅图像深度恢复方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的单幅图像深度恢复方法。

以上一个或多个技术方案具备以下有益效果：

本公开通过检索的方法获取与待恢复图像整体场景相似的彩色图像和深度图像，以待恢复图像和彩色图像的映射关系为桥梁，基于该映射关系获取待恢复图像相应的深度梯度场，并对该深度梯度场进行一系列后处理获取最终梯度图像。该方法不需要基于大量的模型参数，也不需要建立复杂的数学模型，只要彩色-深度数据库中存在足够多的与测试样本匹配的数据时，就可以得到足够精确的深度图，实现简单，应用范围广。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例一中单幅图像深度恢复方法流程图；

图2为本公开实施例一中针对四组图像分别采用本文算法、saxena算法、zhuo算法得到的深度图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种单幅图像深度恢复方法，如图1所示，包括以下步骤：

步骤1：接收单幅彩色测试图像，在彩色-深度图像数据库中检索与所述测试图像相似的多幅彩色图像，并获取相应的深度图像，得到训练图像对；

步骤1-1：将彩色-深度图像数据库中的彩色图像和所述测试图像均进行亮度重映射，使得二者亮度在同一个尺度上。

对于输入的任意一幅图像i，由于拍摄方式和采光照明情况不同，使产生的图像可能会因为光线的明暗不均造成图像细节的缺失，这样会因为亮度相差过大，导致测试图像和数据库中的目标图像两者匹配错误的现象，因此需要对测试图像进行亮度重映射，减少测试图像和目标图像因为颜色问题而造成的错误。

在图像的匹配过程中，一般的彩色图像采用的是r、g、b三基色模型，此模型是一个立方体且建立在笛卡尔积坐标系统里，rgb是加色，是基于光的叠加形成的：红光加绿光加蓝光等于白光，此模型的缺点有两个：一是不直观，从r、g、b的值中很难知道该值所代表颜色的认知属性，因此不符合人对颜色的感知心理；二是此模型的颜色空间分布不均匀，两种颜色的知觉差异不能采用该颜色空间中两个颜色点之间的距离来表示。但ycbcr彩色空间却不同，广泛应用于数字图像和视频，在ycbcr模型中，y是指亮度分量，cb指蓝色色度分量，cr指红色色度分量，三个亮度分量是可以分离的，分离后也可以不影响颜色而直接对图像的亮度作改变，此模型更符合人类描述和解释颜色的方式，同时为了简化处理过程和减少运算量，本文算法先将rgb图像转换到ycbcr彩色空间，两者转化公式为：

y＝0.299r+0.587g+0.114b(1)

cb＝0.564(b-y)(2)

cr＝0.731(r-y)(3)

把公式(1)分别带入(2)、(3)式，化简后得：

转换到ycbcr彩色空间后，增强图像的对比度只需对图像的亮度y处理，cb、cr分量的作用是保持色彩信息，人的肉眼对视频的y分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到图像质量的变化。在此模型处理后，改善图像的整体亮度，再将ycbcr模型转换成rgb模型，公式为：

r＝y+1.402cr(5)

g＝y-0.344cb-0.714cr(6)

b＝y+1.772cb(7)

通过以上亮度重映射处理之后，测试图像和数据库中待检索图像的亮度大体在同一个尺度上，可以有效避免因亮度差异过大导致的图像匹配错误问题。

步骤1-2：基于金字塔方向梯度直方图从rgb-d图像数据库中检索与所述彩色图像相似的多幅图像，并获取相应的深度图像，检索得到的彩色图像及其相应的深度图像构成训练图像对；

rgb-d图像数据库t＝{(ii,di)|i＝1,2...,n}，ii和di分别表示彩色图像及其相关的深度图，n是数据库大小。通过高级图像特征从数据库t中选择训练对c＝{(ik,dk)|k＝1,2,...,k}。本实施例中，两个图像之间的相似度使用定位梯度直方图(phog)描述符来测量，预先计算数据库中所有图像的phog特征向量,并存储，测试图像i与来自数据库t的彩色图像ii之间的差异，采用两个对应特征向量之间的平方差之和(ssd)度量，公式如下：

fi∈rⁿ表示图像i的n维phog特征向量。对于梯度直方图，l＝3个金字塔等级和b＝8个分档，能够产生680维特征向量

根据匹配距离公式提取相似度高的k个匹配对，并将它们定义为与学习深度相关的训练对c。

步骤2：计算所述测试图像与每个训练图像对中彩色图像像素之间的映射关系；

在测试图像i的所有像素坐标上定义翘曲函数m：i→r²，搜索测试图像i到训练对中彩色图像ik的映射关系，k＝1,2...k。

其中，mk(p)为翘曲函数，fi(p)表示测试图像i在像素p处的特征向量，fk(p)表示第k个训练图像对中彩色图像在像素p处的特征向量，k＝1,2,…k。

步骤3：根据每个训练图像对中的深度图像和所述映射关系，获取多个深度梯度场；

其中，g^(k)(p)表示第k个深度梯度场，为q方向的梯度因子，dk(p)表示深度图像在像素p处的深度值。

步骤4：基于所述多个深度梯度场计算所述测试图像相应的深度图像；

所述步骤4具体包括：

步骤4-1：计算所述测试图像所有像素相对于每个彩色图像的置信度；

为验证上述估计的准确性，根据匹配距离来测量所有像素的采样置信度，置信度wk(p)被定义为归一化的匹配距离，公式如下：

当以p和p+mk(p)为中心的两个区块在特征空间越匹配，置信度wk(p)越高。基于此，对于测试图像的每个像素，均可得到k个置信度。

步骤4-2：对于每个像素，对所述置信度进行升序排列并编号1,2,…k，计算一个最小的k*使得编号1-k*对应的置信度总和大于等于所有置信度总和的一半；

k^*满足公式：

步骤4-3：对于所述多个深度梯度场，将像素对应的多个深度梯度进行升序排列，提取每个像素对应于编号k*的深度梯度构成最终梯度场；

其中表示有序的置信度值。采用每个像素对应于编号k*的深度梯度值来创建最终梯度场g：

是g的有序深度梯度场。

步骤4-4：将深度场中各像素值归一化至区间[0,255]，得到最终深度图。

该方法在全局意义上捕获合理的自然深度场d，就可以进行图像的三维重建。

步骤5：最后将该梯度场与泊松曲面重建相结合，提取图像的深度图，进行三维重建。

深度图d可以通过对估计的梯度场g进行积分来获得，当给定g(p)＝(gx(p),gy(p))^t时，可以通过最小化以下目标函数来获得表面(深度场)d：

其中dx和dy分别表示沿x轴和y轴的d的梯度场.(14)式的解可以通过求解具有纽曼边界条件的泊松方程来获得，其形式为:

其中div是散度算子，n是垂直于表面d的法向量.

本实施例在intercore8ghz、硬盘64g、windows10pc机，利用matlabr2016a平台进行试验，分别对远景图像、近景图像，采用本文算法、saxena算法、zhuo算法进行了测试，效果图如图2所示。第1列为输入彩色图像，第2列是本文算法，第3列是saxena算法，第4列是zhuo算法，整体效果及边缘精细度还是比较理想的。

为了更科学的比较本文算法的有效性，使用相对误差(rel)来表示，如表1所示。

其中d表示该算法估计的深度值，d表示输入图像的真实深度图。将图2中的输入图像分别编号为a、b、c、d，计算saxena算法、zhuo算法和本文算法估计得到的深度值和真实深度图之间的相对误差rel1、rel2、rel3,结果如表1所示。从均方根值、均方根梯度误差(mge)和处理一幅图像所消耗的时间四个方面进行定量比较，如表2所示。通过本文算法与saxena算法和zhuo算法的对比可以很容易看出，本文算法的结果误差率是最小的，对于同一幅图像，本文算法处理图像消耗时间也是最小的，因为本算法既不需要大量的模型参数，也无需进行mrf建模、图像过分割等操作，算法复杂度相应降低，处理时间花销上明显优于zhuo、saxena算法。

表1本文算法与saxena和zhuo定性分析对比

表2本文算法与saxena和zhuo定量分析对比

实施例二

本实施例的目的是提供一种计算机系统。

一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：

接收单幅彩色测试图像，在彩色-深度图像数据库中检索与所述测试图像相似的多幅彩色图像，并获取相应的深度图像，得到训练图像对；

计算所述测试图像与每个训练图像对中彩色图像像素之间的映射关系；

根据每个训练图像对中的深度图像和所述映射关系，获取多个深度梯度；

基于所述多个深度梯度计算所述测试图像相应的深度图像。

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

接收单幅彩色测试图像，在彩色-深度图像数据库中检索与所述测试图像相似的多幅彩色图像，并获取相应的深度图像，得到训练图像对；

计算所述测试图像与每个训练图像对中彩色图像像素之间的映射关系；

根据每个训练图像对中的深度图像和所述映射关系，获取多个深度梯度；

基于所述多个深度梯度计算所述测试图像相应的深度图像。

以上实施例二和三中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具备以下有益效果：

本公开通过检索的方法获取与待恢复图像整体场景相似的彩色图像和深度图像，以待恢复图像和彩色图像的映射关系为桥梁，基于该映射关系获取待恢复图像相应的深度梯度场，并对该深度梯度场进行一系列后处理获取最终梯度图像。该方法不需要基于大量的模型参数，也不需要建立复杂的数学模型，只要彩色-深度数据库中存在足够多的与测试样本匹配的数据时，就可以得到足够精确的深度图，实现简单，应用范围广。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。