基于自适应稳定模型的彩色图像深度上采样方法及系统与流程

本公开涉及图像处理技术领域，特别是涉及一种基于自适应稳定模型的彩色图像深度上采样方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着无人驾驶、三维电视以及3d电影的发展，3d内容与我们的生活息息相关。其中，动态和静态对象、场景的相关3d信息重建是计算机视觉的核心问题。早期，人们可以根据其视觉感知动态3d场景，因此相信计算机可以借助视觉信息解决问题，但即使建立精确的3d模型，并不一定能获得精确的3d信息。深度传感器已成为产生3d深度信息的重要工具，已用于各种应用程序，逐渐改变人们与机器交互的方式。但是，与传统的光学相机相比，深度传感器主要元器件的制造成本高，分辨率提高的速度慢，尽管主流光学相机的分辨率约为10兆像素，但tof(timeofflight)深度传感器的分辨率仍低于0.02兆像素，这极大地限制了它们的应用。因此如何获取高质量、高分辨率的深度信息是亟待解决的问题。

基于tof的技术已成为密集深度感应等传统方法的替代方案。tof距离传感器在运行时间中主动测量每个像素的深度，即使范围小，距离近也可以获得精密的深度信息。大众市场可以负担得起tof传感器的价格，小数据包和低能耗使其可应用于移动设备。tof深度相机利用来自同一场景的多个深度图像来重建高质量的深度图像。但是，发明人发现，其由于芯片尺寸的限制，导致产生低分辨率图像，有限的照明能量导致图像产生噪声，依赖于准确的校准，在用于动态环境时可能会失败，不能获得准确稳定的深度图。

另外，在彩色图像引导滤波方面，发明人发现目前几种现有技术中至少存在以下问题：kopf等提出的联合双边上采样的算法，是基于彩色图像中相同场景的更高质量的假设，使用彩色图像中的边缘信息来增强深度图像的不连续区域。但是，此方法忽略了两个图像对之间不匹配的问题。

liu等提出的在滤波核中利用测地距离代替欧式距离来获得更为精确的深度边缘，由于测地距离整合了沿曲线的联合颜色和空间变化，因此对表面周围的薄轮廓更敏感，即使轮廓两侧之间的色差很小，也可以提供清晰的深度边界。但由于彩色图像具有颜色或结构不连续性，此方法仍可能导致错误的深度信息输出，因此如何抑制纹理复制伪影仍然是一个具有挑战性的问题。

ferstl将深度图上采样视为具有高阶正则化的凸优化问题，将根据hr强度图像的各向异性扩散张量作为指导完成深度上采样，其中将高阶正则化项强制执行为分段的精细解决方案，根据纹理保留尖锐的边缘，同时补偿采集噪声；但忽略了存在于深度图像和彩色图像之间的结构不一致性。

技术实现要素：

为了解决上述问题，本公开提出了一种基于自适应稳定模型的彩色图像深度上采样方法及系统，通过对不可靠像素点的标记和修正，得到边缘增强、深度信息完整的深度图；对深度图的聚类、映射得到待填充矩阵和初始化深度图，根据由深度项和颜色项加权的自适应稳定模型对待填充矩阵的目标点进行填充，生成边缘清晰的上采样深度图像，可用于从2d彩色图像或视频中生成场景的深度图和3dtv中所需的深度图。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于自适应稳定模型的彩色图像深度上采样方法，包括：

将彩色图像对应的深度图根据边缘点的分布划分为平坦区域和边缘区域，对边缘区域的像素点进行聚类，根据得到的聚类块中像素点数量将边缘区域分为区域ⅰ和区域ⅱ，并将平坦区域划分到区域ⅰ中，得到聚类深度图；

将聚类深度图及其两个区域坐标映射到与彩色图像有相同分辨率的高分辨率网格上，得到待填充矩阵，根据待填充矩阵得到观察矩阵，所述待填充矩阵中包括待填充矩阵区域ⅰ和待填充矩阵区域ⅱ；

构建由深度项和颜色项加权的自适应稳定模型，根据自适应稳定模型得到预测矩阵，由预测矩阵和观察矩阵得到深度矩阵；

将聚类深度图进行双三次插值，得到初始深度图，采用初始深度图填充待填充矩阵区域ⅰ的目标点，采用深度矩阵填充待填充矩阵区域ⅱ的目标点，完成深度图的上采样，得到彩色图像的高分辨率深度图。

第二方面，本公开提供一种基于自适应稳定模型的彩色图像深度上采样系统，包括：

聚类模块，被配置为将彩色图像对应的深度图根据边缘点的分布划分为平坦区域和边缘区域，对边缘区域的像素点进行聚类，根据得到的聚类块中像素点数量将边缘区域分为区域ⅰ和区域ⅱ，并将平坦区域划分到区域ⅰ中，得到聚类深度图；

映射模块，被配置为将聚类深度图及其两个区域坐标映射到与彩色图像有相同分辨率的高分辨率网格上，得到待填充矩阵，根据待填充矩阵得到观察矩阵，所述待填充矩阵中包括待填充矩阵区域ⅰ和待填充矩阵区域ⅱ；

自适应稳定模型构建模块，被配置为构建由深度项和颜色项加权的自适应稳定模型，根据自适应稳定模型得到预测矩阵，由预测矩阵和观察矩阵得到深度矩阵；

上采样模块，被配置为将聚类深度图进行双三次插值，得到初始深度图，采用初始深度图填充待填充矩阵区域ⅰ的目标点，采用深度矩阵填充待填充矩阵区域ⅱ的目标点，完成深度图的上采样，得到彩色图像的高分辨率深度图。

第三方面，本公开提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于自适应稳定模型的彩色图像深度上采样方法所述的步骤。

第四方面，本公开提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于自适应稳定模型的彩色图像深度上采样方法所述的步骤。

与现有技术相比，本公开的有益效果为：

利用彩色图像和深度图像之间的几何相关性来解决通过现有技术得到的上采样深度图像中深度边缘模糊和深度掺混等深度图不够平滑的问题，能够高效地生成边缘清晰的上采样深度图像，可用于从现有大量的2d彩色图像或视频中生成场景的深度图和3dtv中所需的深度图。

本公开有效针对深度不连续的区域，同时也有利于降低计算复杂度，便于获得最优解，保证结果的准确度。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例1提供的基于自适应稳定模型的彩色图像深度上采样方法总流程图；

图2是本公开实施例1提供的求颜色项系数的子流程图；

图3(a)是本公开实施例1提供的book测试集的高分辨深度图；

图3(b)是本公开实施例1提供的reindeer测试集的高分辨深度图；

图4(a)是通过bicubic方法对测试集book进行4倍上采样得到的高分辨深度图像；

图4(b)是通过jbu方法对测试集book进行4倍上采样得到的高分辨深度图像；

图4(c)是通过guide方法对测试集book进行4倍上采样得到的高分辨深度图像；

图4(d)是通过tgv方法对测试集book进行4倍上采样得到的高分辨深度图像；

图4(e)是通过ar方法对测试集book进行4倍上采样得到的高分辨深度图像；

图4(f)是通过本公开实施例1提供的方法对测试集book进行4倍上采样得到的高分辨深度图像；

图5(a)是通过bicubic方法对测试集reindeer进行4倍上采样得到的高分辨深度图像；

图5(b)是通过jbu方法对测试集reindeer进行4倍上采样得到的高分辨深度图像；

图5(c)是通过guide方法对测试集reindeer进行4倍上采样得到的高分辨深度图像；

图5(d)是通过tgv方法对测试集reindeer进行4倍上采样得到的高分辨深度图像；

图5(e)是通过ar方法对测试集reindeer进行4倍上采样得到的高分辨深度图像；

图5(f)是通过本公开实施例1提供的方法对测试集reindeer进行4倍上采样得到的高分辨深度图像；

图6是对测试集book针对bpr指标的结果分析图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

如图1所示，本实施例提供一种基于自适应稳定模型的彩色图像深度上采样方法，包括：

s1：将彩色图像对应的深度图根据边缘点的分布划分为平坦区域和边缘区域，对边缘区域的像素点进行聚类，根据得到的聚类块中像素点数量将边缘区域分为区域ⅰ和区域ⅱ，并将平坦区域划分到区域ⅰ中，得到聚类深度图；

s2：将聚类深度图及其两个区域坐标映射到与彩色图像有相同分辨率的高分辨率网格上，得到待填充矩阵，根据待填充矩阵得到观察矩阵，所述待填充矩阵中包括待填充矩阵区域ⅰ和待填充矩阵区域ⅱ；

s3：构建由深度项和颜色项加权的自适应稳定模型，根据自适应稳定模型得到预测矩阵，由预测矩阵和观察矩阵得到深度矩阵；

s4：将聚类深度图进行双三次插值，得到初始深度图，采用初始深度图填充待填充矩阵区域ⅰ的目标点，采用深度矩阵填充待填充矩阵区域ⅱ的目标点，完成深度图的上采样，得到彩色图像的高分辨率深度图。

所述步骤s1中，深度图像dl中存在深度值缺失或具有错误深度值的像素点，在插值的过程中，会导致产生更多的错误像素点，从而导致插值后的图像边缘模糊，锯齿效应明显，因此，首先要标记不可靠像素。

采用sobel算子对低分辨率深度图dl进行边缘点的提取，获得边缘图sdl，将其分为平坦区域和边缘区域，并根据边缘图标记不可靠像素点，具体为：

s-1-1：将深度值为0的像素点标记为不可靠像素点；

s-1-2：针对深度值不为0的像素点，将深度图dl划分为多个图像块，在本实施例中，在深度图dl中取3×3的图像块，如果图像块在平坦区域中，若出现该图像块中心像素点与其邻域像素点差值大于3的次数超过t1，则将中心点标记为不可靠像素；

如果图像块在边缘区域，则利用同种方法判断，本实施例中置t1为3，是为了保证该像素点为不可靠像素点的准确性。

s-1-3：若图像块同时处于平坦区域和边缘区域，则利用边缘图与图像块中边缘区域一一对应，并将图像块中处于边缘处的像素点与边缘区域相邻的像素点比较，若出现差值大于3的次数大于t2，则标记为不可靠像素；

图像块中处于平坦区域的像素点，则利用平坦区域与其相邻的像素点进行比较，利用同种方法进行判断，本实施例中置t2为2，是因为边缘处的像素点在上采样的过程中发挥着巨大作用，又避免其邻域单个像素的影响。依次完成对整个低分辨率图像dl的标记。

所述步骤1中，对不可靠像素点进行修正，具体包括：

s-2-1：对处于平坦区域或边缘区域的不可靠像素点，根据边缘图，利用8邻域可靠像素点的双三次插值进行深度值的填充；

s-2-2：若存在8邻域不同时处于同一个区域的不可靠像素点，则利用其对应区域相邻可靠像素点和的均值进行深度值的填充，得到边缘增强、深度信息完整的低分辨率深度图

所述步骤1中，对边缘区域的像素点进行聚类，根据得到的聚类块中像素点数量将边缘区域分为区域ⅰ和区域ⅱ，并将平坦区域划分到区域ⅰ中，得到聚类深度图，具体为：

s-3-1：以边缘处起始点为中心自适应选取不同大小、形状规则的图像块；

s-3-2：将所有图像块分为两类，其中，将边缘点小于给定阈值的图像块设为区域ⅰ，同时将未经聚类的平坦区域融合到区域ⅰ中；

s-3-3：将边缘点大于给定阈值的图像块设为区域ⅱ。本实施例中，为减少计算复杂性，一个图像块中包含像素点的数量最大值为4500，给定阈值根据实验效果设为30。

将已聚类后的低分辨率聚类深度图进行双三次插值，得到初始深度图d1，将两个区域的坐标分别映射到初始深度图d1中，区域ⅰ上采样到d1的区域为区域ⅰ，的区域ⅱ上采样到d1的区域为区域ⅱ，实现对初始深度图中像素点分类，并将其作为自适应稳定模型中的引导矩阵，用于计算深度项系数；另外初始深度图d1是伪高分辨率深度图像，存在图像模糊和深度锯齿伪影的问题，可用自回归自适用模型对其进行矫正，实现优化。

所述步骤s2中，获得待填充矩阵s具体为：将低分辨率聚类深度图及其两个区域坐标对应到与彩色图像i有相同分辨率的高分辨率网格上，得到高分辨率的待填充矩阵s，将待填充矩阵s中缺少深度信息的点作为待填充的目标点，即{x|s(x)＝0}，有深度信息的点作为种子点，即{y|s(y)≠0}；根据待填充矩阵s得到观察矩阵p，其中，p为对角矩阵，列的数量与待填充矩阵s的有效深度值的数量相同。待填充矩阵s中包括待填充矩阵区域ⅰ和待填充矩阵区域ⅱ，并用初始化深度图对待填充矩阵s中区域ⅰ处的目标点进行填充；

所述步骤s3中，对初始化深度图和彩色图像区域ⅱ中的像素点，通过自适应稳定模型获得加权系数wx,y的集合，即预测矩阵q：

其中，sx是归一化因子，和分别是深度项加权系数和颜色项加权系数，d表示初始化深度图像，i表示高分辨率彩色图像，x、y为像素点；

对于区域ⅱ中像素点，利用深度项、颜色项同时加权的自适应稳定模型输出有效深度值dx，

其中，n是x的邻域，dy表示在深度图d中像素点y处的深度值；

根据线性回归方程，由预测矩阵和观察矩阵得到高分辨率的深度矩阵d2：

(p^tp+λq^tq)d2＝p^td，

其中，d为由待填充矩阵中有效深度值组成的矩阵，p是观察矩阵，q是预测矩阵。

所述步骤s3的自适应稳定模型中，对初始深度图d1滤波得到深度项加权系数深度加权块的公式为：

采用σd,x块自适应的原则，

其中，表示第s个以像素点x为中心的高分辨率深度图像块的梯度；m表示当前图像块中像素个数；像素点y是像素点x邻域中任意像素点；d1x表示在初始化深度图d1中像素点x处的深度值；d1y表示在初始化深度图d1中像素点y处的深度值；d为由待填充矩阵中有效深度值组成的矩阵；a1、a2和a3为常数，根据经验值设置。

σd,x自适应变化，数值大小取决于当前窗口内的像素，针对不同图像块可提供适合当前像素的权值，同一个图像块所用σd,x相同。利用m取平均值可以缩小图像块与相邻图像块之间的深度值差异，有效改善相邻图像块之间的连接区域。采用块自适应的方法可避免因单个像素点的不可依赖性带来深度值预测错误的问题，可以利用像素点与其邻域之间的相互影响，推动像素点之间相互制约，保证深度图像更精准。

所述步骤s3中，如图2所示，求颜色项加权系数

s-3-1：求sc：根据低分辨率图像与高分辨率图像之间的映射关系，利用低分辨率边缘检测图输出高分辨率边缘深度图用sobel算子对高分辨率彩色图进行边缘提取，获得边缘图sc。

s-3-2：由和sc求参数τx：

其中，τx为和sc的标准方差，可同时考虑深度图和彩色图，避免两者结构信息不匹配带来不利影响。τx取较小值时，能促进深度图像和彩色图像之间相互匹配，使bx包含更多彩色图像的颜色和结构信息，增强深度不连续区域，有效降低深度图坏点率。

s-3-3：由参数τx求参数σc,x：

其中，σc,x需利用均方差τx对其进行调整，σc,x随当前窗口内的像素变化。

s-3-4：由参数τx求控制参数εx，用于排除边缘对侧像素点对深度值预测的影响：

其中，当前窗口的大小为5×5，μw是窗口内像素点的平均值，sc和可确定当前像素点的所属区域，该区域中像素点的平均值为μbel。若当前像素点与其邻域在边缘同一侧，则其值接近当前像素所属区域的平均值，反之亦然。加入参数εx可有效减小边缘相对区域中像素点的影响，并针对像素点实现自适应变化。εx依据局部区域的特性来调整分配给像素点的权重，可给像素值接近于所属区域μbel的像素点分配较高权值；避免梯度反转，降低深度不连续区域的模糊性。

s-3-5：求滤波核bx：

bx是自适应变化的滤波核，由衡量空间相似度和彩色图像区域的差异度两部分组成，其中y是像素点x的邻域，参数i表示颜色空间yuv三通道中的任意一个通道，表示在颜色图像的yuv任意一个通道中，像素点x处的像素值，表示在颜色图像的yuv任意一个通道中，像素点y处的像素值；加入控制参数σc,x和εx，σc,x与σd,x相同，都取决于窗口内的图像块，εx的变化依赖于像素点的所属区域。

其中，表示在空间上的紧密程度，σ1是常数；表示强度信息的相似程度；σc,x自适应变化，打破只与彩色图像结构信息相关的局限，可有效调整强度信息相似度对加权值的影响。若深度图像和彩色图像在外观上差异较大，例如，在彩色区域上颜色非常相似的部分，在深度图中深度值不在同一个深度连续区域中；在彩色区域中存在的边缘部分，在深度图像中可能不存在，导致输出带有伪影的深度图像，加入参数σc,x可有效改善由彩色图像和深度图像不匹配带来的影响。

s-3-6：求颜色项加权系数颜色项加权系数是由自适应滤波核bx对衡量颜色区域差异项滤波后输出，并综合方位空间、纹理空间和深度空间三者信息生成加权函数后为该区域像素点重新分配权值；

其中，σc是常数，当前彩色图像转换为yuv空间进行运算，与其它颜色空间相比较，结果较好，是在颜色空间yuv中，以像素点x为中心的图像块，是在颜色空间yuv中，以像素点y为中心的图像块。

所述步骤s4中，采用初始深度图填充待填充矩阵区域ⅰ的目标点，即{x|s(x)＝d1(x),x∈ι}。

实验证明：

(1)仿真条件：在intel(r)core(tm)i7-8700cpu@3.20ghz，windows10系统，matlabr2018a平台上进行了仿真，如图3(a)和图3(b)所示，本实施例选择两组测试图像进行仿真，实验开始前，对测试集中提供的高分辨深度图，分别进行2倍，4倍，8倍和16倍的降采样处理，得到待上采样的低分辨深度图像。

(2)仿真方法：①双三次插值；

②kopf提出的联合双边滤波上采样jbu方法；

③shuhanggu提出的可实现深度增强的上采样guide方法；

④ferstl提出的利用各向异性扩散张量实现深度图像上采样tgv方法；

⑤yang提出的基于自适应稳定模型的深度图像上采样ar方法；

⑥本实施例基于联合自适应稳定模型加入多个自适应变化参数的上采样方法。

(3)仿真内容：

对laundry测试集分别用上述bicubic，jbu，jgu，tgv、ar和本实施例方法进行4倍和8倍的深度图上采样，结果比较：

从图4(a)和图5(a)可以看出，经双三次插值后的深度图空洞区域扩大，边缘模糊，此方法只利用了深度图像邻域的像素，比较单一；

从图4(b)和图5(b)可以看出，图像中空洞区域扩大，增加伪像，jbu能保护深度边缘，但在纹理复杂的边缘区域，也会产生不准确的深度值；

从图4(c)和图5(c)可以看出，边缘较清晰，缺少真实深度图中的部分细节边缘；

从图4(d)和图5(d)可以看出，细节丰富，边缘区域明显，但增加了空洞区域，从整体上来看，图像比较模糊；

从图4(e)和图5(e)可以看出，对象景深对比明显，但图像模糊，算法结构复杂，耗时较长；

通过图4(f)和图5(f)可以看出，图像清晰，细节丰富，该方法不仅能增强边缘细节，还可以修复低分辨率深度图中深度黑洞，输出深度信息完整的准确的高分辨率深度图像。

通过六种方法输出的深度图的比较，前5种方法获得的图像，存在模糊和伪像的问题，其中也存在边缘混杂的现象；从主观效果而言，本实施例产生的深度图像，边缘清晰，更具有准确性和稳定性。

对图3(a)所示的book测试集图分别利用bicubic，jbu，guide，tgv、ar和本实施例方法进行2倍，4倍，8倍和16倍深度图上采样，并针对坏点率bpr的评价指标对实验结果进行数据分析。结果如图6所示，从图6可以看出，本实施例方法不仅能在主观上给人以良好的视觉效果，在评价指标上也具有非常明显的优势。

在其他实施例中，还提供：

一种基于自适应稳定模型的彩色图像深度上采样系统，包括：

聚类模块，被配置为将彩色图像对应的深度图根据边缘点的分布划分为平坦区域和边缘区域，对边缘区域的像素点进行聚类，根据得到的聚类块中像素点数量将边缘区域分为区域ⅰ和区域ⅱ，并将平坦区域划分到区域ⅰ中，得到聚类深度图；

映射模块，被配置为将聚类深度图及其两个区域坐标映射到与彩色图像有相同分辨率的高分辨率网格上，得到待填充矩阵，根据待填充矩阵得到观察矩阵，所述待填充矩阵中包括待填充矩阵区域ⅰ和待填充矩阵区域ⅱ；

自适应稳定模型构建模块，被配置为构建由深度项和颜色项加权的自适应稳定模型，根据自适应稳定模型得到预测矩阵，由预测矩阵和观察矩阵得到深度矩阵；

上采样模块，被配置为将聚类深度图进行双三次插值，得到初始深度图，采用初始深度图填充待填充矩阵区域ⅰ的目标点，采用深度矩阵填充待填充矩阵区域ⅱ的目标点，完成深度图的上采样，得到彩色图像的高分辨率深度图。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完一种基于自适应稳定模型的彩色图像深度上采样方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于自适应稳定模型的彩色图像深度上采样方法所述的步骤。

在以上实施例中，利用彩色图像和深度图像之间的几何相关性来解决通过现有技术得到的上采样深度图像中深度边缘模糊和深度掺混等深度图不够平滑的问题，能够高效地生成边缘清晰的上采样深度图像，可用于从现有大量的2d彩色图像或视频中生成场景的深度图和3dtv中所需的深度图。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。