一种基于l1-l2罚函数的深度图超分辨率重建方法
【技术领域】
[0001] 本发明涉及计算机视觉和图像处理领域，尤其指一种基于L1-L2罚函数的深度图 超分辨率重建方法，用于立体视觉或深度传感器获取图像的超分辨率增强。
【背景技术】
[0002] 机器人导航、机器人自主抓取、手势识别、碰撞检测、3D重建、工业自动化及虚拟现 实都依赖于高分辨率的深度信息。虽然随着深度相机的广泛普及，我们可实时获得3D场景 的深度；但受传感器的限制，这些相机仅能获取低分辨率的深度图。这一局限性限制了深度 相机在上述场合应用的性能。为此，人们提出各种方法用于深度图的分辨率增强；深度图 超分辨率重建是指不改变深度相机硬件的前提下，通过算法提高深度图分辨率和质量的技 术。
[0003] 当前广泛采用的方法是基于图像引导的技术，即假设高分辨率彩色图像的边缘对 应着深度图的边缘，将深度图的坐标映射到高分辨率的彩色图像平面，然后根据坐标点之 间颜色或亮度的相似性进行深度插值。现有方法存在的问题是难以保持深度图的对象边 缘，而对象边缘包含了深度图的主要能量，决定了其后续应用的效果。
【发明内容】
[0004] 本发明所要解决的技术问题是针对现有技术的现状，提供重建效果好，能够在保 持对象内部深度平滑过渡的同时，增强深度图的对象边缘的一种基于L1-L2罚函数的深度 图超分辨率重建方法。
[0005] 本发明解决上述技术问题所采用的技术方案为： 一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：包括以下步骤： 步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平 面； 步骤二、掩模矩阵的计算：构造对角矩阵，若第i个像素点位于低分辨率深度图在高分 辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则该元素为〇 ; 步骤三、近邻矩阵的计算：通过高分辨率彩色图像像素点之间在YCbCr空间上的颜色 相似性构造近邻矩阵； 步骤四、构造深度超分辨率重建模型：建立深度超分辨率重建的能量模型，第一项为重 建深度与初始深度之间的差异，即保真项，第二项为L1-L2罚函数正则项； 步骤五、能量模型求解：对于步骤四构造的能量模型，采用广义迭代重新加权最小二乘 法予以求解，获得重建的高分辨率深度图。
[0006] 为优化上述技术方案，采取的具体措施还包括： 上述的步骤一的初始估计深度的计算中，映射计算公式为：
其中#初始深度图的矩阵表示，/为低分辨率深度图的矩阵表示，（r，c)表示空间坐 标，S为分辨率增大倍数。
[0007] 上述的步骤三的近邻矩阵的计算中，相似性计算公式为：
其中通为近邻矩阵第i行第万U的元素；I和b分别表示高分辨率彩色图像上第Y 个像素点与第7个像素点归一化的YCbCr值；巧和％?分别表示第i个像素点与第7个像素 点的空间坐标;α和於为参数，分别控制颜色差异与空间距离对近邻相似性度量的影响。
[0008] 上述的步骤四的构造深度超分辨率重建模型中，能量模型定义为：
其中*1为待重建的高分辨率深度图；?为步骤一中获取的初始深度图的列向量表示；m 为步骤三获得的近邻矩阵;1为L1-L2罚函数形成的正则化矩阵;1表示所有元素均为1 的列向量;。表示矩阵的Hadamard积；￡为常数，用于控制正则项对重建深度的影响程度。
[0009] 上述的正则化矩阵的第i行第^/列的元素的计算公式为：
其中劣表示待重建深度列向量表示a的第i个元素，即第i个像素点的深度值。
[0010] 上述的步骤五的能量模型求解，包括以下步骤： 步骤1)、初始化，为迭代变量分配初值； 步骤2)、为能量模型构造凸上界函数； 步骤3)、计算最小化凸上界函数的解作为当前迭代估计的高分辨率深度图； 步骤4)、更新迭代变量值，判断是否达到终止条件，若达到则退出，否则跳到步骤2)。 [0011] 上述的凸上界函数的函数定义为：
其中#表示第々次迭代获得的重建深度图；1表示所有元素均为1的列向量;ρ?为近邻 矩阵?表示第々次迭代中L1-L2罚函数形成的正则化矩阵；&为Μ崩勺拉普拉斯矩阵。
[0012] 上述的凸上界函数的求解计算公式为：
[0013] 上述的步骤4)中的终止条件为迭代次数达到5或相邻两次迭代解之间的绝对差 小于设定的阈值。
[0014] 与现有技术相比，本发明一种基于L1-L2罚函数的深度图超分辨率重建方法，其 利用L1-L2罚函数正则化、高分辨率彩色图像引导的深度图超分辨率重建模型，可得到对 象边缘保持的高质量深度图，不像传统深度超分辨率重建方法抑制深度图对象边缘，丢失 深度图的不连续过渡。深度图与彩色图像相比，具有分段平滑的特点，其不连续过渡主要发 生在对象边缘，这表明深度的对象边缘具有稀疏性。本发明采用非凸的L1-L2罚函数对重 建深度进行正则化，有助于保持深度图这些稀疏的结构性信息，从而达到保持重建深度图 对象边缘，并保证对象内部深度平滑过渡的目的。
【附图说明】
[0015] 图1是本发明的流程图； 图2是本发明的具体实现过程图； 图3是本发明的L1-L2罚函数曲线图； 图4是本发明的迭代收敛图。
【具体实施方式】
[0016] 以下结合附图实施例对本发明作进一步详细描述。
[0017] 如图1至图4所示， 本发明一种基于L1-L2罚函数的深度图超分辨率重建方法，包括以下步骤： 步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平 面。假设输入的低分辨率深度图为Y，对应的高分辨率彩色图像为I，Y的大小的大 小为i/X水其中
这里s为分辨率扩大倍数。则其过程为：首先，将Y所在平面的 坐标扩大5{咅，如坐标点（匕_映射为;其次，构造与高分辨率彩色图像大小相同的初 始估计深度图B，其中
，这里和分别表示1^卩￥在坐标点处
的深度值；最后，将大小为j/X]的Β转换成向量表示形式It，即. 其 中表示高分辨率彩色图像的像素点个数。
[0018] 步骤二、掩模矩阵的计算：构造似艰]对角矩阵M，若第i个像素点位于低分辨率 深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则该元素为〇 ;即第 i个对角元素M&0 =1，若;否则财;这里6?表示向量1?的第i个元素。
[0019] 步骤三、近邻矩阵的计算：构造艰]近邻矩阵賢^，其第i行第^/列的元素 定义为
这里：^表示彩色图像第i个像素点的YCbCr 值表示第i个像素点的空间坐标，即
其中^和^分别表示第i个 像素点的纵坐标和横坐标。
[0020] 步骤四、构造深度超分辨率