专利名称：采用自回归模型对深度图进行超分辨率重建的方法
技术领域：
本发明属于计算机视觉领域，涉及采用具有预测效果的自回归模型对低分辨率深度图超分辨率的方法。具体讲，涉及基于自回归模型的深度超分辨率重构方法。
背景技术：
超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，利用低分辨率的图像来得到高分辨率的图像。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。
随着成像技术的进步，近年面市的深度相机突破了传统激光扫描和立体匹配进行深度成像的限制，可以比较方便地获得实时动态三维场景的深度。但是，受到分辨率的限制，其在计算机视觉领域的应用变得很窄。所以，寻找一种增强当前深度图分辨率水平的方法是必要的。增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸(例如增加每单元面积的像素数量)。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。另外一个增加空间分辨率的方法是增加芯片的尺寸，从而增加图像的容量。因为很难提高大容量的耦合转换率，因此这种方法一般不认为是有效的。一种很有前途的方法就是采用信号处理的方法从低分辨率图像得到高分辨率图像。现阶段，国内外工作都是采用经过对齐的高分辨率的彩色图片与低分辨率的深度图片结合来获得高分辨率的深度图。这样，在假设深度不连续的地方正好可以对应彩色图像的边缘，而颜色一致的区域含有相似的3D (three-dimension)几何结构的情况下,可以利用高分辨率的彩色信息对低分辨率深度图进行超分辨率优化。一种方法是将超分辨率优化定义为一个基于马尔科夫场的后项概率问题。通过优化最大后项概率问题，可以提高分辨率。还有一类方法采用双边滤波器来实现超分辨率。因为双边滤波器在滤波的同时可以很好的保住边缘而不被模糊。根据这一特点，将其应用于深度图，可以在扩大分辨率的同时，同时维持边缘的锐利。最近，还有一类方法采用非局部均值滤波来实现超分辨率。他们通过非局部均值滤波可以判断出相似结构的特性，来实现超分辨率。但是，上述提到的方法都不能够很好的维持边缘的锐利性，并且在细小的结构上也容易产生混淆。
发明内容
本发明旨在解决克服现有技术的不足，提供一种简便实用的超分辨率的方法。本发明采取的技术方案是，采用自回归模型对深度图进行超分辨率重建方法，包括下列步骤I)采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据，按照超分辨率比例将测试深度图下采样，再将得到输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度散点图；根据自回归模型，构造如下优化方程
权利要求
1.一种采用自回归模型对深度图进行超分辨率重建的方法，其特征是，包括以下步骤 1)采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据，按照超分辨率比例将测试深度图下采样，再将得到输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度散点图；根据自回归模型，构造如下优化方程
2.如权利要求I所述的采用自回归模型对深度图进行超分辨率重建的方法，其特征是，根据彩色图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入优化方程，具体包括以下步骤 21)利用彩色图像，对其中的每一个像素，选取它的(2w+l)X (2w+l)大小窗口的领域对其进行预测，其中，w是窗口一半的大小； 22)用双边滤波的核取代传统的非局部均值滤波的高斯核，作为训练每个像素参数的基本方法，得到彩色图上的预测系数af,p，公式如下
3.如权利要求I所述的采用自回归模型对深度图进行超分辨率重建的方法，其特征是，利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体方法包括以下步骤 31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下
全文摘要
本发明属于计算机视觉领域。为提供一种简便实用的超分辨率的方法，本发明采取的技术方案是，采用自回归模型对深度图进行超分辨率重建方法，包括下列步骤1)采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据，按照超分辨率比例将测试深度图下采样，再将得到输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度散点图；2)构建能量函数的自回归模型项；3)构建能量函数的基础数据项及最终求解方程；4)利用线性函数优化方法对方程进行求解。本发明主要应用于图像处理。
文档编号G06T5/00GK102722863SQ20121010988
公开日2012年10月10日 申请日期2012年4月16日 优先权日2012年4月16日
发明者侯春萍, 叶昕辰, 李坤, 杨敬钰 申请人:天津大学