专利名称：基于压缩采样的多视点图像联合重构方法和系统的制作方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种基于压缩采样的多视点图像联合重 构方法和系统。
背景技术：
一直以来，科学家在香农_乃奎斯特采样定理的指导下来设计和制作相应的数据 采集系统。但是，香农采样定理只是给出了为准确重构原始信号所需要的充分条件，采集的 数据中包含很强的相关性。因此，为了便于传输和存储采集到的数据，需要对其做进一步的 压缩。鉴于在香农采样定理中只利用信号是带限的这一先验知识，最近由Donoho等人通过 充分利用信号在一组基上可以稀疏表示这一先验知识提出了一种可以直接获取压缩数据
的数据采集方法-压缩感知(D. L. Donoho, "Compressed sensing,，，IEEE Transactions
on Information Theory, vol. 52，no. 4，pp. 1289-1306，Apr, 2006.)。采样数据通过随机投 影的方式来获取，而原始信号则通过非线性最优化的方法来重构。由于所采集到的数据的 冗余度非常低，可以直接用来做存储和传输。此外，由于压缩感知利用了较香农采样定理更 多的先验知识，它能够从在亚乃奎斯特采样频率下采集到的数据实现原始信号的重构，从 而在超高分辨率数据获取和大规模数据获取方面具有广阔的应用前景。传统的成像设备采集到的图像具有很高的冗余性，研究学者提出了 JPEG，H. 264 等图像/视频编解码方法来实现对图像做进一步压缩。而在为获取现实场景的三维信息所 采用的多视点成像中，利用传统的相机采集到的数据将会成倍的增长，给存储和传输带来 诸多不便。多视点图像编码方法和分布式编码方法被提出来去除各个视点间所采集到的图 像之间存在的冗余性。压缩感知方法在减少采样数据量，压缩数据的直接获取等方面提供 了新的思路。目前，Rice大学已经根据压缩感知方法成功研制出了单像素相机，做出了第一 个压缩成像的模型(D.Takhar，J.N.Laska，M.B.Wakinet al.，‘‘A new Compressive Imaging camera architecture using optical-domaincompression，，,Computational Imaging IV, vol. 6065，pp. 6509-6509，2006.)。在压缩感知中，从压缩采样数据中重构原始信号是通过在所有可能的信号寻找 一个在给定变换基上最稀疏的信号来实现。该方法只利用信号内的相关性，为了在重构 中充分运用信号间的相关性，Richard Branik提出了分布式压缩感知方法(Dror Baron, Michael ffakin, Marco Duarte, ShriramSarvotham, and Richard Baraniuk, Distributed compressed sensing,http://www. dsp. ece. rice, edu/cs/DCSl 12005. pdf)。信号间的相关 性通过联合稀疏性来描述，相关信号在一组基上的表征系数之间存在的一定关系，如具有 共同的支撑域。但是，找到一组能让相关信号可以联合稀疏表示的基存在很大的困难。针 对待采集图像序列存在重叠的情况，Jian Sun等人利用流形提升的方法来实现压缩成像中 原始图像序列的联合重构(Jian Sun andYin Li and Kang, S. B. and Heung-Yeung Shum, A manifold lifting algorithmfor multi-view compressive imaging, Picture Coding Symposium(PCS), Chicago, Illinois, 2009, May)，但是该方法仅限于不同图像之间只存在平移的情况。
发明内容
本发明的目的旨在至少解决上述技术缺陷，特别提出了一种基于压缩采样的多视 点图像联合重构方法和系统。为达到上述目的，本发明一方面提出一种基于压缩采样的多视点图像联合重构方 法，包括以下步骤通过多个压缩感知数据采集设备获得现实场景的多个视角的图像；根 据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和基于所述多个视角 图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。根据本发明的另一方面，本发明还提出了一种基于压缩采样的多视点图像联合重 构系统，包括多个压缩感知数据采集设备，用于获得现实场景的多个视角的图像；视差图 获得模块，用于根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和 联合重构模块，用于基于所述视差图获得模块获得的多个视角图像之间的视差图以及所述 多个视角的图像对多视角图像进行联合重构。本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系，并 在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关 性，增强了所重构信号的精度。另外，本发明实施例的方法和系统还具有较好的收敛性。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的基于压缩采样的多视点图像联合重构方法流程图；图2为本发明实施例的多视点压缩成像模型示意图；图3为本发明实施例的基于压缩采样的多视点图像联合重构系统结构图；图4(a)和(b)为传统相机拍摄的图像；图4(c)和(d)为独立重构出来的结果；图4(e)和(f)为本发明重构出来的结果。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。如图1所示，为本发明实施例的基于压缩采样的多视点图像联合重构方法流程 图，该方法包括以下步骤步骤S101，通过多个压缩感知数据采集设备获得现实场景的多个视角的图像。在 本发明中，多视点压缩成像方法是指通过在不同视点摆放多个压缩感知数据采集设备来捕 获现实场景各个视角的图像，从而最终获得现实场景的三维信息。由于利用压缩采样方法得到的数据相关性低，因此采集到的数据可以直接用来存储和传输。因此，多视点压缩成像 方法能够有效降低数据采样量，避免传统数据采集后繁琐的编码过程。在采集过程中，不同 视点图像的采集独立进行，而不同视点间的相关性可以在重构的时候加以利用，从而实现 现实场景的高效采集。在该实施例中，设Vi和Ni是在视点i和j观测到的图像，如图2所示，为本发明实 施例的多视点压缩成像模型示意图，利用压缩采样设备可以被采集到他们在一组随机波形 φ上的投影系数Yi:OVi = Yi(1. 1)OVj = Yj具体地，先将压缩采样设备置于同一水平线的不同位置处，对现实场景进行压缩 采样。为生成随机投影波形，先对离散余弦变换矩阵进行随机的列排列，然后随机抽取其M 个行向量形成感知矩阵，本发明实施例通过压缩采样的数据量为图像分辨率的30% ；接着， 对同一场景分别在基准视点和参考视点进行独立的压缩采样。步骤S102，根据获得的多个视角的图像计算所述多个视角图像之间的视差图。根 据压缩感知的相关理论，利用非线性最优化方法能够从这些随机投影系数中重构出多视点 图像Vi和V」。进而，利用多视点图像可以生成现实场景的深度图，以达到获取现实场景的 三维信息的目的。本发明实施例为了重构估计多视点图像之间的视差关系，需要得到各个视点下的 观测图像。为此，首先根据各个视点下观测图像在某个变换域Ψ下的稀疏性，利用I1最优 化(即非线性最优化)方法，给出一个初步的估计结果η ιΣ 网ι
'Js. t. OVi = Yi(1.2)OVj = Yj在本发明实施例中，该间题的求解可以通过贪婪算法，基追踪算法，迭代阈值等多 种算法进行求解，这里我们采用FISTA算法进行求解。接着，根据初步估计到的多视点图 像，利用graphcut等算法估计不同视点间的视差关系屯,」。具体地，首先利用8X8的块离散余弦变换，从每个视点独立地重构各个视点观测 到的图像，即利用迭代阈值算法来求解min| Ψν I1(1. 3)s. tOV = Y其中，Y是在不同视点采集到的压缩采样数据。接着，利用初步重构出来的多视点图像，估计多视点图像之间的视差图。步骤S103，基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视 角图像进行联合重构。在本发明实施例中，由于现实场景中的一点在不同视点观测到的值是相同的，因 此根据步骤S102中所估计到的视差关系屯,」，并结合图像本身的稀疏性，本发明给出如下
6的目标函数
其中，Ψ为变换域，Vi和Vj是在视点i和j观测到的图像，Clijjjp为视点i禾Π j之 间的视差图。但是由于遮挡，光照变化等因素的影响，现实场景中的某些点在不同视点之间
存在一些差异。为了剔除这些奇异点，本发明利用一范数对奇异点进行约束
其中，P是能够在不同视点间找到对应点的像素集合，λ是规整化参数，当λ将左 右视点对应像素差异的一范数值规整化到与图像在变换域上的一范数值相当时，可以达到 最好的重构质量。为了求解式(1.5)，本发明将其转化为如下的无约束最优化问题进行求
解 当λ 2充分小的时候，最优化问题(1.6)与最优化问题(1.5)等价。此外，为了便 于处理式(1.6)中的第三项工^^/^-^/…+ ^卜本发明引入中间变量已
peV (1. 7) 其中，Ψ为变换域，Vi和Vj是在视点i和j观测到的图像，λ和λ 2为规整化参
为视点i和j之间的视差图，Ε为中间变量，其中，Ε=Σ訶⑶Kf+i^) I。上
数，d,
述问题是一个在二范数和一范数混合约束下的凸优化问题，可以利用FISTA方法方便的进 行求解到一个最优解。具体地，在本发明实施例中联合重构具体包括1)、在联合重构中，先根据所述基于多个视角图像之间的视差图确定规整化参数， 在优选实施例中，可取规整化参数2 =Y1t,, TT' λ2 = le-5。 2)、利用迭代阈值算法FISTA求解如下的最优化问题，从而实现多视点图像的联
合重构min| WViIH WVjI1+λ I E | 广 λ 2 ( Il OVi-Yi || 2+ || OVrYj || 2+ || Vi (p)-Vj (p+d^ j,
P)-E Il 2)。3)、根据联合重构的结果，利用步骤S102中的视差估计方法重新计算视差，利用 步骤1)中的规整化参数计算方法重新计算规整化参数。4)、重复上述步骤2)-3)，直至重构结果不再发生变化。本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系，并 在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关 性，增强了所重构信号的精度。另外，本发明实施例的方法和系统还具有较好的收敛性。如图3所示，为本发明实施例的基于压缩采样的多视点图像联合重构系统结构 图。该系统包括多个压缩感知数据采集设备100、视差图获得模块200和视差图获得模块 300。多个压缩感知数据采集设备100用于获得现实场景的多个视角的图像。视差图获得 模块200用于根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图。视差 图获得模块300用于基于视差图获得模块200获得的多个视角图像之间的视差图以及所述 多个视角的图像对多视角图像进行联合重构。在本发明的一个实施例中，视差图获得模块200包括图像初步重构子模块210和 视差图获得子模块220。图像初步重构子模块210用于根据8X8的块离散余弦变换，从每 个视点独立地初步重构多个视点观测到的图像。视差图获得子模块220根据图像初步重构 子模块初步重构的多个视点的图像，获得多视点图像之间的视差图。本发明采用峰值信噪比(PSNR)来客观衡量算法的重构效果。表1为针对不同测 度数下，本发明方法和独立重构方法重构结果的客观评价指标。其中Doll_b和Doll_r是 对基准视点和参考视点独立恢复的结果，Doll_Jb和Doll_Jr是用本发明提出的联合重构 方法重构出的结果。表 1 图4(a)和(b)为传统相机拍摄的图像，图4(c)和(d)为独立重构出来的结果，图 4(e)和(f)为本发明实施例重构出来的结果，从图4(e)和(f)可以看出，联合重构方法重 构出来的视觉效果明显优于独立恢复的结果。总之，无论从客观评价指标还是从视觉效果，本发明提出的联合重构方法均优于独立重构的方法，重构质量得到了较大程度的改善。 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种基于压缩采样的多视点图像联合重构方法，其特征在于，包括以下步骤通过多个压缩感知数据采集设备获得现实场景的多个视角的图像；根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。
2.如权利要求1所述的基于压缩采样的多视点图像联合重构方法，其特征在于，所述 根据获得的多个视角的图像计算多个视角图像之间的视差图进一步包括根据8X8的块离散余弦变换，从每个视点独立地初步重构所述多个视点观测到的图 像；和根据初步重构的多个视点的图像，获得多视点图像之间的视差图。
3.如权利要求2所述的基于压缩采样的多视点图像联合重构方法，其特征在于，所述 基于多个视角图像之间的视差图以及多个视角的图像对多视角图像进行联合重构进一步 包括根据所述基于多个视角图像之间的视差图确定规整化参数；根据确定的所述规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所 述多视点图像的联合重构；进一步根据联合重构结果重新计算视差图，并重新确定规整化参数，以及再次进行联 合重构，直至重构结果不再发生变化。
4.如权利要求3所述的基于压缩采样的多视点图像联合重构方法，其特征在于，所述 根据确定的规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所述多视点 图像的联合重构包括利用快速迭代阈值算法FISTA求解以下的最优化问题min| WViI1+! WVj1+λ Ε^+λ^ || OVi-Yi Il 2+ Il OVj-Yj Il 2+ Il Vi (p)-Vj (p+d^ j, p)-E Il 2)，其中，Ψ为变换域，Vi和Vj是在视点i和j观测到的图像，λ和λ 2为规整化参数，d,,^为视点i和j之间的视差图，E为中间变量，其中，丑二工^劝一^^ + ^ °
5.如权利要求3所述的基于压缩采样的多视点图像联合重构方法，其特征在于，其中， 规整化参数λ和λ 2为
6.一种基于压缩采样的多视点图像联合重构系统，其特征在于，包括 多个压缩感知数据采集设备，用于获得现实场景的多个视角的图像；视差图获得模块，用于根据获得的所述多个视角的图像计算所述多个视角图像之间的 视差图；和联合重构模块，用于基于所述视差图获得模块获得的多个视角图像之间的视差图以及 所述多个视角的图像对多视角图像进行联合重构。
7.如权利要求6所述的基于压缩采样的多视点图像联合重构系统，其特征在于，所述视差图获得模块包括图像初步重构子模块，用于根据8X8的块离散余弦变换，从每个视点独立地初步重构所述多个视点观测到的图像；和视差图获得子模块，根据所述图像初步重构子模块初步重构的多个视点的图像，获得 多视点图像之间的视差图。
8.如权利要求7所述的基于压缩采样的多视点图像联合重构系统，其特征在于，所述 联合重构模块根据所述基于多个视角图像之间的视差图确定规整化参数，并根据确定的所 述规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所述多视点图像的联 合重构，以及进一步根据联合重构结果重新计算视差图，并重新确定规整化参数和再次进 行联合重构，直至重构结果不再发生变化。
9.如权利要求8所述的基于压缩采样的多视点图像联合重构系统，其特征在于，所述 联合重构模块利用快速迭代阈值算法FISTA求解以下的最优化问题min| WViI1+! WVj1+λ Ε^+λ^ || OVi-Yi Il 2+ Il OVj-Yj Il 2+ Il Vi (p)-Vj (p+d^ j, p)-E Il 2)，其中，Ψ为变换域，Vi和Vj是在视点i和j观测到的图像，λ和λ 2为规整化参数，d,,^为视点i和j之间的视差图，E为中间变量，其中，—[(P +‘，ρ) I。peV
10.如权利要求9所述的基于压缩采样的多视点图像联合重构系统，其特征在于，其 中，规整化参数λ和λ2为
全文摘要
本发明提出一种基于压缩采样的多视点图像联合重构方法，包括以下步骤通过多个压缩感知数据采集设备获得现实场景的多个视角的图像；根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系，并在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关性，增强了所重构信号的精度。
文档编号G06T7/00GK101901493SQ20101021218
公开日2010年12月1日 申请日期2010年6月21日 优先权日2010年6月21日
发明者付长军, 季向阳, 戴琼海 申请人:清华大学