专利名称：对多级透镜多视角场景的三维重建的方法
技术领域：
本发明属于二维或三维成像技术领域，更具体地，本发明涉及一种对多级透镜多 视角场景的三维重建的方法。
背景技术：
计算机视觉是计算机科学中的一个非常活跃的领域。人类获得的感官信息中， 80%都来自于视觉，而计算机视觉就是用摄像机和计算机模拟人眼立体视觉获得目标，并 对其进行分析。立体视觉匹配技术是计算机视觉领域中最为关键的研究分支，是一种基于 三角法测距原理的被动三维成像技术。被动式三维成像技术不需要引入外部光源，但是对 没有明显特征的图像(如无明显边缘、角点或是无纹理及纹理重复等)，计算量很大，也很 难确保匹配的准确度。目前立体匹配算法主要分为局部匹配和全局匹配方法两大类。局部匹配方法是对 像素周围的小区域进行约束，这一算法主要有基于灰度的匹配方法、基于特征的匹配方法、 基于区域的匹配方法等。而全局匹配方法是对整幅图像进行约束的，主要包括动态规划匹 配算法、图割法、信任度传播算法等。局部匹配算法的重点就是匹配代价的积累阶段，只要找到一个具有最小的匹配代 价作为差值即可，此类方法在每个像素周围的小区域中是最优的。基于灰度的匹配算法的实质是利用局部窗口之间的灰度信息的相关程度来达到 较高的精度。但是该类算法的匹配窗口的大小的选择是问题所在。在各种确定匹配窗口的 方法中，Kanade和Okutomi的方法是比较经典的，其从理论上建立了左右图像匹配窗口内 亮度对应的分布模型和匹配窗口内视差值分布的统计模型，提出了一种自适应窗口立体匹 配方法。该方法能自适应的调整匹配窗口的大小，但是由于视差估计的形式很复杂，从而使 计算量增大，降低了计算效率。基于特征的匹配算法不直接依赖于灰度，具有较强的抗干扰性，并且计算量小。但 是因为只能生成稀疏的视差图，所以对复杂形状的物体的匹配效果不好。Y. Ke等提出了 PCA-SIFT描述子，在关键点周围的一定区域内计算每个像素的垂直和水平梯度，组成特征 向量，然后利用PCA技术对描述向量进行降维。PCA-SIFT描述子能够很好的降低特征向量 的维数，但是PCA技术要选取一些列有代表性的图像来训练投影矩阵，从而增加了计算复 杂度。并且SIFT特征向量的高维性不仅占用的内存空间较大，而且影响特征匹配的速度。全局匹配算法一般用相容性约束和平滑性约束来构成一个评价函数，再通过各种 最优算法求取评价函数的最小值。动态规划立体匹配算法的计算效率高、匹配效果较好的特点，使之成为实时处理 中最常用的算法之一。传统的基于核线优化的动态规划立体匹配方法由于核线之间的约束 不够，导致视差图中出现比较明显的横向“条纹”。Bobick等人引入了控制点修正技术，从 而减少了“条纹”，改善了视差图的质量，但是控制点的获取时间较长，增加了匹配算法的时 间，从而降低了算法的实时性。
图割算法不仅总体精度高，而且在不连续区域和低纹理区域的精度也比其他的 算法高。文章 A maximum-flow formulation of the η-camerastereo correspondence problem中的方法可以得到全局最优的匹配结果，目标与背景被较好分离，但损失了细节部 分的信息。基于置信传播(Belief Propagation，即BP)的视差估计算法是一类精度较高的 全局算法，但是在物体遮挡区域，全局最优路径和真实路径有差距，从而增加了算法的计算 复杂度。为了降低BP算法的计算复杂度，进行了改进，其中最典型的是Felzenszwalb等人 的算法。该算法是通过采用分层技术来减少BP算法的迭代次数，从而提高收敛速度。但是 当迭代次数较高时，执行时间也会比较长。并且它采用固定的平滑相和数据项，对BP算法 全局路径与真实路径之间的差距没有任何改进。基于局部约束的算法时间复杂度不高且容易实现，但精确度不高。基于全局约束 的算法精确度比较高，但算法时间复杂度也较高，一般都比较耗费时间。全息技术是实现真实的三维图像的记录和再现的技术。D.P.Paris首先在计 算全息中引入快速傅里叶变换算法(FFT)，提高了产生傅里叶变换全息图的计算效率。 H. Yoshikawa等采用泰勒级数展开法递归求解物体和全息面上对应点的距离，从而得到全 息面相邻像素点的位相差的方法快速求解菲涅尔全息图。但是全息图的产生和重现的计算量相当可观，因此，如何提高全息图的计算效率 变成了全息技术的关键。
发明内容
为了解决立体视觉对无显著纹理或纹理重复的场景的匹配结果难以预测的问题， 本发明的目的是利用全息重建对场景的要求不高的特点，采用全息重建的方法对立体视觉 的重建结果进行整体修正或局部修正，从而很好的解决了立体视觉对无显著纹理或纹理重 复的场景难以配对的问题。但是全息重建过程中，数字重建的计算量相当可观，为此，本发 明提供一种对多级透镜多视角场景的三维重建的方法。为达成所述目的，本发明提供的一种对多级透镜多视角场景的三维重建的方法， 该方法的步骤如下步骤Sl 利用N级透镜三维成像系统中的传感器，获取多视角二维图像，N为大于 等于2的正整数；步骤S2 多视角二维图像的三维重建是对多视角二维图像构造正交投影图像， 并对正交投影图像进行傅里叶变换或者菲涅尔变换，产生全息图像；然后，对全息图像进行 傅里叶反变换或者菲涅尔反变换，实现数字重建，得到场景中物体经过第N-I级透镜所得 的实像的深度信息；步骤S3 对于N = 2的情况，对第N-I级透镜所得的实像的深度信息，再利用透镜 的焦距、物距及像距之间的关系式，获得场景中物体的深度信息；对于N > 2的情况，获得经 过第N-2级透镜所得的实像的深度信息，以此类推，对经过第N-2级透镜以及经过第N-2级 透镜以上各级透镜所得的实像的深度信息逐级递推，直至得到第一级透镜的物距，则获得 场景中物体对应的深度信息。其中，所述多视角二维图像的三维重建还可以是立体视觉三维重建，所述立体视
5觉三维重建的具体步骤如下对多视角二维图像进行两两双目的立体匹配，将多个两两匹 配的结果综合成一个完整的视差图，最后利用三角测量原理对视差图的各个视差进行计 算，得到场景中物体经过第N-I级透镜所得的实像的深度信息；对多视角二维图像也可以 进行多目同时立体匹配，得到一个完整的视差图，最后利用三角测量原理对视差图的各个 视差进行计算，得到场景中物体经过第N-I级透镜所得的实像的深度信息。其中，所述多视角二维图像的三维重建还可以是立体视觉和全息重建结合的三维 重建，所述立体视觉和全息重建的步骤如下步骤S21a 对多视角二维图像进行立体视觉的处理，得到多视角二维图像两个部 分的像素为深度信息理想的第1像素部分和深度信息不理想的第2像素部分，及得到所述 第1像素部分所对应的实像的深度信息和第2像素部分所对应的实像的深度范围；步骤S22a 在深度信息不理想的第2像素部分对应的实像的深度范围内对第2像 素部分进行全息重建，得到第2像素部分的理想深度信息；步骤S23a 将所述第1像素部分对应的实像的深度信息与第2像素部分对应的实 像的深度信息综合为完整的场景中物体经过第N-I级透镜所得到的实像的深度信息。其中，将所述第1像素部分对应的实像的深度信息和第2像素部分对应的实像的 深度信息分别送入步骤S3，步骤S3对所述第1像素部分对应的实像的深度信息和第2像素 部分对应的实像的深度信息分别进行逐级递推的处理，分别生成场景中物体的第i深度信 息和场景中物体的深度信息ii，再将得到的场景中物体对应的第i深度信息和场景中物体 对应的深度信息ii做综合处理，得到完整的场景中物体的深度信息。其中，所述多视角二维图像的三维重建还可以是立体视觉和全息重建结合的三维 重建，所述立体视觉和全息重建的步骤如下步骤S21b 对多视角二维图像进行立体视觉的处理，得到场景中的物体经过第 N-I级透镜所成的实像的深度信息进而得到实像的深度范围；步骤S22b 在步骤S21b得到的实像的深度范围内对多视角二维图像进行全息重 建，得到场景中物体经过第N-I级透镜所成的实像的的深度信息；步骤S23b 将经过立体视觉得到的实像的深度信息与经过全息重建得到的实像 的深度信息综合为场景中物体经过第N-I级透镜所得到的实像的深度信息。其中，将经过立体视觉得到的实像的深度信息和经过全息重建得到的实像的深度 信息分别送入步骤S3，步骤S3对所述立体视觉得到的实像的深度信息和经过全息重建得 到的实像的深度信息分别进行逐级递推的处理，分别生成场景中物体的第I深度信息和场 景中物体的第II深度信息，再将得到的场景中物体对应的的第I深度信息和场景中物体对 应的第II深度信息做综合处理，得到完整的场景中物体的深度信息。本发明的有益效果本发明对多级透镜三维成像系统得到的多视角场景二维图像 进行三维场景和三维物体重建，减小了系统尺寸，方便携带，并且多级透镜成像系统中的各 级透镜可以是透镜阵列，从而获取多视角的二维图像，则能够提供个多更全面的信息，可以 有效解决由于遮挡等因素带来的立体视觉技术中的误匹配，从而提高匹配精度。并且本发 明中采用全息重建和立体视觉结合的三维重建方法，充分体现了全息重建的优势，同时也 弥补了立体视觉对无显著纹理或纹理重复的场景的效果不理想的缺点，从而重建出完整的 场景的深度信息，使立体视觉的匹配效果的准确度更高，利用立体视觉的结果大大降低了数字重建的范围，从而大大减小了计算复杂度。本发明能精确的获取场景中的深度信息。
图Ia对多级透镜多视角场景的三维重建的方法的流程图。图Ib示出了二级透镜三维成像系统的示意图。图2a-图2d示出了图Ia中的重建步骤的子流程图。图3a_图3c示出了立体视觉匹配的两种方式。图4示出了同一极线不同摄像机对匹配5示出了全息技术中获取正交投影图像的示意图。图6示出了产生傅里叶全息图的示意图。图7示出了产生菲涅尔全息图的示意图。图8示出了图Ia中逐级递推步骤在二级透镜的三维成像系统中的光路图的侧视 图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。本发明描述了对多级透镜多视角场景的三维重建的方法，对多级透镜三维成像系 统得到的多视角场景二维图像进行方便、快捷的三维场景重建。图Ia示出了对多级透镜多视角场景的三维重建的方法的流程图。对多级透镜多 视角场景的三维重建的方法大致可以分为三个步骤步骤Sl 场景中的物体通过N级透镜的三维成像系统，最终在传感器上获取多视 角二维图像，也就是传感器上的多幅不同视角场景中的物体的二维图像，其中，N为大于等 于2的正整数；步骤S2 多视角二维图像的三维重建是对多视角二维图像构造正交投影图像， 并对正交投影图像进行傅里叶变换或者菲涅尔变换，产生全息图像；然后，对全息图像进行 傅里叶反变换或者菲涅尔反变换，实现数字重建；如图2a-图2d示出对所获取的多视角二 维图像运用全息重建、立体视觉或是立体视觉和全息重建结合的方法进行三维重建，得到 场景中物体经过第N-I级透镜所得的实像的深度信息；步骤S3 对于N = 2的情况，对第N-I级透镜所得的实像的深度信息，再利用透镜 的焦距、物距及像距之间的关系式，获得场景中物体的深度信息；对于N > 2的情况，获得经 过第N-2级透镜所得的实像的深度信息，以此类推，对经过第N-2级透镜以及经过第N-2级 透镜以上各级透镜所得的实像的深度信息逐级递推，直至得到第一级透镜的物距，则获得 场景中物体对应的深度信息，具体实现过程如图8所示。三维成像系统还可以采用更多级的三维成像系统，为便于理解图Ib仅仅示出了 一个二级三维成像系统，更多级的三维成像系统在此不再赘述，并且以下将以图Ib示出的 多级透镜三维成像系统为例进行详细的介绍。场景中物体的光线经过第一级透镜101成像 之后经过第二级透镜102中的各个透镜a
len、 blen、Clen、c^1 enλ β1βηΛ fleI1、glen、hlen 禾口 ilen， 最终通 过传感器103获取场景中物体的光线经过两级透镜所成像的信息。第一级透镜101和第二级透镜102中的透镜阵列的选择不仅限于一个透镜或者两个透镜，而且可以是多个透镜的 对称排布。在多级透镜三维成像系统的第一级透镜101选择一个焦距为的透镜，第二级 透镜选择焦距均为f2的3*3的透镜阵列。那么第二级透镜102中的每个透镜alen、blen、clen、 dlen、eIenΛ f"len、Slen、^ien 禾口 ^len 在传感器上分别有一个成像圆，其中，图Ib中在传感器103上 的正方形Ia、Ib、I。、Id、Ie> If> Ig、Ih和Ii分别是每个透镜 aien、bien、ClenΛ 屯甜、θ1βηΛ f"ien、gieI1、 hlm和ilm在传感器上的成像圆的最大内接正方形。多视角二维图像的三维重建可以是利用传感器103上获取的九幅图像Ia、Ib、Ic、 Id、Ie, If、Ig、Ih和Ii,构造正交投影图像(如图5所示)，并对正交投影图像进行傅里叶变 换(如图6所示)或者菲涅尔变换(如图7所示)，产生全息图像；然后，对全息图像进行 傅里叶反变换或者菲涅尔反变换，实现数字重建，得到场景中物体经过第N-I级透镜所得 的实像的深度信息，从而完成多视角二维图像的三维重建。多视角二维图像的三维重建还可以是对传感器103上获取的九幅图像Ia、Ib、Ic、 Id、Ιε、If、Ig、Ih和Ii进行两两双目的立体匹配，将两两匹配的结果综合成一个完整的视差 图，具体过程如图3a-图3b所示，最后利用三角形测量原理对视差图的各个视差进行计算， 得到场景中物体经过第N-I级透镜所得的实像的深度信息；对传感器103上获取的九幅图 像Ia、Ib、I。、Id、Ie, If、Ig、Ih和Ii也可以进行多目同时立体匹配，得到一个完整的视差图， 具体过程如图3c所示，最后利用三角测量原理对视差图的各个视差进行计算，得到场景中 物体经过第N-I级透镜所得的实像的深度信息。多视角二维图像的三维重建还可以是图2a和图2b示出的立体视觉和全息重建 结合的三维重建，具体步骤如下步骤S21a 对传感器103上获取的九幅图像Ia、Ib、I。、Id、Ie、If、Ig、Ih和Ii进行 立体视觉的处理，得到场景中物体的实像的深度信息，即场景中物体经过第一级透镜所成 的实像到第二级透镜的距离；由于立体视觉匹配技术对无显著纹理或纹理重复的区域匹配 时存在难于配对的问题，那么经过立体视觉的处理(利用如图3a_图3c所示中任意一种立 体匹配方式)，对于匹配点对的像素值差或者特征向量距离小于一个常数，则认为该像素点 的深度信息是可以确定的、理想的；否则认为该像素点的深度信息是不理想的。那么，场景 中物体的实像中的像素分为两部分深度信息理想的第1像素部分和深度信息不理想的第 2像素部分，同时还得到所述第1像素部分所对应的实像的深度信息和第2像素部分所对应 的实像的深度信息；步骤S22a 将传感器上获取的九幅图像Ia、Ib、I。、Id、Ie、If、Ig、Ih和Ii进行图5所 示的处理得到多幅正交投影图像，再经过图6或图7的处理，利用所述的正交投影图像构造 傅里叶全息图或菲涅尔全息图，然后，在所述第2像素部分对应的实像中像素点(Xi，yi)的 深度信息Zi的一个邻域(Zi- δ，Zi+ δ )范围内对第2像素部分进行全息重建，取所述邻域 范围内使得全息重建值队(^，7》取得最大值的时候的深度信息作为像素点(Xi，yi)的深度 信息Zi,最终得到第2像素部分中每个像素点的理想深度信息，如图2a-图2b所示；步骤S23a 将所述第1像素部分对应的实像的深度信息与第2像素部分对应的实 像的深度信息取并集得到完整的场景中物体经过第一级透镜所得到的实像的深度信息，再 执行步骤S3，如图2a所示；或者分别将所述第1像素部分对应的实像的深度信息和第2像 素部分对应的实像的深度信息分别送入步骤S3处理，如图2b所示，然后将步骤S3所得的第1像素部分对应的场景中物体的深度信息与第2像素部分对应的场景中物体的深度信息 取并集得到完整的场景中物体的深度信息。多视角二维图像的三维重建还可以是图2c和图2d示出的立体视觉和全息重建 结合的三维重建，具体步骤如下步骤S21b 对传感器103上获取的九幅图像Ia、Ib、I。、Id、Ie、If、Ig、Ih和Ii进行 立体视觉处理(利用如图3a_图3c所示中任意一种立体匹配方式)之后，得到完整的场景 中物体经过第N-I级透镜所成的实像的深度信息进而得到完整的场景中物体的实像的深 度范围；步骤S22b 将传感器上获取的九幅图像Ia、Ib、I。、Id、Ie、If、Ig、Ih和Ii进行图5所 示的处理得到多幅正交投影图像，再经过图6或图7的处理，利用所述的正交投影图像构造 傅里叶全息图或菲涅尔全息图，然后，在步骤S21b得到的完整的场景中物体的实像的深度 范围内进行数字重建，得到场景中物体经过第N-I级透镜所成的实像的深度信息；步骤S23b 将经过立体视觉得到的场景中物体的实像中任意像素点的深度信息d i和经过全息重建得到的场景中物体的实像中对应像素点的深度信息进行如下处理depth = d立· α 立+d全· α 全，其中，α立和α全均为常数，且满足α立+ α全=1，则cbpth为场景中物体经过第 N-I级透镜所得到的实像中任意像素点的深度信息，再执行步骤S3，如图2c所示；或者分别 将经过立体视觉得到的实像的深度信息和经过全息重建得到的实像的深度信息执行步骤 S3所述的处理，如图2d所示，得到经过立体视觉处理得到的场景中物体上各个点对应的深 度信息cbpth立和经过全息重建得到的场景中物体上各点对应的深度信息d印th全将cbpth 立和cbpth全进行如下处理depth = depth 立· β 立+depth 全· β 全，其中，β立和β全均为常数，且满足β立+ β全=1，则cbpth为场景中物体上任意 点的深度信息。图3a示出了一种立体视觉匹配的方式。将传感器上获取的多幅图像，相邻的图 像之间两两进行匹配，可以得到多幅相互独立的视差图，根据图3a所示的融合准则，将多 幅视差图合成一幅视差图。图3a示出了将传感器103获取的图像Ia、Ib、Ic作为第一行图 像，将其相邻的图像之间进行两两匹配(以下介绍中假定立体匹配图像对都是经过校正之 后的)。图像Ib与图像Ia匹配得视差图Dba，图像Ib与图像I。匹配得视差图Db。。将两幅视 差图Dba和Db。融合则可以得到第一行图像Ia、Ib、Ic的匹配视差图。视差融合的公式为
权利要求
一种对多级透镜多视角场景的三维重建的方法，其特征在于，该方法的步骤如下步骤S1利用N级透镜三维成像系统中的传感器，获取多视角二维图像，N为大于等于2的正整数；步骤S2多视角二维图像的三维重建是对多视角二维图像构造正交投影图像，并对正交投影图像进行傅里叶变换或者菲涅尔变换，产生全息图像；然后，对全息图像进行傅里叶反变换或者菲涅尔反变换，实现数字重建，得到场景中物体经过第N 1级透镜所得的实像的深度信息；步骤S3对于N＝2的情况，对第N 1级透镜所得的实像的深度信息，再利用透镜的焦距、物距及像距之间的关系式，获得场景中物体的深度信息；对于N＞2的情况，获得经过第N 2级透镜所得的实像的深度信息，以此类推，对经过第N 2级透镜以及经过第N 2级透镜以上各级透镜所得的实像的深度信息逐级递推，直至得到第一级透镜的物距，则获得场景中物体对应的深度信息。
2.如权利要求1所述对多级透镜多视角场景的三维重建的方法，其特征在于，所述多 视角二维图像的三维重建还可以是立体视觉三维重建，所述立体视觉三维重建的具体步骤 如下对多视角二维图像进行两两双目的立体匹配，将多个两两匹配的结果综合成一个完 整的视差图，最后利用三角测量原理对视差图的各个视差进行计算，得到场景中物体经过 第N-I级透镜所得的实像的深度信息；对多视角二维图像也可以进行多目同时立体匹配， 得到一个完整的视差图，最后利用三角测量原理对视差图的各个视差进行计算，得到场景 中物体经过第N-I级透镜所得的实像的深度信息。
3.如权利要求1所述对多级透镜多视角场景的三维重建的方法，其特征在于，所述多 视角二维图像的三维重建还可以是立体视觉和全息重建结合的三维重建，所述立体视觉和 全息重建的步骤如下步骤S21a 对多视角二维图像进行立体视觉的处理，得到多视角二维图像两个部分的 像素为深度信息理想的第1像素部分和深度信息不理想的第2像素部分，及得到所述第1 像素部分所对应的实像的深度信息和第2像素部分所对应的实像的深度范围；步骤S22a 在深度信息不理想的第2像素部分对应的实像的深度范围内对第2像素部 分进行全息重建，得到第2像素部分的理想深度信息；步骤S23a 将所述第1像素部分对应的实像的深度信息与第2像素部分对应的实像的 深度信息综合为完整的场景中物体经过第N-I级透镜所得到的实像的深度信息。
4.如权利要求3所述对多级透镜多视角场景的三维重建的方法，其特征在于，将所述 第1像素部分对应的实像的深度信息和第2像素部分对应的实像的深度信息分别送入步骤 S3，步骤S3对所述第1像素部分对应的实像的深度信息和第2像素部分对应的实像的深度 信息分别进行逐级递推的处理，分别生成场景中物体的第i深度信息和场景中物体的深度 信息ii，再将得到的场景中物体对应的第i深度信息和场景中物体对应的深度信息ii做综 合处理，得到完整的场景中物体的深度信息。
5.如权利要求1所述对多级透镜多视角场景的三维重建的方法，其特征在于，所述多 视角二维图像的三维重建还可以是立体视觉和全息重建结合的三维重建，所述立体视觉和 全息重建的步骤如下步骤S21b 对多视角二维图像进行立体视觉的处理，得到场景中的物体经过第N-I级透镜所成的实像的深度信息进而得到实像的深度范围；步骤S22b 在步骤S21b得到的实像的深度范围内对多视角二维图像进行全息重建，得 到场景中物体经过第N-I级透镜所成的实像的的深度信息；步骤S23b 将经过立体视觉得到的实像的深度信息与经过全息重建得到的实像的深 度信息综合为场景中物体经过第N-I级透镜所得到的实像的深度信息。
6.如权利要求5所述对多级透镜多视角场景的三维重建的方法，其特征在于，将经过 立体视觉得到的实像的深度信息和经过全息重建得到的实像的深度信息分别送入步骤S3， 步骤S3对所述立体视觉得到的实像的深度信息和经过全息重建得到的实像的深度信息分 别进行逐级递推的处理，分别生成场景中物体的第I深度信息和场景中物体的第II深度信 息，再将得到的场景中物体对应的的第I深度信息和场景中物体对应的第II深度信息做综 合处理，得到完整的场景中物体的深度信息。
全文摘要
本发明是一种对多级透镜多视角场景的三维重建的方法，通过多级透镜三维成像系统获取多视角二维图像，通过运用全息重建、立体视觉或是立体视觉和全息重建结合的方法对多视角的二维图像进行三维重建，得到场景中物体经过最后一级透镜所得的实像的深度信息，最后将得到的实像的深度信息沿着光线进入多级透镜三维成像系统的反方向，根据透镜的焦距、物距及像距之间的关系式逐级递推，从而获得场景中物体的三维信息。
文档编号H04N13/00GK101938668SQ201010278130
公开日2011年1月5日 申请日期2010年9月10日 优先权日2010年9月10日
发明者徐波, 黄向生 申请人:中国科学院自动化研究所