一种集成成像系统的深度图获取方法
【专利摘要】本发明公开了一种集成成像系统的深度图获取方法，首先利用计算机重构方法生成不同视点的多幅视图；从中选择N幅具有连续水平视差的视图，以最左一幅视图为参考图像或最右一幅视图为参考图像，分别与其他视图进行立体匹配，得到N-1幅视差图；以参考图像的N-1幅视差图为基础，对每个像素点的N-1个视差值进行正比例函数拟合，拟合的系数即为该像素与最邻近视图的视差值，根据视差与深度的关系式，计算得到参考图像的深度图。本发明简化了深度测量过程，使得立体匹配过程比较容易实现，降低了视图之间在图像边缘区域和深度不连续区域的误匹配，去除由于记录噪声等因素产生的误匹配，提高了深度图的准确度。
【专利说明】一种集成成像系统的深度图获取方法
【技术领域】
[0001] 本发明属于三维深度信息获取【技术领域】，尤其涉及一种集成成像系统的深度图获 取方法。
【背景技术】
[0002] 深度测量在虚拟现实仿真的增强现实技术、立体显示、远程医疗、基于图形的绘制 等方面有着广泛的应用。深度测量是获取三维场景深度信息的重要步骤，是机器视觉研究 领域的重要难题之一。
[0003] 目前深度图的获取主要存在两种方式，一种是通过深度相机进行拍摄获取，一种 是通过立体匹配算法获取。由于深度相机价格昂贵且获取的深度图分辨率较低，所以目前 通过立体匹配算法获取深度图成为主要的手段。
[0004] 在经典的机器视觉领域，是通过寻找两张或多张同一空间场景不同角度的图像之 间的匹配关系来进行深度估算，但这类方法需要确定摄像机的几何位置和有关参数，这一 直是传统机器视觉研究领域中的困难所在。
[0005] 集成成像（Integral Imaging,简称II)，是一种用微透镜阵列来记录和显示空间 场景信息的全真三维显示技术，由于该技术具有许多显著的优点而受到三维显示领域的广 泛关注。图1展现了典型的集成成像系统的采集和显示部分。如图1(a)所示，采集部分包 括微透镜阵列和采集设备如CCD相机，3D物空间场景通过微透镜阵列被CCD相机采集，每 个微透镜都从不同的方向记录一部分物体空间，相应生成一幅幅小图被称为元素图像；如 图1 (b)所示，显示部分中，把2D元素图像集合放在具有同样参数的显示微透镜阵列后，相 应的微透镜阵列把许许多多"元素图像"透射/反射出来的光线聚集后可还原出原来的3D 空间。因为在集成成像的采集部分，每个微透镜从不同角度把物空间场景的深度信息记录 下来，整个过程只有一次成像过程，不存在相机的参数设置和校准问题，所以，利用集成成 像技术获取深度信息，简化了深度测量过程，具有一定的优势。
[0006] 但是目前集成成像系统获取深度图的方法也存在需要解决的问题，因为每个微透 镜产生的元素图像的分辨率非常低，如果直接对多幅元素图像进行立体匹配来获得深度信 息比较困难。因此，需要从充分利用集成成像技术优势的角度出发，研究深度信息提取方 法，提高获取的深度图的质量。
【发明内容】
[0007] 本发明实施例的目的在于提供一种集成成像系统的深度图获取方法，旨在解决集 成成像系统中，采用传统的多目视方法通过元素图像间的视差信息直接获取深度图比较困 难的问题。
[0008] 本发明实施例是这样实现的，一种集成成像系统的深度图获取方法，该集成成像 系统的深度图获取方法包括以下步骤：
[0009] 第一步，对集成成像系统采集的2D元素图像集合，采用计算机重构方法生成不同 视点的多幅视图，即从每个元素图像的局部相同位置提取像素形成一幅视图，改变从每个 元素图像中提取像素的局部位置，即可形成不同视点的视图；
[0010] 第二步，选择N幅具有连续水平视差的视图，相邻的两幅视图抽样距离为1个像 素，也就是在视图生成过程时，从每个元素图像提取像素的位置在水平方向上距离为1个 像素，以最左一幅视图为参考图像或最右一幅视图为参考图像，分别与其他视图进行立体 匹配，得到N-1幅视差图；
[0011] 第二步，以参考图像的N_1幅视差图为基础，对每个像素点的N_1个视差值进行正 比例函数拟合，拟合的系数即为该像素与最邻近视图的视差值，根据视差与深度的关系，即 可获得参考图像的深度图。
[0012] 进一步，在第二步中，详细步骤如下：
[0013] 步骤一，设搜索窗口大小为W、颜色相似性判定阈值为T1 ;
[0014] 步骤二，建立参考图像中像素（i，j)的自适应匹配窗口 W1 :根据颜色相似性原理， 以该像素为中心，分别计算搜索窗口 W内每个像素与中心像素的颜色差值的绝对值，如果 该数值小于颜色相似性阈值T1，则对应像素属于自适应匹配窗口，否则，不属于自适应匹配 窗口，从而建立该像素的自适应匹配窗口 W1 ;
[0015] 步骤三，计算参考图像中像素（i，j)与待匹配图像中对应像素在自适应匹配窗口 中的相似度：用来进行相似度测量的代价函数定义为：
[0016] Cost(i, j, d) = Ccolor(i, j, d)+Cgrad(i, j, d) (1)
[0017] 其中，像素点（i，j)的视差为d，（i，j)和（i，j+d)是左右图像分别对应的像素点， 左图1为参考图像，右图r为待匹配图像，C ralOT(i，j，d)为RGB三个颜色通道的绝对差值之 和，定义为式（2)，CgMd(i，j，d)为水平、垂直梯度的绝对差值之和，定义为式（3);
[0018] Cc〇i〇r(i,j,d) = Ils{i,j)~rR{i,j + d) + j)-+ d) + /^(/,7)-/^(2,7+^) ( 2 )
[0019] cgnid{ (/, j, d) = \vj' (/, j) -vxr (i, j + d)\ + \vyi' (/, j) -vyr (i, j + d)\ (3)
[0020] 计算自适应匹配窗口 W1的像素个数为M，根据代价函数公式（1)，计算该像素与待 匹配图像对应像素点在自适应窗口内的匹配代价，公式如下：
【权利要求】
1. 一种集成成像系统的深度图获取方法，其特征在于，该集成成像系统的深度图获取 方法包括以下步骤： 第一步，对集成成像系统采集的2D元素图像集合，采用计算机重构方法生成不同视点 的多幅视图，即从每个元素图像的局部相同位置提取像素形成一幅视图，改变从每个元素 图像中提取像素的局部位置，即可形成不同视点的视图； 第二步，选择N幅具有连续水平视差的视图，相邻的两幅视图抽样距离为1个像素，也 就是在视图生成过程时，从每个元素图像提取像素的位置在水平方向上距离为1个像素， 以最左一幅视图为参考图像或最右一幅视图为参考图像，分别与其他视图进行立体匹配， 得到N_1幅视差图； 第三步，以参考图像的N-1幅视差图为基础，对每个像素点的N-1个视差值进行正比例 函数拟合，拟合的系数即为该像素与最邻近视图的视差值，根据视差与深度的关系，即可获 得参考图像的深度图。
2. 如权利要求1所述的集成成像系统的深度图获取方法，其特征在于，在第二步中，详 细步骤如下： 步骤一，设搜索窗口大小为W、颜色相似性判定阈值为T1 ; 步骤二，建立参考图像中像素（i，j)的自适应匹配窗口 W1 :根据颜色相似性原理，以 该像素为中心，分别计算搜索窗口 W内每个像素与中心像素的颜色差值的绝对值，如果该 数值小于颜色相似性阈值T1，则对应像素属于自适应匹配窗口，否则，不属于自适应匹配窗 口，从而建立该像素的自适应匹配窗口 W1 ; 步骤三，计算参考图像中像素（i，j)与待匹配图像中对应像素在自适应匹配窗口中的 相似度：用来进行相似度测量的代价函数定义为： Cost(i, j, d) = Ccolor(i, j, d)+Cgrad(i, j, d) (1) 其中，像素点（i，j)的视差为d，（i，j)和（i，j+d)是左右图像分别对应的像素点，左图 1为参考图像，右图r为待匹配图像，CMlOT (i，j，d)为RGB三个颜色通道的绝对差值之和，定 义为式（2)，CgMd(i，j，d)为水平、垂直梯度的绝对差值之和，定义为式（3); Cc〇i〇r(i,j,d)= IlR(i,j) -I'R(i,j + d) + IlG(i,j)-lQ(i,j + d) + IlB(i, j)-I'B(i,j + d) ( 2 ) Cgmd{(i,j,d) = |vv/;(i,j)-vxr(/,j + d)\ + |vv/;(/,j)-V,./--(/,j + d)\ (3) 计算自适应匹配窗口 W1的像素个数为M，根据代价函数公式（1)，计算该像素与待匹配 图像对应像素点在自适应窗口内的匹配代价，公式如下： AveCost (/, /,d) = - ^Cost{i, /,d) (4) 步骤四，获得像素点（i，j)的视差值：通过最小化匹配代价函数得到像素点（i，j)的最 佳视差值，公式如下： d(i,j) = arg mm AveCost(5) d^D 式中，D = {dmin，…，dmax}是可行的视差搜索范围； 步骤五，重复步骤二?步骤四，获得参考图像与待匹配图像的视差图。
3.如权利要求1所述的集成成像系统的深度图获取方法，其特征在于，在第三步中，物 空间一点的深度Z与该点在视图对之间的视差d的关系如下：
(6) 其中，Λ表示两视图对之间的抽样距离，v、F分别表示微透镜的孔径和焦距； 对于参考图像的某个像素点来说，Z、V、F都是固定值，所以视差d与抽样距离Λ满足 正比例函数关系，如式（7)所示：
(7 J
【文档编号】H04N13/00GK104065947SQ201410273013
【公开日】2014年9月24日 申请日期:2014年6月18日 优先权日:2014年6月18日
【发明者】王宇, 朴燕 申请人:长春理工大学