基于Kinect的无畸变集成成像三维显示方法与流程

本发明涉及计算机视觉、三维重建及立体显示等技术领域，特别是一种可适应大景深、复杂场景的集成成像三维显示方法。

背景技术：

随着光电器件和视频处理技术的发展，集成成像三维显示已成为下一代真三维显示技术的研究热点。较之全息三维显示，它具有相对较小的数据量、无需相干光源并且无苛刻的环境要求等特点，已成为目前国际上的前沿三维显示方式之一，也是最有希望实现三维电视的一种裸视真三维显示方式，其实现方案有两种，一种是采用多视方案，另一种是“纹理+深度”方案，然而这两种方案都存在一些缺陷。

方案一利用微透镜阵列对三维空间场景进行记录，并再现出空间场景的三维技术。由于微透镜阵列的每个透镜从不同方向记录三维场景的部分信息，因此所记录的每个基元图像具有不同的视差信息。在显示过程中，根据光路可逆原理，利用与记录微透镜阵列具有同样参数的微透镜阵列再现三维空间的三维图像。然而，由于微透镜阵列的使用，记录的基元图像具有分辨率非常低、视角狭窄及可表示的深度范围非常小等缺点，这种微透镜阵列的物理局限性将会导致三维显示的可视化降低。

方案二是利用彩色图像描述3d场景的纹理信息，用深度图像描述3d场景的深度信息，然后建立光场模型，生成元素图像阵列进行3d显示。由于kinect传感器可以同时获取较好分辨率的彩色图像与深度图像，所以近些年被广泛地应用到了集成成像技术中，这样不仅保证了拍摄的实时性，也避免了微透镜阵列的物理局限性，可以很容易获取景深较大场景和复杂场景的光场信息。然而，kinect传感器存在着一些不可避免的问题，其中有以下两个关键问题需要解决。第一个关键问题是，由于三维场景中物体表面材质的反射、光照以及遮挡等原因，kinect传感器获取的深度图像中存在大量黑洞。尤其是在大景深复杂背景下，因kinect传感器的红外线传感器无法捕捉物体表面反射的光线，故形成深度图像的黑洞区域，无法获得高质连续的深度图像。第二个关键问题是，由于kinect传感器的深度相机和彩色相机之间的固有光学畸变，导致深度图像和彩色图像之间存在边缘非校准的问题。解决上述两个关键问题是基于kinect传感器实现无畸变的集成成像三维显示的关键所在。近年来，很多学者都提出了有关深度图像的修复算法。其中一种类似彩色图像修复算法对深度图像直接进行黑洞填补，另一种是使用滤波器达到保边去噪的效果。例如telea等人在文献[animageinpaintingtechniquebasedonthefastmarchingmethod.journalofgraphics,gpu,andgametools,9(1):23–34,2004.]中提出一种快速步进法可有效地修复图像中的大面积黑洞区域，但这种方法没有考虑彩色图像对深度图像修复的作用，修复后的深度图像边缘部分与彩色图像依旧存在不匹配的问题。另外，petsching等人在文献[digitalphotographywithflashandno-flashimagepairs.acmtrans.graph.,23(3):664–672,2004.]中提出联合双边滤波器，结合彩色图像对深度图像进行图像去噪和边缘平滑，然而，当黑洞区域较大时，这种方法修复得到的深度图像依旧存在黑洞，其可用性极差。

所以直接利用kinect传感器获得的彩色图像和深度图像或者是简单方法修复的深度图像，建立光场模型也是很难实现无畸变的集成成像三维显示的。

技术实现要素：

为解决现有技术存在的上述问题，本发明要设计一种不仅可以有效克服在记录大景深复杂场景时微透镜阵列的物理局限性，而且可以实现对大景深复杂场景的无畸变三维集成成像显示的基于kinect传感器的无畸变集成成像三维显示方法。

为了实现上述目的，本发明的技术方案如下：

基于kinect传感器的无畸变集成成像三维显示方法，包括以下步骤：

a、标定及校准kinect传感器获取的深度图像和彩色图像

通过kinect传感器同步获取目标场景的深度图像和彩色图像，并同时使用红外补光照射标定板对kinect传感器的深度相机和彩色相机进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行校准和裁剪，具体方法如下：

a1、定义原始深度图像中的一点为点p，其坐标为(ud,vd)，对应的深度测量值为z0，根据式(1)得到点p真实的深度值z：

z＝1/(c0×z0+c1)(1)

其中c0和c1是两个常数。

a2、通过式(2)将深度图像中坐标系中的点p(u,v)转换到世界坐标系，得到世界坐标系中的对应点p，记其坐标为(x,y,z)。其中fx和fy为深度相机在x和y方向的焦距，cx和cy为主点偏移。

a3、通过式(3)利用kinect传感器的彩色相机的外参，在世界坐标系中的点p(x,y,z)转换到彩色相机坐标系中，得到坐标为(xc,yc,zc)的点pc，所述的外参包括旋转矩阵r和平移矩阵t；

pc＝r×p+t(3)

a4、利用式(4)将彩色相机坐标系中的点pc转换到彩色图像坐标系，得到坐标为(uc，vc)的点q，点q即为深度图像中的点p(u,v)在彩色图像中的对应点。

通过以上的坐标变换，将深度图像和彩色图像进行校准和裁剪使得两幅图像吻合并大小相等。

b、使用快速步进法和联合双边滤波进行深度图像修复

首先采用快速步进法对步骤a得到的深度图像进行黑洞填充；然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波，得到具有连续深度变化且边缘平滑的深度图像。具体方法如下：

b1、通过快速步进法进行深度图像黑洞填充

快速步进法的基本思路是，先处理待修复区域边缘上的像素点，然后层层向内推进，直到修复完所有的像素点。主要包含两个过程：

b11、以一个像素点的修复描述修复模型

设深度图像中的待修复区域是ω区域，指ω区域的边缘；要修复ω区域中的深度，需要计算出新的深度值来代替原值。现在假设点p是要修复的深度。以点p为中心选取一个小邻域b(p)，此邻域只考虑深度值已知的点而忽略深度值未知的点。假设点q为小邻域b(p)中的一点，由点q计算点p的深度值公式如下：

这里的w(p,q)就是权值函数，用来限定小邻域中各像素的贡献大小的，由式(6)得到：

其中，t(p)是距离图，几何距离因子wdst(p,q)使离点p越近的像素点对点p贡献越大；方向因子wdir(p,q)使越靠近法线方向▽t(p)的像素点对点p的贡献最大；水平集距离因子wlev(p,q)使离经过点p的待修复区域的轮廓线越近的已知像素点对点p的贡献越大。

b12、按序处理待修复区域中的所有像素

首先，找到待修复黑洞区域的边缘并对距离图中的距离值t进行初始化，令黑洞区域处t＝∞，外部已知区域和边缘上t＝0；

然后将边缘点按t值从小到大升序排序，先处理t值最小的像素，假设是点p。点p选取边缘上的任意一点；

然后根据式(5)对点p进行修复，并根据式(7)更新t值；

其中，且z^-x＝z(i,j)-z(i-1,j),z^-y＝z(i,j)-z(i,j-1)，z(i,j)为(i,j)点的深度值。

最后依次处理点p的四邻域点中的黑洞点，直到深度图像中没有黑洞。

b2、利用联合双边滤波对深度图像进行边缘平滑

经过快速步进法修复后的深度图像虽然不存在黑洞，但是图像中物体边缘仍然不平滑，本发明引入联合双边滤波，将kinect传感器获得的彩色图像作为引导图像，对深度图像进行校正补全。此处的联合双边滤波器是基于双边滤波器的，将值域滤波器中的参数取自另一幅引导图像中，利用kinect传感器同时获得同一场景的深度图像和彩色图像，将该彩色图像作为引导图像，对深度图像进行校正补全，具体实现公式如下：

其中，z(i,j)是步骤b1获得的需要滤波处理的含噪声深度图像，ω是用于计算目标像素的邻域像素，是一个标准量，并且

其中ig(k,l)为彩色图像灰度化后的像素值。

这样，通过快速步进法对kinect获取的深度图像进行黑洞填充，保证填充后的深度图像不存在未知区域；然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波，最终得到具有连续深度变化且边缘平滑的深度图像。

c、生成基本元素图像阵列

根据步骤b得到的深度图像和步骤a得到的彩色图像建立光场模型，生成大景深复杂场景的基元元素图像阵列。具体方法如下：

c1、生成子图像

子图像是所有基元图像中对应位置的点的集合，根据子图像得到基元图像阵列。根据投影几何原理，子图像表示为：

iθ(x,y)＝i(x+δqx,y+δqy)(10)

其中，i(x,y)是彩色图像在(x,y)点处的像素值，δqx和δqy是沿x轴和y轴方向的像素偏移，像素偏移δq依赖于深度信息和投影角度，根据式(11)计算得到：

δq＝(zf(x,y)-dc)×tanθ(11)

其中，zf(x,y)是修复的深度图像中(x,y)点的深度值，dc是中心深度平面和零平面(z＝0)的距离，θ是投影角度，由式(12)求得：

其中，δ是基元图像中每个像素的大小，g是微透镜阵列与基元图像之间的距离。像素索引值i,j＝floor(-p/2δ)-1,floor(-p/2δ),...,floor(p/2δ)+1，floor(*)代表下取整运算。

c2、生成基元图像阵列

因为基元图像阵列是子图像阵列的交织叠加，根据子图像得到基元图像阵列，具体计算公式如下：

其中，s是虚拟微透镜的间隔，m和n代表第m行，第n列的虚拟微透镜。

d、根据光路可逆原理，实现集成成像的光学显示

将步骤c得到的基元元素图像阵列按照高分辨率三维显示屏的物理参数进行调整，实现具有连续视差效果的无畸变三维图像。

进一步地，步骤a所述的标定方法如下：结合kinect传感器的特点，将kinect传感器的深度相机中的红外发射器挡住，用红外补光灯照射标定板，得到清晰的标定板红外原始图像，然后结合经典标定方法和标定工具包对kinect传感器的彩色相机进行标定。

进一步地，步骤d所述的光学显示方法如下：将微透镜阵列置于高分辨率显示屏前方，根据显示屏以及微透镜阵列的实际物理参数校准基元图像阵列，用高分辨率显示屏进行光学重建。

与现有技术相比，本发明具有以下有益效果：

1、本发明从集成成像技术原理和kinect传感器获得的深度图像修复两方面入手进行三维显示，提出了一种适应大景深复杂场景下的无畸变集成成像显示技术。首先利用kinect传感器获取三维场景的深度图像，并采用快速步进法对kinect获取的深度图像进行黑洞填充；然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波，得到具有连续深度变化且边缘平滑的深度图像；最后利用光场模型得到大景深复杂场景的基元图像阵列，实现无畸变的三维集成成像显示。

2、本发明获得的基元元素图像阵列，因是在没有散射和折射影响的理想状态，其图像品质优于通过微透镜阵列获得基元图像阵列。

3、本发明不仅可以有效克服在记录大景深复杂场景时微透镜阵列的物理局限性，而且可以实现对大景深复杂场景的无畸变三维集成成像显示。

附图说明

图1是本发明的总体流程图。

图2是本发明标定、校准后的彩色图像和深度图像。

图3是本发明中基于快速步进法进行黑洞填充模型。

图4是本发明中快速步进法流程图。

图5是本发明对深度图像进行修复的结果图。

图6是本发明中基元图像阵列的生成原理图。

图7是本发明得到的基元图像阵列。

图8是本发明显示结果图。

具体实施方式

为使本发明的具体实施方式更加清楚明白，以下结合本发明的技术方案与附图，对本发明包含的4个步骤分别进行详细完整的描述。

如图1所示，基于kinect传感器的无畸变集成成像三维显示方法，包括以下步骤：

步骤一，标定及校准kinect传感器获取的深度图像和彩色图像。其具体实施方案包含以下两个部分：

1、标定kinect传感器

普通相机的标定一般通过拍摄棋盘格图案的标定板，结合张氏标定等标定方法，但是在kinect深度图像中，无法显示标定板上的棋盘图案，从而无法对红外相机直接标定。

本发明结合kinect传感器的特点，将kinect传感器的深度相机中的红外发射器挡住，用红外补光灯照射标定板，这样一来就可以得到清晰的标定板原始深度图像，然后结合经典标定方法和标定工具包对kinect传感器的彩色相机进行标定。

2、校准与裁剪

定义原始深度图像中的一点为p点，其坐标为(ud,vd)，对应的深度测量值为z0，根据式(1)可以得到点p真实的深度值z；然后，通过式(2)将深度图像坐标系中的点p(u,v)转换到世界坐标系，得到世界坐标系中的对应点p，记其坐标为(x,y,z)。

通过式(3)利用彩色相机的外参，在世界坐标系中系的点p(x,y,z)转换到彩色相机坐标系中，得到坐标为(xc,yc,zc)的点pc，所述的外参包括旋转矩阵r和平移矩阵t；

最后，利用式(4)将彩色相机坐标系中的点pc转换到彩色图像坐标系，得到坐标为(uc，vc)的点q，点q即为深度图像中的点p(u,v)在彩色图像中的对应点。

通过以上的坐标变换，可以将深度图像和彩色图像进行校准和裁剪使得两幅图像是吻合并大小相等的，本发明标定、校准后的结果图如图2所示，左图为彩色图像，右图为深度图像。

步骤二，使用快速步进法和联合双边滤波进行深度图像修复。该步骤可以得到具有连续深度变化且边缘平滑的深度图像，其具体实施方案包含以下两部分：

1、通过快速步进法进行深度图像黑洞填充

快速步进法基于的思想是，先处理待修复区域边缘上的像素点，然后层层向内推进，直到修复完所有的像素点。主要包含两个过程：

1)以一个像素点的修复描述修复模型。

如图3所示，设ω区域是深度图像中的一个待修复区域，指ω区域的边缘；要修复ω区域中的深度，就需要计算出新的深度值来代替原值。现在假设点p是要修复的深度。以点p为中心选取一个小邻域b(p)，此邻域只考虑深度值已知的点而忽略深度值未知的点。假设点q为b(p)中的一点，由点q计算点p的深度值公式见公式(5)-(6)。按序处理待修复区域中的所有像素。

首先，找到待修复黑洞区域的边缘并对距离图中的值t进行初始化，令黑洞区域处t＝∞，外部已知区域和边缘上t＝0；

然后将边缘点按t值从小到大升序排序，先处理t值最小的像素，假设是点p。此处注意，在第一步处理时可以选取边缘上的任意一点；然后根据式(5)对点p进行修复，并根据式(7)更新t值；

最后依次处理点p的四邻域点中的黑洞点，直到深度图像中没有黑洞，具体流程图如图4所示。

2)利用联合双边滤波对深度图像进行边缘平滑

经过快速步进法修复后的深度图像虽然不存在黑洞，但是图像中物体边缘仍然不平滑，本发明引入联合双边滤波，将kinect传感器获得的彩色图像作为引导图像，对深度图像进行校正补全。此处的联合双边滤波器是基于双边滤波器的，具体改进在于将值域滤波器中的参数取自另一幅引导图像中，首先获取同一场景的两幅图像，其中一幅是利用闪光灯拍摄的图像，另一幅是未利用闪光灯拍摄的图像，然后将利用闪光灯拍摄图像的高频部分和未利用闪光灯拍摄的图像的低频部分相结合，把双边滤波器中的值域滤波模版用在高频图像上，即将该高频图像作为引导图像，对未利用闪光灯拍摄的图片进行滤波来获得很好地图像增强效果。

本发明基于联合双边滤波器的基本思想，利用kinect传感器可以同时获得同一场景的深度图像和彩色图像，将该彩色图像作为引导图像，对深度图像进行校正补全，具体实现公式如(8)-(9)。

本发明通过快速步进法对kinect传感器获取的深度信息进行黑洞填充，保证填充后的深度图像不存在未知区域；然后结合对应的彩色图像对填充后的深度信息进行联合双边滤波，最终得到具有连续深度变化且边缘平滑的深度图像，如图5所示。

步骤三，基于光场信息生成基元元素图像阵列。具体实施方案包含以下两个步骤：

1、生成子图像

子图像是所有基元图像中对应位置的点的集合，可以根据子图像得到基元图像阵列。首先，根据步骤二得到的修复深度图像和公式(12)得到的投影角度，计算彩色图像中像素点沿x轴和y轴的像素偏移，由式(11)可得。最后，根据投影几何原理，将彩色图像按一定的像素进行偏移便可得到在该投影角度下的子图像，具体见式(10)。

2、生成基元元素图像阵列

因为基元图像阵列是子图像阵列的交织叠加，图6所示为元素图像阵列生成原理图，根据子图像可以得到基元图像阵列(如图7)，具体计算公式见式(13)。

步骤四，根据光路可逆原理，实现集成成像的无畸变光学显示。具体实现方案如下：

将微透镜阵列置于高分辨率显示屏前方，根据显示屏以及微透镜阵列的实际物理参数校准基元图像阵列，用高分辨率显示屏进行光学重建，为了更加直观地呈现显示效果，本发明使用佳能相机对此三维重建图像进行不同视角的拍摄与记录，如图8所示，当相机水平移动时，可见a,e,b的局部放大图a’,e’,b’存在水平视差，当相机竖直移动时，可见c,e,d的局部放大图c',e',d’存在垂直视差。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。