基于轴向采集方式的集成成像深度图获取方法与流程

本发明涉及一种三维深度信息获取方法，特别涉及一种利用轴向采集方式的集成成像系统中获取深度图的方法。

背景技术：

三维场景深度信息在无人驾驶、机器人视觉、机器人避障、虚拟现实等领域有着广泛的应用。目前深度图的获取主要有两种方式，一种是通过深度相机进行拍摄获取，一种是通过从不同视点拍摄的两幅或更多幅图像来获取场景的深度信息。由于深度相机价格昂贵且获取的深度图分辨率较低，所以第二种方式成为获取深度图的主要手段。

集成成像(integralimaging，简称ii),是一种用微透镜阵列来记录和显示空间场景信息的全真三维显示技术。采集时，3d物空间场景通过微透镜阵列被ccd相机采集，每个微透镜都从不同的方向记录一部分物体空间，生成的小图被称为元素图像。集成成像能够通过记录3d物体的不同视角来提取深度信息，目前已被用于深度图的获取。

但是传统集成成像系统获取深度图的方法也存在需要解决的问题，因为每个微透镜采集的元素图像分辨率非常低，获取的深度图质量较差。为了克服这个问题，可以使用多个相机或者移动相机代替微透镜阵列来采集场景信息，从而获得高分辨率图像。其中，2d相机阵列、单个相机沿水平和垂直方向移动的集成成像系统结构比较复杂，而轴向采集方式(一个相机沿光轴方向单向运动)结构简单，是一种比较有吸引力的集成成像系统获取深度图的方法。采集结构如图1所示，相机在距离物体一定位置处沿着相机光轴方向移动，每移动固定距离后拍摄一次，即可采集一幅元素图像，通过这种方式采集的多幅元素图像中含有三维场景的纵向透视信息，可以用来获取深度图。

因此，在采用轴向采集方式的集成成像系统中，研究如何获取深度图的方法，具有重要的应用价值。

技术实现要素：

本发明提出了一种利用轴向移动相机的集成成像技术获取空间场景深度图的方法。首先相机在距离物体一定位置处沿着相机光轴方向移动，间隔固定的距离采集多幅高分辨率元素图像。已知某物体点的空间坐标，可以计算其在每幅元素图像中的投影点坐标。这里将物体点在各幅元素图像中对应的一系列投影点称为同名像点。只有在物体点的正确深度位置时，所计算的各个元素图像中的同名像点颜色值高度相似，即同名像点颜色值的统计误差最小。根据这一原理，可以针对三维物体深度范围内的不同深度值，分别计算某物体点在各个元素图像中同名像点颜色值的统计误差，误差最小值所对应的深度即为该物体点的深度。按照此方法能够获得三维物体的深度图。

本发明采取的技术方案包括下列步骤：

(一)、相机在距离三维物体一定距离处，沿着光轴方向以步距δz的距离逐渐靠近物体采集元素图像，设相机的焦距为g,轴向移动n-1次，采集到n幅元素图像记为en(n＝1,2,…n)。若三维物体点位于相机光轴上，n幅元素图像不能提供该点深度信息，所以物体应该与相机光轴具有一定的垂直距离；

(二)、计算三维物体点在en中的同名像点坐标；

根据透镜成像原理可知，在轴向分布采集系统中，三维物体的任意一个物点经透镜成像，都可以在轴向分布的元素图像上得到该物点所成的一系列像点，即同名像点。如图2所示，由轴向分布相机采集的元素图像间同名像点距离的比例关系，可以得到任一物体点在采集的一系列元素图像中的同名像点坐标，详细步骤如下：

1.设三维物体某一点到相机光轴的垂直距离为h,与相机的初始位置距离为l。沿光轴方向采集的元素图像en中，该物体点的同名像点与图像中心的垂直距离分别为hn。根据图2所示三角关系可推出h1与hn(n＝1,2…n)的关系式：

2.设第一幅元素图像e1某像素点行坐标为列坐标为采集的元素图像大小为p(行)×q(列)，则可以计算在其余n-1幅元素图像en(n＝2,3…n)中对应的同名像点坐标

(三)、针对元素图像e1中某像素点，根据同名像点颜色值的sad最小值，计算该点深度；

利用式(2)～(3)，计算得到e1中任一像素点在其他元素图像中的一系列同名像点。因为只有在物体点的正确深度位置时，所计算的各个元素图像中的同名像点颜色值高度相似，即同名像点颜色值的统计误差最小，所以本发明采用绝对值差之和(sad)方法统计同名像点间的颜色值误差，sad是一种局部图像匹配算法，常用于图像块匹配，评估图像块的相似度。设某物体点与相机初始位置(相机第一次拍摄位置)的距离为l，该物体点在e1中的投影点与其在en(n＝2,3…n)中同名像点颜色值的绝对值差之和表示为sadl，根据式(4)计算：

其中b×b代表匹配的窗口大小，n为轴向采集的元素图像个数，en(x',y')是e1(x,y)对应的同名像点的颜色值。

对于三维物体深度范围内的不同l取值，分别计算sadl，当sad取值最小的l值即为该物体点的深度

(四)、对元素图像e1中每一个像素点重复上述(二)～(三)操作即可得到e1对应的深度图。

本发明提出一种轴向采集方式的集成成像深度图获取方法，与传统的集成成像采集方式中获得深度信息的方式相比，本发明的深度图获取方式具有显著的技术效果：

(1)传统集成成像系统获取深度图的方法利用微透镜阵列采集元素图像，由于尺寸的限制，每个微透镜实际相当于一台分辨率非常低的相机，采集到的元素图像分辨率非常低，所获取的深度图质量较差。本发明采用轴向分布相机采集，只需要一台相机沿光轴移动，运动简单并且可以采集到高分辨率的元素图像，充分利用了元素图像的纵向视差信息；

(2)利用采集到的多幅高分辨率元素图像的纵向视差信息，对物体点的一系列同名像点颜色值进行误差统计来提取深度信息。考虑到物体点周围局部区域中像素强度的空间变化，单独利用一个像素点颜色相似性提取深度信息会产生噪声，所以结合sad局部窗口匹配算法，利用像素点周围局部窗口内的颜色相似性搜索该点深度信息，增强了算法的鲁棒性，可以有效提高深度图的准确性。

附图说明

图1是轴向采集方式的结构示意图；

图2是轴向采集方式的同名像点关系原理图；

图3a是轴向采集的第1幅元素图像e1；

图3b是轴向采集的第21幅元素图像e21；

图3c是轴向采集的第41幅元素图像e41；

图4是本发明提取的深度图；

上述附图中的图示标号为：

1.相机，2.三维物体，3.相机光轴,4.相机移动方向。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

(一)、本发明实施例中采用的三维物体是两个同样的玩具模型，与光轴垂直距离70mm。两个玩具模型前后相距150mm放置，前一个玩具模型与初始相机位置距离350mm，后一个玩具模型与初始相机位置距离500mm。相机的焦距g＝40mm，相机沿着光轴以步距δz＝3mm的距离逐渐靠近物体采集元素图像，相机轴向移动40次，总位移120mm，采集到41幅元素图像，分辨率为3872×2592像素。采集到的第1幅元素图像e1如图3(a)所示,第21幅元素图像e21如图3(b)所示,第41幅元素图像e41如图3(c)所示；

(二)、根据式(2)～(3)计算三维物体点在e1～e41中的同名像点坐标；

(三)、针对元素图像e1中某像素点，根据同名像点颜色值的sad最小值，计算该点深度；

设三维物体深度l搜索范围为300mm到600mm，深度步距为10mm。sad方法统计同名像点间的误差窗口大小为8×8，由式(4)计算得到在不同深度的同名像点的颜色值误差sadl。根据式(5)，对于三维物体深度范围内的不同l取值，当sad取值最小的l值即为该物体点的深度。

(四)、对元素图像e1中每一个像素点重复上述(二)～(三)操作即可得到e1对应的深度图。深度图如图4所示，图中深色表示深度值较小，浅色表示深度值较大。