一种基于深度参考平面的无干扰的光编码深度提取方法

文档序号:7775363阅读:201来源:国知局
一种基于深度参考平面的无干扰的光编码深度提取方法
【专利摘要】本发明公开了一种基于深度参考平面的无干扰的光编码深度提取方法。所述提取方法预存储多光编码深度相机在深度参考平面上形成的散斑图案在模板库中,将光编码深度相机获取的实际场景的散斑图案,与模板库中相应深度参考平面内的散斑图案进行相似度匹配,得到深度图。本发明可以有效地去除多光编码深度相机之间产生的干扰,并且不限制光编码深度相机的数量;通过调节深度参考平面之间的间距以及参考平面的数量,可以使本方法在计算的时间和去干扰的效果之间自由调节,用户在使用时可选择自己需要的深度参考平面数量和间距实施本方法。
【专利说明】一种基于深度参考平面的无干扰的光编码深度提取方法
【技术领域】
[0001]本发明属于多视点立体视频中多深度相机复杂场景多视点采样与重建领域,特别涉及多光编码深度相机间的干扰消除。
【背景技术】
[0002]人类的视觉系统具有将看到的外部世界从二维重构为三维的能力,从而使人们在观察外部世界时具有良好的立体感,是人类获取信息的重要方式。但是在使用传统的2D显示技术观看视频时,由于视频缺少景物的深度信息,人的视觉系统无法将视频中的画面从二维图像重构为三维图像,使得用户无法获得立体感受。多视点3D视频的诞生就是为了能够让观看视频的用户能够在获取景物信息的同时也能够获取到景物的深度信息,使得用户的视觉系统能够产生视觉立体感受,为用户带来更加真实和自然的视觉体验。目前已有许多国家的研究机构对多视点视频系统展开了全面的研究,有多所大学及研究院已经搭建了用于获取多视点视频的多相机阵列,如MIT、斯坦福大学、MERL研究院、德国HHI以及名古屋大学等等。
[0003]然而,目前的多视点视频数据采集系统大多用的都是纹理相机,而采用纹理相机的相机阵列具有数据量巨大的特点,使多视点视频的传输和应用受到限制。同时,近年来深度相机发展迅速,和纹理相机相比,深度相机能够直接获取场景的深度信息,并且用灰度图来表示场景的深度值,从而大大压缩了图像的数据量,使得多视点的传输成为可能。但是深度相机价格高昂,分辨率低等因素制约了深度相机的进一步发展。
[0004]微软公司开发的体感游戏设备Kinect是近年来商用深度相机的代表,利用红外CMOS传感器和投影机的组合,并且采用光编码(Light Coding)感知深度,打破了以往ToF深度相机售价高昂的局面。Kinect目前售价仅110美元,以其低廉的价格受到了人们的欢迎。从研究层面来说,相对于ToF深度相机,Kinect具有更高的深度图分辨率,为基于多相机的多视点视频的研究提供了可能,具有广泛的应用前景。但是,使用Kinect构建多视点视频系统目前仍然具有局限性:由于采用主动发射红外光提取场景深度,在多个Kinect的情况下,Kinect互相之间必然会产生干扰,从而影响深度提取的结果。

【发明内容】

[0005]针对以Kinect为代表的光编码深度相机存在的相互干扰问题,本发明设计了一种基于深度参考平面的光编码深度相机的干扰消除方法。所述方法预存储多光编码深度相机在深度参考平面上形成的受干扰散斑图案信息,通过这些信息来消除多光编码深度相机在获取实际场景深度时产生的干扰。通过这种方式,在采用光编码深度相机构建多深度相机场景采样系统时能有效消除深度相机之间的互相干扰,获取到不同视点的场景深度信肩、O
[0006]为了实现上述目的,本发明所设计的方法包括如下步骤:
[0007]第一步,对光编码深度相机进行排布,并对光编码深度相机进行校准;[0008]第二步,针对每台光编码深度相机设置一系列的深度参考平面,记录光编码深度相机在深度参考平面上形成的散斑图案,将图案存储在模板库;
[0009]第三步,将光编码深度相机获取的实际场景的散斑图案,与模板库中相应深度参考平面内的散斑图案进行相似度匹配,得到深度图。
[0010]本发明的优点在于:
[0011]1.可以有效地去除多光编码深度相机之间产生的干扰,并且不限制系统中光编码深度相机的数量;
[0012]2.只需对光编码深度相机中被动接收信号的相机部分进行校准,对主动投射散斑模板的投影机部分无需进行校准,节省了工作量;
[0013]3.通过调节深度参考平面之间的间距以及参考平面的数量,可以使本方法在计算的时间和去干扰的效果之间自由调节,用户在使用时可选择自己需要的参考平面数量和间距实施本方法。
【专利附图】

【附图说明】
[0014]图1为本发明的一种实施例的一种基于深度参考平面的无干扰的光编码深度相机的系统不意图;
[0015]图2A和图2B分别为本发明中参考深度平面的散斑图案示意图和受干扰的场景接收到的散斑图案示意图;
[0016]图3为本发明中场景散斑模板与参考平面深度的对应领域小块之间匹配过程的示意图;
[0017]图4为本发明场景散斑模板和参考深度平面进行匹配并得到最终输出深度图的程序流程图。
【具体实施方式】
[0018]下面结合附图和实施例对本发明进行详细说明。
[0019]本发明中具体实现基于深度参考平面的光编码深度相机的干扰消除方法是:排布光编码深度相机,记录深度参考平面上多台光编码深度相机形成的散斑图案,将散斑图案预存储在计算机中;其后,在实际提取场景深度时,利用相同位置上深度参考平面所记录的散斑图案进行匹配,计算场景的散斑图案和深度参考平面的散斑图案之间的相似度,通过取相似度的最大值来得到某一点像素的深度值,具体实现步骤如下:
[0020]步骤一,排布光编码深度相机:
[0021]如图1所示,在场景中有多台光编码深度相机C1, C2, , Cn,同时向场景中投射随机但不随时间变化的红外散斑模板,光编码深度相机的接收部分通过拍摄场景来获取场景中的散斑图案。
[0022]针对多台光编码深度相机形成的光编码深度相机采集系统,本发明所描述的方法对光编码深度相机的位置无特殊要求,可自由排布。但是考虑到之后步骤的工作量,为方便起见,可将各光编码深度相机平行排布,此处描述的平行排布主要包含两个条件:
[0023]1、所有光编码深度相机的光轴相互平行;
[0024]2、所有光编码深度相机的光心在同一直线上。[0025]若满足以上两个条件,则对某一光编码深度相机的有效的深度参考平面对其他光编码深度相机同样有效,在记录深度参考平面的散斑图案时可有效地减少测量深度参考平面上散斑图案的次数,节省工作量。
[0026]完成光编码深度相机排布之后,需要光编码深度相机对光编码深度相机进行校准,校准的目的是获得光编码深度相机的内参数和外参数。内参数用于消除镜头的畸变,使光编码深度相机获得的图像与真实图像接近,外参数用于标定光编码深度相机在世界坐标系中的位置。光编码深度相机的内、外参数与光编码深度相机坐标的关系如公式(I)所示。
[0027]s.m/ = A[R|t]M/(I)
[0028]其中,m'代表相机坐标系中的坐标,代表某一点在相机成像平面上的二维坐标,s是实数系数,使等式成立,矩阵A是光编码深度相机的外参数,矩阵[R|t]是光编码深度相机的外参数,M,是光编码深度相机在世界坐标系中的坐标位置。
[0029]校准光编码深度相机的具体方法可使用MATLAB中的calibration toolbox等工具,在本发明中不再赘述。
[0030]步骤二,记录深度参考平面上光编码深度相机形成的散斑图案,存入模板库。
[0031]步骤一中,本发明对光编码深度相机进行校准,得到了光编码深度相机的内参数和外参数,进一步可以得到光编码深度相机的光轴和光心位置。对于光编码深度相机C1,在与光编码深度相机C1光心距离为Cltl的光轴位置上假设有一个垂直于光轴的深度参考平面A1,该深度参考平面A1相对于光编码深度相机C1的深度值为(V从Cltl位置开始,每隔一个等长的深度差值△ d,都假设有一个深度参考平面在该深度上与光轴垂直,将一系列K个深度参考平面记为A1, A2,...,Ak,深度参考平面Ak距离光编码深度相机光心的深度值D (Ak)如公式⑵:
[0032]D(Ak) = d0+(k_l).Ad, l^k^K(2)
[0033]深度值Cltl和深度差值Λ d的选择可根据需要测量的实际场景深度范围进行具体取值,K的取值可根据用户对场景深度精细程度自行确定,K值越大,则场景范围内深度参考平面的数量越多,匹配得到的深度图结果越精细,但是同时带来的计算量增大;K值越小,则深度参考平面数量越少,匹配得到的深度图结果越粗糙,但计算量较小。优选地,若以计算速度为优先,可选取10至50个深度参考平面;若以匹配得到的深度图质量为优先,可选取100个以上的深度参考平面进行匹配。
[0034]对于光编码深度相机C1的一系列深度参考平面A1, A2, , Ak,在每一个深度参考平面的位置上放置一块平板,用于接收光编码深度相机发射的散斑图案。打开所有的光编码深度相机,让所有的光编码深度相机在深度参考平面A1上投射散斑图案。此时在深度参考平面A1上形成了受干扰的散斑图案,将光编码深度相机C1所拍摄到的深度参考平面A1上的散斑图案记录下来,存储在计算机的模板库中,等待进行匹配。对每一台光编码深度相机C1, C2,, Cn重复进行以上过程,记录所有的深度参考平面的散斑图案。对于每台光编码深度相机来说,只需分别存储从自己的位置进行拍摄的K张深度参考平面的散斑图案。若按照步骤一中所述,各光编码深度相机之间采用平行排布,则只需在记录光编码深度相机C1的深度参考平面时同时记录其他光编码深度相机的深度参考平面的散斑图案。
[0035]步骤三,散斑图案匹配得到深度图:
[0036]完成了步骤一和步骤二之后,模板库中已经存储了所有光编码深度相机在所有深度参考平面上的散斑图案,在测量实际场景的深度时,可按照如下步骤提取场景深度:
[0037]将所有光编码深度相机打开,同时再次向场景中投射散斑模板模拟实际场景,以便于将得到的场景图像与预存储的深度参考平面进行匹配,此时光编码深度相机接收到的是受干扰的散斑图案,对每个光编码深度相机分别进行匹配。结合图3,匹配过程如下:
[0038](I)对光编码深度相机C1拍摄到的散斑图案,任取某一像素P1,取其邻域小块,记为patch。由于在本发明中,光编码深度相机的位置始终是固定的,所以对于之前记录的模板库中深度参考平面的散斑图案和实际场景的散斑图案,其相对位置是相同的。
[0039](2)在深度参考平面仏上取相同位置的像素p/,同样取相同大小的小块patch',计算patch和patch'的相似度,将相似度值记录为L(A1)。
[0040]计算相似度值的公式如公式(3)所示:
[0041]L(Ak) = MRCC(patch, patch' )(3)
[0042]其中,MRCC是通过去均值来求两个矩阵之间相似度的函数。代表了在深度参考平面Ak下深度参考平面中的散斑图案和场景中的散斑图案之间的相似度。
[0043]MRCC的计算公式如公式⑷所示:
[0043]
【权利要求】
1.一种基于深度参考平面的无干扰的光编码深度提取方法,其特征在于:包括如下步骤: 第一步,对光编码深度相机进行排布,并对光编码深度相机进行校准; 第二步,针对每台光编码深度相机设置一系列的深度参考平面,记录光编码深度相机在深度参考平面上形成的散斑图案,将图案存储在模板库,具体为: 对于光编码深度相机C1,在与光编码深度相机C1光心距离为Cltl的光轴位置上假设有一个垂直于光轴的深度参考平面A1,该深度参考平面A1相对于光编码深度相机C1的深度值为d0,从Cltl位置开始,每隔一个等长的深度差值Λ d,都假设有一个深度参考平面在该深度上与光轴垂直,将一系列深度参考平面记为A1, A2,, Ak,深度参考平面Ak距离光编码深度相机光心的深度值D (Ak)如公式⑵: D(Ak) = d0+(k-l).Ad, I ^ k ^ K(2) 对于光编码深度相机C1的一系列深度参考平面A1, A2,, Ak,在每一个深度参考平面的位置上放置一块平板,用于接收光编码深度相机发射的散斑图案;打开所有的光编码深度相机,让所有的光编码深度相机在深度参考平面A1上投射散斑图案;此时在深度参考平面A1上形成散斑图案,将光编码深度相机C1所拍摄到的深度参考平面A1上的散斑图案记录下来,存储在计算机的模板库中;对每一台光编码深度相机C1, C2,..., Cn重复进行以上过程,记录所有的深度参考平面的散斑图案,并存储在计算机的模板库中; 第三步,将光编码深度相机获取的实际场景的散斑图案,与模板库中相应深度参考平面内的散斑图案进行相似度匹配,得到深度图。
2.根据权利要求1所述`的一种基于深度参考平面的无干扰的光编码深度提取方法,其特征在于:第一步中各光编码深度相机平行排布,并使得所有光编码深度相机的光轴相互平行;所有光编码深度相机的光心在同一直线上。
3.根据权利要求1所述的一种基于深度参考平面的无干扰的光编码深度提取方法,其特征在于:所述的相似度匹配,具体为: (1)对光编码深度相机C1拍摄到的散斑图案,任取某一像素P1,取其邻域小块,记为patch ; (2)在深度参考平面A1上取相同位置的像素p/,取其邻域小块patch',所述邻域小块patch'与邻域小块patch的大小相同,计算patch和patch'的相似度,将相似度值记录为L(A1); 计算相似度值的公式如公式(3)所示: L(Ak) = MRCC(patch, patch' )(3) 其中,MRCC是通过去均值来求两个矩阵之间相似度的函数; (3)对光编码深度相机C1所记录的所有深度参考平面A1,A2,..., Ak的所有相似度值,取相似度最大的小块对应的深度参考平面为目标深度参考平面,根据深度参考平面与场景之间的对应关系得到像素P1在场景中的实际深度值; (4)得到像素P1的深度之后,继续选取光编码深度相机C1拍摄到的散斑图案中的下一个像素,返回步骤(2);直到得到完整的光编码深度相机C1所拍摄的场景深度图,完成去干扰的多编码深度相机的场景深度提取。
【文档编号】H04N5/33GK103561257SQ201310534613
【公开日】2014年2月5日 申请日期:2013年11月1日 优先权日:2013年11月1日
【发明者】刘荣科, 袁鑫, 葛帅, 关博深, 潘宇 申请人:北京航空航天大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1