一种主动结构光的双目深度感知方法
【专利摘要】本发明提供了一种主动结构光的双目深度感知方法，采用编码图案投射器投射出编码图案，对投射空间或目标物体进行结构光编码(特征标定)，再利用同一基线上、左右对称地排列在投射器两侧的两个摄像头获取编码图案，通过预处理和投射阴影检测，按图像块进行两种模式的块匹配运动估计(双目块匹配和自匹配)，求出最优匹配块的偏移量，按深度计算公式求出深度值，并对投射阴影进行深度补偿，生成高分辨率、高精度的深度信息。本发明结合了双目立体测距和主动结构光编码的优点，可大幅提升深度测量的精度和空间分辨率，且易于硬件实现。
【专利说明】一种主动结构光的双目深度感知方法
【技术领域】
[0001]本发明属于图像处理、人机交互和机器视觉【技术领域】，具体涉及一种主动结构光的双目深度感知方法。
【背景技术】
[0002]视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。
[0003]深度感知技术和装置在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来全新的人机交互体验，在智能电视、智能手机、家电、平板PC等实现创新应用。
[0004]深度感知技术大致可分为被动式和主动式。传统的双目立体视觉测距一种被动式测距方法，其受环境光影响大、立体匹配过程复杂。主动式测距方法主要有结构光编码和ToF两种方法。其中基于结构光编码的主动视觉模式可以较为准确地获取图像深度信息，且不受环境光影响、立体匹配过程简单。如微软体感交互设备Kinect，2013年美国苹果公司新申请的发明专利“Depth Perception Device and System,深度感知设备与系统”,2014年美国英特尔公司发布的一款深度摄像装置，都是主动发射激光计算深度距离。当前微软、苹果、英特尔开发的深度感知装置都采用单一的摄像头接收模式，主要适用于消费类电子，在深度图分辨率、精度、适用范围等方面难以满足汽车辅助安全、工业、3D打印等领域的需求。其中，立体匹配计算过程深受光照、纹理、遮挡等因素的影响，存在较多误差、计算量大、实时生成深度图困难。
【发明内容】
[0005]鉴于此，本发明提供了一种主动结构光的双目深度感知方法，基于结构光编码的主动视觉模式，先采用编码图案投射器(激光散斑投射器或其它投影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，再利用与编码图案投射器在同一基线上、分别位于编码图案投射器两侧、且等距的两个摄像头获取所投射的编码图案，然后通过两种块匹配模式计算出运动向量，最后进行深度计算和深度补偿，生成高分辨率、高精度的图像深度信息(距离)。
[0006]根据本发明的一种主动结构光的双目深度感知方法，包括:
[0007]步骤1、采用结构光编码的主动视觉模式，利用编码图案投射器投射出编码图案，对投射空间进行结构光编码，即主动进行特征标定；
[0008]步骤2、双目摄像头采集、固化各自的参考编码图案Rp艮；[0009]步骤3、双目摄像头各自采集含编码图案的输入图像Ip Ir，并对输入图像Ir进行预处理；
[0010]步骤4、对预处理后的输入图像I1、Ir分别进行目标物体投射阴影区域的检测，分别标记为H
[0011]步骤5、利用两种模式的块匹配运动估计分别生成偏移量，即运动向量，其中，利用输入图像I1Ur互相之间的双目块匹配计算，得到X轴方向偏移量AXl,r或Y轴方向偏移量Δy1,r;利用输入图像IpIr与其对应的参考编码图案RpRr之间的块匹配计算，得到X轴方向偏移量ΔΧι> Δ Xr或Y轴方向偏移量Ay1, Ayr ；
[0012]步骤6、进行深度计算，包括:
[0013](6a)选择偏移量Δ Xl, ^或Δ Yl, r,结合摄像头图像传感器焦距f、两个摄像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式计算得到投射图像块blockmXn中心点ο的深度信息(I1,r ；
[0014](6b)选择偏移量Δ Χι、Δ \或Ay1、Δ、，结合参考编码图案的已知距离参数d、摄像头图像传感器焦距f、摄像头到编码图案投射器的基线距离S和摄像头图像传感器点距参数μ，根据深度计算公式分别得到输入图像ip Ir中对应同一位置的投射图像块blockmXn中心点ο的深度信息屯、dr ；
[0015]步骤7、进行深度补偿:利用深度信息屯、dr结合步骤4检测出来的投射阴影区域A1, Ar对深度信息Cl1, r进行补偿和修正，输出投射图像块Wockmxn中心点ο的最终深度值
H <
uOUt ?
[0016]步骤8、将投射图像块的中心点ο移到同一行的下一个像素点，重复步骤5-7，计算得到下一个像素点对应的深度值，如此按逐行从左向右、从上往下的计算顺序，逐点计算得到整幅图像深度信息。
[0017]本发明结合双目立体测距和主动结构光编码的优势，大幅提高了深度测距的精度和空间分辨率。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。
【专利附图】
【附图说明】
[0018]图1是本发明实施例的主动结构光的双目深度感知方法流程图；
[0019]图2是本发明实施例的双目摄像头的结构示意图；
[0020]图3是本发明实施例的编码图像投射器和双目摄像头视场及投射阴影的示意图；
[0021]图4是本发明实施例的双目摄像头深度感知计算模块结构图；
[0022]图5是本发明实施例的输入图像块与搜寻最优匹配块的示意图；
[0023]图6是本发明实施例的双目块匹配深度计算示意图；
[0024]图7是本发明实施例的双目摄像头视场融合的示意图。
【具体实施方式】
[0025]下面结合具体实施例对本发明进行进一步的详细说明。
[0026]总体而言，本发明实施例的主动结构光的双目深度感知方法，是基于结构光编码的主动视觉模式，采用编码图案投射器(激光散斑投射器或其它投影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，再利用与编码图案投射器在同一基线上、分别位于编码图案投射器两侧、且等距的两个摄像头获取所投射的编码图案，然后通过两种块匹配模式计算出运动向量，最后进行深度计算和深度补偿，生成高分辨率、高精度的图像深度信息(距离)。
[0027]图1示意性图示了本发明实施例的主动结构光的双目深度感知方法的整体流程。为了清楚说明，下文中将结合图2、图3、图4、图5、图6、图7来描述该方法。
[0028]步骤1:编码图案投射器进行空间编码。采用结构光编码的主动视觉模式，利用编码图案投射器(激光散斑投射器或投影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，即主动进行特征标定。
[0029]所述的编码图案投射器可以是激光散斑投射器或其他投影装置。优选地，激光散斑投射器可以投射出的相干激光束(红外、可见光、紫外线、不可见光)，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像，而投影装置则可以投射出可控的编码图案。编码图案投射器所投射出的图案一般是固定的，或采用一定的控制策略与摄像头接收图像的图像传感器进行同步后改变其投射出的图案；同一幅图案在水平或垂直方向的一定范围特征不重复或随机分布。投射器所投射的视场角FoV(包括水平、垂直视场角)一般大于接收摄像头的视场角FoV。
[0030]步骤2、双目摄像头采集、固化各自的参考编码图案H
[0031 ] 优选地，双目摄像头是两个性能指标相同(相同的光学透镜和图像传感器)、独立的两个摄像头，且左右对称、等距地排列在编码图案投射器的两侧，其光轴与编码图案投射器光轴平行、并处于同一基线上，接收其发出的一定波长范围的编码图案，如图2所示。摄像头图像传感器焦距为f，摄像头到编码图案投射器的基线距离为S，摄像头图像传感器点距参数为μ。
[0032]在实际应用中，可以根据不同的需求对两个相机的基线进行调整，也可采用两个不同焦距或型号的相机，以满足不同的功能。双目摄像头一般通过滤光片只接收一定波长范围的投射器发出的图像，最大程度地消除其它光源或光线的干扰，从而可清晰稳定地接收编码图案投射器所投射的图案。
[0033]在投入工作前，需先采集、固化双目摄像头各自的参考编码图案用于作为匹配比较的参考基准。所述的参考编码图案是将编码图案投射器投射出编码图案到与该投射器的光学中心轴(Ζ轴)垂直、且距离投射器为d的平面上(该平面可由投影布、平板等构成，用于呈现清晰稳定的图像，该平面可称之为参考基准平面)，由摄像头采集得到静态图像，并经图像预处理后存储固化在存储器中用于匹配基准和深度感知计算的标准图案。优选地，激光散斑投射器的参考编码图案是由多个散斑点组成、已知距离d的标准散斑图。参考编码图案的获取可以通过如上方式实现，这些方式仅用于说明上述实施例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获取参考图案。
[0034]步骤3、双目摄像头各自采集含编码图案的输入图像Ip Ir,并对输入图像Ip Ir进行预处理。
[0035]双目摄像头接收的含有编码图案的输入图像，可以含有目标物体，其深度信息未知，但其在编码图案投射器照射和摄像头接收的有效距离范围内。
[0036]所述的图像预处理是对不同特性的输入图像进行自适应、一致性的处理，目的是通过输入图像的预处理，使图案更清晰、减少误匹配和噪声干扰，并有利于本
【发明内容】
的深度感知计算。优选地，预处理方法包括视频格式转换(例如Bayer、ITU601、ITU656视频解码或MIPI接口格式转换)、色度空间转换(例如RGB转YUV)、灰度图像自适应去噪和增强等，其中增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的增强方法。参考编码图案及双目摄像头实时采集的输入图像都经过相同的图像预处理模块。
[0037]步骤4、对预处理后的输入图像Ip Ir分别进行目标物体投射阴影区域的检测，分别标记为H
[0038]所述的投射阴影区域是由于编码图案投射器投射过程中由于目标物体的边缘遮挡，导致摄像头接收的图像在目标物体边缘处有阴影区域存在，即无编码图案存在的区域。如图3所示投射阴影示意图，左右摄像头接收输入图像过程中由于目标物体遮挡引起的投射阴影区域Ap
[0039]优选地，投射阴影区域检测方法为:在一定大小的输入图像块内检测所包含的特征点个数，若检测出的特征点个数小于预定阈值，则认为该输入图像块区域为投射阴影区域。以激光散斑投射器为例，其投射出的编码图案为散斑点构成的散斑图像，可以在一定大小的输入图像块内检测散斑点的个数，如散斑点个数小于一定的阈值，则认为该输入图像块区域为投射阴影区域。本发明检测投射阴影区域的方法不限于检测激光散斑图像，也适用于检测其它编码图案的特征信息。一般地，不在编码图案投射器照射和摄像头接收的有效距离范围内的区域也按投射阴影区域处理。
[0040]步骤5、利用两种模式的块匹 配运动估计分别生成偏移量，即运动向量，其中，利用输入图像I1Ur互相之间的双目块匹配计算，得到X轴方向偏移量AXl,r或Y轴方向偏移量Δy1,r ;利用输入图像IpIr与其对应的参考编码图案RpRr之间的块匹配计算，得到X轴方向偏移量ΔΧι> Λ Xr或Y轴方向偏移量Ay1, Ayr。
[0041]双目摄像头采集输入图像序列后，送入图4所示的深度感知计算模块，经步骤3的预处理后，送入块匹配运动估计模块按两种模式的块匹配运动估计方法进行匹配计算。
[0042]一种模式是输入图像I1' Ir互相之间的双目块匹配计算。具体为:
[0043]在输入图像I1中提取一定大小的输入图像块K Wocknixn,中心点为O ;在输入图像Ir中提取跟输入图像块中心点ο点位置对应、一定范围大小的匹配搜索窗MatchMXN，大小为MXN，M、N都是整数，可以相等或不相等，一般M≥N、M > m、N≥η ;然后在匹配搜索窗MatchMXN中提取所有跟输入图像块一样大小的匹配块match,，大小为mXn，匹配块中心点ok，k是整数，表示匹配块个数。
[0044]接下来分别计算输入图像块B' Wockmxn与k个匹配块match,之间的相似度值match_valuek,该值作为图像块匹配的相似度测量指标。
[0045]最后，在所有相似度值match_valuek中求最小值,该值对应的匹配块matchk即为图像块B' blockmXn拟搜寻的最优匹配块B,该最小值对应的位置信息即为图像块blockmXn中心点ο的偏移量(Δ X1, r, Δ Y1, J ,即该输入图像块B'的运动向量。如图5所不,输入图像块为输入图像I1中灰色表示区域，最优匹配块为输入图像Ir的匹配搜索窗中斜线表示区域，其中心点Ok与匹配搜索窗blockMXN中心点ο (该中心点ο与输入图像块中心点ο位置对应)的最优偏移量为(Ax1J, Ay1J)，分别表不Χ、y轴方向位移，偏移量值为匹配搜索窗中心点ο坐标值(X，y)分别按X、Y轴减去最优匹配块中心点坐标值U丨,y!)后取绝对值计算得到，用像素点个数表示。
[0046]另一种模式是输入图像Ip Ir与其对应的参考编码图案RpRr之间的块匹配计算。具体方法:如图5所示，输入图像I1中提取输入图像块B'，在其参考编码图案R1中搜寻与之最为匹配(即相似度最高)的图像块B;输入图像Ir中提取输入图像块B'，在其参考编码图案Rr中搜寻与之最为匹配(即相似度最高)的图像块B;两者搜索最优块匹配的方法同上一种模式的输入图像之间的双目块匹配运动估计方法，得到输入图像I1的输入图像块与其最优匹配块的最优偏移量(ΛΧι，Ay1)和输入图像Ir的输入图像块与其最优匹配块的最优偏移量(Λ\，Ayr) 0偏移量值为输入图像块对应的匹配搜索窗中心点O坐标值(X，y)分别按X、Y轴减去最优匹配块中心点坐标值(X' ,1')计算得到，用像素点个数表示，正负值在空间上对应与参考图案平面的前后关系。
[0047]优选地，输入图像块大小的选取是根据水平或垂直方向一定范围内该图像块具有相对的唯一性，即该图像块特征与其它相同大小的图像块特征不同，能与其它相同大小的图像块区分开来。
[0048]优选地，本发明的相似度值计算方法采用输入图像块与匹配块对应像素之间求差绝对之和(SAD)的方法，但不限于这种方法。
[0049]步骤6、进行深度计算,包括:
[0050](6a)选择偏移量Λ Xl, ^或Λ Yl, y，结合摄像头图像传感器焦距f、两个摄像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式计算得到投射图像块Wockmxn中心点O的深度信息Cl1,r，如图6所示的双目摄像头深度计算示意图。
[0051] 其中，若双目摄像头与编码图案投射器水平排列，则选偏移量Λ Xl, ^ ;若双目摄像头与编码图案投射器垂直排列，则选偏移量Ay1,-
[0052]在本实施例中，按以下深度计算公式计算Cl1, r,以水平偏移量Λ X1, r作为输入参数为例:
[0053]
【权利要求】
1.一种主动结构光的双目深度感知方法，包括以下步骤: 步骤1、采用结构光编码的主动视觉模式，利用编码图案投射器投射出编码图案，对投射空间进行结构光编码，即主动进行特征标定； 步骤2、双目摄像头采集、固化各自的参考编码图案R1、Rr ; 步骤3、双目摄像头各自采集含编码图案的输入图像Ip Ir,并对输入图像Ip Ir进行预处理； 步骤4、对预处理后的输入图像Ip L分别进行目标物体投射阴影区域的检测，分别标记为A1'Ar ; 步骤5、利用两种模式的块匹配运动估计分别生成偏移量，即运动向量，其中，利用输入图像Ip Ir互相之间的双目块匹配计算，得到X轴方向偏移量AXl,r或Y轴方向偏移量Ay1,r;利用输入图像Ip Ir与其对应的参考编码图案RpRr之间的块匹配计算，得到X轴方向偏移量ΛΧι、Λ Xr或Y轴方向偏移量Ay1、Ayr ； 步骤6、进行深度计算，包括: (6a)选择偏移量Ax1,^或Ay1,r，结合摄像头图像传感器焦距f、两个摄像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式计算得到投射图像块blockmXn中心点ο的深度信息(I1,r ； (6b)选择偏移量ΛΧι、ΛΧ?或Ay1、Λ、，结合参考编码图案的已知距离参数d、摄像头图像传感器焦距f、摄像头到编码图案投射器的基线距离S和摄像头图像传感器点距参数μ，根据深度计算公式分别得到输入图像1:、Ir中对应同一位置的投射图像块Wockmxn中心点ο的深度信息屯、火； 步骤7、进行深度补偿:利用深度信息结合步骤4检测出来的投射阴影区域H对深度信息Cl1,r进行补偿，输出投射图像块Wockmxn中心点O的最终深度值CLt ; 步骤8、将投射图像块的中心点O移到同一行的下一个像素点，重复步骤5-7，计算得到下一个像素点对应的深度值，如此按逐行从左向右、从上往下的计算顺序，逐点计算得到整幅图像深度信息。
2.根据权利要求1所述的方法，步骤2中，所述双目摄像头为两个性能指标相同、独立的摄像头，左右对称、等距地排列在编码图案投射器的两侧，跟编码图案投射器处于同一基线上，接收其发出的一定波长范围的编码图案。
3.根据权利要求1所述的方法，步骤2中，所述的参考编码图案是将编码图案投射器投射出编码图案到与该投射器的光学中心轴(Z轴)垂直、且距离投射器为d的平面上，由摄像头采集得到静态图像，并经图像预处理后存储固化在存储器中用于匹配基准和深度感知计算的标准图案。
4.根据权利要求1所述的方法，步骤3中，预处理包括视频格式转换(例如Bayer、ITU601、ITU656视频解码或MIPI接口格式转换)、色度空间转换(例如RGB转YUV)、灰度图像自适应去噪和增强。
5.根据权利要求1所述的方法，步骤4中，投射阴影区域检测具体为:在一定大小的输入图像块内检测所包含的特征点个数，若检测出的特征点个数小于预定阈值，则认为该输入图像块区域为投射阴影区域。
6.根据权利要求1所述的方法，步骤^a)中，若双目摄像头与编码图案投射器水平排列，则选偏移量Λ X1,r;若双目摄像头与编码图案投射器垂直排列，则选偏移量Ay1,r。
7.根据权利要求1所述的方法，步骤(6a)中，若选择Ax1Y则深度计算公式为:
8.根据权利要求1所述的方法，步骤^b)中，若双目摄像头与编码图案投射器水平排列，则选偏移量ΔΧ1、Δ Xr;若双目摄像头与编码图案投射器垂直排列，则选偏移量Ay1、Δyrο
9.根据权利要求1所述的方法，步骤(6a)中，若选择ΔΧ1、Δ Xr,则深度计算公式为:
10.根据权利要求1所述的方法，步骤(7)中，深度补偿具体为: 如投射图像块的中心点ο落在左视图非交叉区域，则选择Cl1作为dout输出； 如投射图像块的中心点O落在右视图非交叉区域，则选择4作为dout输出； 如投射图像块的中心点O落在左右视图的交叉区域，对于非投射阴影区域，如d1-dr≤th1,
【文档编号】H04N13/04GK103796004SQ201410050675
【公开日】2014年5月14日 申请日期:2014年2月13日 优先权日:2014年2月13日
【发明者】葛晨阳, 郑南宁, 姚慧敏, 周艳辉, 伦建坤 申请人:西安交通大学