一种多摄像头阵列的深度感知方法
【专利摘要】本发明提供了一种多摄像头阵列的深度感知方法，采用激光散斑投射器或其它投影装置投射出固定图案，对空间进行结构光编码，再利用在同一基线上的多个摄像头获取所投射的图案，通过两种块匹配运动估计方法计算深度，包括输入图像与参考图案之间的块匹配计算和输入图像两两之间的双目块匹配计算，再在多个深度图之间根据所检测的距离范围、投射阴影进行深度图融合，消除阴影和噪声的干扰，生成高分辨率、高精度的图像深度信息。该方法易于采用硬件实现，可提升深度测量的精度、拓展深度测量的范围。
【专利说明】一种多摄像头阵列的深度感知方法
【技术领域】
[0001]本发明属于图像处理、人机交互和机器视觉【技术领域】，具体涉及一种多摄像头阵列的深度感知方法。
【背景技术】
[0002]视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。
[0003]在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来“科幻”般的操控方式和全新的人机交互体验，在智能电视、智能手机、家电、平板PC等领域实现创新应用。
[0004]基于结构光编码的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面,经物体表面的漫反射形成散斑点，由摄像头采集获得散斑图像，再通过图像深度感知装置计算获得物体的深度图信息。Kinect可实时获取深度图(0.8?3.8米范围，640*480，30f/s)，深度距离测量最优处可精确到3毫米，具备3D图像识别及动作捕捉功能，使得人能够以手势、体感动作与智能终端进行交互。2013年美国苹果公司公布了一项最新申请的发明专利“Depth Perception Deviceand System，深度感知设备与系统”，利用激光发射图形、摄像头获取散斑图后计算出深度距离，该技术有可能作为其未来创新产品的虚拟交互和输入设备进行应用。
[0005]当前微软、苹果所开发的深度感知装置都采用单一的摄像头接收模式，且主要适用于消费类电子，在深度图分辨率、精度、距离和实时性等方面难以满足无人车辅助驾驶、高速机床加工、工业三维建模、3D打印等领域的应用需求。当前大范围、高精度的深度感知装置已成为不同应用领域研究的热点和急需突破的关键设备。
【发明内容】
[0006]鉴于此，本发明提供了一种多摄像头阵列的深度感知方法，该方法采用激光散斑投射器或其它投影装置投射出固定图案，对空间进行结构光编码，再利用在同一基线上的多个摄像头获取所投射的图案，通过各自的深度计算和深度图融合，生成高分辨率、高精度的图像深度信息(距离)。
[0007]根据本发明的一种多摄像头阵列的深度感知方法，包括以下步骤:
[0008]步骤1、采用结构光编码的主动视觉模式，利用投射器投射固定图案的图像，对投射空间进行结构光编码，即主动进行特征标定；
[0009]步骤2、多摄像头阵列接收一定波长范围的投射器所投射的图案；
[0010]步骤3、多摄像头阵列的K个摄像头采集输入图像I1, I2,…，Ik，经各自的预处理模块进行预处理；
[0011]步骤4、将预处理后的输入图像I1, I2,…，Ik送入块匹配运动估计模块进行匹配计算，包括各输入图像I1, 12，…，Ik与其对应的参考图案R1, R2,…，Rk之间的块匹配计算以及各输入图像I1, I2,…，Ik两两之间的双目块匹配计算；
[0012]步骤5、进行深度计算:将各摄像头的输入图像I1, 12，…，Ik与对应参考图案R1,R2,…，Rk块匹配计算得到的X轴方向偏移量Λ X1, Λ X2,…，Λχκ，结合参考图案的已知距离参数d、摄像头图像传感器焦距fk、摄像头到投射器的基线距离Sk和摄像头图像传感器点距参数μ，计算各输入图像中对应同一位置的投射图像块Wockmxn中心点O的深度信息dk，k= 1，2...，Κ ;将各输入图像11;12，…，Ik两两之间双目匹配得到X轴方向偏移量Ax1,2，Ax2,3…，Λ Xih, κ，结合摄像头图像传感器焦距fk、S1^k相连两个摄像头之间的基线距离S1^k和摄像头图像传感器点距参数μ，计算得到同一位置的投射图像块Wockmxn中心点ο的深度Ih息 k，k = 2，3...，K ；
[0013]步骤6、进行深度融合:利用输入图像两两之间双目匹配得到的深度信息Cl1,2，d2,3，…，cVu对输入图像与参考图案匹配得到的深度信息Clpd2,…4进行修正，再根据修正后的深度信息与参考阈值的比较结果，选择某一摄像头对应的深度值作为输出。
[0014]本发明突破了当前点激光或线激光扫描仪无法获取大范围、长距离、高精度深度信息的局限，改善了激光三角测距方法随着距离增加、测距精度急剧下降的缺陷。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。
【专利附图】
【附图说明】`
[0015]图1是本发明实施例的多摄像头阵列深度感知方法流程图；
[0016]图2是本发明实施例的多摄像头阵列结构示意图；
[0017]图3是激光三角测距方法示意图；
[0018]图4是本发明实施例的多摄像头深度感知计算模块结构图；
[0019]图5是本发明实施例的输入图像块在多摄像头中成像示意图；
[0020]图6是本发明实施例的输入图像块与最优匹配块之间偏移量示意图；
[0021]图7是本发明实施例的输入图像两两之间进行双目块匹配示意图；
[0022]图8是本发明实施例的深度融合示意图。
【具体实施方式】
[0023]下面结合具体实施例对本发明进行进一步的详细说明。
[0024]总体而言，本发明实施例的多摄像头阵列深度感知方法采用激光散斑投射器或其它投影装置投射出固定图案，对空间进行结构光编码，再利用在同一基线上的多个摄像头获取所投射的图案，通过各自的深度计算和深度图融合，生成高分辨率、高精度的图像深度信息(距离)，进行三维图像的目标识别或动作捕捉。
[0025]图1示意性图示了本发明实施例的多摄像头阵列深度感知方法的整体流程。为了清楚说明，下文中将结合图2、图3、图4、图5、图6、图7、图8来描述该方法。
[0026]步骤1、采用结构光编码的主动视觉模式，利用投射器投射固定图案的图像，对投射空间进行结构光编码，即主动进行特征标定。
[0027]对于采用结构光编码的主动视觉模式，首先由投射器主动投射出固定图案对投射空间进行编码，即对投射空间进行特征标定。其中，投射器可以是激光散斑投射器或投影装置，其中激光散斑投射器可以投射出的相干激光束(红外、可见光、紫外线、不可见光)，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像，而投影装置则可以投射出可控的编码图案。投射器所投射出的图案一般是固定的，或采用一定的控制策略与摄像头接收图像的图像传感器进行同步后改变其投射出的图案；同一幅图案在水平或垂直方向的一定范围特征不重复或随机分布。投射器所投射的视场角FoV(包括水平、垂直视场角)一般大于接收摄像头的视场角FoV。
[0028]步骤2、多摄像头阵列接收一定波长范围的投射器所投射的图案。
[0029]其中，由多摄像头阵列(K个)接收所投射的图案。优选地，各摄像头与投射器的光轴平行，且光学中心点在同一基线上。各摄像头可以对称、非对称方式置于投射器的左侧、右侧、上侧、下侧均不影响本
【发明内容】
的实施。如图2所示，以K = 3个接收摄像头为例，摄像头1、摄像头2、摄像头K与投射器之间的基线距离分别为S1、S2、SK，且Sk > S2 > S1 ;其焦距分别为f1;f2，fK，焦距可相等、也可互不相等，一般fK≥f2≥f:;视场角也可以互不相等；各摄像头的功能定位有所不同，由于视场角和固定焦距测量范围的限制，摄像头I适用于捕获近距离图像，摄像头2用于捕获中间距离的图像、摄像头K用于捕获最远距离的图像，由于摄像头K的基线距离Sk大于其它两个摄像头，根据图3所示的激光三角测距方法d =fS/Λ x(d为深度距离，f为焦距，S为基线距离，Λ X表示像素位移值)，摄像头K对远距离物体的深度测量精度要高于摄像头2和摄像头I。但摄像头K取代不了其它两个摄像头，因其视场角和固定焦距的测量范围所限，对近距离物体无法识别。
[0030]优选地，各摄像头一般通过滤光片只接收一定波长范围的投射器发出的图像，最大程度地消除其它光源或光线的干扰，从而可清晰稳定地接收投射器所投射的图案。
[0031]另外，多摄像头阵列在投入工作前需先采集、固化各自的参考图案。所述的参考图案是利用投射器投射出固定图案到与该投射器的光学中心轴(Ζ轴)垂直、且距离投射器为d的平面上(该平面可由投影布、平板等构成，用于呈现清晰稳定的图像，该平面可称之为参考基准平面)，由摄像头采集得到静态图像，并经图像预处理后存储固化在存储器中用于匹配基准和深度感知计算的标准图案。其中，激光散斑投射器的参考图案是由许多散斑点组成、已知距离d的标准散斑图。参考图案的获取可以通过如上方式实现，这些方式仅用于说明上述实施例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获取参考图案。
[0032]步骤3、多摄像头阵列的K个摄像头采集输入图像I1, I2,…，Ik，经各自的预处理模块进行预处理。
[0033]所述的图像预处理是摄像头采集后对输入图像进行处理的重要内容，对不同特性的输入图像进行自适应、一致性的处理，一般包括视频格式转换(例如Bayer、ITU601、ITU656视频解码或MIPI接口格式转换)、色度空间转换(例如RGB转YUV)、灰度图像自适应去噪和增强等，其中增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的增强方法。图像预处理的目的是通过输入图像的预处理，使图案更清晰、减少误匹配和噪声干扰，并有利于本
【发明内容】
的深度感知计算。参考图案及后续摄像头实时采集的输入图像都需经过相同的图像预处理模块，但各摄像头对应的预处理模块可以不相同，其目的是为了适合不同距离的输入图像画面处理。
[0034]步骤4、将预处理后的输入图像I1, I2,…，Ik送入块匹配运动估计模块进行匹配计算，包括各输入图像I1, I2,…，Ik与其对应的参考图案之间的块匹配计算以及各输入图像IpI2,…，Ik两两之间的双目块匹配计算。如图4所示。
[0035]优选地，上述块匹配运动估计过程中的两种块匹配计算可并行进行。
[0036]所述的输入图像的获取也可以采用上述参考图案的获取方法，输入图像中含有要测量深度信息的目标物体，其深度信息未知，其背景并不限定，但目标物体须在投射器照射的有效距离范围内。
[0037]以图2所示的K = 3个摄像头进行深度感知为例，摄像头1、摄像头2…摄像头K的输入图像分别为1、V..Ik，其对应的参考图案分别为如图5所示，投射器投射出的图像块A(大小为mXn，其中m、η都是整数，m与η可以相等或不相等)在参考图案中的距离为山该距离为已知距离，图像块A在参考图案中的图案固定，且在水平或垂直方向一定范围内该图像块具有相对的唯一性，即特征与其它相同大小的图像块特征不同，能与其它相同大小的图像块区分开来。图像块A投射到其它距离(更近或更远)上就变成图像块A,，根据光线是直线传播的特点，图像块A,与图像块A在图形上在一定的距离范围内存在极高的相似性，虽然由于缩放缘故存在大小不同、由于距离不同也存在亮暗不同，甚至由于相干光干涉成像的原因其同一特征点在不同距离形状、大小、亮暗也不相同，但这些不影响图像块A'与图像块A在一定的距离范围内的相似性，可以假设认为图像块A'与图像块A在一定的范围内图形是相同的。本发明块匹配运动估计模块的重要内容就是将投射图像块A'在其参考图案中快速、准确地找到与之最为匹配(相似度最高)的图像块A，找到最优匹配块即得到两个图像块之间的运动向量，可用X、Y轴方向的偏移量(Λχ，ΔΥ)表示。图5所示，同一投射图像块A'与匹配图像块A在各摄像头的图像传感器芯片中由于焦距f、基线距离S的不同所呈现的运动向量也不相同，以X轴方向的偏移量ΛΧ表示，摄像头1、摄像头2…摄像头K的X轴偏移量分别为Ax” Axf Δχκ，其中AXk = Xk-Xk'。
[0038]所述的投射图像块是指块匹配运动估计过程中、输入图像内选取的、用于匹配计算的图像块blockmXn,大小为mXn,其中m、η都是整数，m与η可以相等或不相等。其大小的选取根据水平或垂直方向一定范围内该图像块具有相对的唯一性，即该图像块特征与其它相同大小的图像块特征不同，能与其它相同大小的图像块区分开来。
[0039]如图6所示，输入图像Ip If Ik分别与其对应的参考图案札、民…Rk之间进行块匹配运动估计的工作过程为:在输入图像中提取一定大小的输入图像块Wockmxn，中心点为ο ;在参考图案中提取跟输入图像块中心点ο点位置对应、一定范围大小的匹配搜索窗MatchMXN,大小为MXN，M、N都是整数，可以相等或不相等，一般M≥N、M > m、N≥η ;然后在匹配搜索窗MatchMXN中提取所有跟输入图像块一样大小的匹配块matchk，大小为mXn，匹配块中心点ok，k是整数，表示匹配块个数。接下来分别计算输入图像块A' Wockmxn与k个匹配块match,之间的相似度值matchjalue,，该值作为图像块匹配的相似度测量指标。
[0040]优选地 ，本发明的相似度值计算方法采用输入图像块与匹配块对应像素之间求差绝对之和(SAD)的方法，但不限于这种方法。
[0041]接下来在所有相似度值match_valuek中求最小值，该值对应的匹配块match,即为图像块A' blockmXn拟搜寻的最优匹配块A,该最小值对应的位置信息即为图像块blockmXn中心点ο的偏移量(Δχ, Δ y),即该输入图像块A'的运动向量。如图6所不输入图像块为输入散斑图灰色表示区域，最优匹配块为参考散斑图的匹配搜索窗中斜线表示区域，其中心点Ok与匹配搜索窗blockMXN中心点ο (该中心点ο与输入图像块中心点ο位置对应)的最优偏移量为(Δχ, Ay)，分别表不Χ、Υ轴方向位移，偏移量值为匹配搜索窗中心点ο坐标值(X，Y)分别按X、Y轴减去最优匹配块中心点坐标值U丨，I')计算得到，有正负，正负对应上下、左右坐标关系，在空间上则对应与参考图案平面的前后关系。如最优偏移量为负，表示比参考图案距离更远，图5中Ad值为正；最优偏移量为正，表示比参考图案距离更近，图5中Ad值为负；同时偏移量值越大表示该图像块中心点O与已知深度距离的参考图案平面之间的垂直距离越远，即图5中Ad值越大，因参考图案平面相对投射器的距离是固定的，偏移量越大该中心点ο相对图案的距离则可能越近或越远。
[0042]按上述块匹配运动估计方法，K个摄像头的输入图像I1, I2,…，Ik与其对应的参考图案RpR2,…，Rk之间通过块匹配运动估计分别得到X轴方向的最优偏移量Λ Xl，Δχ2,…，
Δ Xro
[0043]以图2所示的K = 3个摄像头为例，说明输入图像两两之间双目块匹配计算过程。如图7所示，根据双目立体视觉和激光三角测距方法，如摄像头1、摄像头2...摄像头K的焦距f相等，摄像头1、摄像头2之间计算输入图像块A'的深度距离(11，2 = €51，2/八矸2((11，2为深度距离，Sli2为两者之间的基线距离，Ax12表示输入图像I1中的投射图像块A'在输入图像I2中的水平位移值)。 由此可见，双目块匹配计算的关键在于摄像头I和摄像头2之间图像块A'的位移值求取。具体方法为，在摄像头I的输入图像I1中提取图像块A'，在摄像头2的输入图像I2中找到与之最为匹配(即相似度最高)的图像块，而搜索最优块匹配的方法同上述的输入图像与参考图案的块匹配运动估计方法。
[0044]按上述输入图像两两之间双目块匹配计算方法，K个摄像头的输入图像I1,12，…，Ik之间通过双目块匹配运动估计分别得到X轴方向的最优偏移量Δχ12，Λ χ2 3，…，Δχκ_1；κ,其中ΛΧκ_1κ= Ixk-XihU其中，一般在相连的两个摄像头获取的输入图像之间进行双目块匹配计算。
[0045]步骤5、进行深度计算:将各摄像头的输入图像I1, I2,…，Ik与对应参考图案块匹配计算得到的X轴方向偏移量ΛΧι，Δχ2,…，Λ Xk结合参考图案的已知距离参数d、摄像头图像传感器焦距fk、摄像头到投射器的基线距离Sk和摄像头图像传感器点距参数μ，计算各输入图像中对应同一位置的投射图像块Wocknixn中心点ο的深度信息dk，k = 1,2-,K0
[0046]在本实施例中，按以下深度计算公式计算dk:
[0047]
dk=d——竺一~ = ~~ , k = \,2...,K(I) /A + μ? fk Sk + Α-Χ,μ?
[0048]式中，Axk = Xk-Xk,，Xk为第k个摄像头的输入图像中投射图像块中心点O的X轴坐标，xk,为第k个摄像头的参考图案中对应所述投射图像块的最优匹配块中心点的X轴坐标。
[0049]再将各输入图像I1, 12，…，1￡两两之间双目匹配得到X轴方向偏移量Ax1,2，Ax2 3…，Λχκ_1κ结合摄像头图像传感器焦距fpSk+k相连两个摄像头之间的基线距离S1^k和摄像头图像传感器点距参数μ，计算得到同一位置的投射图像块Wockmxn中心点O的深度息 dk—l k，k = 2，3...，K0
[0050]在本实施例中，按以下深度计算公式计算dk—u:
【权利要求】
1.一种多摄像头阵列的深度感知方法，包括以下步骤: 步骤1、采用结构光编码的主动视觉模式，利用投射器投射固定图案的图像，对投射空间进行结构光编码，即主动进行特征标定； 步骤2、多摄像头阵列接收一定波长范围的投射器所投射的图案； 步骤3、多摄像头阵列的K个摄像头采集输入图像I1, I2,…，Ik，经各自的预处理模块进行预处理； 步骤4、将预处理后的输入图像I1, I2,…，Ik送入块匹配运动估计模块进行匹配计算，包括各输入图像I1J2,…，Ik与其对应的参考图案R1, R2,…，Rk之间的块匹配计算以及各输入图像I1, I2,…，Ik两两之间的双目块匹配计算； 步骤5、进行深度计算:将各摄像头的输入图像11;12，…，Ik与对应参考图案RpR2,…，Rk块匹配计算得到的X轴方向偏移量Λ Xl，Δχ2,…，Λ χκ，结合参考图案的已知距离参数d、摄像头图像传感器焦距fk、摄像头到投射器的基线距离Sk和摄像头图像传感器点距参数μ，计算各输入图像中对应同一位置的投射图像块Wocknixn中心点O的深度信息dk，k = 1，
2...，Κ;将各输入图像I1,12，…，Ik两两之间双目匹配得到X轴方向偏移量Λ χ12，Δ X23...,Δ XlH，，κ结合摄像头图像传感器焦距fpSk+k相连两个摄像头之间的基线距离S1^k和摄像头图像传感器点距参数μ，计算得到同一位置的投射图像块Wockmxn中心点ο的深度信息dk-1,k，k = 2, 3..., K ； 步骤6、进行深度融合:利用输入图像两两之间双目匹配得到的深度信息Cl1,2，d2,3…，cVu对输入图像与参考图案匹配得到的深度信息屯，4，…4进行修正，再根据修正后的深度信息与参考阈值的比较结果，选择某一摄像头对应的深度值作为输出。 2.根据权利要求1所述的方法，步骤I中，所述投射器为激光散斑投射器或投影装置，其中激光散斑投射器投射出相干激光束，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像，而投影装置投射出可控的编码图案。
3.根据权利要求1所述的方法，步骤2中，各摄像头通过滤光片接收投射器所投射的图案。
4.根据权利要求1所述的方法，步骤2中，各摄像头与投射器的光轴平行，且光学中心点在同一基线上。
5.根据权利要求1所述的方法，步骤3中，所述预处理包括视频格式转换(Bayer、ITU601、ITU656视频解码或MIPI接口格式转换)、色度空间转换(RGB转YUV)、灰度图像自适应去噪和增强。
6.根据权利要求1所述的方法，步骤4中，两种块匹配计算并行进行。
7.根据权利要求1所述的方法，步骤4中，在相连的两个摄像头获取的输入图像之间进行双目块匹配计算。
8.根据权利要求1所述的方法，步骤5中，按以下深度计算公式计算dk:
9.根据权利要求1所述的方法，步骤6具体为: (1)对于当前深度值dk，k= 2，3，....K，采用模板算子检测dk是否属于噪声点或阴影区域，如属于噪声点或阴影区域，则用Cl1^k取代dk ;另外，对于Cl1，利用屯，2进行修正； (2)取深度值d = micHcU dk, dk+1}, k = 2,3....Κ-l，也即取修正后 d^、dk、dk+1 的中值，若深度值d ( Thk,则选择dH输出；若Thk+1≤d > Thk,则选择dk输出；若d > Thk+1, 选择dk+1输出； (3)得到最终优化后的深度值，该值代表当前投射图像块中心点的深度距离。
10.根据权利要求1所述的方法，还包括:步骤7、将投射图像块的中心点移到同一行的下一个像素点，重复步骤4-6，计算得到下一个像素点对应的深度值，如此按逐行从左向右、从上往下的顺序，逐点计算得到整幅图像深度信息。
【文档编号】G06T15/10GK103824318SQ201410049469
【公开日】2014年5月28日 申请日期:2014年2月13日 优先权日:2014年2月13日
【发明者】葛晨阳, 华刚, 郑南宁, 姚慧敏, 张晨 申请人:西安交通大学