深度数据测量设备、方法及图像匹配方法与流程

1.本发明涉及深度成像，尤其涉及一种深度数据测量设备、方法及图像匹配方法。


背景技术：

2.近年来，三维成像技术得到蓬勃发展。目前，一种基于结构光的深度测量方案能够实时地对物体表面进行三维测量。简单地说，该方案首先向自然体表面投射带有编码信息的二维激光纹理图案，例如离散化的散斑图。在双目实现中，由位置相对固定的两个图像采集装置对激光纹理进行连续采集，处理单元使用采样窗口对两个图像采集装置同时采集的两幅图像进行采样，确定采样窗口内匹配的激光纹理图案，根据匹配的纹理图案之间的差异，计算出投射在自然体表面的各个激光纹理序列片段的纵深距离，并进一步测量得出待测物表面的三维数据。
3.在匹配处理中，采样窗口越大，单次采样中包含的图案信息量也越大，因此也越容易进行匹配，但会导致得到的深度图像颗粒度越大。相应地，采样窗口越小，图像的颗粒度越精细，但误匹配率也越大。
4.随着消费级三维相机时代的到来，如何以更低成本、更高精度以及更小体积实现三维信息，尤其是深度信息的精确获取，成为业内所面临的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种深度数据测量设备、方法及图像匹配方法，其通过同时利用多个结构光投射装置轮流投射各自的结构光、共同投射结构光，从而能以最少的结构光投射装置获取更多的结构光图案，由此提升了图像的获取精度。
6.根据本发明的第一个方面，提供了一种深度数据测量设备，包括：第一结构光投射装置，用于向拍摄空间投射第一编码结构光；第二结构光投射装置，用于向拍摄空间投射第二编码结构光；与第一和第二结构光投射装置相对固定的成像单元，用于对所述拍摄空间进行拍摄以获得在所述结构光照射下的拍摄对象的二维图像；以及处理器用于控制第一和第二结构光投射装置分别向拍摄空间投射编码结构光，以及第一和第二结构光投射装置同时向拍摄空间投射编码结构光，控制所述成像单元拍摄在由第一和第二编码结构光照射下所述拍摄对象的第一图案二维图像和第二图案二维图像，以及由第一和第二编码结构光合成的编码结构光照射下所述拍摄对象的合成图案二维图像，并且基于拍摄的所述第一图案二维图像、第二图案二维图像和所述合成图案二维图像，确定所述拍摄对象的深度数据。
7.根据本发明的第二个方面，提供了一种图像匹配方法，包括：控制第一结构光投射装置和第二结构光投射装置在不同时刻向拍摄空间投射第一编码结构光、第二编码结构光以及同时投射第一和第二编码结构光；获取第一成像装置和第二成像装置对投射在相同拍摄空间内的三种编码结构光进行拍摄分别得到的三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系，各组图像中由所述第一成像装置拍摄的图像为第一图像，由所述第二成像装置拍摄的图像为第二图像；对于各组图像，分别以相同的匹配窗
口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度；基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
8.根据本发明的第三个方面，提供了一种深度数据测量方法，包括：向相同的拍摄空间投射至少三种编码结构光，其中的至少一种编码结构光是两个或以上结构光投射装置同时投射合成的编码结构光；使用第一成像装置和第二成像装置对投射在相同拍摄空间内的至少三种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系；通过根据本发明第二方面所述的方法，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
9.根据本发明的第四个方面，提供了一种深度数据测量方法，包括：以预定的工作周期向相同的拍摄空间重复投射至少三种编码结构光，其中的至少一种编码结构光是两个或以上结构光投射装置同时投射合成的编码结构光；使用第一成像装置和第二成像装置对每个工作周期内投射在相同拍摄空间内的至少三种编码结构光中的每一种进行拍摄，分别得到对应于相应工作周期的各自包括第一图像和第二图像的至少三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系；通过根据本发明第二方面所述的方法，确定相应工作周期内的每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；根据相应工作周期内彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定相应工作周期内所述第一图像像素的深度数据。
10.本发明通过针对相同拍摄对象投射不同的编码结构光并分别进行双目成像，针对每种编码结构光以相同的窗口大小来进行窗口匹配的置信度计算，通过综合考虑相同位置的窗口在每种编码结构光下的置信度，来确定最终匹配的窗口。由此，通过引入多组图像来提升小窗口的置信度，从而实现更为精确且清晰的深度信息求取。
附图说明
11.通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
12.图1是本公开的深度数据测量设备的示意图。
13.图2示出了根据本发明一个实施例的深度数据测量设备的测量头的一个例子。
14.图3示出了两个结构光投射装置向相同拍摄空间内的待测对象投射三种不同的编码结构光的一个例子。
15.图4示出了两个结构光投射装置向相同拍摄空间内的待测对象投射三种不同的编码结构光的另一个例子。
16.图5示出了根据本发明的图像匹配方法的示例性流程图。
17.图6示出了根据本发明的深度数据测量方法的示例性流程图。
具体实施方式
18.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
19.图像匹配是在双目立体视觉的景深(在下文中也称为“深度数据”)提取中非常重要的一个步骤。此步骤的目标是找出图像的每个像素点在另一个视角的图像上的对应的像素点，算出视差图像，估算出景深图像，即在其每个像素点处标明了对应的深度数据。
20.局部立体匹配算法可用于进行图像匹配，其基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内的所有可能位置，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，其匹配的子图中对应的像素点即为该像素的匹配点。该算法计算量小，适于实时运行。
21.在实际的窗口选择中，如果窗口较大，其所包含的信息也较多，因此容易进行匹配，但颗粒度较大；如果窗口较小，虽然颗粒度较小，但容易造成误匹配。
22.有鉴于此，本发明提供了一种深度数据测量设备、方法及图像匹配方法，其通过同时利用多个结构光投射装置轮流投射各自的结构光、共同投射结构光，从而能以最少的结构光投射装置获取更多的结构光图案，由此提升了图像的获取精度。进一步地，通过针对相同拍摄对象投射不同的编码结构光并分别进行双目成像，针对每种编码结构光以相同的窗口大小来进行窗口匹配的置信度计算，通过综合考虑相同位置的窗口在每种编码结构光下的置信度，来确定最终匹配的窗口。由此，通过引入多组图像来提升小窗口的置信度，从而实现更为精确且清晰的深度信息求取。
23.图1是本公开的深度数据测量设备的示意图。如图1所示，深度数据测量系统包括结构光投射装置101和102、第一成像装置11和第二成像装置12以及处理器13。
24.结构光投射装置包括第一结构光投射装置101和第二结构光投射装置102。第一结构光投射装置101用于向拍摄空间投射第一编码结构光。第二结构光投射装置102用于向拍摄空间投射第二编码结构光。在此，第一编码结构光和第二编码结构光可以是在拍摄空间中能够被区别的结构光，例如，两种结构光可以具有完全不同的图案，或者具有相同图案但存在角度偏转或是位移。
25.结构光投射装置用于向拍摄空间投射编码结构光，其所投射的光可以为红外光，以便与自然光加以区分。结构光投射装置可以包括激光光源和编码结构光发生装置。激光光源可由激光二极管实现，用于产生单束激光。在其他实施例中，也可使用垂直腔面发射激光器(vcsel)等作为激光光源。结构光发生装置可用于将产生的激光衍射成特定编码的结构光，并且可由衍射光学元件(doe)实现。本领域技术人员应当理解，结构光投射装置也可以采用诸如全息式微透镜阵列、光学掩膜以及/或者其它类型的光栅作为结构光发生装置，来提供理想的结构光图样。
26.在一个实施例中，结构光投射装置投射出的编码结构光图案可以设置为二维离散光斑点图案。在一个优选的实施例中，编码结构光具有唯一性，在预先给定范围和给定窗口尺寸的条件下，在成像设备获取的图像上计算得到的位置编码值在不同位置具有唯一的编码值。此位置编码值例如可以采用de bruijn序列或者m-array生成。具体地，可以通过具有
特定结构的doe来实现特定的投射图案。具体地，第一结构光投射装置101和第二结构光投射装置102可以布置有不同的doe，以产生不同的投射图案，或者布置有相同的doe，但某一投射装置的doe可以有角度偏转或是位移，来与另一投射装置的doe投射的图案相区别。
27.在本发明中，第一结构光投射装置101和第二结构光投射装置102能够向相同的拍摄空间投射三种编码结构光。具体地，第一结构光投射装置101和第二结构光投射装置102各自可以投射不同的编码结构光，即第一和第二编码结构光，并且第一结构光投射装置101和第二结构光投射装置102可以同时投射结构光，以获取合成的编码结构光。
28.如图所示，除了结构光投射装置之外，本发明的深度数据测量设备还可以包括与第一和第二结构光投射装置相对固定的成像单元，用于对所述拍摄空间进行拍摄以获得在所述结构光照射下的拍摄对象的二维图像。
29.在一个实施例中，可以采用单目方案，即，成像单元可以是单个成像单元，其可以对投射的激光纹理进行连续采集，处理器可以将采集的结构光图案与预先存储在寄存器内的已知纵深距离的参考面图案进行比较，计算出投射在自然体表面的各个离散片段的纵深距离，并进一步测量得出待测物表面的三维数据。基于这种结构光检测的三维测量技术采用并行图像处理的方法，能够一定程度上检测到待检测物体的深度信息。
30.但由于单目方案需要多次校准，且适用场景受限，因此优选使用如图所示的双目方案。于是成像单元包括：第一成像装置和第二成像装置，用于对投射在相同拍摄空间内的编码结构光进行拍摄，分别得到投射结构光照射下的拍摄对象的第一图像和第二图像，所述第一成像装置和所述第二成像装置之间具有预定相对位置关系。
31.处理器13与结构光投射装置101和102、第一成像装置11和第二成像装置12相连，并可以控制如上的投射和成像装置。具体地，处理器13可以控制第一和第二结构光投射装置101和102分别向拍摄空间投射编码结构光，以及同时向拍摄空间投射编码结构光，控制成像单元拍摄在由第一和第二编码结构光照射下所述拍摄对象的第一图案二维图像和第二图案二维图像，以及由第一和第二编码结构光合成的编码结构光照射下所述拍摄对象的合成图案二维图像，并且基于拍摄的所述第一图案二维图像、第二图案二维图像和所述合成图案二维图像和所述预定相对位置关系，确定所述拍摄对象的深度数据。
32.图2示出了根据本发明一个实施例的深度数据测量设备的测量头的一个例子。
33.如图2所示，该测量头可以包括分别置于左右两侧的第一成像装置11和第二成像装置12，而结构光投射装置可以包括第一和第二结构光投射装置101和102。第一和第二结构光投射装置101和102各自包括激光器和结构光发生装置，以便按照预定次序提供不同的编码结构光。由于投射子单元101和102之间存在位移，因此即便两者包括相同的衍射图案，其投射在待测物体上的编码结构光也是不一样的。上述投射子单元和成像设备例如可由连接机构20固定。该测量头例如可以通过线路与处理器和存储器相连接。可以理解，图2所示的仅仅测量头的一个例子。在实际应用中，测量头也可以具有其他结构，用来提供至少三种编码结构光。
34.第一成像装置11和第二成像装置12对拍摄空间进行拍照，分别得到第一图像和第二图像，第一成像装置11和第二成像装置12之间具有预定的相对位置关系，一般为水平放置，且间隔固定的距离，拍摄过程中一般相对位置不变(例如，图2所示)。另外，由于成像单元与第一和第二结构光投射装置相对固定，因此第一成像装置11和第二成像装置12、以及
第一结构光投射装置101和第二结构光投射装置102之间都具有相对固定的位置(例如，经由外壳20固定)，并且能够基于上述相对位置(主要是第一和第二成像装置之间的距离d)，求取拍摄的离散光斑的深度数据。
35.在第一结构光投射装置101和第二结构光投射装置102投射红外光的情况下，第一成像装置11和第二成像装置12可以是红外成像设备。
36.在第一结构光投射装置101和第二结构光投射装置102向相同的拍摄空间投射三种编码结构光的情况下，第一成像装置11和第二成像装置12也相应地对投射在相同拍摄空间内的三种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的三组图像。
37.图3示出了两个结构光投射装置向相同拍摄空间内的待测对象投射三种不同的编码结构光的一个例子。例如，第一结构光投射装置101可以首先如图3左侧所示投射第一编码结构光，第一成像装置11和第二成像装置12于是针对投射有第一编码结构光的拍摄对象(例如，人脸)分别拍摄得到第一图像和第二图像。该第一图像和第二图像组成第一组图像。随后，第二结构光投射装置102可以如图3中间所示投射第二编码结构光，第一成像装置11和第二成像装置12于是针对投射有第二编码结构光的拍摄对象分别拍摄得到第一图像和第二图像。该第一图像和第二图像组成第二组图像。随后，第一结构光投射装置101和第二结构光投射装置102可以如图3右侧所示同时投射第一和第二编码结构光。第一和第二结构光共同得到合成的图案。第一成像装置11和第二成像装置12于是针对投射有合成图案的拍摄对象分别拍摄得到第一图像和第二图像。该第一图像和第二图像组成第三组图像。
38.如图3所示，第一结构光投射装置101可以投射图案a，第二结构光投射装置102可以投射例如旋转了5
°
的相同图案a’，第一和第二结构光投射装置共同投射的图案为a+a’。换句话说，在此例中，第一结构光投射装置101和第二结构光投射装置102可以使用相同的doe来产生相同的图案，只是第二结构光投射装置102中的doe可以在生成或是安装时被旋转了5
°
。
39.在此，应该理解的是，虽然图中示出了a、a’和a+a’的投射次序，但在其他实施例中，也可以使用如上次序之外的其他任何次序，例如a+a’、a、a’。另外，在进行持续深度数据获取中，可以重复某一种拍摄次序，例如，循环进行a
→a’→
a+a’的投射，也可以在每轮的三次投射中变换投射次序，只要确保每轮投射都包括这三者图案即可。
40.图4示出了两个结构光投射装置向相同拍摄空间内的待测对象投射三种不同的编码结构光的另一个例子。同样可以是第一结构光投射装置101单独投射、第二结构光投射装置102单独投射、以及第一结构光投射装置101和第二结构光投射装置102共同投射，并在每次投射时，进行相应图像组的拍摄。与图3例子不同的是，在图4中第一结构光投射装置101可以投射图案a，第二结构光投射装置102可以投射不同的图案b，第一和第二结构光投射装置共同投射的图案为a+b。换句话说，在此例中，第一结构光投射装置101和第二结构光投射装置102可以使用不同的doe来产生不同的图案。
41.另外，尽管在图3和图4的例子中将图案标示为a、a’和a+a’，以及a、b和a+b，但其实仍然是本发明通过图案投射的合并，实现了利用两个结构光投射装置的两个投射图案，实际投射三种不同图案的有益技术效果，并两个结构光投射装置在每轮的三次投射中都能够休息一个轮次，由此能够延长激光器的使用寿命。
42.优选的，本发明的深度数据测量设备还可以包括存储器14，用于存储各自包括其
第一图像和第二图像的每组图像，以便处理器13后续处理。
43.处理器13从存储器14获取每组图像中的第一图像和第二图像，对于各组图像，分别以相同的匹配窗口大小求取同组的第一图像和第二图像间各窗口匹配的置信度，基于每组图像中第一图像和第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口，并且根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
44.如前所述，在此采用局部立体匹配算法进行图像匹配，其给定在一幅图像(第一图像)上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像(第二图像)中的一个区域内的所有可能位置，根据预定的相似性判断依据，寻找与子窗口图像最为相似的子图，其匹配的子图中对应的像素点即为该像素的匹配点。
45.处理器13对于第一图像中的各个第一图像像素，根据预定的邻域规则分别选取其临近区域，例如，13x13像素尺寸的子窗口；在第二图像中的一个区域内的所有可能位置，根据预定的相似性判断依据，寻找与第一图像中的子窗口图像最为相似的子窗口图像，例如，同样都是13x13像素尺寸的子窗口，其匹配的子窗口图像中对应的像素点即为该像素的匹配点。
46.在实际的窗口尺寸选择中，如果窗口较大，其所包含的信息也较多，因此容易进行匹配，但颗粒度较大；如果窗口较小，虽然颗粒度较小，但容易造成误匹配。
47.在现有技术中，投射的编码结构光可以在预先给定范围和给定窗口尺寸的条件下具有唯一性。为了保证正确匹配，通常需要与编码结构光的唯一性范围相适应的子窗口尺寸。单独使用第一或第二编码结构光的情况下，现有技术例如需要13x13像素尺寸的子窗口才能确保以较高的置信度对第一和第二图像中各像素的准确匹配。
48.不同于仅针对同一编码结构光获取一组第一和第二图像并进行子窗口局部匹配的现有技术(即，利用单独某一种编码结构光之一来进行子窗口局部匹配)。本发明的图像匹配方案针对至少三组编码结构光获取相应的至少三组图像，对于各组图像，分别求取每组图像中第一图像和第二图像间各窗口匹配的置信度，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
49.如上所述，图3和图4示出了两个结构光投射装置向相同拍摄空间内的拍摄对象投射三种不同的编码结构光的例子。上述图3和图4也可以看作是例如第一成像装置11在不同的编码结构光下对同一待测对象拍摄得到的不同的第一图像。在一个实施例中，可以将图3和4左侧图看作是第一成像装置11拍摄的第一组图像中的第一图像，将图3和4中部图看作是第一成像装置11拍摄的第二组图像中的第一图像将图3和4右侧图看作是第一成像装置11拍摄的第三组图像中的第一图像。虽然没有示出，但可以理解第二成像装置12也针对投射的两种编码结构光拍摄与相应的、但视角略有不同的第一组图像中的第二图像、第二组图像中的第二图像和第三组图像中的第二图像。
50.在如上图3或图4所示获取了三组不同图案的图像之后，就可以对投射有不同的编码结构光的拍摄对象的图像进行子窗口选取的示意图。在针对第一组图像的第一和第二图像进行匹配时，可以选择更小尺寸，例如尺寸为3x3像素的小窗口进行匹配。在投射的编码结构光的编码唯一性范围不变的情况下，由于窗口尺寸变小(例如，从13x13像素变为3x3像
素)，针对第一图像中的某个确定的3x3像素窗口x，第二图像中可能有多个位置处的3x3像素窗口(例如，3x3像素窗口y1、y2、y3和y4)与第一图像中的窗口a有着较高的匹配置信度。随后，可以针对第二组图像的第一和第二图像进行匹配。同样选择3x3像素的小窗口进行匹配。在第二组的匹配中，针对与第一组第一图像的像素窗口x相同位置的像素窗口x’，第二图像中同样可能有多个位置处的3x3像素窗口(例如，像素窗口y
’1、y
’2和y
’3)与像素窗口x’有着较高的匹配置信度。最后，可以针对第三组图像的第一和第二图像进行匹配。同样选择3x3像素的小窗口进行匹配。在第二组的匹配中，针对与第一组第一图像的像素窗口x相同位置的像素窗口x”，第二图像中同样可能有多个位置处的3x3像素窗口(例如，像素窗口y”1
、y”2
和y”3
)与像素窗口x”有着较高的匹配置信度。但如果综合考虑三组图像中的匹配置信度，只有在三组图像中都位于同一位置(即，y1、y
’1、y”1
)处的像素窗口在三次匹配中都有着较高的置信度，因此可以判断在第一组图像中，第一图像的像素窗口x与第二图像的像素窗口y1相匹配，在第二组图像中，第一图像的像素窗口x’与第二图像的像素窗口y
’1相匹配，在第三组图像中，第一图像的像素窗口x”与第二图像的像素窗口y”1
相匹配。由此，能够以更小的窗口实现高正确率匹配，由此减小颗粒度，提升获取的深度图像的清晰度。
51.在一个实施例中，可以求取相同位置的窗口在各组图像中的置信度之和，并将置信度之和最高的窗口确定为彼此匹配的窗口。在其他实施例中，也可以采用其他的方法来依据各组图像中的窗口匹配置信度来确定最终匹配的窗口，例如，通过计算cost值来作为窗口匹配置信度的量化指标。虽然为了论述的方便采用了投射三种编码结构光并相应地进行三组图像处理的实施例，但本领域技术人员可以理解的是，也可以投射四种甚至更多的编码结构光并进行后续处理，由此实现尺寸更小的窗口匹配。
52.具体地，本发明的深度数据测量设备还可以包括：第三结构光投射装置，用于向拍摄空间投射第三编码结构光，并且处理器用于：控制第三结构光投射装置单独、与第一和/或第二结构光投射装置共同投射编码结构光。在此，例如第一、第二和第三结构光投射装置分别投射图案a、b、c，则在能够进行图案合成投射时，可以得到a、b、c、ab、bc、ac、abc七种图案，远多于采取合成图案前的三种图案。进一步地，本发明的深度数据测量设备可以根据需要包括更多的结构光投射装置，以得到更多不同的图案组合，这些变化都位于本发明所限定的范围之内。
53.在具体实现中，至少三种编码结构光的投射与成像是相续进行的。例如，处理器可以控制结构光投射装置101在投射第一编码结构光时，第一和第二成像装置11和12相应地进行图像拍摄；而在结构光投射装置102投射第二编码结构光时，第一和第二成像装置11和12进行下一帧的图像拍摄，在两个投射装置101和102共同投射时，第一和第二成像装置11和12进行再下一帧的图像拍摄。至少三组图像可以是以第一成像装置和第二成像装置各自的帧频连续拍摄的图像。在一个优选实施例中，第一成像装置和第二成像装置具有相同的帧频，并且每组图像中的第一图像和第二图像是第一成像装置和第二成像装置同时拍摄的。
54.优选地，上述拍摄和深度数据的求取可以是连续的，由此使得本发明的深度数据测量系统可以针对动态目标进行实时测量。假设第一和第二成像装置各自默认以30帧/秒的速度进行成像，在处理器的处理速度满足要求的情况下，如果轮流投射三种不同的编码结构光，则能够以10帧/秒的速度持续进行待测对象的深度图像更新。换句话说，以0.1秒为
预定工作周期来进行深度图像的拍摄和求取。在具体实践中，能够以更新速度降低为代价实现更小窗口的匹配。例如，重复投射六种不同的编码结构光(此时需要三个结构光投射装置)，以1x1像素尺寸的窗口进行匹配，但深度图像更新速度降为0.2秒。可以根据实际应用条件进行灵活折中。
55.深度数据的求取可以仅根据第一组图像(或其他的任一组图像)进行。仅仅由于匹配窗口尺寸的降低，就能够获取颗粒度更低且更为清晰的深度图像数据。在一个实施例中，深度数据的求取也可以利用每组图像进行。由于投射了不同的编码结构光，使得待检测物体上有更多的位置能够用来提供深度信息。在拍摄对象的同一区域x内，额外考虑离散光斑更密集的图像能够给出更为细密的深度细节。换句话说，不同编码结构光下求取的深度数据包括了待检测物体上较多位置的深度信息，因此，将融合至少三种编码结构光下所确定的深度数据后得到的新的深度数据作为待检测物体的深度数据，可以更加准确地反映待检测物体的深度信息，并且能够提供更为清晰的待测对象的轮廓。
56.下面将参考图5和图6对于根据本发明的深度数据测量方法和其中的图像匹配方法做更详尽的描述。
57.下面参考图5详细描述根据本发明的图像匹配算法。
58.图5示出了根据本发明的图像匹配方法的示例性流程图。
59.如图5所示，在步骤s510，控制第一结构光投射装置和第二结构光投射装置在不同时刻向拍摄空间投射第一编码结构光、第二编码结构光以及同时投射第一和第二编码结构光。所述第一和第二编码结构光可以是编码相同但投射的空间位置或角度不同的编码结构光；或者是编码不同的编码结构光。无论那种其他，各自的单独投射和一次的共同投射都能够得到三种不同的编码图案。
60.在步骤s520，获取第一成像装置和第二成像装置对投射在相同拍摄空间内的三种编码结构光进行拍摄分别得到的三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系。各组图像中由所述第一成像装置拍摄的图像为第一图像，由所述第二成像装置拍摄的图像为第二图像。
61.三组图像可以是以所述第一成像装置和所述第二成像装置各自的帧频连续拍摄的图像。优选地，所述第一成像装置和所述第二成像装置具有相同的帧频，并且每组图像中的第一图像和第二图像是所述第一成像装置和所述第二成像装置同时拍摄的。
62.在步骤s530，对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度。
63.在步骤s540，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
64.例如可以求取相同位置的窗口在各组图像中的置信度之和，并将置信度之和最高的窗口确定为彼此匹配的窗口。由此，通过引入多组图像来提升小窗口的置信度，从而实现更为精确且清晰的深度信息求取。
65.在其他实施例中，也可以如前所述包括多个的结构光投射装置，以实现更多中的投射组合和更小的窗口。
66.图6示出了根据本发明的深度数据测量方法的示例性流程图。
67.如图6所示，在步骤s610，向相同的拍摄空间投射至少三种编码结构光。如前所述，
这里所指的至少三种编码结构光中的的至少一种编码结构光是两个或以上结构光投射装置同时投射合成的编码结构光。
68.然后，在步骤s620，使用第一成像装置和第二成像装置对投射在相同拍摄空间内的至少三种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少三种图像。
69.其中，所述第一成像装置和所述第二成像装置之间可以具有预定的相对位置关系，各组图像中例如可以由所述第一成像装置拍摄的图像为第一图像，由所述第二成像装置拍摄的图像为第二图像。
70.在步骤s630，通过如上参考图5详细描述的图像匹配方法，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
71.然后，在步骤s640，根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
72.在一个优选实施例中，上述图像匹配可以是持续进行的，用以作为例如实时深度数据获取方案中的一部分。在步骤s610，可以以预定的工作周期向相同的拍摄空间重复投射至少三种编码结构光。在步骤s620，使用第一成像装置和第二成像装置对每个工作周期内投射在相同拍摄空间内的至少三种编码结构光中的每一种进行拍摄，分别得到对应于相应工作周期的各自包括第一图像和第二图像的至少三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系。在步骤s630，通过如上参考图5详细描述的图像匹配方法，确定相应工作周期内的每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。然后，在步骤s640，根据相应工作周期内彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定相应工作周期内所述第一图像像素的深度数据。
73.在一个优选实施例中，所述至少三种编码结构光的投射和成像可以是相续进行的。上述拍摄和深度数据的求取可以是连续的，由此使得本发明的深度数据测量方法可以针对动态目标进行实时测量。
74.上文中已经参考附图详细描述了根据本发明的深度数据测量设备、方法及图像匹配方法。本发明通过同时利用多个结构光投射装置轮流投射各自的结构光、共同投射结构光，从而能以最少的结构光投射装置获取更多的结构光图案，由此提升了图像的获取精度，例如，实现更小的窗口匹配。
75.此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
76.或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
77.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
78.附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实
现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
79.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。