本发明涉及三维成像领域，具体地说，涉及一种图像传感器、深度数据测量头及测量系统。
背景技术：
传统的图像拍摄方法只能获得物体的二维信息，无法得到物体的空间深度信息(亦称景深信息)，但实际上物体表面的空间深度信息，尤其是深度信息的实时获取在各种工业、生活及娱乐应用中都起着至关重要的作用。
深度摄像头是一种采集目标物体深度信息的采集设备，这类摄像头广泛应用于三维扫描、三维建模等领域。在实际应用中，为了真实还原物体的三维数据及表面纹理，在采集深度信息的同时，往往还需要同时采集物体表面的彩色纹理信息。
在采集深度信息时，为了排除外界环境可见光的干扰，往往采用红外摄像头对处于红外光波段(680nm-1100nm)的图像进行采集。为了能够同时采集rgb信息，需要额外安装彩色摄像头进行同步拍摄。
由于红外摄像头和彩色摄像头所处的位置不同，拍摄时会存在视差，而使得红外和彩色图像不一致，即同一个拍摄对象在红外图像和彩色图像中的位置不同。因此拍摄完成后，还需要对红外摄像头和彩色摄像头进行系统标定，用以将彩色及深度数据按像素对齐。
在采用红外摄像头和彩色摄像头同步拍摄时，同样由于两个摄像头的位置不同，红外和彩色图像不一致，拍摄对象在红外图像和彩色图像中的视角也不同，所以很有可能出现拍摄盲区。如图1所示，a是彩色摄像头，b是红外摄像头，彩色摄像头a拍摄的物体的范围与红外摄像头拍摄b的物体的范围不同。图1中拍摄对象的较细轮廓线上以粗线绘出的部分是一个摄像头能够拍摄到而另一个摄像头拍摄不到的区域，对于拍摄不到该区域的摄像头而言，就是拍摄盲区。拍摄盲区的存在也会使得所拍摄的红外图像和彩色图像难以对齐。
因此，亟需一种可以在获取物体的深度信息和彩色信息的同时能够更加方便地使红外图像和彩色(可见光)图像对齐的解决方案。
技术实现要素：
本发明要解决的一个技术问题是，提供一种图像传感器、深度数据测量头及测量系统，使得能够以极低的制造成本获得高精度对齐(例如，像素级对齐)的红外-彩色图像对。
根据本发明的一个方面，提供了一种图像传感器，包括：镜片单元，用于接收入射光；分束装置，用于将入射光分成可见光光束和红外光光束；可见光感光单元，用于从所述可见光光束检测特定可见光频率范围内的可见光；以及红外光感光单元，用于从对所述红外光光束检测特定红外光频率范围内的红外光。由此通过简单引入分束装置来实现可见光和红外光成像的分离。
优选地，所述分束装置可以是包括涂有反射红外光的涂层的棱镜。所述分束装置可以是四方棱镜或三棱镜。进一步地，该分束装置可以将入射光分成传播方向互相垂直的可见光光束和红外光光束。可见光传感器单元和红外光传感器单元与所述分束装置的分束区域相距相等的距离。
镜片单元可以用于将所述入射光汇聚至所述分束装置的分束区域。
可见光传感器单元和红外光传感器单元可以是像素级对齐的。可见光传感器单元和所述红外光传感器单元经由标定靶成像被强制软件对齐。
本发明的图像传感器还可以包括：壳体，用于固定所述镜片单元、所述分束装置、所述可见光感光单元和所述红外光感光单元的相对位置。
本发明的图像传感器还可以包括分别连接至所述可见光感光单元和所述红外光感光单元的线缆，所述壳体具有用于线缆接入的开口。
根据本发明的另一个方面，提出了一种深度数据测量头，包括：如上任一项所述的图像传感器；以及红外光投影装置，用于向拍摄区域投射所述特定红外光频率范围内的红外结构光。
所述图像传感器可以是布置在所述红外光投影装置两侧的两个图像传感器，所述两个图像传感器是如下之一：两个如上任一项所述的图像传感器；或者一个红外光传感器和一个根如上任一项所述的图像传感器。
在布置有两个本发明的图像传感器的情况下，所述深度数据测量头还可以包括可见光投影装置，用于向拍摄区域投射至少一种特定颜色的可见结构光。
根据本发明的又一个方面，提出了一种深度数据测量系统，包括上述深度数据测量头，其中，所述红外光投影装置向所述拍摄区域投射带有纹理的红外光束，以在拍摄区域的拍摄对象上形成随机分布的红外纹理，所述图像传感器中的所述红外光感光单元获得所述拍摄区域中的拍摄对象反射的红外纹理图像，该深度数据测量系统还包括：处理器，用于：根据所述可见光感光单元获得的可见光图像确定所述拍摄区域内目标对象的轮廓信息；以及根据所述红外纹理图像与预先存储的至少一个已知纵深距离的参考面纹理进行对比，以确定所述红外纹理相对于所述图像传感器的深度数据，并且结合所述目标对象的轮廓信息确定所述目标对象的深度轮廓。
根据本发明的再一个方面，提出了一种深度数据测量系统，包括：红外光投影装置，用于向拍摄区域投射带有纹理的红外光束；第一和第二图像传感器，其中至少一个是如上所述的图像传感器，两个所述图像传感器之间具有预定相对位置关系，两个所述图像传感器中各自的红外光感光单元获得所述拍摄区域中的拍摄对象反射的红外纹理图像；以及处理器，用于根据所述红外纹理中同一个纹理片段在所述两个红外纹理图像中相对应地形成的纹理片段图像的位置差异、以及所述预定相对位置关系，确定所述红外纹理相对于所述两个图像传感器的深度数据，并且根据所述可见光感光单元获得的可见光图像确定所述拍摄区域内目标对象的轮廓信息，以帮助确定所述目标对象的深度轮廓。
第一和第二图像传感器可以都是本发明的图像传感器，并且，所述深度数据测量系统还包括：至少一个可见光投影装置，用于向拍摄区域投射带有纹理的可见光，其中，所述第一和第二图像传感器对投射在相同拍摄空间内的所述带有纹理的红外光和所述带有纹理的可见光进行拍摄以分别得到第一红外光图像和至少一个第一可见光图像，以及第二红外光图像和至少一个第二可见光图像，其中，将所述第一和第二图像传感器针对同一纹理拍摄的图像看作是同组的第一图像和第二图像，并且所述处理器用于：
对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度；基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
所述第一和第二图像传感器中的可见光感光单元可以是rgb感光单元，至少一个可见光投影装置包括分别向拍摄区域投射带有纹理的红色、蓝色和绿色光的三个可见光投影装置，并且所述第一和第二图像传感器在单次拍摄中获取红外、红色、蓝色和绿色四组图像用于匹配窗口的确定。
基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口可以包括：求取相同位置的窗口在各组图像中的置信度之和；以及将置信度之和最高的窗口确定为彼此匹配的窗口。
根据本发明的一个方面，提出了一种深度数据测量方法，包括：使用投影装置向相同的拍摄空间同时投射红外结构光和三种不同颜色的可见光结构光；使用第一和第二图像传感器对投射在相同拍摄空间内的每一种结构光进行拍摄，分别得到各自包括第一图像和第二图像的四组图像，所述第一和第二图像传感器之间具有预定的相对位置关系，并且是本发明所述的图像传感器；对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度；基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
该方法还可以包括：由所述第一和/或第二图像传感器将其拍摄的三幅不同颜色的图像组成为常规可见光图像并确定所述拍摄空间内目标对象的轮廓信息；以及基于所述轮廓信息，帮助确定所述目标对象的深度轮廓。
本发明的图像传感器通过引入分束装置，尤其是反射红外光的四方棱镜，能够以极为简单的设置实现红外和可见光成分的分离和成像的像素级对齐。这一图像传感器可以应用与各类单目和双目测量头中，并且可以优选与可见光投射装置相配合，以多套投射纹理提升窗口匹配精确度。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了采用两个图像传感器拍摄时存在拍摄盲区时的示意图；
图2示出了根据本发明一个实施例的图像传感器的结构示意图；
图3示出了根据本发明一个实施例的图像传感器模块的立体图；
图4示出了根据本发明一个实施例的深度数据测量头的结构示意图；
图5示出了应用本发明的图像传感器的单目测量头的一个例子；
图6示出了根据本发明一个实施例的深度数据测量系统的示意图；
图7示出了根据本发明另一个实施例的深度数据测量系统的结构示意图；以及
图8示出了根据本发明一个实施例的深度数据测量方法的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在需要同时获取同一拍摄对象的红外和彩色图像信息时，如图1所示采用分开设置的红外摄像头和彩色摄像头会造成诸多定标上的不便，并会由于盲区的存在而对成像质量造成直接的影响。为了克服红外图像和彩色图像的光路差异，业已提出了像素级融合的红外-可见光传感器，即，将每像素中的rggb组成替换成rgb-ir组合。上述图像传感器虽然能够完美解决彩色和红外图像的像素级对齐问题，但由于难以在例如cmos的有限面积上同时实现rgb和ir单元的强感光性，因此大大阻碍了这类图像传感器在实际中的使用。
有鉴于此，本发明提出了一种新的图像传感器结构，其能够利用现有的例如彩色和红外传感器器件来实现像素级对齐的红外-可见光传感器。图2示出了根据本发明一个实施例的图像传感器的结构示意图。
本发明的图像传感器200可以包括镜片单元210、分束装置220以及分开设置的红外和可见光感光单元，如图中所示的可见光感光单元230和红外光感光单元240。
镜片单元210用于接收入射光。在一个实施例中，镜片单元210可以用于将入射光汇聚至分束装置220的分束区域，如图2中指示光路的箭头所示。
分束装置220用于将入射光分成可见光光束和红外光光束。入射光包含可见光成分和红外光成分，为此，分束装置220可以包括涂有反射特定波长光波的涂层。在一个实施例中，分束装置220是光学棱镜，例如四方棱镜或三棱镜。其上的涂层例如可以反射特定频率范围的红外光。由此，入射光中经反射的红外光到达红外光感光单元240，后者用于从对所述红外光光束检测特定红外光频率范围内的红外光。入射光中未经反射的可见光则可进行直线传播至可见光感光单元230，后者用于从所述可见光光束检测特定可见光频率范围内的可见光。
如图所示，采用棱镜形式的分束装置220可以将入射光分成传播方向互相垂直的可见光光束和红外光光束。相应地，可见光传感器单元230和红外光传感器单元240也可以垂直布置，以便各自以垂直角度接收入射的可见光和红外光光束。
为了消除视差并实现像素级对齐，需要入射光中的红外和可见光成分具有相同的光程。为此，在使用四分棱镜作为分束装置220的情况下，可以将可见光传感器单元230和红外光传感器单元240布置在与分束装置240的分束区域相距相等的距离处。而在使用三棱镜作为分束装置220的情况下，则可以根据空气与棱镜材料的折射率之比，灵活调整两个感光单元与分束装置220，尤其是与分束区域的距离。
可见光传感器单元230和红外光传感器单元240之间的像素级对齐可以通过使得入射光中的红外和可见光成分共享大部分光路并具有相同的光程来理论实现。但在图像传感器的实际制造过程中，会因为可见光传感器单元230和红外光传感器单元240的实际布置无法呈现理想的垂直和等距状况而造成两者成像之间的偏差。这时，可以对制造好的图像传感器进行强制软件矫正。例如，通过引入标定靶并使得可见光传感器单元230和红外光传感器单元240的成像都与标定靶对齐，从而实现真正的像素级矫正。
如图所示，本发明的图像传感器200可以实现为单独的模块。为此，该图像传感器200还可以包括壳体250，用于固定镜片单元210、分束装置220、可见光感光单元230和红外光感光单元240的相对位置。优选地，壳体250可以结合镜片单元210形成密封体，以避免外界环境对所含器件的污染。在其他实施例中，本发明的图像传感器200可以是更大的模块(例如，深度数据测量头)的一部分，并且由该更大模块的壳体实现各元件之间的固定。
优选地，图像传感器200还可以包括分别连接至可见光感光单元230和红外光感光单元240的线缆260和270。壳体250则具有用于线缆接入的开口。在一个实施例中，线缆260和270可以是柔性线缆，例如fpc(柔性电路板)线。
在一个实施例中，可见光光束和红外光光束在分别入射可见光感光单元230和红外光感光单元240之前，还可以经过滤光片，以进一步滤除其他波长的光的影响。在一个实施例中，用于可见光感光单元230的滤光片可以是可见光透射单元，用于透过特定频率范围的可见光。用于红外光感光单元240的滤光片则可以是红外光透射单元，用于透过特定频率范围红外光，例如本发明中使用波长为780-1100nm的红外光。
优选地，在分束装置是四方棱镜的情况下，滤光片的一侧可以直接与四方棱镜物理接触，另一侧与感光单元物理接触，而感光单元和四方棱镜则卡接在壳体内，由此确保各器件相对位置的高度不变性。
这样，图像传感器就以通过可见光感光单元230来捕获被测物体的彩色图像，通过红外光感光单元240来捕获被测物体的红外图像，获取的红外图像经过处理就可以计算出被测物体的三维数据，从而使得图像传感器捕获的图像中既包含被测物体的色彩信息又包含深度信息。
图像传感器的可见光感应单元用于捕获被测物体的色彩信息，因此可见光感应单元可由三原色感应单元组成，其中三原色可以是红绿蓝三原色(rgb)也可以是青红黄三原色(cmy)。
图3示出了根据本发明一个实施例的图像传感器模块的立体图。如图所示，壳体350连同镜头单元310(或其上的盖体玻璃)将图像传感器各组件密封在内，可见光感光单元和红外光感光单元经由线缆360和370与外部线路相连接。
本发明的图像传感器可以用于单目或双目深度数据测量头，以采集主动投射的红外结构光，并由此通过与参考纹理相比较(单目)或通过窗口匹配求取视差(双目)来获取拍摄区域内目标对象的深度数据。图4示出了根据本发明一个实施例的深度数据测量头的结构示意图。
如图4所示，深度数据测量头400包括红外光投影装置10以及两个图像传感器20和30。上述投射和成像单元可由连接机构40固定，其各自的引线可经由上述连接机构40汇总至线缆50，以方便与处理和控制单元，例如处理器的连接。
红外光投影装置10可以向图像传感器20和30的拍摄空间投射预定红外光频率范围内的结构光，例如980nm波长的红外纹理。优选地，红外光投影装置10如图所示布置在图像传感器20和30之间。
图像传感器20和30是能够对红外光投影装置10投射的结构光进行成像的传感器，并且至少一个是如上结合图2所示的具有彩色和红外成像能力的本发明所述的图像传感器。由此，可以通过使用图像传感器20和30获取待拍摄物体的深度信息，此时两个图像传感器之间有一定距离，通过两个图像传感器各自获取的图像之间的视差即可计算得出待拍摄物体的深度信息。该方法中的深度信息只需要经过简单的标定程序，获得两个图像传感器之间的相对空间关系，就可以进行测量计算。由于至少一个如本发明所述的图像传感器能够获取色彩信息和红外信息两者，因此可以通过彩色图像确定待拍摄物体的轮廓，用以辅助对深度轮廓的确定。
在一个实施例中，图4所示的测量头还可以包括额外的可见光投射装置，用于向拍摄区域投射至少一种特定颜色的可见结构光。在两个图像传感器都使用本发明所述的可见光-红外图像传感器的情况下，可以使用可见光投射装置向拍摄区域投射结构光，可见光感光单元进行双目成像。由于彩色图像和红外图像是像素级对齐的，因此双目获得的红外图像对和彩色图像对可以一并用于后续的窗口匹配。由于同一窗口能够获得两次以上的配对(红外纹理配对，和至少一次可见光纹理配对)，因此能够以更小的窗口实现匹配，从而提升深度数据的获取精度。
优选地，上述可见光投射装置可以包括三个可见光投射单元，其颜色分别与可见光感应单元中的三原色感应单元的颜色相对应。例如，在可见光感觉单元中的三原色是红绿蓝三原色(rgb)的情况下，三个可见光投射单元可以分别投射红光、绿光和蓝光。而在可见光感觉单元中的三原色是青红黄三原色(cmy)的情况下，三个可见光投射单元可以分别投射红光、黄光和青光。由此，将可供匹配的窗口提升为四组，进一步提升深度数据的获取精度。
如上示出了使用至少一个本发明的可见光-红外图像传感器的双目测量头的例子，应该理解的是，本发明的可见光-红外图像传感器同样适用于单目测量头的情况。此时，测量头中可以仅包括一个图像传感器和一个红外光投射装置，并且利用参考面纹理来实现深度数据的确定。图5示出了应用本发明的图像传感器的单目测量头的一个例子。如图所示，单目测量头的组成与图4所示双目测量头相类似，只是图像传感器改为一个。在其他实施例中，单目方案还可以与其他投射方案相结合，例如增加红外均匀光或是可见均匀光的投射装置。
包括本发明的可见光-红外图像传感器的测量头可以进一步连接诸如处理器等的计算模块，以组成深度数据测量系统。图6示出了根据本发明一个实施例的深度数据测量系统的示意图。如图6所示，深度数据测量系统600可以包括红外光投影装置610、图像传感器620和处理器640。
红外光投影装置610可以向拍摄区域投射带有纹理的红外光束，以在拍摄区域的拍摄对象上形成随机分布的红外纹理。图像传感器620是根据本发明的包括红外光感光单元和可见光感光单元两者的传感器，并且其中的红外光感光单元可用于获得拍摄区域中的拍摄对象反射的红外纹理图像。上述红外光投影装置610和图像传感器620可以组成测量头并经由线缆连接至处理器640。处理器640可以根据可见光感光单元获得的可见光图像确定所述拍摄区域内目标对象的轮廓信息，根据所述红外纹理图像与预先存储的至少一个已知纵深距离的参考面纹理进行对比，以确定所述红外纹理相对于所述图像传感器的深度数据，并且结合所述目标对象的轮廓信息确定所述目标对象的深度轮廓。优选地，处理器640还可以根据获取的可见光图像将各个位置处添加相应的色彩，即可得到目标对象的三维图像信息。
以红外纹理是离散光斑为例对整个深度数据测量系统的数据测量过程作进一步说明。
首先，红外光投影装置向拍摄区域投射具有预定纹理的红外光散斑；然后，图像传感器中的红外光感应单元获得拍摄区域中的拍摄对象反射的红外光散斑的散斑图像；继而，处理器根据散斑图像与预定各个参考面的纹理之间的差异即可计算得到各个红外光散斑的深度数据。
由上可知，本实施例的测量系统是利用投射带有编码信息的二维激光纹理图案来对物体表面进行实时三维检测，即向物体表面投射带有编码信息的二维激光纹理图案，例如，离散化的散斑图，由另一位置相对固定的成像装置对激光纹理进行连续采集，处理器将采集到的处理单元将采集的激光纹理序列与预先存储在寄存器(或存储器)内的已知纵深距离的参考面纹理序列进行比较，计算出投射在运动物体表面的各个激光纹理序列片段的纵深距离，并进一步测量得出待测物表面的三维数据。
本实施例是采用激光散斑作为辅助标记手段，在测量过程中对待测对象表面深度信息进行抽样测量，最后对离散的深度信息进行数据重建，从而无限拟合物体表面实际的深度信息。当待测对象表面为复杂曲面，尤其是多个曲面相互连接，且表面没有任何具有可识别的纹理时，能够测量并拟合得到没有纹理信息的曲面的深度信息。
其中上述处理器640的功能可以在计算机处理器上通过编写的计算机程序来实现。可替代地，该处理器640的部分或全部功能可在定制的或半定制的集成电路上实现，也可以在dsp(digitalsignalprocessor，数字信号处理器)或fpga(fieldprogrammablegatearray，现场可编程门阵列)等通用计算芯片上通过运行预先编写的程序实现。
总的说来，上述深度数据测量系统使用单个图像传感器对被检测物体表面的激光纹理进行采集，然后与初始标定的参考面纹理数据进行比较，从而得出物体的深度数据。
通过单个图像传感器捕获物体的深度信息和色彩信息(即，单目实现方案)的系统结构简单，但对红外光散斑投影装置的位置要求严格，初始标定的参考面纹理数据是基于红外光散斑投影装置初始位置设定的，当红外光散斑投影装置的位置发生变化时，图像采集装置所捕获的激光纹理与初始标定的参考面纹理数据不同，会发生图像匹配失败，从而无法正确计算得到待测对象表面的三维数据。为了解决上述问题，本发明还提供了另一种深度数据测量系统。
图7示出了根据本发明另一个实施例的深度数据测量系统的结构示意图。如图7所示，深度数据测量系统700可以包括红外光投影装置710、第一图像传感器720、第二图像传感器730和处理器740。
其中，红外光投影装置710用于向被测空间投射带有纹理的红外光束，以在被测空间中的待检测物体上形成随机分布的红外纹理。
第一图像传感器720和第二图像传感器720都具有红外成像能力，并且至少一个是如本发明所述的可见光-红外图像传感器。两个图像传感器之间具有预定相对空间位置关系并且用于分别对被测空间成像，由于待检测物体上有红外纹理，所以第一图像传感器720和第二图像传感器720的成像包括两个红外纹理图像。
处理器740用于根据所述红外纹理中同一个纹理片段在所述两个红外纹理图像中相对应地形成的纹理片段图像的位置差异、以及所述预定相对位置关系，确定所述红外纹理相对于所述两个图像传感器的深度数据，并且根据所述可见光感光单元获得的可见光图像确定所述拍摄区域内目标对象的轮廓信息，以帮助确定所述目标对象的深度轮廓。
本发明中红外光投影装置发出的在待检测物体表面形成的红外纹理只是用作识别作用，不需要与预先存储的各个距离的参考纹理进行比较，只要能从大量纹理片段中区分各个纹理片段即可，所以本发明对红外光投影装置的位置要求并不严格，一般来说，红外光投影装置与第一图像传感器和第二图像传感器的空间关系可以是任意的，只要满足红外光投影装置的投影区完全覆盖第一图像传感器和第二图像传感器的公共视场即可。然而在优选实施例中，出于紧凑模块化的考虑，通常将红外光投影装置设置在两个图像传感器之间。
由于使用本发明所述的可见光-红外图像传感器可以确保同时测量的色彩信息和深度信息是像素级对齐的，因此保证了色彩信息和深度信息的一致性，消除了采用两分别测量物体的色彩信息和深度信息带来的拍摄盲区，并且可以进一步用于匹配窗口的小型化。
因此，在一个实施例中，第一图像传感器720和第二图像传感器720两者都是本发明的可见光-红外图像传感器。相应地，深度数据测量系统700还可以包括至少一个可见光投影装置，用于向拍摄区域投射带有纹理的可见光。由此，第一和第二图像传感器对投射在相同拍摄空间内的所述带有纹理的红外光和所述带有纹理的可见光进行拍摄以分别得到第一红外光图像和至少一个第一可见光图像，以及第二红外光图像和至少一个第二可见光图像，其中，将所述第一和第二图像传感器针对同一纹理拍摄的图像看作是同组的第一图像和第二图像，并且处理器740可以用于：对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度；基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。优选地，匹配窗口可以通过求取相同位置的窗口在各组图像中的置信度之和，并将置信度之和最高的窗口确定为彼此匹配的窗口来确定。
优选地，第一和第二图像传感器中的可见光感光单元是rgb感光单元。相应地，至少一个可见光投影装置包括分别向拍摄区域投射带有纹理的红色、蓝色和绿色光的三个可见光投影装置，并且所述第一和第二图像传感器在单次拍摄中获取红外、红色、蓝色和绿色四组图像用于匹配窗口的确定。
相应地，本发明还可以了一种深度数据测量方法。图8示出了根据本发明一个实施例的深度数据测量方法的流程示意图。
在步骤s810，使用投影装置向同一拍摄空间同时投射红外结构光和三种不同颜色的可见光结构光(三原色的结构光，例如，红光/蓝光/绿光三种结构光)。
在步骤s820，使用第一和第二图像传感器对投射在相同拍摄空间内的每一种结构光进行拍摄，分别得到各自包括第一图像和第二图像的四组图像，所述第一和第二图像传感器之间具有预定的相对位置关系，并且各自包括分开设置的可见光感光单元和红外光感光单元。
在步骤s830，对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度。
在步骤s840，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
在步骤s850，根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
优选地，该方法还可以包括由所述第一和/或第二图像传感器将其拍摄的三幅不同颜色的图像组成为常规可见光图像并确定所述拍摄空间内目标对象的轮廓信息；基于所述轮廓信息，帮助确定所述目标对象的深度轮廓。
通过同时投射不同的且可彼此分辨的结构光(例如，红外、红光、绿光和蓝光离散光斑)并使用相应的感光单元拍摄多组像素级对齐的图像，能够引入相同位置处匹配窗口的多次置信度求取来提升小窗口的匹配准确率，从而减小颗粒度，提升深度图像的精细程度。另外，由于会对拍摄空间内同一待测对象投射不同的多组结构光，因此相同对象上会有更多的位置上照射到编码结构光。换句话说，能够得到待测对象上较多位置的深度信息，因此可以更加准确地反映待检测物体的深度信息，尤其是能够提升边缘的清晰度。另外，上述红绿蓝信息可以合成为彩色图像，上述彩色图像的轮廓信息能够有助于进一步提升深度数据的深度轮廓的准确度。这对于诸如体积测量等深度数据的应用场合有着重要的意义。
上文中已经参考附图详细描述了根据本发明的图像传感器和深度数据测量头和测量系统。
此外，附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。