一种深度图像与彩色图像的配准方法、三维图像采集装置与流程

本发明涉及图像处理技术领域，特别是涉及一种深度图像与彩色图像的配准方法、三维图像采集装置。

背景技术：

在三维摄像或三维人工智能领域，利用基于结构光的深度相机以及彩色相机同时获得目标的深度图像以及彩色图像是目前精度较高且易于实现的方式。由于深度相机与彩色相机在几何上的偏离，导致深度图像与彩色图像有一定的视差，也就是说同一个空间点在深度图像以及彩色图像上对应的像素位置不相同。

在现有技术中，为了将深度图像与彩色图像进行对齐，一般是利用深度图像中的深度值计算出像素视差，再利用视差将深度图像进行偏离修正，这种算法往往不准确，导致对齐效果不佳。

技术实现要素：

本发明主要解决的技术问题是提供一种深度图像与彩色图像的配准方法、三维图像采集装置，无需计算采集的不可见光图像的深度值，能够节省系统的存储空间，同时避免了复杂的计算带来的误差，提高了配准的效率及精度。

为解决上述技术问题，本发明采用的一个技术方案是：提供深度图像与彩色图像的配准方法，该配准方法包括：利用采集设备采集待测对象的不可见光图像和彩色图像；计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值；利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值。

其中，利用采集设备采集待测对象的不可见光图像和彩色图像，包括：利用结构光深度相机向待测对象投影结构光图案，并采集待测对象的不可见光图像；以及利用彩色相机采集待测对象的彩色图像。

其中，利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值，包括：利用偏移值和采集设备的参数计算得到不可见光图像中每个像素在彩色图像上对应像素的像素坐标以及深度值；利用插值算法对彩色图像的像素坐标以及深度值进行处理，得到彩色图像中所有像素的深度值。

其中，利用偏移值和采集设备的参数计算得到不可见光图像中每个像素在彩色图像上对应像素的像素坐标以及深度值，包括：利用以下公式计算得到不可见光图像的像素坐标(uD,vD)与彩色图像的像素坐标(uR,vR)之间的对应关系以及彩色图像的像素坐标(uR,vR)对应的深度值：其中，分别为彩色图像以及不可见光图像坐标系上的像素齐次坐标；ZR为坐标(uR,vR)对应的深度值；MR、MD、R、T为采集设备参数，其中MR、MD分别为彩色相机和结构光深度相机的内参矩阵，R、T分别为结构光深度相机相对于彩色相机的旋转矩阵和平移矩阵；Δ为像素坐标偏移值；B为结构光深度相机中的投影模组和采集模组之间的距离；f为采集模组的镜头焦距。

其中，插值算法为三元线性插值、三元三次插值、克里金插值算法中的一种。

其中，结构光深度相机为红外结构光深度相机，包括红外投影模组以及红外接收模组；结构光图案为不规则的散斑图案。

其中，计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值，包括：确定不可见光图像中每个像素与参考图像中对应像素的位移映射关系；确定相应的搜索算法；根据位移映射关系和搜索算法，计算像素坐标偏移值Δ。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种三维图像采集装置，该采集装置包括：采集设备，用于采集待测对象的不可见光图像和彩色图像；处理器，用于计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值；以及利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值，从而得到待测对象的三维图像。

其中，采集设备包括结构光深度相机以及彩色相机；结构光深度相机用于向待测对象投影结构光图案，并采集待测对象的不可见光图像；彩色相机用于采集待测对象的彩色图像。

其中，处理器具体用于利用以下公式计算得到不可见光图像的像素坐标(uD,vD)与彩色图像的像素坐标(uR,vR)之间的对应关系以及彩色图像的像素坐标(uR,vR)对应的深度值：其中，分别为彩色图像以及不可见光图像坐标系上的像素齐次坐标；ZR为坐标(uR,vR)对应的深度值；MR、MD、R、T为采集设备参数，其中MR、MD分别为彩色相机和结构光深度相机的内参矩阵，R、T分别为结构光深度相机相对于彩色相机的旋转矩阵和平移矩阵；Δ为像素坐标偏移值；B为结构光深度相机中的投影模组和采集模组之间的距离；f为采集模组的镜头焦距。

本发明的有益效果是：区别于现有技术的情况，本发明的深度图像与彩色图像的配准方法包括：利用采集设备采集待测对象的不可见光图像和彩色图像；计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值；利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值。通过上述方式，能够通过直接利用采集的不可见光图像和参考图像计算得到的偏离值以及采集设备的参数得到采集的彩色图像上相应像素坐标上的深度值。由于无需计算采集的不可见光图像的深度值，节省系统的存储空间，同时避免了复杂的计算带来的误差，提高了配准的效率和精度。

附图说明

图1是本发明深度图像与彩色图像的配准方法一实施方式的流程示意图；

图2是本发明深度图像与彩色图像的配准方法一实施方式中S12的一实施例的流程示意图；

图3是本发明深度图像与彩色图像的配准方法一实施方式中S13的一实施例的流程示意图；

图4是本发明三维图像采集装置一实施方式的结构示意图；

图5是本发明三维图像采集装置另一实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明深度图像与彩色图像的配准方法一实施方式的流程示意图，该方法包括：

S11：利用采集设备采集待测对象的不可见光图像和彩色图像。

其中，不可见光图像可以是通过不可见光接收模组采集得到的，彩色图像可以是通过彩色相机采集得到的，采集的方式可以是拍照或摄像。

一般地，由不可见光投影模组向待测对象投影，再通过不可见光接收模组来采集待测对象的不可见光图像。其中的不可见光投影模组和不可见光接收模组可以共同形成一个不可见光拍摄相机。

其中，不可见光投影模组由光源以及衍射光学元件构成，光源采用用于发射与该不可见光波长一致的单个面发射激光，衍射光学元件的作用是将激光经准直后分束成多个不规则分布的不可见光光束。其他实施例中光源也可以采用阵列的光源，例如垂直腔面发射激光阵列，阵列的光源的排列图案可以与投射出的光束图案中的部分子图案一致。不可见光投影模组以及不可见光接收模组之间相隔一定的距离。

此外，不可见光投影模组、不可见光接收模组以及彩色相机可以被配置在同一条直线上，也可以成一定的角度。由于几何上不可见光接收模组与彩色相机不重叠，导致采集的不可见光图像和彩色图像存在着像素视差，即空间中的某个点在不可见光图像和彩色图像中的像素坐标的相对位置不一样。

其中，该不可见光可以是红外光或紫外光等，例如，可以是波长为830nm或850nm的红外光。

可选的，在一实施例中，S11可以具体为：

利用结构光深度相机向待测对象投影结构光图案，并采集待测对象的不可见光图像；以及利用彩色相机采集待测对象的彩色图像。

其中，结构光深度相机为红外结构光深度相机，包括红外投影模组以及红外接收模组；结构光图案为不规则的散斑图案。

可以理解的，在一般情况下，或在待测对象是运动的情况下，结构光深度相机和彩色相机应当均有相同的采集频率，以便能够在同一时刻采集到不可见光图像和彩色图像。当然，在采集对象绝对静止或其他特殊情况下，也可以分时采集不可见光图像和彩色图像。

S12：计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值。

其中，参考图像是已知深度值的一幅不可见光图像。具体地，可以在垂直于结构光深度相机的光轴的平面上放置一平板，该平板与结构光深度相机的距离已知。再向该平板投影结构光图案并通过结构光深度相机进行拍照或摄影得到参考图像。其中，参考图像的图案和采集待测对象的不可见光图像的图案是在同一个投影模组的投影下分别采集得到的，即为了保证其结构光图案(散斑图案)的一致性。

可选的，参考图像的已知深度可以是任意设置的，一般情况下，可以选择结构光深度相机的深度测量范围的中间值，例如，结构光深度相机的深度测量范围为(a,b)，则参考图像的深度可以为

可选的，参阅图2，在一实施例中，S12可以具体包括：

S121：确定不可见光图像中每个像素与参考图像中对应像素的位移映射关系。

S122：确定相应的搜索算法。

S123：根据位移映射关系和搜索算法，计算像素坐标偏移值Δ。

具体地，下面对计算偏移值做简单的介绍：

提取采集的不可见光图像中至少包含目标像素点的一个多像素区域，由于散斑图案是相同的，即可以在参考图像中找到一个与该像素区域极为相似(相似度达到预设条件)的一个区域(即找到不可见光图像中目标像素点在参考图像中的对应像素点)，获得其中与目标像素点对应的像素的坐标，这样通过比较两个像素点的偏移情况，就可以得到空间中同一点在不可见光图像和参考图像中的像素坐标的偏移值。

具体地，首先确定每个像素的位移映射函数，一般而言该函数需要考虑采集的不可见光图像和参考图像两幅图中待测对象上各点的平移以及变形。在本实施例中，由于两幅图中的图案仅仅是由于待测对象深度变化导致位置变化，并没有发生较大的变形，因此可以将该函数简化成仅考虑平移的情形，即：X＝x+Δ。这里X及x分别为待测对象的一个点在采集的不可见光图像以及参考图像中的像素坐标，Δ为待求的像素坐标偏移值。

其次，确定相应的搜索算法。一般采用的是牛顿迭代法，但是该算法涉及大量的根号及除法运算，算法的编写以及执行效率都不高。本实施例可以采用基于迭代最小二乘法的搜索算法。由于仅考虑沿X方向平移的情形，因此仅需要进行一维的搜索算法就可以了，这样可以较大幅度提升算法的效率和精度。

最后结合位移映射函数以及迭代最小二乘法就可以对偏移值Δ进行求解。

S13：利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值。

其中，偏移值为上述S12中计算得到的偏移值Δ，采集设备包括不可见光图像的采集设备和彩色图像的采集设备，在本实施例中，可以是结构光深度相机和彩色相机。采集设备参数包括外参和内参，其中，外参包括结构光深度相机和彩色相机之间的偏移程度，例如距离和旋转角度等，内参包括相机的镜头、焦距等相机内部的参数。

可选的，参阅图3，在一实施例中，S13可以具体包括：

S131：利用偏移值和采集设备的参数计算得到不可见光图像中每个像素在彩色图像上对应像素的像素坐标以及深度值。

由于采集的不可见光图像的每个像素分别和参考图像和采集的彩色图像之间具有对应关系，因此，可以建立彩色图像与参考图像中每个像素坐标之间的对应关系。

具体可以利用以下公式计算得到不可见光图像的像素坐标(uD,vD)与彩色图像的像素坐标(uR,vR)之间的对应关系以及彩色图像的像素坐标(uR,vR)对应的深度值：

其中，分别为彩色图像以及不可见光图像坐标系上的像素齐次坐标；ZR为坐标(uR,vR)对应的深度值；MR、MD、R、T为采集设备参数，其中MR、MD分别为彩色相机和激光相机的内参矩阵，R、T分别为激光相机相对于彩色相机的旋转矩阵和平移矩阵；Δ为像素坐标偏移值；B为结构光深度相机中的投影模组和采集模组之间的距离；f为采集模组的镜头焦距。

S132：利用插值算法对彩色图像的像素坐标以及深度值进行处理，得到彩色图像中所有像素的深度值。

由于采集的不可见光图像与彩色图像有一定的偏移，不可见光图像中的每个像素不可能都能够在彩色图像中找到一个与之对应的像素，换句话说，彩色图像中会有部分像素点无法得到其深度值，因此，可以利用插值算法对彩色图像的像素坐标以及深度值进行处理，得到彩色图像中所有像素的深度值。

可选的，插值算法为三元线性插值、三元三次插值、克里金插值算法中的一种，这里不作限定。

这样，通过上述的S11-S13，就得到了采集到的彩色图像中每个像素的深度值，即可以获取具有深度信息的彩色图像了，换句话说，即完成了深度图像和彩色图像的配准。

当然，在其他实施方式中，也可以通过上述的对应方式来获得不可见光图像中每个像素的RGB值，再通过与参考图像进行相关算法，得到不可见光图像的深度值，从而得到具有深度信息的彩色图像。

区别于现有技术，本实施方式的深度图像与彩色图像的配准方法包括：利用采集设备采集待测对象的不可见光图像和彩色图像；计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值；利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值。通过上述方式，能够通过直接利用采集的不可见光图像和参考图像计算得到的偏离值以及采集设备的参数得到采集的彩色图像上相应像素坐标上的深度值。由于无需计算采集的不可见光图像的深度值，节省系统的存储空间，同时避免了复杂的计算带来的误差，提高了配准的效率和精度。

参阅图4，图4是本发明三维图像采集装置一实施方式的结构示意图，该装置包括：

采集设备41，用于采集待测对象的不可见光图像和彩色图像；

处理器42，用于计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值；以及利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值，从而得到待测对象的三维图像。

其中，采集设备41具体包括结构光深度相机411以及彩色相机412。

结构光深度相机411用于向待测对象投影结构光图案，并采集待测对象的不可见光图像。

彩色相机412用于采集待测对象的彩色图像。

其中，在另一实施方式中，如图5所示，结构光深度相机411为红外结构光深度相机50，其包括：红外投影模组51，用于向待测对象投影红外结构光图案；红外接收模组52，用于采集待测对象的红外图像。

可选的，红外投影模组51用于投影红外散斑图案，红外接收模组52用于接收待测对象的红外散斑图像。

可以理解的，红外投影模组51、红外接收模组52以及彩色相机412可以在同一条直线上设置，也可以一定的角度设置。

可选的，在其他实施方式中，处理器42还用于

利用以下公式计算得到不可见光图像的像素坐标(uD,vD)与彩色图像的像素坐标(uR,vR)之间的对应关系以及彩色图像的像素坐标(uR,vR)对应的深度值：

其中，分别为彩色图像以及不可见光图像坐标系上的像素齐次坐标；ZR为坐标(uR,vR)对应的深度值；MR、MD、R、T为采集设备参数，其中MR、MD分别为彩色相机和激光相机的内参矩阵，R、T分别为激光相机相对于彩色相机的旋转矩阵和平移矩阵；Δ为像素坐标偏移值；B为结构光深度相机中的投影模组和采集模组之间的距离；f为采集模组的镜头焦距。

下面，以一具体的例子，对本实施方式的原理和步骤进行详细介绍：

1、首先利用红外相机以及彩色相机采集目标的散斑图像以及彩色图像。

这里需要利用处理器将红外相机的红外接收模组与彩色相机的采集时间及频率进行设置，实现对目标图像的同步采集。红外接收模组以及彩色相机的内部参数(焦距及中心)以及彩色相机相对于红外接收模组的外部参数(旋转及平移参数)事先需要进行标定，一般而言这些参数会被保存于系统指定的内存中，在后续进行计算时，可以随时进行调用。

2、然后利用数字图像相关法计算出红外图像相对于参考散斑图像中各像素点的偏离值Δ。

与相机内、外参数标定类似，参考散斑图像也是预先获取的。具体步骤是在距离红外接收模组已知的深度Z0处，放置垂直于红外接收模组光轴的平板，然后利用红外投影模组向该平板上投影散斑，再由红外接收模组采集到的散斑图像即为参考散斑图像。

3、再结合相机参数以及偏离值Δ计算出彩色相机像素坐标系下的一组包含深度值以及坐标值的三维点云数据。

第二步计算出红外散斑图像中各个像素的偏值Δ后，由下式直接计算出一组由像素坐标以及深度值构成的三维点云数据为(uR,vR,ZR)：

其中，分别为彩色图像以及不可见光图像坐标系上的像素齐次坐标；ZR为坐标(uR,vR)对应的深度值；MR、MD、R、T为采集设备参数，其中MR、MD分别为彩色相机和激光相机的内参矩阵，R、T分别为激光相机相对于彩色相机的旋转矩阵和平移矩阵；Δ为像素坐标偏移值；B为结构光深度相机中的投影模组和采集模组之间的距离；f为采集模组的镜头焦距。

得到的三维点云数据指的是深度相机各个像素对应的空间点成像在彩色相机像素坐标系中的坐标值以及深度值。

4、最后利用插值算法计算出彩色相机各像素点的深度值。

其中，插值算法可以为三元线性插值、三元三次插值、克里金插值算法中的一种。

区别于现有技术，本实施方式的三维图像采集装置包括：采集设备，用于采集待测对象的不可见光图像和彩色图像；处理器，用于计算不可见光图像中每个像素相对于参考图像的像素坐标偏移值；以及利用偏移值和采集设备的参数计算得到彩色图像中每个像素的深度值。通过上述方式，能够通过直接利用采集的不可见光图像和参考图像计算得到的偏离值以及采集设备的参数得到采集的彩色图像上相应像素坐标上的深度值。由于无需计算采集的不可见光图像的深度值，节省系统的存储空间，同时避免了复杂的计算带来的误差，提高了配准的效率及精度。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。