一种彩色深度图像的获取方法、获取设备与流程

本发明涉及图像处理技术领域，特别是涉及一种彩色深度图像的获取方法、获取设备。

背景技术：

随着科学技术和人类认识世界需求的不断发展，传统的机器视觉已经不能满足人们对于三维物体识别的要求。与灰度图像相比，深度图像具有物体三维特征信息，即深度信息。由于深度图像不受光源照射方向及物体表面的发射特性的影响，而且不存在阴影，所以可以更准确地表现物体目标表面的三维深度信息。

使用LIDAR(Light Detection And Ranging，即激光探测与测量)、激光束扫描、激光线扫描技术获取的3D点云(3D图像)数据，具有可测量范围大，数据精度高的特点。但是无色彩信息，帧数低，一般为数帧，不能获得彩色深度图像，因而不能基于3D点云进行物品、人体等目标识别。

使用RGB-D(彩色-深度)相机可以直接获取RGB-D图像，帧数高，一般为数十帧，高频可以达到上百帧。与激光线、激光束扫描技术相比，其测量距离范围较小。例如激光线束保证精度可达到200米，RGB-D相机只能达到10米，而RGB-D相机在10-100米，100米-200米范围的深度信息会有较多的数据缺失，精度较低。

技术实现要素：

本发明主要解决的技术问题是提供一种彩色深度图像的获取方法、获取设备，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种彩色深度图像的获取方法，该方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。

其中，第一深度数据为3D点云，包含第二深度数据的彩色图像为RGB-D图像；将第一深度数据与第二深度数据进行配准，包括：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准；根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

其中，将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准，包括：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点；将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

其中，利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像，包括：根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域的RGB值对应赋值于3D点云的第一深度区域；以及根据第三深度区域与第四深度区域之间的像素配准关系，将RGB-D图像的第四深度区域的RGB值对应赋值于3D点云的第三深度区域，以得到目标区域的彩色深度图像。

其中，利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像，还包括：根据3D点云与RGB-D图像之间的像素配准关系，将3D点云中缺失RGB值的像素利用RGB-D图像进行补全。

其中，还包括：利用插值算法对3D点云中缺失RGB值的像素进行RGB值补全。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种彩色深度图像的获取装置，该装置包括：采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；处理器，用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。

其中，采集器包括激光扫描器以及RGB-D相机；激光扫描器用于采集目标区域的3D点云，RGB-D相机用于采集目标区域的RGB-D图像；处理器具体用于：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准；根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

其中，处理器具体用于：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点；将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

其中，处理器还用于利用插值算法对3D点云中缺失RGB值的像素进行RGB值补全。

本发明的有益效果是：区别于现有技术的情况，本发明的彩色深度图像的获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。通过上述方式，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。

附图说明

图1是本发明彩色深度图像的获取方法一实施方式的流程示意图；

图2是本发明彩色深度图像的获取方法一实施方式中S12的流程示意图；

图3是本发明彩色深度图像的获取方法一实施方式中S121的流程示意图；

图4是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的预设深度范围内的配准示意图；

图5是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的预设深度范围外的配准示意图；

图6是本发明彩色深度图像的获取装置第一实施方式的结构示意图；

图7是本发明彩色深度图像的获取装置第二实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明彩色深度图像的获取方法一实施方式的流程示意图，该方法包括：

S11：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像。

其中，第一深度数据的精度大于第二深度数据。

其中，第一深度数据是指包含目标区域多个空间点的深度信息，该深度信息可以是距离或三维坐标。

可选的，在一实施例中，该第一深度数据是3D点云数据。

随着三维成像技术的发展，有各种不同类型的传感器、测量装置及成像系统，可以用来获取3D点云数据。以LIDAR成像系统为例，一般地，LIDAR系统使用高能激光器、光学探测器和计时电路，以确定到目标的距离。在常规LIDAR系统中，一个或多个激光脉冲用来照射场景。每个脉冲触发计时电路，该计时电路与探测器阵列一起操作。一般地，系统测量光脉冲的每个像素通过从激光器到目标和返回到探测器阵列的往返路径的时间。从目标反射的光在探测器阵列中被探测，并且其往返行进时间被测量，以确定到在目标上的点的距离。对于组成目标的多个点，得到计算的范围或距离信息，由此创建3D点云。3D点云可用来再现物体的3D形状。

在3D点云中的每个点与由数字摄像机产生的像素数据有些相似，不同之处是，3D点云数据按三维排列，使点在各个位置处由x、y和z坐标系定义。由LIDAR传感器产生的点的3D图像或云通常称作点云数据。

其中，包含第二深度数据的彩色图像是既包含深度信息又包含RGB信息的图像。

可选的，在一实施例中，该包含第二深度数据的彩色图像是RGB-D图像。

RGB-D图像是复合了RGB彩色信息和对应像素Depth深度值的图像，，相当于包含两幅图像的信息，包括一个普通的RGB三通道彩色图像，和一个Depth(深度)图像。Depth图像是它的每个像素值用于表示该像素对应的物体与传感器之间的距离。RGB-D图像就是RGB图像和Depth图像经过配准的，因而像素点之间具有一对一的对应关系。利用RGB-D相机可以采集RGB-D图像。其中，3D点云和RGB-D图像应当是同时采集的，由于需要同时采集，所以两种采集设备常常需要设置在相邻的两个位置，以使两个采集设备获取目标区域同一视角的图像。但由于两个采集设备之间总会有一定的距离，因此，可以通过相机标定、视角标定等算法，将3D点云和RGB-D图像统一到同一视角。

可以理解的，由于包含第二深度数据的彩色图像的深度数据的精度较低，而具有较高精度的第一深度数据又不具有彩色信息，因此下面需要将第一深度数据赋予彩色图像。

S12：将第一深度数据与第二深度数据进行配准。

由于第一深度数据和第二深度数据的帧数、数据密度以及数据范围均有所差别，所以不能直接将第一深度数据作为彩色图像的深度值，需要将第一深度数据与第二深度数据进行配准，以使获得的彩色深度图像中每个像素的深度值尽量准确。

以上述的3D点云为第一深度数据，RGB-D图像为包含第二深度数据的彩色图像为例，3D点云的深度信息精度高，测量距离远，但是没有RGB信息且帧数低；RGB-D图像帧数高，但是精度低，测量距离较短，一般只能达到10米。

因此，可选的，如图2所示，S12可以具体包括：

S121：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。

S122：根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

可以理解的，在预设范围内(例如10米)，3D点云与RGB-D图像均具有深度数据，可以利用在预设深度范围内的3D点云中的第一深度区域以及RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。

具体地，如图3所示，在一实施例中，S121可以包含以下步骤：

S1211：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点。

S1212：在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点。

S1213：将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

具体参阅图4，图4是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的配准示意图。

其中，图中的D表示深度坐标，a、b、c、d分别表示第一深度区域、第二深度区域、第三深度区域以及第四深度区域。

举例而言，先在3D点云的第一深度区域a中选择像素点A，在RGB-D图像中的第二深度区域b中搜索与像素点A深度值相匹配的像素点B，再将包含像素点A的一个像素点区域与包含像素点B的一个像素点区域的深度数据进行比较配准，若满足预设条件，则认定像素点A和像素点B是匹配的。

进一步，参照上述的方式，可以将3D点云中第一深度区域a的每个像素点在RGB-D图像的第二深度区域b中搜到匹配到相对应的像素点，进而实现在预设深度范围内，3D点云和RGB-D图像的像素配准。

在第一深度区域a与第二深度区域b配准后，可以直接利用其配准关系，实现第三深度区域c与第四深度区域d的配准。

具体地，在第一深度区域a与第二深度区域b配准后，可以对第一深度区域a与第二深度区域b进行定标，使第一深度区域a与第二深度区域b中已经配准的像素一一对应，且在同一副图(3D点云或RGB-D图)中，已配准的像素点之间的距离，或多个像素点形成的网格保持一致。

S13：利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。

可选的，在一具体的实施方式中，S13可以具体包括：

根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域的RGB值对应赋值于3D点云的第一深度区域；以及根据第三深度区域与第四深度区域之间的像素配准关系，将RGB-D图像的第四深度区域的RGB值对应赋值于3D点云的第三深度区域，以得到目标区域的彩色深度图像。

具体地，如图5所示，其中的阴影部分表示具有深度值的像素点，可以看出，在3D点云中，具有深度值的像素点密度较低，但距离较远，而在RGB-D图像中，具有深度值的像素点密度较高，但距离较近，并且在RGB-D图像中，每个像素均具有RGB值。

假设在预设深度范围内，RGB-D的像素点密度是3D点云的两倍，例如，3D点云为4×4个像素，RGB-D图像为8×8个像素。

以矩阵表示，3D点云的矩阵为：

RGB-D图像的矩阵为：

在预设深度范围内的配准中，若A₁₁与B₁₁的深度值相匹配，A₁₂与B₁₃的深度相匹配，A₁₃与B₁₅的深度相匹配，A₁₄与B₁₇的深度相匹配，即3D点云的第一行的1、2、3、4个像素的深度值分别与RGB-D图像中第一行的1、3、4、5个像素相匹配。以此类推，3D点云的第二行的1、2、3、4个像素的深度值分别与RGB-D图像中第三行的1、3、4、5个像素相匹配，3D点云的第三行的1、2、3、4个像素的深度值分别与RGB-D图像中第五行的1、3、4、5个像素相匹配，3D点云的第四行的1、2、3、4个像素的深度值分别与RGB-D图像中第七行的1、3、4、5个像素相匹配。当然，以上举例仅为理想情况，在具体实现中，往往不能实现每个像素点的一一对应。

在预设深度范围内的像素配准后，对像素点进行定标。例如，可以根据RGB-D图像每两个像素之间的距离，来调整3D点云中每两个像素的距离，对3D点云的图像进行缩放，以使在预设深度范围外，3D点云和RGB-D图像也实现像素配准。

最后，根据上述配准关系，直接将RGB-D图像中每个像素点的RGB值一一赋予3D点云中与之匹配的像素点，即第二深度区域的RGB值赋予第一深度区域，第四深度区域的RGB值赋予第三深度区域。从而使得3D点云中的像素点具有RGB值，得到具有深度信息的彩色图像。

可以理解的，在S12的配准过程中，往往不能实现每个像素的匹配，即3D点云中，不是每个像素点均能够在RGB-D图像中找到与之对应的像素点。

在一种实施方式中，可以采用近似配准的方法。例如3D点云中的一个像素在RGB-D图像中找不到与之对应的像素点，但其周围的8个像素点(九宫格形式)在RGB-D图像中正好能够找到匹配的8个像素点，且这8个像素点的中间也缺少一个与之匹配的3D点云中的像素点，因此，可以直接将这两个像素点配准，进而将RGB值赋值于这个像素点。

在另一种实施方式中，也可以利用插值算法对3D点云中缺失RGB值的像素进行RGB值补全。具体地，可以采用三元线性插值、三元三次插值、克里金插值算法等算法中的一种。

区别于现有技术，本实施方式的彩色深度图像的获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。通过上述方式，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。

参阅图6，图6是本发明彩色深度图像的获取装置第一实施方式的结构示意图，该装置包括采集器61以及处理器62。

其中，采集器61用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据。

处理器62用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。

具体地，如图7所示，图7是本发明彩色深度图像的获取装置第二实施方式的结构示意图，采集器61包括激光扫描器611以及RGB-D相机612。

其中，激光扫描器611可以是SLAM装置，RGB-D相机612可以是Kinect。

激光扫描器611用于采集目标区域的3D点云，RGB-D相机612用于采集目标区域的RGB-D图像。

处理器62具体用于：

将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。以及

根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

可选的，在处理器62实现第一深度区域和第二深度区域配准时，可以具体采用以下步骤：

遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点。

在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点。

将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

另外，在其他实施方式中，彩色深度图像的获取装置还可以是一个系统，其中的激光扫描器611和RGB-D相机612是现有的采集装置，两个装置通过数据线或其他方式连接到处理器62，以使处理器62进行以上的数据处理。

另外，该处理器还可以跟其他设备(例如显示器等)形成一个处理设备，例如电脑，激光扫描器611和RGB-D相机612通过数据线连接电脑，以使电脑中的处理器来进行以上的数据处理器。

可以理解的，本实施方式的彩色深度图像的获取装置是基于上述彩色深度图像的获取方法的一具体装置实施例，其原理和实施步骤类似，这里不再赘述。

区别于现有技术，本实施方式的彩色深度图像的获取装置包括：采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；处理器，用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。通过上述方式，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。