一种融合彩色与灰阶深度图像的方法与流程

本公开属于图像处理、计算机视觉和人机交互技术领域，具体涉及一种融合彩色与灰阶深度图像的方法。

背景技术：

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息、运动情况，而且能判断其形状、空间及空间位置(深度、距离)。深度信息的实时获取有助于现实物理世界与虚拟网络世界的交互，加强人与人、人与机器、机器与机器之间沟通学习，增强机器的智能化水平。

通过三维深度感知装置可实时获取投射空间范围内的高精度深度信息(距离)，其精度可达到毫米级别甚至更小，可采用彩色与灰阶融合的深度图像来直观、准确地表示纹理信息与距离信息，其中灰阶深度图像的每个像素值对应物理空间一个点的深度信息(即距离值)。比如目标物体距离三维深度感知装置的摄像头为5米，深度精度要达到毫米，则需要约2¹³个数据来表示，对应需要用13bits的高灰阶深度图像来表示物体空间的深度信息。人眼对于颜色信息的分辨能力远大于对灰度信息的分辨能力，灰阶深度图像是一种单色图像，其与伪彩色深度图提供的场景信息有限，难以完全反映出物理空间的深度信息。彩色图像符合人眼的观察方式，但是彩色图像不包含物理空间的深度信息。如何将自然光照下的彩色图像与灰阶深度图像融合，从而能够更加真实地反映场景信息，已经成为三维深度获取的重要内容。

技术实现要素：

针对以上问题，本公开的目的在于提供一种融合彩色与灰阶深度图像的方法，本公开将通过三维深度感知设备获取的彩色和灰阶深度图像进行融合，相对于单纯的灰阶深度图像更符合人眼观察方式，能更清晰的反映场景信息。

一种融合彩色与灰阶深度图像的方法，包括以下步骤：

s100：对三维深度感知设备的深度传感器和rgb传感器的内参和外参进行标定；

s200：通过所述深度传感器获取灰阶深度图像，并将所述灰阶深度图像中各像素的深度值映射到yuv图像格式中的yu或yv通道生成相应的yuv深度图像，同时，通过所述rgb传感器获取rgb彩色图像；

s300：将步骤s200中的所述yuv深度图像转换为rgb深度图像，并与所述rgb彩色图像压缩编码后输出；

s400：对步骤s300中被压缩编码的rgb深度图像与rgb彩色图像进行解压缩，将解压缩后的rgb深度图像转换为yuv深度图像，并恢复步骤s200中映射到yuv图像格式中的yu或yv通道中的灰阶深度图像中各像素的深度值；

s500：对步骤s400中的所述yuv深度图像和所述rgb彩色图像进行配准；将步骤s400中被恢复的所述灰阶深度图像中各像素的深度值和配准后的所述rgb彩色图像的纹理信息融合，生成彩色与灰阶融合的深度图像。

优选的，步骤s100中，所述深度传感器和所述rgb传感器的内参分别标定为{fi，ci}和{fr，cr}，所述深度传感器和所述rgb传感器的外参分别标定为r、t，其中，fi表示深度传感器的焦距，ci表示深度传感器的中心点；fr表示rgb传感器的焦距，cr表示rgb传感器的中心点；r为旋转矩阵，t为平移矩阵。

优选的，步骤s200中，所述灰阶深度图像生成yuv深度图像包括：所述灰阶深度图像的各像素的深度值的高8位作为yuv深度图像的y通道，所述灰阶深度图像的各像素的深度值的低位作为yuv深度图像的u通道或v通道，yuv深度图像的v通道或u通道给定常数128。

优选的，步骤s300中，所述yuv深度图像按如下方式转换为rgb深度图像：

其中，y、u、v分别表示yuv深度图像的y、u、v通道的值，r、g、b分别表示rgb深度图像的r、g、b通道的值。

优选的，步骤s300中，所述yuv深度图像转换生成所述rgb深度图像后，与步骤200中的rgb彩色图像压缩编码后输出。

优选的，步骤s400中，所述解压缩按如下方式：

其中，r、g、b分别表示rgb深度图像的r、g、b通道的值，y、u、v分别表示yuv深度图像的y、u、v通道的值。

优选的，步骤s500中，对所述yuv深度图像和所述rgb彩色图像进行配准包括如下步骤：

s501：根据步骤s100中所标定的内参和外参，通过yuv深度图像中的像素坐标(id，jd)计算rgb彩色图像中对应的像素坐标(ir，jr)，所述yuv深度图像中的像素坐标(id，jd)在以深度传感器为原点的空间坐标系中的坐标表示为：

其中，(xd，yd，zd)表示像素坐标(id，jd)在深度传感器空间坐标系中对应的坐标，dis表示像素坐标(id，jd)对应的深度值，fix、fiy分别表示深度传感器焦距fi在x、y方向的焦距值，cix、ciy分别表示深度传感器中心点ci的在深度图像中的像素坐标；

s502：将所述深度传感器的空间坐标转换为以rgb传感器为原点的空间坐标系中的坐标，表示如下：

其中，(xr，yr，zr)表示空间坐标(xd，yd，zd)在rgb传感器空间坐标系中对应的坐标；

s503：将所述rgb传感器的空间坐标转换为rgb深度图像的像素坐标，表示如下：

其中，frx、fry分别表示rgb传感器焦距fr在x、y方向的焦距值，crx、cry分别表示rgb传感器中心点cr的在彩色图像中的像素坐标，(ir，jr)是空间坐标(xr，yr，zr)在彩色图像中对应的像素坐标。

优选的，步骤s500中，将步骤s400中被恢复的所述灰阶深度图像中各像素的深度值和所述rgb彩色图像的纹理信息融合按以下方式进行：

其中，r(ir，jr)、g(ir，jr)、b(ir，jr)分别为融合后的深度图像像素的(ir，jr)的r、g、b通道的值，r(ir，jr)、g(ir，jr)、b(ir，jr)为rgb彩色图像像素(ir，jr)的r、g、b通道的值，gray(id，jd)为对应深度图像像素(id，jd)的灰度值，α、β分别为常量系数。

与现有技术相比，本公开带来的有益效果为：

本公开将深度图的灰阶和rgb的彩色信息进行了融合，即在深度图中加入了彩色信息，使显示的深度图信息更丰富，场景细节更醒目，从而便于人眼观察。

附图说明

图1为本公开的一种融合彩色与灰阶深度图像的方法流程图。

具体实施方式

下面结合附图和实施例对本公开的技术方案进行详细描述。

参见图1，一种融合彩色与灰阶深度图像的方法，包括如下步骤：

s100：对三维深度感知设备的深度传感器和rgb传感器的内参和外参进行标定；

s200：通过所述深度传感器获取灰阶深度图像，并将所述灰阶深度图像中各像素的深度值映射到yuv图像格式中的yu或yv通道生成相应的yuv深度图像，同时，通过所述rgb传感器获取rgb彩色图像；

s300：将步骤s200中的所述yuv深度图像转换为rgb深度图像，并与所述rgb彩色图像压缩编码后输出；

s400：对步骤s300中被压缩编码的rgb深度图像与rgb彩色图像进行解压缩，将解压缩后的rgb深度图像转换为yuv深度图像，并恢复步骤s200中映射到yuv图像格式中的yu或yv通道中的灰阶深度图像中各像素的深度值；

s500：对步骤s400中的所述yuv深度图像和所述rgb彩色图像进行配准；将步骤s400中被恢复的所述灰阶深度图像中各像素的深度值和配准后的所述rgb彩色图像的纹理信息融合，生成彩色与灰阶融合的深度图像。

至此，本实施例完整的公开了本发明的技术方案，通过将深度图的灰阶和rgb的彩色信息进行了融合，使得所显示的深度图信息更丰富，场景细节更醒目，便于人眼观察。

在另一个实施例中，步骤s100中，所述深度传感器和所述rgb传感器的内参分别标定为{fi，ci}和{fr，cr}，所述深度传感器和所述rgb传感器的外参分别标定为r、t，其中，fi表示深度传感器的焦距，ci表示深度传感器的中心点；fr表示rgb传感器的焦距，cr表示rgb传感器的中心点；r为旋转矩阵，t为平移矩阵。

在步骤s100的具体实施过程中，将三维深度感知设备中的深度传感器和rgb传感器设置为同步拍摄。通过深度传感器和rgb传感器同步拍摄棋盘格的深度图像和rgb彩色图像，利用张正友标定法标定出深度传感器和rgb传感器的内参和外参。

更具体的，深度传感器和rgb传感器同时拍摄标定物体，如棋盘格标定板，调整标定物的位置或角度，拍摄多组图像；然后检测每幅图片中角点的位置，根据张正友标定法求得两个传感器各自的内参{fi，ci}和{fr，cr}，最后根据张正友标定法中各个坐标系之间的几何关系，求得两个摄像头之间的的外参r、t。

在另一个实施例中，步骤s200中，所述灰阶深度图像生成yuv深度图像包括：所述灰阶深度图像的各像素的深度值的高8位作为yuv深度图像的y通道，所述灰阶深度图像的各像素的深度值的低位作为yuv深度图像的u通道或v通道，yuv深度图像的v通道或u通道给定常数128。

在步骤s200的具体实施过程中，深度传感器获取灰阶深度图像后映射到yu或yv通道，以yuv422格式输出。灰阶深度图像中的每个像素都具有一个深度值且深度值在8位以上，深度值的高8位作为yuv深度图像的y通道，深度值的低位作为yuv深度图像的u通道或v通道，相应的，yuv深度图像的v通道或u通道给定常数128；在深度传感器获取灰阶深度图像的同时，rgb传感器对rgb彩色图像进行采集。

在另一个实施例中，步骤s300中，所述yuv深度图像按如下方式转换为rgb深度图像：

其中，y、u、v分别表示yuv深度图像的y、u、v通道的值，r、g、b分别表示rgb深度图像的r、g、b通道的值。

在另一个实施例中，步骤s300中，所述yuv深度图像转换生成所述rgb深度图像后，与步骤200中的rgb彩色图像压缩编码后输出。

在步骤s300的具体实施过程中，所述yuv深度图像转换为rgb深度图像后，与步骤s200中获得的rgb彩色图像压缩编码后通过usb接口输出到显示设备。

在另一个实施例中，步骤s400中，所述解压缩按如下方式：

其中，r、g、b分别表示rgb深度图像的r、g、b通道的值，y、u、v分别表示yuv深度图像的y、u、v通道的值。

在步骤s400的具体实施过程中，显示设备接收步骤s300中经压缩编码的rgb深度图像和rgb彩色图像并进行解压缩，解压缩后，rgb深度图像被转换为yuv深度图像，从yuv深度图像的y通道中恢复灰阶深度图像的各像素的深度值的高8位，从yuv深度图像的u通道中恢复灰阶深度图像的各像素的深度值的低位，从而得到灰阶深度图像的各像素的深度值。

在另一个实施例中，步骤s500中，对所述yuv深度图像和所述rgb彩色图像进行配准包括如下步骤：

s501：根据步骤s100中所标定的内参和外参，通过yuv深度图像中的像素坐标(id，jd)计算rgb彩色图像中对应的像素坐标(ir，jr)，所述yuv深度图像中的像素坐标(id，jd)在以深度传感器为原点的空间坐标系中的坐标表示为：

其中，(xd，yd，zd)表示像素坐标(id，jd)在深度传感器空间坐标系中对应的坐标，dis表示像素坐标(id，jd)对应的深度值，fix、fiy分别表示深度传感器焦距fi在x、y方向的焦距值，cix、ciy分别表示深度传感器中心点ci的在深度图像中的像素坐标；

s502：将所述深度传感器的空间坐标转换为以rgb传感器为原点的空间坐标系中的坐标，表示如下：

其中，(xr，yr，zr)表示空间坐标(xd，yd，zd)在rgb传感器空间坐标系中对应的坐标；

s503：将所述rgb传感器的空间坐标转换为rgb深度图像的像素坐标，表示如下：

其中，frx、fry分别表示rgb传感器焦距fr在x、y方向的焦距值，crx、cry分别表示rgb传感器中心点cr的在彩色图像中的像素坐标，(ir，jr)是空间坐标(xr，yr，zr)在彩色图像中对应的像素坐标。

在另一个实施例中，步骤s500中，将步骤s400中被恢复的所述灰阶深度图像中各像素的深度值和配准后的所述rgb彩色图像的纹理信息融合按以下方式进行：

其中，r(ir，jr)、g(ir，jr)、b(ir，jr)分别为融合后的深度图像像素的(ir，jr)的r、g、b通道的值，r(ir，jr)、g(ir，jr)、b(ir，jr)为rgb彩色图像像素(ir，jr)的r、g、b通道的值，gray(id，jd)为对应深度图像像素(id，jd)的灰度值，α、β分别为常量系数。

以上实施例的说明只是用于帮助理解本公开及其核心思想。应当指出，对于本技术领域的技术人员来说，在不脱离本公开原理的前提下，还可以对本公开进行若干改进和修饰，这些改进和修饰也落入本公开权利要求的保护范围内。