一种深度图像的去噪方法、装置和电子设备与流程

本发明涉及图像处理技术领域，具体涉及一种深度图像的去噪方法、装置和电子设备。

背景技术：

与传统的灰度图像或彩色图像相比，深度图像具有物体的三维特征信息，因而越来越多的应用于计算机视觉、计算机图形学等领域。然而tof相机所获得的深度图像易受到显著的噪声干扰，主要的是下列两种噪声：一种是因为光线的反射和遮挡造成的深度值缺失；另一种是由于光线折射造成的图像边缘轮廓突出从而与彩色图像形状不一致。因此需要对深度图像进行去噪，目前一般使用传统的图像去噪技术对深度图像进行处理，图像去噪技术如中值滤波，双边滤波等。

如前述，深度图像中的噪声主要源于物体间遮挡及物体对红外光的反射率、透射率差异所造成的受光不均，并非常见的椒盐噪声或白噪声，因此，传统的图像去噪技术效果不理想，而且也无法有效解决深度图像边缘部分的飞点(flyingpixel)问题。

技术实现要素：

本发明提供了一种深度图像的去噪方法、装置和电子设备，具体是飞行时间tof相机采集的深度图像的去噪，以用于深度数据的平滑滤波，在避免运动拖影的问题的同时，有效降低了深度数据的抖动，而且可以有效去除边缘飞点。

根据本申请的一个方面，提供了深度图像的去噪方法，包括：

读取tof相机同时采集的原始深度图像和原始红外图像；

对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；

对所述原始深度图像进行滤波，得到滤波后的深度图像；

利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。

可选地，对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像包括：

对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；

对所述深度灰度图像和所述红外灰度图像进行基于canny算子的边缘检测，得到深度边缘图像和红外边缘图像；

将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；

对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。

可选地，对所述原始深度图像进行滤波，得到滤波后的深度图像包括：

对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；

对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。

可选地，利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像包括：

遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪。

可选地，判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上包括：

判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。

根据本申请的另一个方面，提供了一种深度图像的去噪装置，包括：

图像读取单元，用于读取tof相机同时采集的原始深度图像和原始红外图像；

边缘单元，用于对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；

滤波单元，用于对所述原始深度图像进行滤波，得到滤波后的深度图像；

去噪单元，用于利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。

可选地，所述边缘单元，具体用于对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；

对所述深度灰度图像和所述红外灰度图像进行基于canny算子的边缘检测，得到深度边缘图像和红外边缘图像；

将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。

可选地，所述滤波单元具体用于对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。

可选地，所述去噪单元，具体用于遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪；

其中，判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。

根据本申请的又一个方面，提供了一种电子设备，电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的方法。

应用本发明实施例的深度图像的去噪方案，读取tof相机同时采集的原始深度图像和原始红外图像，对原始深度图像和原始红外图像进行边缘检测和融合，得到最终的边缘区域图像，对原始深度图像进行滤波，得到滤波后的深度图像，从而降低了深度图像的抖动，提高了图像处理的实时性和鲁棒性。接着，利用边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像，即，将红外图像和深度图像相结合，寻找置信度较高的边缘，有效去除了深度图像的边缘飞点。此外，本申请实施例的去噪处理不使用时间域的信息，从而也避免了图像运动拖影的问题。

附图说明

图1是本发明一个实施例的深度图像的去噪方法流程图；

图2是本发明一个实施例的深度图像的去噪方法流程示意图；

图3是本发明一个实施例的深度图像的去噪装置的框图；

图4是本发明一个实施例的电子设备的结构示意图.

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的设计构思在于：提供一种深度图像去噪方案，通过只使用图像的空间信息(不使用时间信息)，对深度图像平滑滤波，在避免运动拖影的问题的同时有效降低深度图像的抖动。此外，通过将tof相机采集的红外图像和深度图像相结合，寻找到置信度较高的图像的边缘，有效去除深度图像边缘的飞点，图像处理效果好，解决了现有技术中去噪技术效果不理想，而且也无法有效解决深度图像边缘部分的飞点的技术问题。飞点，是介于图像前景和背景之间的点，其产生是由于tof相机本身的深度测量原理导致的。

图1是本发明一个实施例的深度图像的去噪方法流程图，参见图1，本实施例的深度图像的方法包括下列步骤：

步骤s101，读取tof相机同时采集的原始深度图像和原始红外图像；

步骤s102，对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；

步骤s102，对所述原始深度图像进行滤波，得到滤波后的深度图像；

步骤s104，利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。

由图1所示可知，本实施例的深度图像的去噪方法，读取原始深度图和红外图，并对原始深度图和红外图进行边缘检测、融合以得到高置信度的边缘，并且对原始深度图像进行滤波，使用图像的空间信息进行去抖动，避免了运动拖影的问题。最后，利用边缘对滤波后的深度图像进行去噪，有效去除了深度图像的边缘的飞点，保证了图像处理效果。

以下借助图2来详细地说明根据本发明的对深度图像进行去噪的一个具体实例。

参见图2，流程开始，先读取一帧数据。

需要说明的是，这里的一帧数据为tof飞行时间相机拍摄的一帧图像，tof相机可以同时输出深度图像和红外图像，可以理解为从一帧图像数据中可以解析出一张红外图像和一张深度图像。

接下来，对原始深度图像和原始红外图像进行边缘检测和融合，得到最终的边缘区域图像。

本实施例中是先对原始深度图像和原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；对所述深度灰度图像和所述红外灰度图像进行基于canny算子的边缘检测，得到深度边缘图像和红外边缘图像；将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。

这里的对原始深度图像和原始红外图像进行灰度化与三通道彩色图像的灰度化有所区别。本实施例的灰度化，例如，对于深度图，假设其中的深度数据的最大值为depth_max，那么将深度图中的每一个数据乘以数值(255/depth_max)，得到的图就是一个深度灰度图。同理，对于红外图，假设其中的红外数据的最大值为ir_max，那么将红外图中的每一个数据乘以数值(255/ir_max)，得到的图就是一个红外灰度图。本实施例中灰度化原始深度图像和原始红外图像后得到深度灰度图gray_depth和红外灰度图gray_ir。

接着，参见图2，对这两张灰度图分别进行canny边缘检测得到深度边缘图depth_edge和红外边缘图ir_edge。

根据红外图像和深度图像同分辨率(能实现一一映射)的特点，如图2所示，将这两图(深度边缘图depth_edge和红外边缘图ir_edg)进行融合，得到高置信度的融合边缘图merge_edge，其中merge_edge＝depth_edg+ir_edge)。图像融合的目的是将两张或两张以上的图像信息的融合到一张图像上，使得融合的图像含有更多的信息、以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率。

需要说明的是，经过边缘融合后得到的融合边缘图像merge_edge仍是单边缘图像，而由于边缘飞点的存在，这里对得到的merge_edge图像进行膨胀操作处理以扩张边缘，得到最终所需的边缘区域图像final_edge，其中边缘区域图像final_edge的背景的像素点的像素值为0，前景的像素点的像素值为255。

需要说明的是，对得到的merge_edge图像进行膨胀操作为现有技术，可以采用现有技术来实现，比如传统的灰度图像膨胀方法都是基于在每个像素点的一个邻域内(通常是一个矩形区域内)找出最大灰度值来实现灰度图像的膨胀。

接着看图2，本实施例中还对原始深度数据进行滤波，得到滤波后的深度图像。比如对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。这里的中值滤波以及引导滤波的目的是为了去除抖动，提高鲁棒性。

根据引导滤波后的图像以及前述得到的边缘区域图像final_edge进行边缘滤除。需要说明的是，边缘滤除的目的是滤除深度图像的边缘的飞点。一个实施例中，边缘滤除是利用边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。比如，遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪。

这里的判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上包括：判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。

也就是说，遍历滤波后的深度图像smooth_depth，如果像素点在边缘位置(即，对应在边缘区域图像final_edge上的值为255)就将该像素点的深度值设为0，以此去除边缘点。由于边缘区域图像final_edge是根据红外图像和深度图像融合以及进行了膨胀处理后得到的图像，其置信度较高，进而高置信度确定深度图像的边缘，并去除边缘的飞点(飞点，是介于图像前景和背景之间的点，其产生是由于tof相机本身的深度测量原理导致的)，由此，本实施例中方法有效去除了深度图像的边缘飞点，提高了降噪效果。

图3是本发明一个实施例的深度图像的去噪装置的框图，参见图3，本实施例的深度图像的去噪装置300包括：

图像读取单元301，用于读取tof相机同时采集的原始深度图像和原始红外图像；

边缘单元302，用于对所述原始深度图像和所述原始红外图像进行边缘检测和融合，得到最终的边缘区域图像；

滤波单元303，用于对所述原始深度图像进行滤波，得到滤波后的深度图像；

去噪单元304，用于利用所述边缘区域图像，对滤波后的深度图像的边缘部分进行去噪，得到去噪后的图像。

在本发明的一个实施例中，边缘单元302具体用于对所述原始深度图像和所述原始红外图像进行灰度化，得到深度灰度图像和红外灰度图像；对所述深度灰度图像和所述红外灰度图像进行基于canny算子的边缘检测，得到深度边缘图像和红外边缘图像；

将深度边缘图像和红外边缘图像进行融合，得到融合边缘图像；对融合边缘图像进行膨胀操作，得到最终的边缘区域图像。

在本发明的一个实施例中，滤波单元303具体用于对所述原始深度图像进行中值滤波，得到中值滤波后的图像blur_depth；对中值滤波后的图像blur_depth进行引导滤波，得到滤波后的深度图像smooth_depth，其中，引导滤波处理中的引导图像为其本身。

在本发明的一个实施例中，去噪单元304，具体用于遍历滤波后的深度图像smooth_depth，并判断滤波后的深度图像smooth_depth上的像素点是否在边缘区域图像指示的边缘位置上，是则，将该像素点的深度值设为0，以对边缘部分进行去噪；

其中，判断深度图像smooth_depth上的像素点对应的边缘区域图像上的像素点的像素值是否等于255，如果等于255，则确定深度图像smooth_depth上的像素点在边缘区域图像指示的边缘位置上。

需要说明的是，关于图3所示深度图像的去噪装置中的各单元所执行的各功能的举例解释说明，与前述方法实施例中的举例解释说明一致，这里不再一一赘述。

图4是本发明一个实施例的电子设备的结构示意图。如图4所示，该电子设备包括存储器401和处理器402，存储器401和处理器402之间通过内部总线403通讯连接，存储器401存储有能够被处理器402执行的程序指令，程序指令被处理器402执行时能够实现上述的深度图像的去噪方法。

此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。