图像像素深度值优化方法及其装置、设备和存储介质与流程

本发明涉及深度图像处理技术领域。尤其是涉及一种图像像素深度值优化方法及其装置、设备和存储介质。

背景技术：

随着机器视觉、安防、监控、物流分拣、自动驾驶、机器人的快速发展，采用深度相机采集环境的深度信息然后进行物体识别、环境建模等越来普遍。相对于传统2d相机，3d相机增加了一维的深度信息，能够更好的对真实世界进行描述。在许多领域如安防、监控、机器视觉、机器人等，拓展了更多的可能，如自动驾驶中的物体识别和障碍物检测，工业中散乱码放物体的识别、分拣、拆垛、码垛，物流场景中物体的货架抓取等。

从原理上来讲，深度相机测量深度主要分为两大类：基于特征匹配的深度测量原理、及基于反射时间的深度测量原理，而上述两类原理的深度相机所产生的深度图或多或多或少都存在一些瑕疵。比如深度值的缺失和噪声等。这些瑕疵不仅在视觉上照成影响，也会对使用到深度图的算法程序照成性能上的影响，为了优化基于深度相机数据的算法性能，对深度相机采集到的数据进行优化处理就显得格外重要。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种，用于解决现有技术中对深度值的缺失和噪声优化不足的问题。

为实现上述目的及其他相关目的，本发明提供一种图像像素深度值优化方法，所述方法包括：s1、获取当前帧的深度图像、及其对应的色彩图像；s2、根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；s3、判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设第一阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；s4、依据所述目标像素对应的新的深度值，重复一次或多次步骤s2和/或步骤s3，以对所述深度值进行优化。

于本发明的一实施例中，所述权重值和/或所述第一阈值通过修改以适用不同型号或类型的深度图像获取设备。

于本发明的一实施例中，所述权重值的确定是依据所述滤波区域内的色彩像素域内的数值、空间像素域内的数值、及深度像素域内的数值。

于本发明的一实施例中，所述针对以任意一目标像素为中心的滤波区域内的每个像素赋权重值的方法包括：其中，p表示目标像素，目标像素p的坐标为滤波区域s的中心，q表示滤波区域内的任意一像素；wq表示任意一像素的权重值；及对应所述色彩像素域表示像素的色彩数值；q、及p对应所述空间像素域表示像素的坐标值；ip、及iq对应所述深度像素域表示像素的深度数值；表示一维的高斯分布。

于本发明的一实施例中，所述第一阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第一阈值为所述滤波区域内全部像素个数的一定比例。

于本发明的一实施例中，所述步骤s2在得到所述目标像素对应的新的深度值后的方法还包括：判断所述滤波区域内有效深度值的像素个数是否小于预设第二阈值；若是，则判定所述滤波区域对应的所述目标像素的新的深度值无效。

于本发明的一实施例中，所述第二阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第二阈值为所述滤波区域内全部像素个数的一定比例。

为实现上述目的及其他相关目的，本发明提供一种图像像素深度值优化装置，所述装置包括：获取模块，用于获取当前帧的深度图像、及其对应的色彩图像；双边滤波模块，用于根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化；均值滤波模块，用于判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化。

为实现上述目的及其他相关目的，本发明提供一种图像像素深度值优化设备，所述设备包括：存储器、及处理器；所述存储器用于存储程序；所述处理器运行程序实现如上所述的图像像素深度值优化方法。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的图像像素深度值优化方法。

综上所述，本发明提供的一种图像像素深度值优化方法及其装置、设备和存储介质。具有以下有益效果：

能够针对图像中深度值缺失的像素进行弥补，并且有效减少噪声，同时能够适用多种型号或类型的深度相机。

附图说明

图1显示为本发明于一实施例中的图像像素深度值优化方法的流程示意图。

图2显示为本发明于一实施例中的图像像素深度值优化装置的模块示意图。

图3显示为本发明于一实施例中的图像像素深度值优化设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

深度相机，顾名思义，指的是可以测量物体到相机距离(深度)的相机，如微软的kinect，kinect2，intel的realsense甚至包括激光雷达也可以归为深度相机。

从原理上来讲，深度相机测量深度主要分为两大类：

1)基于特征匹配的深度测量原理，如基于红外散斑结构光原理的kinect1，基于红外条纹结构光的intelrealsense，基于可见条纹结构光的enshape，甚至单纯采用双目视觉的bumblebee等等；上述几类相机无论采用哪种结构光或者不采用结构光，其最终计算深度时本质上采用的均可以看作是特征匹配的方法。

2)基于反射时间的深度测量原理，如kinect2.0，mesa的sr4000，sr4500，googleprojecttango采用的pmdtech的相机，intel的softkinectdepthsense甚至包括无人驾驶领域l3和l4的分水量激光雷达等等；上述几类相机在计算深度信息时无一例外地均采用发射光与反射光之间的时间差计算深度。

如图1所示，展示本发明于一实施例中的图像像素深度值优化方法的流程示意图。如图所示，所述方法包括：

步骤s1：获取当前帧的深度图像、及其对应的色彩图像。

于本发明的一实施例中，可通过如上举例的深度相机获取对应一场景的深度图像、及其对应的色彩图像，从中提取出当前帧的深度图像、及其对应的色彩图像。

其中，所述深度图像中包含对应当前帧场景中的深度信息，所述色彩图像则包含对应当前帧场景中的色彩信息。

步骤s2：根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值。

其中，所述边缘信息是指对应当前帧场景中边缘处的信息，通常图像中边缘处的像素深度值容易破损或损失，而本发明所述的图像像素深度值优化方法也侧重与优化深度图中物体边缘的深度值破损和缺失。

于本发明的一实施例中，所述权重值的确定是依据所述滤波区域内的色彩像素域内的数值、空间像素域内的数值、及深度像素域内的数值。

这里所述色彩像素域、空间像素域、及深度像素域是分别对应像素中色彩、空间、深度数据的一种说法。

于本发明的一实施例中，所述针对以任意一目标像素为中心的滤波区域内的每个像素赋权重值的方法包括：

其中，p表示目标像素，目标像素p的坐标为滤波区域s的中心，q表示滤波区域内的任意一像素；wq表示任意一像素的权重值；及对应所述色彩像素域表示像素的色彩数值；q、及p对应所述空间像素域表示像素的坐标值；ip、及iq对应所述深度像素域表示像素的深度数值；表示一维的高斯分布。

需要注意的是，ip、及iq对应的深度像素域部分没有使用绝对值进行处理，这是为了尽可能用近处的物体来填充破缺的深度。

于本实施例中，当在图像的平坦区域时，深度(彩色)像素值变化很小，对应的深度像素域的权重接近于1，此时空间像素域权重起主要作用，相当于进行高斯模糊；而当在图像的边缘区域时，像素值变化很大，深度像素域的权重变大，从而保持了边缘的信息。

另外，如果不提供彩色图像，该算法还可以在去除第一部分权重的情况下继续运行得到结果，或者将彩色值取0带入计算。

于本发明的一实施例中，在得到所述滤波区域中任意一像素的权重值后，将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值。具体公式如下：

新的深度值为：

其中，其中wq表示任意一像素q在当前所述滤波区域内的权重；t＝∑q∈swq。

举例来说，应用于具体仿真或处理系统中时，可以进行如下操作：

输入项：1)原始深度图i，对应的彩色图像i^c；2)采样区域矩形框的长w和高h；3)阈值t；4)高斯分布的方差：σs，σt，σu。

对于每个目标图像中的像素深度值i′ij：

于本发明的一实施例中，所述步骤s2在得到所述目标像素对应的新的深度值后的方法还包括：判断所述滤波区域内有效深度值的像素个数是否小于预设第二阈值；若是，则判定所述滤波区域对应的所述目标像素的新的深度值无效。

于本实施例中，前文可知图像中边缘处的像素深度值容易破损或损失，所以所述有效深度值的像素是指深度值没有出现破损或损失的像素。

所述判断所述滤波区域内有效深度值的像素个数是否小于预设第二阈值，那么与之相对地，还可以通过判断或统计深度值破损和缺失的像素点的个数进行对应的判断，例如深度值为0的像素点。

于本发明的一实施例中，所述第二阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第二阈值为所述滤波区域内全部像素个数的一定比例。

举例来说，所述滤波区域任意一边长包含了10个像素点，那么可以算该边长长度为10像素点，故所述第二阈值可设置为10的倍数的，如5(0.5倍)、10(1倍)、20(2倍)等等。或者，所述第二阈值还可以使所述滤波区域内全部像素个数的一定比例，如5％、10％等。

步骤s3：判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值。

于本实施例中，双边滤波可以弥补深度图缺失的部分，完善深度图的数据，但是会引入一些不期望的深度噪声，所以就需要使用均匀滤波来抑制噪声。

于本发明的一实施例中，所述第一阈值为所述滤波区域任意一边长长度的一定倍数；或，所述第一阈值为所述滤波区域内全部像素个数的一定比例。

于本实施例中，所述第一阈值与所述第二阈值相互独立，各自设置不同数值，互无影响，并且各自对应的所述滤波区域也相互独立，可以相同，也可以不同。

举例来说，原始深度值为d，步骤s2处理得到新的深度值d1，假设这里通过判断所述滤波区域内有效深度值的像素个数，判断为无效，那么步骤s3所依据的深度值则为d；而如果d1判断为有效，那么步骤s3所依据的深度值则为d1，并经过处理得到d2。

再举例来说，应用于具体仿真或处理系统中时，可以进行如下操作：

输入项：1)原始深度图i，对应的彩色图像i^c；2)采样区域矩形框的长w和高h；3)阈值t。

对于每个目标图像中的像素深度值i′ij：

于本发明的一实施例中，所述权重值和/或所述第一阈值通过修改以适用不同型号或类型的深度图像获取设备。

通过修改权重值和/或第一阈值，可以起到不同的效果，从而使用不同型号或类型的深度图像获取设备(如各类型的深度相机)。

步骤s4：依据所述目标像素对应的新的深度值，重复一次或多次步骤s2和/或步骤s3，以对所述深度值进行优化。

于本实施例中，重复一次或多次步骤s2和/或步骤s3，包括各自重复，以及作为整体的重复。

如，原始深度值为d，经步骤s2处理的到d1，再经步骤s2重复处理可以得到d2～dn，相应的，步骤s3重复也是一样。

当步骤s2与步骤s3作为整体进行重复时则有：如原始深度值为d，经步骤s2处理的到d1，再经步骤s3处理得到d2，再进行一次或多次重复时，步骤s2依据d2进行处理并得到d3，步骤s3依据d3进行处理并得到d4，依次类推。

于本实施例中，针对步骤s2和/或步骤s3重复几次以及如何重复，则依据每次得到的深度值的情况而定。

如图2所示，展示本发明于一实施例中的图像像素深度值优化装置的模块示意图。如图所示，所述图像像素深度值优化装置200包括：

获取模块201，用于获取当前帧的深度图像、及其对应的色彩图像。

双边滤波模块202，用于根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化。

均值滤波模块203，用于判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值；以及依据所述目标像素对应的新的深度值，重复一次或多次该步骤，以对所述深度值进行优化。

于本发明的一实施例中，通过各模块配合使用能够实现如图1所述的图像像素深度值优化方法的各步骤。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，双边滤波模块202可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上双边滤波模块202的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，简称asic)，或，一个或多个微处理器(digitalsignalprocessor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。

如图3所示，展示本发明于一实施例中的图像像素深度值优化设备的结构示意图。如图所示，所述图像像素深度值优化设备300包括：存储器301、及处理器302；所述存储器301用于存储程序；所述处理器302运行程序实现如图1所述的图像像素深度值优化方法。

所述存储器301可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

所述处理器302可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的图像像素深度值优化方法。

所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明提供的一种图像像素深度值优化方法及其装置、设备和存储介质，通过获取当前帧的深度图像、及其对应的色彩图像，根据所述深度图像、及色彩图像中的边缘信息，对以任意一目标像素为中心的滤波区域内的每个像素赋权重值，并将所述滤波区域内每个像素的权重值和当前深度值进行加权平均运算，以得到所述目标像素对应的新的深度值，然后判断以任意一目标像素为中心的滤波区域内有效深度值的像素个数是否小于预设第一阈值；若是，则针对有效深度值的像素进行去最值平均运算，以得到所述目标像素对应的新的深度值，最后依据所述目标像素对应的新的深度值，重复一次或多次上述步骤以对所述深度值进行优化。

本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。