一种图像处理方法和装置与流程

本发明实施例涉及数据处理技术领域，尤其涉及一种图像处理方法和装置。

背景技术：

随着科学技术和人类认识世界需求的不断发展，传统的机器视觉已经不能满足人们对于三维物体识别的要求。由于深度图像不受光源照射方向及物体表面的发射特性的影响，而且不存在阴影，所以可以更准确地表现物体目标表面的三维深度信息。

由TOF(Time of Fight，飞行时间技术)或者结构光深度采集仪等设备获取的深度图像均不能直接用于应用。因为这些初始获取的深度图像经常包含大量的噪声，而且这些噪声除了常规的平稳高斯白噪声外，更多的是一些不确定性干扰的非高斯噪声，如椒盐噪声，遮挡块，边缘处奇点等。

现有去噪方法适用于传统图像，即二维图像，将现有的去噪方法应用于深度图像中，会造成深度图像的边沿及细节失真，进而去噪效果不理想。

技术实现要素：

本发明实施例的目的是提供一种图像处理方案，用以解决现有的去噪方法应用于深度图像中，会造成深度图像的边沿及细节失真，进而去噪效果不理想。

第一方面，本发明实施例的一可能的实施方案提供了一种图像处理方法，包括：将源图像进行层析得到多个层析图像；将所述多个层析图像转换为对应的多个二值图像；对所述多个二值图像进行去噪处理；根据经过去噪处理后的多个二值图像，生成目标图像。

优选地，所述对所述多个二值图像进行去噪处理，包括：将所述多个二值图像中小于设定面积的区域去除，得到去噪的多个二值图像。

优选地，所述将所述多个层析图像转换为对应的多个二值图像，包括：将所述多个层析图像转换为对应的多个冗余层析图像。

优选地，所述将所述多个冗余层析图像转换为对应的多个二值图像；所述根据经过去噪处理后的多个二值图像，生成目标图像，包括：将经过去噪处理后的多个二值图像转换为对应的去噪处理后的多个冗余层析图像；采用内插法对多个经过去噪处理后所述多个冗余层析图像的去除区域进行填充；对填充后的所述多个冗余层析图像去冗余得到多个去噪处理后的层析图像；根据所述多个去噪处理后的层析图像生成去噪处理后的目标图像。

优选地，在所述将源图像进行层析得到多个层析图像之前，所述方法还包括：将所述源图像均匀分割为多个区域；基于每个区域的噪声强度确定层析的层析距离阈值；根据确定的层析距离阈值将所述源图像层析为多个层析图像。

第二方面，本发明实施例的一可能的实施方案提供了一种图像处理装置，包括：层析模块，用于将源图像进行层析得到多个层析图像；转换模块，用于将所述多个层析图像转换为对应的多个二值图像；去噪模块，用于对所述多个二值图像进行去噪处理；生成模块，用于根据经过去噪处理后的多个二值图像，生成目标图像。

优选地，所述去噪模块，用于将所述多个二值图像中小于设定面积的区域去除，得到去噪的多个二值图像。

优选地，所述转换模块，用于将所述多个层析图像转换为对应的多个冗余层析图像；将所述多个冗余层析图像转换为对应的多个二值图像。

优选地，所述生成模块，用于将经过去噪处理后的多个二值图像转换为对应的去噪处理后的多个冗余层析图像；采用内插法对多个经过去噪处理后所述多个冗余层析图像的去除区域进行填充；对填充后的所述多个冗余层析图像去冗余得到多个去噪处理后的层析图像；根据所述多个去噪处理后的层析图像生成去噪处理后的目标图像。

优选地，所述层析模块，用于将所述源图像均匀分割为多个区域；基于每个区域的噪声强度确定层析的层析距离阈值；根据确定的层析距离阈值将所述源图像层析为多个层析图像。

本发明实施例通过将源图像进行层析得到多个层析图像，将多个层析图像转换为对应的多个二值图像，对多个二值图像进行去噪处理，根据经过去噪处理后的多个二值图像，生成目标图像。层析源图像可以缩小噪声的范围，通过将层析图像二值化后可以精确的确定噪声范围，去除相应噪声并将多个层析图像进行合成，有效地去除了图像的噪声，尤其是深度图像的噪声。

附图说明

图1是本发明实施例一提供的一种图像处理方法的步骤流程图；

图2是本发明实施例二提供的一种图像处理方法的步骤流程图；

图3是本发明实施例三提供的一种图像处理装置的结构框图；

图4是本发明实施例四提供的一种图像处理装置的结构框图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明实施例，但不用来限制本发明实施例的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

参照图1，示出了本发明实施例一提供的一种图像处理方法的步骤流程图，具体可以包括如下步骤：

步骤102、将源图像进行层析得到多个层析图像。

本发明实施例对深度图像(源图像)进行去噪处理，源图像可以由TOF或者结构光深度采集仪等设备获得。

将得到的源图像进行层析，得到多个层析图像，其中，层析包括将源图像按照图像的深度范围进行分层处理，得到多个层析图像，本发明实施例的层析是指按照源图像的深度将源图像进行分层，即将源图像分为多个层。

步骤104、将多个层析图像转换为对应的多个二值图像。

经过层析后的多个层析图像需要先进行预处理，将其转换为对应的多个二值图像，进而进行去噪。二值图像是指每个像素不是黑就是白，其灰度值没有中间过渡的图像。通过将层析图像进二值化处理，可以有效的确定二值图像中噪声的位置。

步骤106、对多个二值图像进行去噪处理。

按照设定的方法对多个二值图像进行去噪处理，如将二值图像中小于设定面积值的区域确定为噪声区域，将其去除，从而实现对二值图像进行去噪处理。

步骤108、根据经过去噪处理后的多个二值图像，生成目标图像。

在对所有二值图像进行去噪处理后，可以根据去噪处理后的二值图像生成目标图像如目标深度图像。例如，将多个二值图像转换为对应的多个层析图像，将多个层析图像进行合成，生成目标图像。进一步地，还可以对生成的目标图像中噪声去除部分进行填充，以得到完整的去除噪声的目标图像。

本发明实施例通过将源图像进行层析得到多个层析图像，将多个层析图像转换为对应的多个二值图像，对多个二值图像进行去噪处理，根据经过去噪处理后的多个二值图像，生成目标图像。层析源图像可以缩小噪声的范围，通过将层析图像二值化后可以精确的确定噪声范围，去除相应噪声并将多个层析图像进行合成，有效地去除了图像的噪声，尤其是源图像的噪声。

实施例二

参照图2，示出了本发明实施例二提供的一种图像处理方法的步骤流程图，具体可以包括如下步骤：

步骤202、将源图像均匀分割为多个区域。

在本发明实施例中将获取到的深度图像作为源图像进行处理，将源图像I均匀分成多块(即多个区域)，如把深度图像I分为均匀分为M×N块，每一块用直方图h(k)来统计：

其中，k表示源图像的第k个分块，表示第k个分块的孤立点数目，第k个分块区域内具有深度值像素的数目。

步骤204、基于每个区域的噪声强度确定层析的层析距离阈值。

在本发明实施例中通过层析距离阈值确定如何对源图像进行层析，层析距离阈值的选择与噪声去除效果有较大联系，如，当层析距离阈值较小时，噪声去除的效果会很好，但同样会带来源图像边缘的失真，计算量也增大；当层析距离阈值较大时，计算量小，源图像边缘不会出现失真现象，但是去噪效果不好，因此本发明实施例采用噪声强度确定层析的层析距离阈值。

源图像中的孤立点即为噪声区域，源图像中孤立点I(x,y)满足：

其中，S表示8邻域或24邻域，邻域内具有深度值的像素的深度均值，ξ为归一化阈值，通常取[0.5，2]。

源图像的噪声强度μ可以通过如下公式计算：

设深度图像采集装置的探测范围为R，噪声标准值为N，层析距离阈值C用如下公式计算：

其中，μ为噪声强度值，σ噪声强度归一化参数。

步骤206、根据确定的层析距离阈值将源图像层析为多个层析图像。

根据层析距离阈值C，可以直接确定多个层析图像如深度图像I，采集装置的探测范围为R，r为深度图像中像素的深度值，则层析图像可表示为：

其中，

任意层析图像与之间不存在交集，则满足：

并且，

步骤208、将多个层析图像转换为对应的多个冗余层析图像；以及，将多个冗余层析图像转换为对应的多个二值图像。

在实际去噪过程中，图像的边缘数据通常会被处理，此时对层析图像集进行去噪时容易把层析图像之间的边缘信息及细节处理掉，同时还会在拼合时产生空洞。

因此，在本发明实施例的一种可选方式中，将多个层析图像转换为对应的多个冗余层析图像，对冗余层析图像进行去噪处理，有效地避免了进行去噪时把层析图像之间的边缘信息及细节处理掉。

具体包括：预先设定一冗余深度值R_re，将层析图像进行冗余化，可采用如下公式计算：

将层析图像转换为冗余层析图像后，为达到理想去噪效果，本发明实施例采用二值图像进行去噪，即将冗余层析图像转换为二值图像。

但不限于此，在实际使用中，本领域技术人员也可以采用其它适当方式将冗余层析图像转换为二值图像。

步骤210、将多个二值图像中小于设定面积的区域去除，得到去噪的多个二值图像。

步骤212、将经过去噪处理后的多个二值图像转换为对应的去噪处理后的多个冗余层析图像。

在本发明实施例的一种可选方案中，采用二值图像小区域去除杂点的方法，如将二值图像中小于一定设定面积的区域完全去除，从而得到去噪的二值图像，再将其转换为去噪后的冗余层析图像

在本发明实施例中，还可以采用其它去噪方式，如均值滤波、中值滤波等常规去噪方法，本发明实施例对采用何种去噪方式不作具体限定。

步骤214、采用内插法对多个经过去噪处理后多个冗余层析图像的去除区域进行填充。

在步骤212中，经过去噪后的冗余层析图像中会出现空洞(噪声去除部分)，因此在本发明实施例中需要对去噪后的冗余层析图像中的空洞采用内插法进行填充，其中，内插法为根据未知函数f(x)在某区间内若干点的函数值，作出在该若干点的函数值与f(x)值相等的特定函数来近似原函数f(x)，进而可用此特定函数算出该区间内其他各点的原函数f(x)的近似值。

步骤216、对填充后的多个冗余层析图像去冗余得到多个去噪处理后的层析图像。

步骤218、根据多个去噪处理后的层析图像生成去噪处理后的目标图像。

去噪后的冗余层析图集去噪深度图像I^RN则为：

其中符号是一个去冗余算子，具体定义如下：

任意大小相同图像I_i,I_j，若有则图像I中任意元素(x,y)定义为：

在生成去噪深度图像I^RN后，经过合成后的I^RN还可能存在空洞，为使去噪后的深度图像连续性好，再次对合成后的去噪深度图像进行空洞填充，具体可以采用步骤214中的步骤，对此本发明实施例不作具体限定。

本发明实施例通过将源图像均匀分割为多个区域，基于每个区域的噪声强度确定层析的层析距离阈值，根据确定的层析距离阈值将源图像层析为多个层析图像，将多个层析图像转换为对应的多个冗余层析图像；以及，将多个冗余层析图像转换为对应的多个二值图像，将多个二值图像中小于设定面积的区域去除，得到去噪的多个二值图像，将经过去噪处理后的多个二值图像转换为对应的去噪处理后的多个冗余层析图像，采用内插法对多个经过去噪处理后多个冗余层析图像的去除区域进行填充，对填充后的多个冗余层析图像去冗余得到多个去噪处理后的层析图像，根据多个去噪处理后的层析图像生成去噪处理后的目标图像。根据噪声强度将源图像进行层析，可以缩小噪声的处理范围，将层析图像转换为冗余层析图像，可以使得在去噪过程中处理掉层析图像之间的边缘信息和细节部分，对去噪后的区域进行空洞填充使去噪后的深度图像更加完整，进而在不对源图像造成是真的情况下有效地去除了图像的噪声，尤其是源图像的噪声。

本领域技术人员可以理解，在本发明实施例具体实施方式的上述方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例具体实施方式的实施过程构成任何限定。

实施例三

参照图3，示出了本发明实施例三提供的一种图像处理装置的结构框图；具体可以包括如下模块：

层析模块302，用于将源图像进行层析得到多个层析图像。

转换模块304，用于将所述多个层析图像转换为对应的多个二值图像。

去噪模块306，用于对所述多个二值图像进行去噪处理。

生成模块308，用于根据经过去噪处理后的多个二值图像，生成目标图像。

本发明实施例通过将源图像进行层析得到多个层析图像，将多个层析图像转换为对应的多个二值图像，对多个二值图像进行去噪处理，根据经过去噪处理后的多个二值图像，生成目标图像。层析源图像可以缩小噪声的范围，通过将层析图像二值化后可以精确的确定噪声范围，去除相应噪声并将多个层析图像进行合成，有效地去除了图像的噪声，尤其是深度图像的噪声。

实施例四

参照图4，示出了本发明实施例四提供的一种图像处理装置的结构框图，具体可以包括如下模块：

层析模块302，用于将所述源图像均匀分割为多个区域；基于每个区域的噪声强度确定层析的层析距离阈值；根据确定的层析距离阈值将所述源图像层析为多个层析图像。

转换模块304，用于将所述多个层析图像转换为对应的多个冗余层析图像；将所述多个冗余层析图像转换为对应的多个二值图像。

去噪模块306，用于将所述多个二值图像中小于设定面积的区域去除，得到去噪的多个二值图像。

生成模块308，用于将经过去噪处理后的多个二值图像转换为对应的去噪处理后的多个冗余层析图像；采用内插法对多个经过去噪处理后所述多个冗余层析图像的去除区域进行填充；对填充后的所述多个冗余层析图像去冗余得到多个去噪处理后的层析图像；根据所述多个去噪处理后的层析图像生成去噪处理后的目标图像。

本发明实施例通过将源图像均匀分割为多个区域，基于每个区域的噪声强度确定层析的层析距离阈值，根据确定的层析距离阈值将源图像层析为多个层析图像，将多个层析图像转换为对应的多个冗余层析图像；以及，将多个冗余层析图像转换为对应的多个二值图像，将多个二值图像中小于设定面积的区域去除，得到去噪的多个二值图像，将经过去噪处理后的多个二值图像转换为对应的去噪处理后的多个冗余层析图像，采用内插法对多个经过去噪处理后多个冗余层析图像的去除区域进行填充，对填充后的多个冗余层析图像去冗余得到多个去噪处理后的层析图像，根据多个去噪处理后的层析图像生成去噪处理后的目标图像。根据噪声强度将源图像进行层析，可以缩小噪声的处理范围，将层析图像转换为冗余层析图像，可以使得在去噪过程中处理掉层析图像之间的边缘信息和细节部分，对去噪后的区域进行空洞填充使去噪后的深度图像更加完整，进而在不对源图像造成是真的情况下有效地去除了图像的噪声，尤其是源图像的噪声。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的图像处理方法。此外，当通用计算机访问用于实现在此示出的图像处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的图像处理的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。