一种深度超分辨率图像滤波处理方法与流程

本发明涉及自动驾驶图像处理技术领域，更具体地说，涉及一种深度超分辨率图像滤波处理方法。

背景技术：

自动驾驶汽车又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。在20世纪已有数十年的历史，21世纪初呈现出接近实用化的趋势。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。在自动驾驶汽车的行驶过程中，必然要使用到摄像头来拍摄路况并对路况图像进行图像平滑滤波处理以方便进行后面的图像识别处理工序。

将深度超分辨率(sr)的低分辨率有源深度传感器和用于高分辨率rgb传感器进行融合运用正成为计算机视觉中的热门话题，并经过实验校验后证明该基于边缘感知滤波器与插值的融合技术在标准上是非常有效的。但是，由于现有的低分辨率有源深度传感器以及用于高分辨率rgb传感器在融合过程中由于出现权重处理失衡，从而导致其融合生成的的边缘保护滤波器无法在保护大部分的边缘锐化的同时平滑大范围的噪音，降低了图像平滑滤波处理效率，从而使得该融合边缘保护滤波器需要耗费大量的时间在图像平滑滤波处理过程中，造成图像处理速度慢，运算量大，使得图像平滑滤波处理效率低下，难以满足自然人机交互的高速实现要求。

技术实现要素：

有鉴于此，本发明提供了一种深度超分辨率图像滤波处理方法，以解决现有技术中图像平滑滤波处理效率低下的缺陷。

一种深度超分辨率图像滤波处理方法，包括以下步骤：

s1、输入待处理的图像i；

s2、将深度超分辨率图像滤波框架带入到图像i中，得到图像i的上采样密集深度图像d^f；其中，该深度超分辨率图像滤波框架具体如公式1所示：

d^f为上采样密集深度图像，f(d)为上采样深度值的滤波图像，f(m)为未经上采样深度处理的滤波图像。

作为本发明的优选方案，该上采样深度值的滤波图像f(d)的处理步骤为：s21、计算图像i位于p处的上采样深度值d(p)；s22、将上采样深度值d(p)带入到滤波器f(x)中得到上采样深度值的滤波图像f(d)。

作为本发明的优选方案，在步骤s21中，上采样深度值d(p)的具体计算如公式2所示：

其中，为低分辨率深度图像；p和q表示图像i中像素的整数坐标；p↓和q↓表示相应的分数坐标；f(x)是以像素p处为中心的空间滤波器内核；g(x)是以p处的图像值为中心的范围滤波器内核；ω是内核f(x)的空间支持域；kp是归一化因子，即f(x)·g(x)滤波器权重的总和。

作为本发明的优选方案，步骤s22具体为：先选择确定滤波器f(x)的基本表达式，然后将上采样深度值d(p)带入到滤波器f(x)计算得到上采样深度值的滤波图像f(d)。

作为本发明的优选方案，在步骤s2中，将深度超分辨率图像滤波模型代替深度超分辨率图像滤波框架，将深度超分辨率图像滤波模型带入到图像i中，得到图像i的上采样密集深度图像d^f，其中，该深度超分辨率图像滤波模型具体如公式3所示：

(ai,bi,ci)表示第i个表面模型的参数，用像素坐标[x，y]表示像素p的深度，f是空间高斯滤波器核，g是以p处的rgb图像值为中心的范围滤波器核，ω是核f的空间支持。

作为本发明的优选方案，该深度超分辨率图像滤波模型的建立包括以下步骤：a1、输入待处理的图像i；a2、算出图像i平面内的深度值的倒数如公式4所示

其中，参数{a,b,c}用于模拟平面表面参数，x和y表示三维点的像素坐标，z表示该点的深度值；a3、算出最佳表面模型，如公式3所示

其中，(ai,bi,ci)表示第i个表面模型的参数，用像素坐标[x，y]表示像素p的深度，f是空间高斯滤波器核，g是以p处的rgb图像值为中心的范围滤波器核，ω是核f的空间支持；a4、将步骤a3所得到的最佳表面模型计算图像i相对应的深度值得到图像i的上采样密集深度图像。

从上述的技术方案可以看出，本发明一方面提出了一种深度超分辨率图像滤波处理方法，利用将深度超分辨率图像滤波框架带入到图像i中，从而得到图像i的上采样密集深度图像d^f，通过深度超分辨率图像滤波框架形成一个基于通用过滤的深度超分辨率图像滤波框架，任何图像过滤器都可以直接用于所提出的框架结构，从而将图像的低分辨率有源深度传感器和高分辨率无源rgb传感器融合成体，在保持滤波的同时也很好地保留了图像深度边缘，从而大范围地减少噪音而不会使边缘模糊，利用低通滤波器对自动化图片抽象化和边缘四周进行了细节加强，大大减少了图像滤波处理的计算量，缩短工作时间，克服了有技术中图像平滑滤波处理效率低下的缺陷，提高了图像滤波精度，从而达到快速进行图像平滑滤波处理的目的；另一方面，本发明还提出了一种深度超分辨率图像滤波处理方法，将深度超分辨率图像滤波模型代替深度超分辨率图像滤波框架，将深度超分辨率图像滤波模型带入到图像i中，得到图像i的上采样密集深度图像d^f，先在每个像素位置搜索最佳平面模型，然后使用该模型计算相应的深度值，而不是对深度值进行直接插值，从而避免了传统图像的低分辨率有源深度传感器和高分辨率无源rgb传感器在图像滤波过程因权重处理失衡而造成滤波效果差的问题，同时克服了有技术中图像平滑滤波处理效率低下的缺陷，从而进一步达到快速进行图像平滑滤波处理的目的。

附图说明

图1为本发明实施例一所提供的一种深度超分辨率图像滤波处理方法的整体步骤流程图。

图2为本发明实施例二所提供的一种深度超分辨率图像滤波处理方法的整体步骤流程图。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所述的附图作简单地介绍，显而易见，下面的描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

具体实施方式

实施例一：如图1所示，本发明实施例一公开了一种深度超分辨率图像滤波处理方法，包括以下步骤：

s1、输入待处理的图像i；

s2、将深度超分辨率图像滤波框架带入到图像i中，得到图像i的上采样密集深度图像d^f；其中，该深度超分辨率图像滤波框架具体如公式1所示：

d^f为上采样密集深度图像，f(d)为上采样深度值的滤波图像，f(m)为未经上采样深度处理的滤波图像。该上采样深度值的滤波图像f(d)的处理步骤为：s21、计算图像i位于p处的上采样深度值d(p)；s22、将上采样深度值d(p)带入到滤波器f(x)中得到上采样深度值的滤波图像f(d)。在步骤s21中，上采样深度值d(p)的具体计算如公式2所示：

其中，为低分辨率深度图像；p和q表示图像i中像素的整数坐标；p↓和q↓表示相应的分数坐标；f(x)是以像素p处为中心的空间滤波器内核；g(x)是以p处的图像值为中心的范围滤波器内核；ω是内核f(x)的空间支持域；kp是归一化因子，即f(x)·g(x)滤波器权重的总和。步骤s22具体为：先选择确定滤波器f(x)的基本表达式，然后将上采样深度值d(p)带入到滤波器f(x)计算得到上采样深度值的滤波图像f(d)。

本实施例一所采用的滤波器f(x)为现有的双边滤波器f(x)。本发明实施例一可采用任何图像过滤技术并确保公平比较，任何图像滤波器都可以直接与扩展框架集成，如果采用边缘保持滤波器，则可以保留深度边缘。设d和i表示登记的稀疏深度图像和密集rgb图像，dp和ip分别表示像素位置p处的深度和颜色。如果p的深度值不可用，则dp设置为零，这意味着p不是深度样本。设m表示附加图像，mp是像素p处的值，并且被设置为任一或零。图像m用于表示在上采样之前每个深度样本的相等贡献，并且像素处的零值意味着没有来自相应像素的贡献。设f表示图像滤波操作符。基于f的上采样密集深度图像df可以如下导出：

其中f(d)和f(m)分别是d和m的滤波图像。公式1中呈现的插值方案在一些图像处理中很流行。如果在公式1中采用高斯滤波器，则使用公式1的上采样确实等于高斯插值，然而，已知在保持边缘时它是弱的。当边缘时可以保留深度边缘。只要深度边缘与彩色图像中的颜色边缘一致，则采用保持滤波器以彩色图像i为指导。实际上，如果联合双边滤波器与彩色图像i一起用作公式1中的指导，则它等于方程公式1中的原始联合上采样框架。它基本上基于空间距离和距离范围自适应地内插稀疏深度种子，因此自动忽略深度种子，其看起来与高分辨率彩色图像i中的未命中采样像素不同。

本发明提出了一种深度超分辨率图像滤波处理方法，利用将深度超分辨率图像滤波框架带入到图像i中，从而得到图像i的上采样密集深度图像d^f，通过深度超分辨率图像滤波框架形成一个基于通用过滤的深度超分辨率图像滤波框架，任何图像过滤器都可以直接用于所提出的框架结构，从而将图像的低分辨率有源深度传感器和高分辨率无源rgb传感器融合成体，在保持滤波的同时也很好地保留了图像深度边缘，从而大范围地减少噪音而不会使边缘模糊，利用低通滤波器对自动化图片抽象化和边缘四周进行了细节加强，大大减少了图像滤波处理的计算量，缩短工作时间，克服了有技术中图像平滑滤波处理效率低下的缺陷，从而达到快速进行图像平滑滤波处理的目的。

实施例二：如图2所示，本发明实施例二还公开了令一种深度超分辨率图像滤波处理方法，包括以下步骤：

s1、输入待处理的图像i；

s2、将深度超分辨率图像滤波模型代替本发明实施例一中的深度超分辨率图像滤波框架，将深度超分辨率图像滤波模型带入到图像i中，得到图像i的上采样密集深度图像d^f，其中，该深度超分辨率图像滤波模型具体如公式3所示：

(ai,bi,ci)表示第i个表面模型的参数，用像素坐标[x，y]表示像素p的深度，f是空间高斯滤波器核，g是以p处的rgb图像值为中心的范围滤波器核，ω是核f的空间支持。

该深度超分辨率图像滤波模型的建立包括以下步骤：a1、输入待处理的图像i；a2、算出图像i平面内的深度值的倒数如公式4所示

其中，参数{a,b,c}用于模拟平面表面参数，x和y表示三维点的像素坐标，z表示该点的深度值；a3、算出最佳表面模型，如公式3所示

其中，(ai,bi,ci)表示第i个表面模型的参数，用像素坐标[x，y]表示像素p的深度，f是空间高斯滤波器核，g是以p处的rgb图像值为中心的范围滤波器核，ω是核f的空间支持；a4、将步骤a3所得到的最佳表面模型计算图像i相对应的深度值得到图像i的上采样密集深度图像。

在本发明实施例二中，本实施例二提出了一种新的深度超分辨率图像滤波模型方法，它不是直接插值即深度值的倒数，而是旨在找到每个像素位置的最佳平面表面模型，然后根据像素坐标和选定的表面模型计算相应的深度值。在现有的图像滤波模型中，由于深度方差，过滤/内插深度值的倒数可能是不稳健的，特别是当需要极高的精度时。它的性能随着深度方差的增加而下降。因此，为了减少深度方差对图像滤波模型性能的影响，本发明实施例二提出了一种新的深度超分辨率图像滤波模型方法，建议在每个像素位置搜索最佳平面模型，然后使用该模型计算相应的深度值，而不是对深度值的逆进行直接插值，与深度值不同，这些参数在平面内是恒定的，因此对表面内的模型估计执行不准确的加权运算是安全的。然而，由于表面模型不能直接从稀疏或甚至密集深度图像获得，因此，我们将深度超分辨率问题表示为基于稀疏深度种子在每个像素位置处搜索表面模型。为了计算平面表面模型的参数，根据公式4，至少需要三个深度种子，公式4结果来自采样像素的左上角，右上角，左下角和右下角的四个最接近的深度种子分组，并且将基于这些深度种子计算分为四个表面模型候选。设{ai，bi，ci}表示第i个表面模型的参数，像加权中值算子这样的鲁棒估计器用于根据局部周围的深度种子找到最佳表面模型补丁。公式3是加权中值运算，其权重由滤波器f和g确定，因此对于来自不同表面的异常值是稳健的。最后，将使用具有所选表面模型的公式4来计算未命中采样像素的深度值。注意，在公式3中将仅使用四个最近的深度种子来定义多达四个平面候选。因此，计算成本比公式1中提出的基于滤波的方法高2倍。

因此，本发明还提出了一种深度超分辨率图像滤波处理方法，将深度超分辨率图像滤波模型代替深度超分辨率图像滤波框架，将深度超分辨率图像滤波模型带入到图像i中，得到图像i的上采样密集深度图像d^f，先在每个像素位置搜索最佳平面模型，然后使用该模型计算相应的深度值，而不是对深度值进行直接插值，从而避免了传统图像的低分辨率有源深度传感器和高分辨率无源rgb传感器在图像滤波过程因权重处理失衡而造成滤波效果差的问题，同时克服了有技术中图像平滑滤波处理效率低下的缺陷，从而进一步达到快速进行图像平滑滤波处理的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分相互参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。