基于循环坐标下降法对导向滤波器进行解释和扩展的方法与流程

本发明涉及一种计算机视觉和图像处理技术，特别是一种基于循环坐标下降法对导向滤波器进行解释和扩展的方法。

背景技术：

图像处理中最基本的平滑工具应该是边缘感知滤波器，可粗略地将其分为两类：1)显式滤波器，使用映射运算符将输入转换为输出，如高斯、双边和导向滤波器，因为它们可以明确地用卷积运算符表示出来；2)隐式滤波器，没有映射运算符，其滤波输出被认为是目标函数的最小化器。所以矛盾就出现了，显式滤波器易于实现且计算代价较低，但设计新的显式滤波器就不那么简单了，而设计新的隐式滤波器可以简化为提出目标函数并找到其最小化求解器，缺点就是需要花费大量的时间。

解决上述矛盾局面的方法就是利用一种滤波器的优点来克服另一种滤波器的缺点。具体来说，如果在显式滤波器的映射运算符和隐式滤波器的目标函数的迭代求解之间建立连接，那么单独地站在显式或隐式的角度无法解决的问题，就可以通过联合两个滤波视角来解决。这种联合视角的好处有两个：1)隐式滤波器的滤波操作及其滚动滤波的用法都是通过迭代器展现的，因此可以通过修改目标函数来定义新的滤波器，而且还能从迭代求解器的最小化过程中公开他们的滚动滤波用法；2)显式滤波器加深了对隐式滤波器的理解，因为它将每个最小化传递过程与一次滤波内涵对应起来，来代替其原始优化解释，有助于直观地理解每次迭代及其在优化中的功能。

在显式滤波器和隐式滤波器之间建立连接并不新鲜。令q，p，l和∧分别为n×1维输出向量、约束、n×n拉普拉斯矩阵和对角矩阵。前人已经证明了导向滤波器的输出近似于优化(1)中的一个jacobi迭代。但是其发现还有很多不足之处，因为导向滤波器和优化(1)的迭代求解器并不严格相等，因此jacobi算法不能多次代替导向图像滤波器的行为。

技术实现要素：

本发明的目的在于提供一种基于循环坐标下降法对导向滤波器进行解释和扩展的方法，包括以下步骤：

步骤1，建立导向滤波器与最小二乘目标函数的循环坐标下降求解器之间的等价性，并指出导向滤波器的滚动滤波方案可以从目标函数的最小化过程中推导出来；

步骤2，找到一个通用的框架来定义新的类导向滤波器，并在此框架中开发出新的类导向滤波器；

步骤3，为导向的滚动滤波方案提供数学解释并进行扩展。

本发明与现有技术相比，具有以下优点：

1)我们揭示了导向滤波器等价于最小二乘目标函数的循环坐标下降求解器，并指出导向滤波器的滚动滤波用法可以被视为目标函数的最小化过程。

2)我们找到了一个通用框架来定义新的类gf滤波器，并在此框架中开发类gf滤波器的新实例。

3)我们为导向滤波器的两种滚动滤波方案和扩展它们的方法提供了数学基础。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1是本发明的解释参考图。

图2是导向滤波器算法示意图。

图3是基于滚动互结结构滤波的导向滤波器算法示意图。

具体实施方式

一种基于循环坐标下降法对导向滤波器进行解释和扩展的方法，包括建立导向滤波器与循环坐标下降法之间的等价性、扩展导向滤波器、滚动滤波方案解释及其扩展，共四个过程。表1为具体实施方式中英文缩写的中文含义。

表1

结合图1，建立导向滤波器与循环坐标下降法之间的等价性包括以下步骤：

步骤1，导向滤波器(gf)的定义：最初，导向滤波器是通过以下两点定义的局部多点滤波框架：

(1)多点估计：在以i为中心的窗口ωi中，根据线性转换为图像域中的每个像素i计算多点估计q'i，其中i是导向图像，(ak,bk)是等式(2)的最小化器(3)，p是滤波输入，ε是一个常数，和表示滤波窗口ωi中x的平均值和方差。

(2)聚合：由于k∈ωi，每个像素i具有多个估计点，因此滤波结果q即是这些估计点的平均值。

为清楚起见，在说明书附图的图2中给出了上述导向滤波器的算法实现。

步骤2，循环坐标下降(ccd)算法解释：多变量函数f的最小化器可以通过一次沿一个方向对f进行最小化来获得。即，在每次迭代中，ccd根据等式(5)循环地对问题的每个索引i进行求解。

其中和y是向量。因此，可以从初始化x⁰开始并获得序列{x⁰,x¹,x²,…}，满足f(x⁰)≥f(x¹)≥f(x²)≥…。

步骤3，应用ccd优化目标函数(6)

通过循环地最小化q和(a,b)即可验证(3)和(4)是(6)的封闭式解。

第一步：令使用ccd优化(7)

得到(7)中的封闭式解如下：

第二步：固定再次使用ccd将(9)最小化。

其中的得到为：

至此，除了额外的迭代索引n之外，等式(8)(10)与等式(3)(4)是等价的。这意味着导向滤波器与等式(6)的第一次循环坐标下降迭代是等价的，其中初始假设q⁰＝p。

步骤4，让gf(qⁿ,i,ε)表示导向滤波器输入为qⁿ时的滤波输出。

qⁿ⁺¹＝gf(qⁿ,i,ε)(11)

滚动滤波方案(11)可以解释为(6)的循环坐标下降最小化过程。原因在于，从第n个循环坐标下降迭代获得的具有输入qⁿ的导向滤波器的滤波结果等于qⁿ⁺¹，即第n+1个循环坐标下降迭代。

扩展导向滤波器包括以下步骤：

由于导向滤波器与第一次循环坐标下降迭代之间的等价性，可以修改目标函数并利用ccd来定义新的类gf滤波器，并可以从ccd迭代过程中推导出滚动滤波方案，因为循环坐标下降的迭代最小化过程揭示了新的滚动滤波方案。

本专利扩展出了五个类gf导向滤波器，如下步骤所示：

步骤5，空间感知导向滤波器(sgf)：向gf中加入空间相似性ωki＝exp(-||k-i||²/σ)，其中σ是控制空间相似性的常数，便可以从(12)的循环坐标下降求解器中推导出空间感知导向滤波器。

初始化q⁰＝q，(12)的最小化器可以通过对(13)(14)进行迭代计算得到，其中和表示窗口ωi相对于高斯权重ωijxj的加权均值和方差。因此，根据导向滤波器与循环坐标下降的等价性，可将空间感知导向滤波器定义为(13)(14)，其中n＝0且q⁰＝q。

步骤6，总变差导向滤波器(tvgf)：因为导向滤波器的代价函数(6)仅考虑导向图i和输出q之间的约束，无法确定最优输出。所以，将总变差(tv)的正则项附加到代价目标函数(6)中构造出新的目标函数(15)

令再使用ccd迭代计算(16)(17)得到最小化器。

将的最优解表示为(18)，其与gf的定义(7)相同。

与(9)不同的是(17)的最小化器等价于(19)

其中是快速傅里叶变换(fft)，则表示复共轭。是delta函数的傅里叶变换，|ωk|表示窗口ωk中的像素总数。

将总变差导向滤波器定义为(18)(19)的第一次循环坐标下降过程，并可以用滚动滤波形式(20)表示，其中q＝tvgf(p,i,ε,λ)代表总变差导向滤波器的滤波输出q。

qⁿ⁺¹＝tvgf(qⁿ,i,ε,λ)(20)

步骤7，保守导向滤波器(cgf)：经过实验发现目标函数(6)和(15)的最小化是可忽略的零点，表明导向滤波器和全变差导向滤波器在每个迭代过程中都会消耗图像的“能量”，所以它们是耗散的。但理想的滤波器应该是保守的，即滚动滤波结果必须收敛到一个非零解。因此构建了代价目标函数(21),这里g表示一个参考图像，用于通过数据项(qi-gi)²约束输出q和g之间的推导。

初始化假设q⁰＝p，再使用ccd迭代计算(22)(23)来找到目标函数(21)的最小点

其中注意到(22)的解与(18)的相同，令可以把(23)的解重新表示为：

类似于总变差导向滤波器的定义，保守导向滤波器被定义为(22)(23)的第一次迭代路径，继而得到q＝cgf(p,i,g,ε,λ)＝(1-α)gf(p,i,ε)+αg。此外，目标函数(21)的循环坐标下降最小化过程可以用重新表述为滚动滤波形式(25)：

qⁿ⁺¹＝cgf(qⁿ,i,g,ε,λ)(25)

步骤8，逆导向滤波器(igf)和逆保守导向滤波器(icgf)：在导向滤波器的滤波方案中，导向图用于计算平滑结果。反过来，也可以通过平滑结果q估计出导向图g，以此来反转滤波程序。使用目标函数(26)并初始假设g⁰＝i来制定逆导向滤波器(igf)。

将ccd应用于目标函数(26)，迭代计算两个子问题(27)(28)，

其中通过最小化(27)中的p0(q,gⁿ,ε)，并用(29)构造出的封闭式解。

求解(28)的最小二乘优化，得到(30)

并将逆导向滤波器定义为(29)(30)的第一次循环坐标下降路径，其中g⁰＝i，并将其输出g表示为(31)。

g＝igf(q,i,ε)(31)

类似地，逆保守导向滤波器(icgf)g＝igf(q,i,ε)被定义为(32)的第一次ccd迭代路径，这里g控制输出g和g之间的推导。在实践中，通常将其设置为输入导向图i。

第一步，对进行求解得到(33)

第二步，对进行优化得到(34)

滚动滤波方案解释及其扩展要包含以下步骤：

步骤9，滚动互结结构滤波(rmsf)方案：gf假定导向图和输入的几何结构彼此重合。但这是一个强假设，会使gf在滤波时产生纹理映射伪像。处理导向图和输入之间结构不一致的一种方法是估计它们互结结构。所以，对(35)进行优化以获得无纹理结果，其中

优化具体可以通过假设q⁰＝p且g⁰＝i，再迭代计算四个子问题(36)-(39)来实现，其中(36)(37)用于估计在gf和igf中使用的线性系数，(38)(39)计算gf和igf的线性组合。

至此，本发明成功地公开了rmsf解释，因此将上述过程称为基于滚动互结结构滤波的导向滤波器(gf-rmsf)。为清楚起见，在说明书附图的图2中给出了gf-rmsf的实现算法框架。

本发明还用(cgf(p,i,ε,λ),icgf(p,i,ε,λ))代替基于滚动互结结构滤波(cgf-rmsf)的gf中的滤波器对(gf(p,i,ε),cgf(p,i,ε))，重新组装基于滚动互结结构滤波的逆保守导向滤波器(icgf-rmsf)，实验表明该方案具有更好的滤波结果。

步骤10，滚动闪光/无闪光滤波(rfnf)方案：为了提高闪光/无闪光图像对的质量，前人采用导向滤波器合成一个新图像，该图像组成基本图像b及从闪光/无闪光图像对(i^f,iⁿ)计算得到的细节图像d，并提供光谱分析来说明为什么滚动使用当q⁰＝iⁿ的(41)时可以产生高质量的结果。

不同的是，将(41)解释为目标函数(42)的循环坐标下降求解器的近似，

其中i^e＝gf(i^f,i^f,ε)+τ(i^f-gf(i^f,i^f,ε))，g是i^e的别名，目标函数与(21)相同。因此，通过令再迭代计算(43)来实现目标函数的最小化。

令α≈0且得到(1-α)≈1且αi^e≈λ(i^f-gf(i^f,i^f,ε))。另外，(43)中的qⁿ⁺¹减少到与(41)具有相同形式的gf(q^k,i^f,ε)+λ(i^f-gf(i^f,i^f,ε))。这一发现说明了前人的滚动滤波方案只是(43)特殊情况的近似。因此，可以推广(41)到(43)。更重要的是，折中泛化在运动去模糊中产生了更好的结果。