基于方向总变差最小化和导向滤波的图像摩尔纹去除方法与流程

本发明属于计算机视觉领域，特别是涉及一种屏摄图像摩尔纹去除的方法。

背景技术：

利用相机拍摄屏幕相机拍摄显示器得到的图片称为屏摄图像，内容为显示器显示内容，常出现诸如条纹状、网格状或者其他不规则形状的灰色或者彩色的影像，即摩尔纹，严重影响图像成像效果。摩尔纹的出现，是由于显示器的最小显示单元的网格分布与相机的光学传感器中的最小感光单元阵列混叠而形成。摩尔纹的结构和色彩以及其分布场景都具有很高的随机性，受拍摄距离、拍摄角度、屏幕亮度和环境光线条件等影响。此外，显示器的刷新频率、相机的采样频率、屏幕的单晶排列方式、相机的插值算法等，都会影响摩尔纹的产生和样式。因此屏摄图像去除摩尔纹十分困难。

如今常用的摩尔纹去除方法有两类。一类摩尔纹去除方法是预处理方法。比如，在相机镜头前放置一个抗混叠滤波镜头即低通滤波镜头，它通过使相机成像模糊来消除摩尔纹，带来的弊端是失去了图像本身的高频信息和细节部分。另一类摩尔纹去除方法是后处理方法。比如，在处理x射线图、扫描图像和电影胶片等易产生摩尔纹的图像时，针对不同的摩尔纹图图像来源，采用不同的先验模型，这类方法可以去除特定的摩尔纹，但对于更加复杂的屏摄摩尔纹往往效果不好。再比如现在兴起的深度学习方法去除摩尔纹，通过大样本数据对网络模型进行训练，得到可以去除图像摩尔纹的神经网络。这类方法行之有效，但需要大量数据样本和高性能算力的支持，而且生成的结果往往受到使用的数据风格限制。

技术实现要素：

为克服现有技术的不足，本发明提出一种基于方向总变差最小化和导向滤波的图像摩尔纹去除方法，通过对屏摄图像的方向总变差进行最小化约束，利用各个通道的关系，设计导向滤波器，进行导向滤波，分离去除图像中的摩尔纹，进而获得无摩尔纹的屏摄图像。

本发明的一种基于方向总变差最小化和导向滤波的图像摩尔纹去除方法，该方法包括以下步骤：

步骤1、将屏摄图像投影在yuv色彩空间，实现色彩空间映射；通过映射变换矩阵a，表达式如下：

将rgb色彩空间的r、g、b通道，转换为yuv色彩空间的y、u、v三个通道，转换公式如下：

[y,u,v]′＝a[r,g,b]′

并依次对三个通道进行处理；

步骤2、将亮度通道y进行分解，对分解产生的多变量进行不同约束和交替迭代求解，去除摩尔纹，具体包括以下处理：

2-1、将亮度通道图像进行分解，表达式如下：

i＝b+m+n

其中，i为屏摄图像的亮度y通道，m为摩尔纹层内容，b为图像层内容，n为白噪声内容；

2-2、确立能量方程，表达式如下；

其中，loss为对i分解过程的最小化约束目标变量，pi为对图像的取块操作，pim为对m取块的结果，ρ为针对摩尔纹取块进行训练得到的高斯混合模型先验器，∑ilogρ(pim)为在该先验器中m的得分情况；α为梯度约束项的系数，▽b为b的局部梯度，h(b)为b在摩尔纹系数函数h()中的得分；σ为分解过程保真项的约束系数，h(x)为针对摩尔纹设计的约束系数，表达式为：

x为该函数的输入，ω为预设的摩尔纹的预期方向集合，l为预期方向集合中的某个方向，i为输入图像x中的某个像素点，▽i(i)为该点的局部梯度数值，▽li(i)为该点沿方向l的梯度数值，ε为防止分母为零的小数值常数；

2-3、对上述能量方程进行拉格朗日增广，结果表达式如下：

其中，d为对图像层b的摩尔纹系数的相似逼近，β为增广项d与摩尔纹系数的保真度约束系数；ni为对摩尔纹层m的块匹配相似逼近；

2-4、用软阈值法求解变量d，表达式如下：

其中，d^(k+1)为增广项变量d在第k+1次迭代求解中的结果，b^(k)为图像层b在第k次迭代时的结果，k为求解迭代次数；

2-5、用共轭梯度下降法求解变量b，表达式如下：

其中，m^(k)为第k次迭代时摩尔纹层m的结果；pcg()是共轭梯度下降法抽象成的函数，e为与m同尺寸的单位矩阵，▽、▽^t分别为该尺寸矩阵的梯度求解矩阵及其转置；

2-6、用直接求逆的方法求解变量m，表达式如下：

其中，n^(k)是摩尔纹层的增广项n在第k次迭代中的结果；

2-7、代入先验模型ρ，求解变量n，表达式如下：

n^(k+1)＝ρ(n^(k))

其中，ρ为针对摩尔纹取块进行训练得到的高斯混合模型先验器；

2-8、重复步骤2-1～2-7，直到变量b和m收敛，即得到亮度通道的分层结果；

步骤3、使用导向滤波器，以步骤2中的结果即图像层b为引导图，对另外两个色度通道按如下公式进行导向滤波，实现通道u和v的去摩尔纹；

其中，f为待处理的u通道或v通道图像，b为步骤2中得到的y通道的无摩尔纹图像，为所求的目标图像，即无摩尔纹的u通道或v通道图像，为u通道或v通道的局部均值图像；a和b为导向滤波器中的局部系数和局部常数，由输入图像f计算得到，公式如下：

其中，为u通道或v通道的局部均值图像；u、δ²、ε为三个标量，分别是图像b的局部均值标量、图像b的局部方差标量、防止分母为零的小数值常数；

步骤4、将去除摩尔纹后的y、u、v通道图像按如下公式进行合并，转换到rgb空间，即得到了最终的无摩尔纹图像，转换公式如下：

r＝y+1.140u

g＝y-0.395u-0.581v

b＝y+2.032u。

与现有技术相比，本发明实现了一种具有普适性的屏摄图像摩尔纹去除方法，计算复杂度低，快速有效。

附图说明

图1为本发明的基于方向总变差最小化和导向滤波的图像摩尔纹去除方法的算法模型图；

图2为本发明的基于方向总变差最小化和导向滤波的图像摩尔纹去除方法流程示意图；

图3为本发明与其他传统方法的屏摄图像的摩尔纹去除结果比较示意图，(a)为带摩尔纹图像，(b)为使用传统方法ldpc去除摩尔纹的结果，(c)为使用深度学习方法mr-cnn去除摩尔纹的结果，(d)为使用本发明的方法去除摩尔纹的结果。

具体实施方式

下面将结合附图，对本发明技术发明进行清楚、完整地描述。

步骤1、将屏摄图像投影在yuv色彩空间(分为亮度通道y，以及两个色度通道u和v)，实现色彩空间映射；映射变换矩阵a表达式如下：

将rgb色彩空间的r、g、b通道，转换为yuv色彩空间的y、u、v三个通道，转换公式如下：

[y,u,v]′＝a[r,g,b]′(2)

并依次对三个通道进行处理；

步骤2、将亮度通道进行分解，对分解产生的多变量进行不同约束和交替迭代求解，去除摩尔纹，具体包括以下处理：

2-1、将亮度通道图像进行分解，表达式如下：

i＝b+m+n(3)

其中，i为屏摄图像的亮度y通道，m为摩尔纹层内容，b为图像层内容，n为白噪声内容；

2-2、确立能量方程，表达式如下；

其中，loss为对i分解过程的最小化约束目标变量，pi为对图像的取块操作，pim为对m取块的结果，ρ为针对摩尔纹取块进行训练得到的高斯混合模型先验器，∑ilogρ(pim)是在该先验器中m的得分情况；α为梯度约束项的系数，越大代表对梯度的约束能力越强，▽b为b的局部梯度，h(b)为b在摩尔纹系数函数h()中的得分；σ为分解过程保真项的约束系数，越大代表分解过程的失真度越小，取倒数是为了方便后续计算过程的表述，h(x)为针对摩尔纹设计的约束系数，通过计算局部最小方向相对变差来衡量摩尔纹的严重程度，表达式为：

x为该函数的输入，ω为预设的摩尔纹的预期方向集合，l为预期方向集合中的某个方向，i为输入图像x中的某个像素点，▽i(i)为该点的局部梯度数值，▽li(i)为该点沿方向l的梯度数值，ε为一个很小的数值，防止分母为零的情况；

2-3、对上述能量方程进行拉格朗日增广，结果表达式如下：

其中，d为是为了求解设置的增广项，是对图像层b的摩尔纹系数的相似逼近，β是增广项d与摩尔纹系数的保真度约束系数；ni是为了求解设置的增广项，是对摩尔纹层m的块匹配相似逼近；

2-4、用软阈值法求解变量d表达式如下：

其中，d^(k+1)为增广项变量d在第k+1次迭代求解中的结果，b^(k)为图像层b在第k次迭代时的结果，k为求解迭代次数；

2-5、用共轭梯度下降法求解变量b，表达式如下：

其中，m^(k)为第k次迭代时摩尔纹层m的结果；pcg()是共轭梯度下降法抽象成的函数，e为与m同尺寸的单位矩阵，▽、▽^t分别是该尺寸矩阵的梯度求解矩阵及其转置；

2-6、用直接求逆的方法求解变量m，表达式如下：

其中，n^(k)为摩尔纹层的增广项n在第k次迭代中的结果；

2-7、代入先验模型ρ，求解变量n，表达式如下：

n^(k+1)＝ρ(n^(k))(10)

其中，ρ为针对摩尔纹取块进行训练得到的高斯混合模型先验器；

2-8、重复步骤2-1～2-7，直到变量b和m收敛，即得到亮度通道的分层结果；

步骤3、使用导向滤波器，以步骤2中的结果即图像层b为引导图，对另外两个色度通道按如下公式进行导向滤波，实现通道u和v的去摩尔纹；

其中，f为待处理的u通道或v通道图像，b为步骤2中得到的y通道的无摩尔纹图像，为所求的目标图像，即无摩尔纹的u通道或v通道图像，为u通道或v通道的局部均值图像；a和b为导向滤波器中的局部系数和局部常数，由输入图像f计算得到，公式如下：

其中，为u通道或v通道的局部均值图像；u、δ²、ε为三个标量，分别是图像b的局部均值标量、图像b的局部方差标量、防止分母为零的小数值常数；

步骤4、将去除摩尔纹后的y、u、v通道图像按如下公式进行合并，转换到rgb空间，即得到了最终的无摩尔纹图像，转换公式如下：