一种基于统计推理的图像修复方法与流程

本发明属于图像修复领域，涉及一种基于统计推理的图像修复方法。

背景技术：

随着计算机和多媒体技术的不断发展，以图像为主的信息成为信息交换的主流媒体，极大地影响了人民的生活方式。图像修复作为图像处理领域的重要研究分支，在医疗卫生、军事安全、公共管理等诸多领域有着广泛的应用。图像修复是指利用损坏图像中的存在的一些完好的信息，填补未知区域或者将图像中的多余物体进行去除，使修复后图像接近或达到原图像的视觉效果，保证图像信息依旧能够完整的表达出它蕴含的内容。传统的图像修复方法，需要收集完整的目标数据进行训练，然而收集到完整未被破坏的目标数据在现实世界中是比较困难的，尤其是在天文成像，核磁共振成像等领域。深度神经网络的发展，避免了传统的对于损坏信号的先验建模的图像修复方法，即时使用被损坏的数据进行训练也可以得到使用完整信号训练的相同性能。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于统计推理的图像修复方法，可以在未观察到完整目标数据的情况，仅训练被破环的目标数据来进行图像修复，并且在通常情况下，可取得使用完整数据接近的图像修复性能。

为达到上述目的，本发明提供如下技术方案：

一种基于统计推理的图像修复方法，包括以下步骤：

s1：通过机器学习算法将基本的统计推理应用于信号重建；

s2：利用深度神经网络算法避免传统的对损失信号进行先验统计建模，转而通过训练大量的损坏输入和清楚的目标输出参数，来建立卷积神经网络回归模型；

s3：通过最小化经验风险的方法，学习将损坏的观察结果映射到观察的清晰的信号上，从而得出，在常见的情况下，即使没有观察到清晰的信号，仅通过观察损坏的数据，也能通过这种方法来修复图像。

进一步，步骤s1包括以下步骤：

s11：准备一组数据被破坏的目标数据值(y1,y2,…)，根据一些损失函数l找到与测量值具有最小平均偏差的数字z，来估计完整的未知数据值，公式如下：

argminzey{l(z,y)}

其中，l(z,y)是损失函数，表示参数的真实值为y时，采用值为z的参数代替真实值时，所造成的损失；argminzey表示选择合适的参数z,使得损失函数l(z,y)的期望损失最小。

s12：对于损失函数l1：

l(z,y)＝(z-y)²

该损失函数的最小值在观测值的算术平均值处找到：

z＝ey{y}

s13：对于损失函数l2：

l(z,y)＝|z-y|

该损失函数的最小值在观测值的中值处找到；

s14：一般类偏差最小化估计量是已知的m估计量，从统计学的角度来看，使用这些常见损失函数的汇总估计可以被视为ml估计，其通过将损失函数解释为负对数似然。

进一步，步骤s2包括以下步骤：

s21：训练神经网络回归量是ml估计的推广，下式是一组输入目标对(xi,yi)的训练形式，其中，网络参数fθ(x)由θ参数化：

argminθe(x,y){l(fθ(x),y)}

如果不使用输入数据，使用仅输出学习标量的fθ(x)，则任务等同于步骤s11；

s22：完整的训练在每个训练样本中都会产生相同的最小化问题，则任务相当于下式：

argminθex{ey|x{l(fθ(x),y)}}

网络通过分别针对每个输入样本求解点估计问题来最小化该损失，潜在损失的属性由神经网络训练继承。

通过步骤s11中的等式，在有限数量的输入-目标对(xi,yi)上训练回归量，可以发现输入和目标之间的映射是多值的。例如，在超分辨率任务中，低分辨率图像可以由许多不同的高分辨率图像y来解释。使用l1损失，训练使用低分辨率图像和高分辨率图像的训练对的神经网络回归器，可以发现如果使用与随机数相匹配的随机数替换目标，则估计值保持不变。即无论从哪个特定分布中得出ys，步骤三中的等式都成立。如果输入条件目标分布p(y|x)被具有相同条件期望值的任意分布替换，则步骤五中的等式中的最佳网络参数θ也保持不变。

进一步，步骤s3包括：

在不改变网络学习的情况下破坏具有零均值噪声的神经网络的训练目标，结合来自步骤s1中公式中的被损坏的输入，得出一个经验风险最小化任务：

输入xi和目标yi都是从一个被破环的分布中得到的，以潜在的未知的完整数据yi为条件，使得给定有限的数据，可使用上述方法解决问题。对于有限的数据，估计的方差是目标中被破坏数据的平均方差除以训练样本的数量在许多图像恢复任务中，损坏的输入数据的期望就是是我们寻求恢复的完整目标。上述结果表明，在这些情况下，我们可以使用这种方法进行图像修复，只要我们能够两次观察每个源图像。

本发明的有益效果在于：基于统计推理原理，可以在未观察到完整目标数据的情况，仅训练被破环的目标数据来进行图像修复，并且在通常情况下，可取得使用完整数据接近的图像修复性能。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1是添加高斯噪声的图像修复对比图，其中(a)表示原图，(b)表示噪声图，(c)本发明方法，(d)均值滤波去噪算法。

图2是添加泊松噪声的图像修复对比图，其中(a)表示原图，(b)表示噪声图，(c)本发明方法，(d)中值滤波算法。

图3是添加随机值脉冲噪声噪声的图像修复对比图，其中(a)表示原图，(b)表示噪声图，(c)本发明方法，(d)bm3d算法；

图4是本发明实施例所述基于统计推理的图像修复方法流程示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图4所示，一种基于统计推理的图像修复方法，包括以下步骤：

s1：通过机器学习算法将基本的统计推理应用于信号重建；

s2：利用深度神经网络算法避免传统的对损失信号进行先验统计建模，转而通过训练大量的损坏输入和清楚的目标输出参数，来建立卷积神经网络回归模型；

s3：通过最小化经验风险的方法，学习将损坏的观察结果映射到观察的清晰的信号上，从而得出，在常见的情况下，即使没有观察到清晰的信号，仅通过观察损坏的数据，也能通过这种方法来修复图像。

可选地，步骤s1包括以下步骤：

s11：准备一组数据被破坏的目标数据值(y1,y2,…)，根据一些损失函数l找到与测量值具有最小平均偏差的数字z，来估计完整的未知数据值，公式如下：

argminzey{l(z,y)}

其中，l(z,y)是损失函数，表示参数的真实值为y时，采用值为z的参数代替真实值时，所造成的损失；argminzey表示选择合适的参数z,使得损失函数l(z,y)的期望损失最小。

s12：对于损失函数l1：

l(z,y)＝(z-y)²

该损失函数的最小值在观测值的算术平均值处找到：

z＝ey{y}

s13：对于损失函数l2：

l(z,y)＝|z-y|

该损失函数的最小值在观测值的中值处找到；

s14：一般类偏差最小化估计量是已知的m估计量，从统计学的角度来看，使用这些常见损失函数的汇总估计可以被视为ml估计，其通过将损失函数解释为负对数似然。

可选地，步骤s2包括以下步骤：

s21：训练神经网络回归量是ml估计的推广，下式是一组输入目标对(xi,yi)的训练形式，其中，网络参数fθ(x)由θ参数化：

argminθe(x,y){l(fθ(x),y)}

如果不使用输入数据，使用仅输出学习标量的fθ(x)，则任务等同于步骤s11；

s22：完整的训练在每个训练样本中都会产生相同的最小化问题，则任务相当于下式：

argminθex{ey|x{l(fθ(x),y)}}

网络通过分别针对每个输入样本求解点估计问题来最小化该损失，潜在损失的属性由神经网络训练继承。

通过步骤s11中的等式，在有限数量的输入-目标对(xi,yi)上训练回归量，可以发现输入和目标之间的映射是多值的。例如，在超分辨率任务中，低分辨率图像可以由许多不同的高分辨率图像y来解释。使用l1损失，训练使用低分辨率图像和高分辨率图像的训练对的神经网络回归器，可以发现如果使用与随机数相匹配的随机数替换目标，则估计值保持不变。即无论从哪个特定分布中得出ys，步骤三中的等式都成立。如果输入条件目标分布p(y|x)被具有相同条件期望值的任意分布替换，则步骤五中的等式中的最佳网络参数θ也保持不变。

可选地，步骤s3包括：

在不改变网络学习的情况下破坏具有零均值噪声的神经网络的训练目标，结合来自步骤s1中公式中的被损坏的输入，得出一个经验风险最小化任务：

输入xi和目标yi都是从一个被破环的分布中得到的，以潜在的未知的完整数据yi为条件，使得给定有限的数据，可使用上述方法解决问题。对于有限的数据，估计的方差是目标中被破坏数据的平均方差除以训练样本的数量在许多图像恢复任务中，损坏的输入数据的期望就是是我们寻求恢复的完整目标。上述结果表明，在这些情况下，我们可以使用这种方法进行图像修复，只要我们能够两次观察每个源图像。

图1将原清晰图片加入均值为0，方差为0.05的高斯噪声，采用中值滤波算法、以及本发明所提出的基于统计推理的图像修复这两种算法对去噪结果进行对比实验。

从仿真结果来看，这两种图像修复方法均在一定程度上对噪声进行了有效的去除，基本上还原了图像的原貌，但是都无法完全达到完全还原原图的效果。从图1(c)中能够直观地看出中值滤波算法虽然整体效果良好，修复速度较快，但从局部提取图中可以看出其在去噪过程中损失了大量的细节，并不能达到很好的去噪效果。而本发明所提出基于统计推理的图像修复算法对图像的修复效果良好，既保证了图像的清晰度，又有效的去除了噪声，图像细节部分信息也保存的较为完好。

图2采用飞机图片进行仿真实验，将原清晰图片加入均值为0，方差为0.03的椒盐噪声，采用均值滤波算法及本发明所提出的基于统计推理的图像修复算法这两种算法对去噪结果进行对比实验。

从仿真结果来看，这两种图像修复方法均在一定程度上对噪声进行了有效的去除，基本上还原了图像的原貌。从图1(c)中能够直观地看出两种算法整体效果良好，修复速度较快，虽然丢失部分的细节，但能达到对噪声较好的去除。这说明并不需要观察完整的目标数据也可以保证图像修复的性能。

图3将原清晰图片加入均值为0，方差为0.7的伯努利噪声，采用bm3d算法以及本发明所提出的基于统计推理的图像修复算法这两种算法对去噪结果进行对比实验。

从仿真结果来看，这两种图像修复方法均在一定程度上对噪声进行了有效的去除，基本上还原了图像的原貌。两种算法对图像的修复效果良好，既保证了图像的清晰度，又有效的去除了噪声，图像细节部分信息也保存的较为完好。从而进一步说明完整的目标数据并不是完全必要的在图像修复中。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。