一种从未配对的真实数据中学习图像去摩尔纹模型方法

本发明涉及去摩尔纹的人工神经网络的训练，尤其是涉及一种从未配对的真实数据中学习图像去摩尔纹模型方法。

背景技术：

1、当代社会充斥着用于呈现图像、文字、视频等的电子屏幕。随着智能手机等便携式摄像设备的广泛使用，人们已经习惯于用它们来快速记录信息。一个常见的问题产生于相机的彩色滤光片阵列(cfa)和屏幕的lcd子像素布局之间的内在干扰，导致拍摄的图片被一些彩虹形状的条纹所污染，这也被称为摩尔纹(如jingyu yang,et al.demoiréing forscreen-shot images with multi-channel layer decomposition.in ieee visualcommunications and image processing(vcip),pages 1–4,2017.)。这些摩尔纹涉及不同的厚度、频率、布局和颜色，降低了所拍摄图片的感知质量；因此，学术界和工业界对开发去摩尔纹的算法以纠正这一问题产生了极大的兴趣。

2、关于去摩尔纹的原始研究大多建立在图像先验(如taeg sang cho,et al.imagerestoration by matching gradient distributions.ieee transactions on patternanalysis and machine intelligence(tpami),34:683–694,2011.)或传统的机器学习方法(如jingyu yang,et al.textured image demoiréing via signal decomposition andguided filtering.ieee transactions on image processing(tip),26:3528–3541,2017.)上，这些方法被证明不足以处理变化剧烈的摩尔纹(bolun zheng,et al.learningfrequency domain priors for image demoireing.ieee transactions onpatternanalysis and machine intelligence(tpami),44:7705–7717,2021.)。时髦的卷积神经网络(cnn)已经成为各种计算机视觉任务成功的事实上的基础设施，包括图像去摩尔纹(如shanxin yuan,et al.aim 2019challenge on image demoireing:methods andresults.in proceedings of ieee/cvf international conference on computervision workshop(iccvw),pages 3534–3545,2019.)。这些基于cnn的方法通常在广泛的无摩尔纹和摩尔纹图像对上以监督的方式进行训练，以模拟摩尔纹映射。然而，考虑到自然的摩尔纹图案具有不同的厚度、频率、布局和颜色，收集成对的图像是具有挑战性的。虽然可以很容易地获得摩尔纹图像以及无摩尔纹图像，但它们大多是不配对的。尽管许多研究试图从数字屏幕上捕捉图像对(如bin he,et al.fhde2net:full high definitiondemoireing network.in proceedings of the european conference on computervision(eccv),pages 713–729,2020.)，但它们的质量被三个限制所阻挡。首先，获取高质量的图像对需要专业的相机位置调整，甚至是特殊的硬件(xin yu,et al.towardsefficient and scale-robust ultrahigh-definition image demoiréing.inproceedings ofthe european conference on computer vision(eccv),pages 646–662,2022.)。第二，需要繁重的人力来选择排列整齐的无摩尔纹和摩尔纹对。第三，在高度控制的实验室环境下，捕获的摩尔纹内容是非常单一的。然而，充满更多不同摩尔纹图案的图像对更有望改进去摩尔纹模型。

3、因此，学习合成摩尔纹图像最近引起了越来越多的关注。拍摄模拟方法(如dantongniu,et al.moriéattack(ma):a new potential risk of screen photos.inproceedings ofthe advances in neural information processing systems(neurips),pages 26117–26129,2021.)模拟cfa和屏幕的lcd子像素之间的混叠，产生相应的成对摩尔纹图像。然而，合成图像不足以捕捉真实的摩尔纹的特征，导致很大领域差距。最近，park等人(hyunkookpark,et al.unpaired screen-shot image demoiréing with cyclic moirélearning.ieeeaccess,10:16254–16268,2022.)引入循环摩尔纹学习方法，可以获得比拍摄模拟更好的性能。然而，生成的伪摩尔纹仍然未能准确模拟真实的摩尔纹图案，导致性能有限。

技术实现思路

1、本发明的目的是提供一种从未配对的真实数据中学习图像去摩尔纹模型方法，合成摩尔纹图像，这些图像拥有与真实摩尔纹图像一样的摩尔纹特征和与真实无摩尔纹图像一样的细节特征。合成的伪摩尔纹图像与真实的无摩尔纹图像进行配对形成一个图像对，用于训练去摩尔纹网络。

2、本发明包括以下步骤：

3、1)图像预处理：将真实的摩尔纹图像划分为若干图像块，并根据摩尔纹的复杂性对这些图像块进行分组。

4、2)摩尔纹合成网络：引入一个新的摩尔纹生成框架，以合成类似于真实摩尔纹的具有不同摩尔纹特征的摩尔纹图像，以及类似于真实无摩尔纹图像的细节。

5、3)自适应去噪：引入一种自适应去噪方法，以去除对去摩尔纹模型的学习有不利影响的低质量的伪摩尔纹图像。

6、在步骤1)中，所述划分图像块是指将摩尔纹图像数据集分割成不重叠的若干图像块，从而得到一个摩尔纹图像块集合其中n是整个摩尔纹图像块集合中图像块的数量。同样地，可以将无摩尔纹图像数据集分割得到无摩尔纹图像块集合，m是整个无摩尔纹图像块集合中图像块的数量。

7、所述对图像块进行分组是指将摩尔纹图像块集合分成k个子集，即有其中每个子集包含相似复杂度的摩尔纹图像块，并且任意两个子集都是不相交的。

8、所述摩尔纹的复杂性是由摩尔纹图像的频率和颜色信息组成。给定一个摩尔纹图像块该摩尔纹图像块的频率可以由一个核大小为3的拉普拉斯边缘检测算子测量，该摩尔纹图像块的颜色信息是rgb色彩空间色彩平面中像素云的平均值和标准差的线性组合，表示为：

9、

10、其中，μ(·)和σ(·)返回输入的均值和标准差，和分别表示pm的红绿蓝颜色通道。

11、在步骤2)中，所述摩尔纹合成网络包括四个部分：一个摩尔纹特征编码器em，一个生成器gm，一个判别器dm和一个内容编码器ec；本发明的目标是生成一个伪摩尔纹图片它有pm的摩尔纹斑纹，同时保留无摩尔纹图像块的图像细节，这样就形成一个摩尔纹和无摩尔纹图像对，以此指导现有的去摩尔纹网络的学习；

12、为了实现该目标，摩尔纹特征编码器em提取真实摩尔纹图像块pm的摩尔纹特征，表示为fm：

13、fm＝em(pm)

14、然后，生成器gm以fm和pf为输入，合成一个伪摩尔纹图像块

15、

16、其中，con(·，·)表示连接操作。

17、判别器dm与生成器gm协作，以对抗训练的方式获得更好的伪摩尔纹图像块。生成器gm被训练以便欺骗判别器dm：

18、

19、为了获得更好的训练稳定性，使用了最小二乘法损失函数。同时，判别器dm被训练来区别伪摩尔纹图片和真实摩尔纹图片pm：

20、

21、此外，要求合成的的摩尔纹特征与真实的pf的摩尔纹特征一致：

22、

23、

24、其中||·||1表示l1损失。为了更好地配对和pf，也被期望有pf的内容细节。一个额外的内容编码器ec被引入，以对齐和pf之间的内容特征：

25、

26、总的损失函数为：

27、

28、在步骤3)中，所述自适应去噪是指去除对去摩尔纹模型的学习有不利影响的低质量的伪摩尔纹图像。发现一些伪摩尔纹图像块偶尔会出现低质量的问题，其中pf的内容和细节在中被破坏。这种噪声数据阻碍去摩尔纹模型的学习。被破坏的结构主要归结为边缘信息。因此，通过拉普拉斯边缘检测算子来计算每个图像块的边缘图，并且结构差异是通过对每个伪图像对之间的边缘差异的绝对值进行求和来计算的。低质量的伪摩尔纹会导致结构差异的较大分数，只要分数超过一个阈值，就可以排除这些伪图像对。这个阈值是总共n个伪图像对中结构差异的第γ个百分点。

29、与现有技术相比，本发明具有以下突出优点：

30、1)通过从未配对的真实数据中学习一个去摩尔纹模型，避免收集真实世界的配对摩尔纹和无摩尔纹图像的繁琐工作，减少了数据准备过程中的人力，提高数据集的多样性。

31、2)大量的实验表明，在真实的摩尔纹图像数据集上，本发明以很大的幅度改善比较基准。证明本发明的优越的性能，而且也为去摩尔纹界启迪一种新的摩尔纹生成方法。