一种针对GAN等机器生成图像的判别方法及装置

本发明属于生成图像判别的，具体涉及一种针对gan等机器生成图像的判别方法。

背景技术：

1、近年来随着机器算力的提升，图像生成在人工智能领域的应用正在不断拓宽，生成对抗网络(generativeadversarialnetworks，gan)成为图像生成的最主要的研究和应用方向。

2、gan由生成器与判别器组成，生成器的目的是生成足够逼真的图像以骗过判别器，判别器的目的则是区分出真实图像与生成图像，两者通过对抗训练不断提升各自的能力，最终达到纳什均衡的状态。gan一经提出，就引起了研究者的兴趣，已经迅速在各领域得到广泛的研究和改进。如wgan(arjovskym,chintalas,bottoul.wassersteingan//proceedingsofthe34thinternationalconferenceon machinelearning.sydeny,australia,2017:214-223)提出使用推土距离替代gan中的kl散度或js散度来度量真实图像与生成图像数据分布之间的距离，以改善gan梯度消失和模式崩溃的问题；sagan(zhanghan,goodfellowij,metaxasd,etal.self-attentiongenerative adversarialnetworks//proceedingsofthe36thinternationalconference onmachinelearning.losangeles,usa,2019:7354-7363)将self-attention机制引入到gan中，使得在图像生成过程中能利用全局信息，不再限于局部区域。这促使gan生成的图像在人类视觉感知上越来越逼真，当这些生成图像越来越多的进入图像处理和人工智能领域后，判别图像是否机器生成就成了一个必须面对的问题。目前的判别大多仍停留在主观判断上，因此如何快速且有效地分辨出真实图像与生成图像是目前乃至未来图像生成领域需要解决的问题。目前生成器(包括非gan类的生成器广泛采用的解码方式有转置卷积(transposedconvolution，记为trans-conv)和插值上采样结合普通卷积(upsample+convolution，记为up-conv)两种形式。从人的视觉感知角度来看，使用up-conv生成的图像一般会较为模糊，这些图像失去了部分可以提高图像质量的高频细节，使得研究者们需要在生成模型上添加额外的处理模块或对生成图像进行一定的后处理；而使用trans-conv生成的图像能够保留更多的高频细节，相比之下会更清晰，即使可能会带有棋盘伪影，使得图像含有较多无用的高频噪声，但使用trans-conv作为生成器的依然是最主要的解码方式。

技术实现思路

1、针对gan等机器生成的图像在人类视觉感知上越来越逼真，并且这些生成图像越来越多的进入图像处理和人工智能领域，已经无法依靠人工判别。本发明提供了一种针对gan等机器生成图像的判别方法，根据图像的二维功率谱曲线的甚高频部分是否表现出上翘特性；以及在未使用能量补偿等其它处理手段的情况下，其二维功率谱曲线是否整体偏低的特征，来完成判别是否机器生成还是自然图像的问题。

2、一种针对gan等机器生成图像的判别装置，包括二维功率谱曲线计算模块、曲线整体判断模块、曲线尾部判断模块和判别模块。

3、所述的二维功率谱曲线计算模块用于计算待判别图像的二维功率谱曲线；所述的曲线整体判断模块用于判断二维功率谱曲线是否整体偏低。所述的曲线尾部判断模块用于判断二维功率谱曲线的尾部是否表现出上翘特性；所述的判别模块根据曲线整体判断模块和曲线尾部判断模块的判断对待判别图像是否属于生成图像进行判定。

4、进一步的，所述的二维功率谱曲线计算模块具体实现如下：

5、计算得到待判别图像的频谱图，并以频谱图的中心即频率最低点为圆心，以到圆心的距离为半径作圆，对圆上所有点的能量值求均值即可得到相应空间频率下的近似能量值，逐渐扩大半径，以此类推计算各频率点的能量值得到二维功率谱曲线；

6、进一步的，所述的曲线整体判断模块具体实现如下：

7、对于二维功率谱曲线计算模块得到的二维功率谱曲线，生成图像相比于自然图像曲线整体偏低(即未做能量补偿等其他处理的前提下，生成图像各频率的能量与自然图像相比都有损失)，且曲线下降迅速逼近于零(在约最大空间频率的40％处开始，至最后曲线上翘前，生成图像在该频率范围内的能量几乎为0)，明显不同于自然图像。

8、进一步的，所述的曲线尾部判断模块具体实现如下：

9、当二维功率谱曲线不存在整体偏低情况时，通过计算能量值相对于空间频率的变化率(即导数)查看其尾部(也就是其甚高频部分)是否出现上翘。

10、进一步的，所述的判别模块具体实现如下：

11、当曲线整体判断模块判断二维功率谱曲线整体偏低时，待判别图像被判定为gan类机器生成图像；当二维功率谱曲线不存在整体偏低情况时，进行曲线尾部判断模块的判断，当二维功率谱曲线的尾部出现上翘，则待判别图像被判定为gan类机器生成图像，否则待判别图像不为gan类机器生成图像。

12、进一步的，二维功率谱曲线计算模块通过二维dft(离散傅立叶变换)或者其它频域变换计算得到待判别图像的频谱图。

13、一种针对gan等机器生成图像的判别方法，步骤如下：

14、步骤(1).计算待判别图像的二维功率谱曲线；

15、计算得到待判别图像的频谱图，并以频谱图的中心即频率最低点为圆心，以到圆心的距离为半径作圆，对圆上所有点的能量值求均值即可得到相应空间频率下的近似能量值，逐渐扩大半径，以此类推计算各频率点的能量值得到二维功率谱曲线；

16、步骤(2).判断二维功率谱曲线是否整体偏低。

17、对于步骤(1)中得到的二维功率谱曲线，生成图像相比于自然图像曲线整体偏低(即未做能量补偿等其他处理的前提下，生成图像各频率的能量与自然图像相比都有损失)，且曲线下降迅速逼近于零(在约最大空间频率的40％处开始，至最后曲线上翘前，生成图像在该频率范围内的能量几乎为0)，明显不同于自然图像。当二维功率谱曲线整体偏低时，待判别图像被判定为gan类机器生成图像；当二维功率谱曲线不存在整体偏低情况时，进行下一步判断；

18、步骤(3).判断二维功率谱曲线的尾部是否表现出上翘特性；

19、当二维功率谱曲线不存在整体偏低情况时，通过计算能量值相对于空间频率的变化率(即导数)查看其尾部(也就是其甚高频部分)是否出现上翘。当二维功率谱曲线的尾部出现上翘，则可以判定为gan类机器生成图像。

20、在一实施例中，通过二维dft(离散傅立叶变换)或者其它频域变换计算得到待判别图像的频谱图。

21、本发明有益效果如下：

22、本发明根据图像的二维功率谱曲线的甚高频部分是否表现出上翘特性；以及在未使用能量补偿等其它处理手段的情况下，其二维功率谱曲线是否整体能量偏低的特征，完成对gan类机器生成图像的判别问题。

23、本发明方法利用gan类机器生成图像的二维功率谱曲线表现出的明显不同，包括二维功率谱曲线的甚高频部分的上翘特性，以及整体能量偏低的特征，特别是甚高频部分的上翘特性，可以有效的判别是否为gan类机器生成图像。