一种融合生成对抗网络与不确定性的图像质量增强方法

本发明属于图像视觉和图像增强，涉及在生成对抗模型中引入不确定性的图像增强方法，具体提供一种融合生成对抗网络与不确定性的图像质量增强方法。

背景技术：

1、在医疗机构采集到的流行病图像中，往往存在图像质量偏差、破损残缺的情况，图像质量问题主要由数据不完全、数据不准确以及数据来源差异、格式差异等因素造成；图像数据质量低下导致了学习模型的可信度降低，因此，研究者们提出了图像质量增强方法，以提高图像质量，从而提高学习机器的可信度。

2、目前，利用生成对抗网络(gan)可以较好的修复图像中破损的情况，gan网络虽然在当前各种数据预测分析任务中取得了巨大的成功和广泛的应用，但由于模型的非线性特性导致神经网络以黑箱的方式工作，使得科研工作者们并不清楚神经网络模型为什么取得某种预测结果，也不清楚究竟是哪些变量或数据特征影响了模型的预测结果；黑盒模型带来了可信度的问题，在如医疗图像诊断等应用场景带来了更高的风险。

技术实现思路

1、本发明的目的在于提供一种融合生成对抗网络与不确定性的图像质量增强方法，用以提高图像数据质量，进而提高图像数据对预测结果的可信度。本发明在gan网络中引入不确定性估计，以消除不确定性为目标训练gan网络，从而提高增强图像对预测结果的可信程度。

2、为实现上述目的，本发明采用的技术方案为：

3、一种融合生成对抗网络与不确定性的图像质量增强方法，包括以下步骤：

4、s1、对训练数据集与待处理图像进行相同数据预处理，相应得到图像特征向量；

5、s2、构建用于增强图像质量的生成器和判别器，根据信息论估计生成对抗模型中的不确定性，并设计生成对抗模型训练的目标函数，交替训练判别器和生成器直至收敛；

6、s3、将待处理图像的特征向量与生成器的输出向量加权求和，得到增强特征并逆转换构成增强图像。

7、进一步的，步骤s1具体为：

8、s1-1、对图像数据划分图像兴趣区域，并将每个图像兴趣区域的尺寸统一为m×m；

9、s1-2、使用三维卷积神经网络对图像兴趣区域进行特征提取，并将提取特征拼接构成图像特征向量；所述三维卷积神经网络由m组卷积层与池化层依次连接构成，m＝2m且m取正整数。

10、进一步的，步骤s2具体为：

11、s2-1、构建用于增强图像质量的生成对抗模型，包括生成器g和判别器d；所述生成器g使用深度卷积网络(cnn)，所述判别器d使用深度证据网络(enn)；

12、s2-2、根据信息论估计生成对抗模型中的不确定性估计，包括空度估计、不协调度估计、偶然不确定性估计与认知不确定性估计；

13、s2-3、引入不确定性估计后设计生成对抗模型的目标函数，

14、s2-4、交替训练判别器和生成器直至收敛。

15、更进一步的，步骤s2-2中，空度估计为：

16、

17、其中，uv为空度估计，k为类别总数；αk为dirichlet分布参数：x表示判别器的输入特征向量，θ为生成器参数，fk(x；θ)表示判别器d输出的x属于类别k的证据向量；

18、不协调度估计为：

19、

20、其中，ud为不协调度估计，s表示dirichlet强度：

21、偶然不确定性估计：

22、

23、其中，ua为偶然不确定性估计，ψ(·)表示gamma函数；

24、认知不确定性估计为：

25、ue＝entropy-ua

26、其中，ue为认知不确定性估计，entroy表示模型熵：

27、

28、更进一步的，步骤s2-3中，目标函数为：

29、

30、其中，z为生成器的输入，p(z)为z的分布，θ为生成器参数，g(·)表示生成器的输出；φ为判别器参数，为破损图像的特征向量，δ1与δ2为预设权重、且δ1+δ2＝1,δ1>δ2，d(·)为判别器的输出，表示期望；

31、

32、其中，x为完好图像的特征向量，f(x；θ)表示x的证据向量；y为x的one-hot标签向量，当x的真实标签是k时：yk＝1、否则yk＝0；pk＝fk(x；θ)；

33、β1、β2、β3与β4依次为空度估计、不协调度估计、偶然不确定性估计与认知不确定性估计的折扣因子。

34、更进一步的，步骤s2-4中，训练过程为：

35、s2-4-1、初始化判别器参数φ、生成器参数θ、dirichlet分布参数以及折扣因子β1、β2、β3、β4；

36、s2-4-2、将图像特征向量作为训练数据构成训练数据集，包括：完好图像数据集与破损图像数据集；

37、s2-4-3、从完好图像数据集中随机抽取ns个数据构成完好图像训练集，使用随机梯度上升更新判别器参数φ，其梯度表示为：

38、

39、其中，xi为完好图像训练集的第i个样本，yi为样本xi的one-hot标签向量；

40、s2-4-4、根据判别器输出的证据向量更新dirichlet分布参数：

41、

42、其中，fk(xi；θ)表示样本xi属于类别k的证据向量；

43、s2-4-5、根据dirichlet分布参数计算空度估计uv、不协调度估计ud、偶然不确定性估计ua与认知不确定性估计ue；

44、s2-4-6、从高斯分布中抽取ns个样本构成噪声训练集，从破损图像数据集中随机抽取ns个数据构成破损图像训练集，使用随机梯度上升更新生成器网络参数θ，其梯度表示为：

45、

46、其中，为破损图像数据的第i个样本，zi为噪声训练集的第i个样本；

47、s2-4-7、判断是否收敛，收敛则完成训练，否则转到s2-4-3进行循环迭代。

48、进一步的，步骤s3具体为：

49、s31、将待处理图像的特征向量与生成器的输出向量进行加权求和，二者的权重分别为δ1与δ2、且δ1+δ2＝1,δ1>δ2，得到待处理图像的增强特征向量；

50、s32、将增强特征向量平均划分为nr个特征块、nr为roi区域的数量，将每个特征块通过逆转换为增强roi区域，并对应替换待处理图像中原始roi区域，形成增强图像。

51、基于上述技术方案，本发明的有益效果在于：

52、本发明提供一种融合生成对抗网络与不确定性的图像质量增强方法，在生成对抗网络中引入不确定性估计，将gan网络与信息论、主观逻辑等理论相结合，通过在判别器中使用深度证据网络输出图像所属类别的证据，估计gan网络输出的空度、不协调度、偶然不确定性和认知不确定性，并在生成器的目标函数中引入消除不确定性项，促使生成器的目标朝着消除预测不确定性的方向演化，最终使得gan网络的训练具备信息论可解释性的同时，提高图像增强的可信度。