一种图像去噪处理系统的制作方法

本发明涉及图像处理领域，特别是涉及一种图像去噪处理系统。

背景技术：

1、图像去噪任务旨在去除噪声图像中的干扰噪声，得到清晰、高质量的图像，被广泛用于异质人脸识别、图像风格迁移等各种计算机视觉应用中。

2、在人脸图像的去噪任务中，由于人脸素描图像可以提供人脸的轮廓信息，现有技术通常基于深度网络提取人脸素描图像中的素描图像特征，根据素描图像特征对含噪声的人脸图像进行去噪，来提高去噪结果的准确性。但是，由于人脸素描图像的表达能力有限，当人脸图像中的干扰噪声较多时，无法提供人脸肤色和发色等颜色信息，导致去噪后的人脸图像中可能包含错误的颜色信息，从而降低了去噪结果的准确性。

3、因此，在人脸图像的去噪场景中，如何提高去噪结果的准确性成为亟待解决的问题。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为一种图像去噪处理系统，包括：含噪人脸图像a、a对应的中间素描图像特征集合b＝{b1，b2，……，bn，……，bm}和文本特征c、处理器和存储有计算机程序的存储器，其中，bn为第n个中间素描图像特征，n＝1，2，……，m，m为大于2的整数，m为中间素描图像特征的数量，处理器包括若干个上采样层和若干个下采样层，上采样层的数量和上采样层的数量均为m，当计算机程序被处理器执行时，实现以下步骤：

2、s1，通过第一个下采样层对a和b1进行下采样，得到第一个中间图像特征d1。

3、s2，通过第i+1个下采样层对di和bi进行下采样，得到第i+1个中间图像特征di+1，其中，i＝1，2，……，m-1。

4、s3，通过注意力模块对dm和c进行注意力特征提取，得到注意力图像特征e。

5、s4，通过第一个上采样层对e进行上采样，得到第一个中间噪声图像特征f1。

6、s5，通过第j+1个上采样层对fj和dm-j进行上采样，得到第j+1个中间噪声图像特征fj+1，其中，j＝1，2，……，m-2。

7、s6，通过第m个上采样层对fm-1和d1进行上采样，得到预测噪声图像g。

8、s7，使用a中任一像素点的像素点值减去g中对应位置的像素点值，得到去噪人脸图像。

9、本发明至少具有以下有益效果：通过第一个下采样层对a和b1进行下采样，得到第一个中间图像特征d1，通过第i+1个下采样层对di和bi进行下采样，得到第i+1个中间图像特征di+1，通过注意力模块对dm和c进行注意力特征提取，得到注意力图像特征e，通过第一个上采样层对e进行上采样，得到第一个中间噪声图像特征f1，通过第j+1个上采样层对fj和dm-j进行上采样，得到第j+1个中间噪声图像特征fj+1，通过第m个上采样层对fm-1和d1进行上采样，得到预测噪声图像g，使用a中任一像素点的像素点值减去g中对应位置的像素点值，得到去噪人脸图像，基于b在图像模态下对a中的人脸轮廓信息进行表征，基于c在文本模态下对a中的人脸肤色、发色等颜色信息进行表征，使用双模态下的特征信息提高了对a的表征能力，并在对a进行特征提取和去噪时将b、c与a进行信息融合，将b和c作为对a进行去噪的特征基础，提高了对a进行去噪结果的准确性。

技术特征：

1.一种图像去噪处理系统，其特征在于，所述系统包括：含噪人脸图像a、a对应的中间素描图像特征集合b={b1，b2，……，bn，……，bm}和文本特征c、处理器和存储有计算机程序的存储器，其中，bn为第n个中间素描图像特征，n=1，2，……，m，m为大于2的整数，m为中间素描图像特征的数量，处理器包括若干个上采样层和若干个下采样层，上采样层的数量和上采样层的数量均为m，当所述计算机程序被处理器执行时，实现以下步骤：

2.根据权利要求1所述的系统，其特征在于，所述系统还包括m个第二下采样层，a对应的中间素描图像特征集合b通过如下步骤获取：

3.根据权利要求1所述的系统，其特征在于，所述系统还包括文本编码器和a对应的描述文本，a对应的文本特征c通过如下步骤获取：

4.根据权利要求1所述的系统，其特征在于，在s2步骤中还包括如下步骤：

5.根据权利要求4所述的系统，其特征在于，所述对所述采样结果和bm进行特征融合，得到dm，包括：

6.根据权利要求1所述的系统，其特征在于，m个下采样层和m个上采样层的训练过程包括：

7.根据权利要求6所述的系统，其特征在于，d0={d10，d20，……，dm0，……，dm0}，其中，dm0为第m个下采样层输出的样本中间图像特征，m=2，3，……，m；

8.根据权利要求6所述的系统，其特征在于，f0={f10，f20，……，fm0，……，fm0}，f0为m个上采样层的输出结果的集合，其中，fm0为第m个上采样层输出的样本中间噪声图像特征，m=2，3，……，m；

9.根据权利要求6所述的系统，其特征在于，根据所述预测噪声样本和所述噪声图像对所述m个下采样层和所述m个上采样层进行训练，得到经训练的m个下采样层和经训练的m个上采样层，包括：

10.根据权利要求1所述的系统，其特征在于，所述通过第一个下采样层对a和b1进行下采样，得到第一个中间图像特征d1，包括：

技术总结
本发明涉及图像处理领域，尤其涉及一种图像去噪处理系统，包括：含噪人脸图像A、中间素描图像特征集合B=（B<subgt;1</subgt;，B<subgt;2</subgt;，……，B<subgt;n</subgt;，……，B<subgt;M</subgt;）和文本特征C，所述系统实现以下步骤：对A和B<subgt;1</subgt;进行下采样得到第一个中间图像特征D<subgt;1</subgt;，对D<subgt;i</subgt;和B<subgt;i</subgt;进行下采样得到D<subgt;i+1</subgt;，对D<subgt;M</subgt;和文本特征C进行注意力特征提取得到注意力图像特征E，对E进行上采样得到第一个中间噪声图像特征F<subgt;1</subgt;，对F<subgt;j</subgt;和D<subgt;M‑j</subgt;进行上采样得到F<subgt;j+1</subgt;，对F<subgt;M‑1</subgt;和D<subgt;1</subgt;进行上采样得到预测噪声图像G，根据A和G得到去噪人脸图像，将图像模态下的B、文本模态下的C与A进行信息融合，根据双模态的特征信息提高了对A的表征能力，提高了去噪结果的准确性。

技术研发人员：王磊,徐楠,郝艳妮,陈博,李军锋,曹家,罗引
受保护的技术使用者：北京中科闻歌科技股份有限公司
技术研发日：
技术公布日：2024/1/15