面向多模态伪造生成数据的综合质量评估方法及装置

本发明涉及计算机视觉领域，尤其涉及一种面向多模态伪造生成数据的综合质量评估方法及装置。

背景技术：

1、随着深度伪造等相关技术的发展，其在图片生成、音视频合成等领域体现了越来越多的价值，然而其生成数据质量却往往难以把控。针对此类数据的评价仍然是以主观评估或者单一指标为主，同时伪造生成数据呈现视频、音频、图片等多种模态，且对应的评估指标原理性质各不相同，如何针对不同模态生成数据实现全面有效的质量评估，以及如伺筛选用于训练深度伪造检测模型的数据使训练成本更低，显得尤为重要。

技术实现思路

1、鉴于上述问题，本发明提供了一种面向多模态伪造生成数据的综合质量评估方法及装置，通过将不同模态伪造生成数据的多维度评估指标整合，实现综合化、定量化的数据质量评估，为生成数据质量分级和进一步的训练深度伪造检测模型打下基础。

2、根据本发明的第一个方面，提供了一种面向多模态伪造生成数据的综合质量评估方法，包括：

3、确定与生成数据的模态相对应的评估指标，以及与所述评估指标相对应的指标值；

4、根据所述评估指标和所述评估指标相对应的指标值，构建指标维度图，所述指标维度图包括第一区域和第二区域，所述第一区域包括所述第二区域；

5、根据所述第一区域和所述第二区域的面积，计算生成数据的综合质量评分；

6、基于所述生成数据的综合质量评分，筛选用于训练深度伪造检测模型的训练数据。

7、可选的，所述生成数据的模态包括图片模态、音频模态和视频模态；

8、与所述视频模态、图片模态相对应的评估指标包括距离得分fid、结构相似性ssim、峰值信噪比psnr、核感知距离kid、图像感知相似度lpips、平均意见分数mos中的至少之一；

9、与所述音频模态相对应的评估指标包括梅尔倒谱失真mcd、mos、音频感知质量评估peaq中的至少之一。

10、可选的，所述根据所述评估指标和所述评估指标相对应的指标值，构建指标维度图包括：

11、从与生成数据的模态相对应的评估指标中选择n项评估指标，n为正整数；

12、若n＝1，则直接计算相关指标值并做归一化处理；

13、若n＝2，则将对应指标归一化处理后，计算平均值；

14、若n≥3，通过如下方式进行计算：

15、针对所述n项评估指标，设置中心原点；

16、以所述中心原点到顶点的向径为1，构建正n边形；

17、在各所述向径上，根据所述评估指标的指标值绘制指标点，并计算所述指标点坐标；

18、基于所有所述指标点，围成不规则的n边形。

19、可选的，所述根据所述评估指标和所述评估指标相对应的指标值，构建指标维度图之前，包括：

20、对所述指标值进行归一化处理。

21、可选的，所述对所述指标值进行归一化处理包括：

22、在所述评估指标包括fid的情况下，将1-fid作为fid对应的指标值进行映射处理；

23、在所述评估指标包括lpips的情况下，将1-lpips作为lpips对应的指标值进行映射处理；

24、在所述评估指标包括ssim的情况下，将(ssim+1)/2作为ssim对应的指标值进行映射处理；

25、在所述评估指标包括psnr的情况下，将psnr/psnrmax作为psnr对应的指标值进行映射处理，psnrmax表示psnr的最大值；

26、可选的，所述根据所述第一区域和所述第二区域的面积，计算生成数据的综合质量评分包括：

27、将所述第二区域的面积与所述第一区域的面积的比值乘以预设常数，得到所述生成数据的综合质量评分。

28、可选的，所述基于所述生成数据的综合质量评分，筛选用于训练深度伪造检测模型的训练数据包括：

29、筛选综合质量评分在预设范围的生成数据作为所述训练数据。

30、本发明的第二方面提供了一种面向多模态伪造生成数据的综合质量评估装置，包括：

31、确定模块，用于确定与生成数据的模态相对应的评估指标，以及与所述评估指标相对应的指标值；

32、构建模块，用于根据所述评估指标和所述评估指标相对应的指标值，构建指标维度图，所述指标维度图包括第一区域和第二区域，所述第一区域包括所述第二区域；

33、计算模块，用于根据所述第一区域和所述第二区域的面积，计算生成数据的综合质量评分；

34、筛选模块，用于基于所述生成数据的综合质量评分，筛选用于训练深度伪造检测模型的训练数据。

35、本发明的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

36、本发明的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

37、根据本发明提供的面向多模态伪造生成数据的综合质量评估方法及装置，一方面，本发明改善了以往伪造生成数据评估以主观、定性为主的现状；另一方面，引入多个维度的伪造数据客观评估指标，开展综合量化评估，质量评估更为全面可靠，并可推广到音频、视频、图片等任一模态；又一方面，基于质量分级后筛选得到的部分高质量数据进行伪造检测模型训练可有效降低训练成本；再一方面，该方法可视化效果好，在软件实现时通过前端界面可较为直观的展现数据的质量，为数据分级等软件插件研发奠定了方法基础。

技术特征：

1.一种面向多模态伪造生成数据的综合质量评估方法，其特征在于，包括：

2.根据权利要求1所述的面向多模态伪造生成数据的综合质量评估方法，其特征在于，所述生成数据的模态包括图片模态、音频模态和视频模态；

3.根据权利要求1所述的面向多模态伪造生成数据的综合质量评估方法，其特征在于，所述根据所述评估指标和所述评估指标相对应的指标值，构建指标维度图包括：

4.根据权利要求1或3所述的面向多模态伪造生成数据的综合质量评估方法，其特征在于，所述根据所述评估指标和所述评估指标相对应的指标值，构建指标维度图之前，包括：

5.根据权利要求4所述的面向多模态伪造生成数据的综合质量评估方法，其特征在于，所述对所述指标值进行归一化处理包括：

6.根据权利要求1所述的面向多模态伪造生成数据的综合质量评估方法，其特征在于，所述根据所述第一区域和所述第二区域的面积，计算生成数据的综合质量评分包括：

7.根据权利要求1所述的面向多模态伪造生成数据的综合质量评估方法，其特征在于，所述基于所述生成数据的综合质量评分，筛选用于训练深度伪造检测模型的训练数据包括：

8.一种面向多模态伪造生成数据的综合质量评估装置，其特征在于，包括：

9.根据权利要求8所述的面向多模态伪造生成数据的综合质量评估装置，其特征在于，所述生成数据的模态包括图片模态、音频模态和视频模态；

10.根据权利要求8所述的面向多模态伪造生成数据的综合质量评估装置，其特征在于，所述根据所述评估指标和所述评估指标相对应的指标值，构建指标维度图包括：

技术总结
本发明提供了一种面向多模态伪造生成数据的综合质量评估方法及装置，可以应用于深度伪造技术领域。该方法包括：确定与伪造生成数据的模态相对应的评估指标，以及与该评估指标相对应的指标值；根据该评估指标和该评估指标相对应的指标值，构建指标维度图，该指标维度图包括第一区域和第二区域，该第一区域包括该第二区域；根据该第一区域和该第二区域的面积，计算生成数据的综合质量评分。可有效降低训练集样本量，减少模型训练成本。

技术研发人员：孙显,郝凌翔,邓楚博,于泓峰,卢宛萱,刘小煜
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：
技术公布日：2024/2/25