数字图像保护方法及装置、电子设备和存储介质与流程

本公开涉及计算机视觉领域，尤其涉及一种数字图像保护方法及装置、电子设备和存储介质。

背景技术：

1、随着利用人工智能生成内容的技术(artificial intelligence generatedcontent，aigc)的兴起，超大型的多模态人工智能图像生成模型逐渐走入人们视野，这些模型能够将输入的语句转换为图像。这些模型可以理解文字内容，再根据理解，生成最终的图像。这些图像可以是绘画作品、人物风景照片、场景画面和动画视频等。

2、为了避免未经允许就擅自将数字图像加入数据集这一行为，例如：人工智能公司，或者恶意第三方未经作者同意，擅自将数字图像加入到数据集，该数据集可以用于训练人工智能模型，以生成与数字图像类似的新的数字图像。这些数字图像的原创创作者们开始在作品的关键部位打上水印，以希望能够阻止作品被转用。

3、但是，可以通过裁剪，或水印消除等算法，将水印去除，这样数字图像仍然无法得到保护。并且，由于增加了水印，直接影响数字图像的整体艺术效果。

技术实现思路

1、有鉴于此，本公开提出了一种数字图像保护方案。

2、根据本公开的一方面，提供了一种数字图像保护方法，包括：接收针对第一图像的图像保护指令；根据所述图像保护指令，确定保护方式；将所述第一图像输入至与所述保护方式对应的模型，得到目标图像，所述目标图像与所述第一图像的相似度满足预设相似度阈值，且通过模型识别的所述目标图像与所述第一图像不相同。

3、在一种可能的实现方式中，所述保护方式包括：保护图像风格，所述目标图像包括第二图像，所述预设相似度阈值包括第一相似度阈值，所述模型包括：风格保护模型，所述将所述第一图像输入至与所述保护方式对应的模型，得到目标图像，包括：在所述保护方式为保护图像风格的情况下，将所述第一图像输入所述风格保护模型，得到初始第二图像，所述初始第二图像与第一图像的风格不同；将所述初始第二图像与所述第一图像融合，得到所述第二图像；所述第二图像与所述第一图像的相似度不低于第一相似度阈值。

4、在一种可能的实现方式中，所述保护方式包括：保护图像元素，所述目标图像包括第三图像，所述预设相似度阈值包括第二相似度阈值，所述模型包括：对抗样本网络，所述将所述第一图像输入至与所述保护方式对应的模型，得到目标图像，包括：在所述保护方式为保护图像元素的情况下，根据所述第一图像，确定包含所述第一图像的实体图像；将所述实体图像输入至所述对抗样本网络，得到对抗实体图像，所述实体图像与所述对抗实体图像的语义分类不同，所述实体图像与所述对抗实体图像的相似度不低于第二相似度阈值；将所述对抗实体图像与所述第一图像进行融合，得到第三图像。

5、在一种可能的实现方式中，所述保护方式包括：保护图像风格和保护图像元素，所述模型包括：风格保护模型和对抗样本网络，所述目标图像包括第一融合图像，所述预设相似度阈值包括：第一相似度阈值和第二相似度阈值，所述将所述第一图像输入至与所述保护方式对应的模型，得到目标图像，包括：将所述第一图像输入所述风格保护模型，得到初始第二图像，所述初始第二图像与第一图像的风格不同；将所述初始第二图像与所述第一图像融合，得到所述第二图像；所述第二图像与所述第一图像的相似度不低于第一相似度阈值；根据所述第一图像，确定包含所述第一图像的实体图像；将所述实体图像输入至所述对抗样本网络，得到对抗实体图像，所述实体图像与所述对抗实体图像的语义分类不同，所述实体图像与所述对抗实体图像的相似度不低于第二相似度阈值；将所述对抗实体图像与所述第一图像进行融合，得到第三图像；将所述第二图像、所述第三图像进行融合，得到所述第一融合图像。

6、在一种可能的实现方式中，所述目标图像包括第三融合图像，所述得到目标图像，包括：将所述第一图像与所述第二图像进行融合，确定第二融合图像；将所述第二融合图像与所述第三图像进行融合，得到所述第三融合图像。

7、在一种可能的实现方式中，所述根据所述第一图像，确定包含所述第一图像的实体图像，包括：在所述第一图像中进行实体检测，得到实体的位置；基于所述位置，在所述第一图像中对所述实体进行图像分割，得到所述实体图像。

8、在一种可能的实现方式中，所述基于所述位置，在所述第一图像中对所述实体进行图像分割，得到所述实体图像，包括：按照检测框的尺寸分割出所述实体图像；确定所述检测框的坐标；按照所述坐标，将所述对抗实体图像匹配至所述第一图像中，进行融合，得到所述第三图像。

9、在一种可能的实现方式中，所述风格保护模型的训练过程，包括：将待保护图像样本和第一样本图像输入至待训练风格保护模型，得到输出图像；确定所述输出图像与第一样本图像的第一差异；确定所述输出图像与所述待保护图像样本的第二差异；根据所述第一差异和第二差异，调整所述风格保护模型的参数，以减小所述第一差异和所述第二差异。

10、在一种可能的实现方式中，确定所述输出图像与第一样本图像的第一差异，包括：对待保护图像样本进行第一编码，确定第一编码结果；对第一图像样本进行第二编码，确定第二编码结果；按照通道，将所述第一编码结果和所述第二编码结果对齐，确定对齐结果；对所述对齐结果进行解码，确定融合样本；对所述融合样本进行第三编码，获得第一特征图；对所述第一图像样本进行第四编码，获得第二特征图；根据所述第一特征图与所述第二特征图，确定所述第一差异；所述确定所述输出图像与所述待保护图像样本的第二差异，包括：根据所述融合样本与所述待保护图像样本，确定所述第二差异。

11、在一种可能的实现方式中，所述根据所述第一差异和第二差异，调整所述风格保护模型的参数，包括：确定所述第一特征图与所述第二特征图相互对应的各图层的第三差异；按照所述各图层的权重，对所述各第三差异进行累积，确定所述第一差异；确定所述融合样本与所述待保护图像样本的结构相似度、峰值信噪比、感知损失；根据所述结构相似度、峰值信噪比、感知损失，确定所述第二差异，所述第二差异与所述结构相似度成反比，所述第二差异与所述峰值信噪比成反比，所述第二差异与所述感知损失成正比；将由所述第一差异和第二差异构成的损失进行反向传播，调整所述风格保护模型的参数。

12、根据本公开的另一方面，提供了一种数字图像保护装置，包括

13、图像保护指令接收单元，用于接收针对第一图像的图像保护指令；

14、保护方式确定单元，用于根据所述图像保护指令，确定保护方式；

15、目标图像确定单元，用于将所述第一图像输入至与所述保护方式对应的模型，得到目标图像，所述目标图像与所述第一图像的相似度满足预设相似度阈值，且通过模型识别的所述目标图像与所述第一图像不相同。

16、在一种可能的实现方式中，所述保护方式包括：保护图像风格，所述目标图像包括第二图像，所述预设相似度阈值包括第一相似度阈值，所述模型包括：风格保护模型，所述目标图像确定单元，包括：

17、初始第二图像确定单元，用于在所述保护方式为保护图像风格的情况下，将所述第一图像输入所述风格保护模型，得到初始第二图像，所述初始第二图像与第一图像的风格不同；

18、第二图像确定单元，用于将所述初始第二图像与所述第一图像融合，得到所述第二图像；所述第二图像与所述第一图像的相似度不低于第一相似度阈值。

19、在一种可能的实现方式中，所述保护方式包括：保护图像元素，所述目标图像包括第三图像，所述预设相似度阈值包括第二相似度阈值，所述模型包括：对抗样本网络，所述目标图像确定单元，包括：

20、实体图像确定单元，用于在所述保护方式为保护图像元素的情况下，根据所述第一图像，确定包含所述第一图像的实体图像；

21、对抗实体图像确定单元，用于将所述实体图像输入至所述对抗样本网络，得到对抗实体图像，所述实体图像与所述对抗实体图像的语义分类不同，所述实体图像与所述对抗实体图像的相似度不低于第二相似度阈值；

22、第三图像确定单元，用于将所述对抗实体图像与所述第一图像进行融合，得到所述第三图像。

23、在一种可能的实现方式中，所述保护方式包括：保护图像风格和保护图像元素，所述模型包括：风格保护模型和对抗样本网络，所述目标图像包括第一融合图像，所述预设相似度阈值包括：第一相似度阈值和第二相似度阈值，所述目标图像确定单元，用于：

24、将所述第一图像输入所述风格保护模型，得到初始第二图像，所述初始第二图像与第一图像的风格不同；

25、将所述初始第二图像与所述第一图像融合，得到所述第二图像；所述第二图像与所述第一图像的相似度不低于第一相似度阈值；

26、根据所述第一图像，确定包含所述第一图像的实体图像；

27、将所述实体图像输入至所述对抗样本网络，得到对抗实体图像，所述实体图像与所述对抗实体图像的语义分类不同，所述实体图像与所述对抗实体图像的相似度不低于第二相似度阈值；

28、将所述对抗实体图像与所述第一图像进行融合，得到第三图像；

29、将所述第二图像、所述第三图像进行融合，得到所述第一融合图像。

30、在一种可能的实现方式中，所述目标图像包括第三融合图像，所述目标图像确定单元，包括：

31、第二融合图像确定单元，用于将所述第一图像与所述第二图像进行融合，确定第二融合图像；

32、第三融合图像确定单元，用于将所述第二融合图像与所述第三图像进行融合，得到所述第三融合图像。

33、在一种可能的实现方式中，所述实体图像确定单元，包括：

34、位置确定单元，用于在所述第一图像中进行实体检测，得到实体的位置；

35、实体图像确定子单元，用于基于所述位置，在所述第一图像中对所述实体进行图像分割，得到所述实体图像。

36、在一种可能的实现方式中，所述实体图像确定子单元，用于：

37、按照检测框的尺寸分割出所述实体图像；

38、确定所述检测框的坐标；

39、按照所述坐标，将所述对抗实体图像匹配至所述第一图像中，进行融合，得到所述第三图像。

40、在一种可能的实现方式中，所述风格保护模型的训练过程，包括：

41、将待保护图像样本和第一样本图像输入至待训练风格保护模型，得到输出图像；

42、确定所述输出图像与第一样本图像的第一差异；

43、确定所述输出图像与所述待保护图像样本的第二差异；

44、根据所述第一差异和第二差异，调整所述风格保护模型的参数，以减小所述第一差异和所述第二差异。

45、在一种可能的实现方式中，确定所述输出图像与第一样本图像的第一差异，包括：

46、对待保护图像样本进行第一编码，确定第一编码结果；

47、对第一图像样本进行第二编码，确定第二编码结果；

48、按照通道，将所述第一编码结果和所述第二编码结果对齐，确定对齐结果；

49、对所述对齐结果进行解码，确定融合样本；

50、对所述融合样本进行第三编码，获得第一特征图；

51、对所述第一图像样本进行第四编码，获得第二特征图；

52、根据所述第一特征图与所述第二特征图，确定所述第一差异；

53、所述确定所述输出图像与所述待保护图像样本的第二差异，包括：

54、根据所述融合样本与所述待保护图像样本，确定所述第二差异。

55、在一种可能的实现方式中，所述根据所述第一差异和第二差异，调整所述风格保护模型的参数，包括：

56、确定所述第一特征图与所述第二特征图相互对应的各图层的第三差异；

57、按照所述各图层的权重，对所述各第三差异进行累积，确定所述第一差异；

58、确定所述融合样本与所述待保护图像样本的结构相似度、峰值信噪比、感知损失；

59、根据所述结构相似度、峰值信噪比、感知损失，确定所述第二差异，所述第二差异与所述结构相似度成反比，所述第二差异与所述峰值信噪比成反比，所述第二差异与所述感知损失成正比；

60、将由所述第一差异和第二差异构成的损失进行反向传播，调整所述风格保护模型的参数。

61、根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

62、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

63、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

64、在本公开实施例中，可以接收针对第一图像的图像保护指令，根据所述图像保护指令，确定保护方式；将所述第一图像输入至与所述保护方式对应的模型，得到目标图像。并且，目标图像与第一图像的相似度满足预设相似度阈值，模型却可以识别出第一图像与目标图像不同。这样，作者可以向公众展示目标图像，即使人工智能模型对目标图像进行模仿，却得不到与第一图像相同的图像。并且，通过人眼观看目标图像与第一图像相同。因此使用本公开实施例的方法既准确展现的作者的创作成果，又保护了该创作成果免于被人工智能模型模仿。

65、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。