一种面向自监督学习视觉模型的版权保护方法

本发明涉及版权保护，具体为一种面向自监督学习视觉模型的版权保护方法。

背景技术：

1、自监督预训练编码器作为一种应用于各类下游任务的强大特征提取器，在其训练的过程中需要大量未标记的训练数据和计算资源，这使得预训练编码器成为所有者的重要知识产权。

2、模型水印作为一种保护模型知识产权的有效手段，近年来得到了广泛的研究，当前的模型水印技术可分为白盒水印和黑盒水印，前者将水印嵌入到深度模型的内部参数、特征图或网络结构中，这需要对带水印模型进行白盒访问，后者则通常使用后门或对抗样本等技术来标记模型，与白盒水印相比，黑盒水印更适用于现实场景，因为在大多数情况下，模型所有者无法访问可疑模型的内部细节，然而，对于保护预训练编码器版权，由于缺乏对基于预训练编码器构建的下游分类任务的先验知识，很难为黑盒水印制作特殊的样本，也不能简单地将现有的黑盒水印方案扩展到编码器。

3、现有的水印技术并不能对预训练编码器起到保护作用。此外，现有的水印技术往往只能运用在单一的黑盒场景或白盒场景中，且鉴别能力较差，同时容易遭到剪枝和微调等水印移除攻击的破坏。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种面向自监督学习视觉模型的版权保护方法，具备抵抗常见的水印去除攻击等优点，解决了已有方案存在的黑盒场景下鉴别能力差、白盒场景中安全性不良、对常用的水印移除攻击方法抵抗性差等问题。

3、(二)技术方案

4、为实现上述抵抗常见的水印去除攻击目的，本发明提供如下技术方案：一种面向自监督学习视觉模型的版权保护方法，包括以下步骤：

5、步骤s1:水印生成前，首先需使用经过自监督学习预训练得到的编码器eθ生成对抗扰动wadv并以此作为水印；通过预训练编码器eθ对随机选择的图像xtar(即私密图像)提取特征嵌入(即eθ(xtar))；

6、步骤s2:水印嵌入，在生成wadv后，下一步是将wadv嵌入预训练编码器eθ中；

7、步骤s3:水印验证，当编码器版权拥有者验证可疑编码器是否侵犯了其带水印编码器的知识产权时，可以在白盒场景和黑盒场景两种场景下验证其版权。

8、优选的，步骤s1，基于干净的数据集d和编码器eθ来生成对抗扰动wadv，并使得覆盖扰动后图像经过编码器编码得到的特征嵌入eθ(xi+wadv)(其中xi∈d,i∈{1,2,k,|d|})在私密图像编码后的特征嵌入eθ(xtar)周围聚集。

9、优选的，步骤s1，为了使希望使eθ(xtar)和eθ(xi+wadv)之间的特征距离缩小，实现这个目标wadv，在基于数据集d对扰动进行优化的过程中将以下损失函数最小化：

10、

11、优选的，步骤s2，水印嵌入，该过程是通过联合损失lcomb进一步训练eθ来实现的，该联合损失分别由对比损失lcon和水印损失lwat两个分量组成，即lcomb＝lcon+αlwat，其中α是平衡损耗的参数，默认情况下我们使用α＝40，lcon作为对比学习算法的损失函数，我们采用两种常见的对比学习算法，分别为simclr和moco v2，两者的损失函数分别为：

12、

13、

14、优选的，步骤s2，通过使用softmax函数σ处理后的叠加对抗水印图像的嵌入和不叠加水印的正常图像的嵌入之间的kl散度，即

15、

16、其中x'i是d'中的一个经过自监督学习算法增强后的样本，eθ通过在训练过程中更新编码器参数来添加步骤s1中生成的水印。

17、优选的，步骤s3，在白盒场景中，拥有者将直接访问可疑编码器(即可疑编码器与版权编码器拥有相似的编码特性)；因此版权方将直接获得可疑编码器的输出用于水印验证；通过一组干净图像和叠加对抗扰动后的水印图像之间的平均kl散度进行相似性分析：

18、

19、其中d”是用于水印验证的干净图像数据集；如果tsim小于阈值ts，水印将被成功验证；

20、在黑盒场景中，对于一个可疑的下游模型m，版权拥有者验证m是否由版权编码器训练得到，版权方将建立一个与下游任务相关的干净数据集d*；对下游任务的分类性能进行分析：

21、

22、如果tcls小于阈值tc，则水印将被成功验证。

23、(三)有益效果

24、与现有技术相比，本发明提供了一种面向自监督学习视觉模型的版权保护方法，具备以下有益效果：

25、1、该面向自监督学习视觉模型的版权保护方法，首先编码器版权拥有者随机选择一个训练数据集分布外的图像作为目标样本，并基于编码器和该目标样本优化得到一个对抗扰动并将其作为水印；该水印可以使得输入图像经过编码器编码得到的特征嵌入偏离其原本的位置，并同时在该选定的目标样本的特征嵌入周围聚集；其次，通过预先设定好的联合损失函数优化待保护的预训练编码器，将上一步中生成的水印嵌入到预训练编码器中；与传统的针对端到端分类模型的水印算法不同，本算法不需要获得下游任务的先验知识；因此，本算法能够在白盒甚至是更严格的黑盒场景下验证编码器的所有权，这与已有的技术相比更广阔的应用前进；此外，本算法在不同的对比学习算法和下游任务上具有很好的有效性和鲁棒性，能抵抗常见的水印去除攻击，如模型微调和模型剪枝，具有良好的应用前景。

26、2、该面向自监督学习视觉模型的版权保护方法，通过生成对抗扰动并设计嵌入算法将该扰动嵌入编码器作为水印，使得该水印不仅能够在黑盒和白盒场景下得到验证，而且由于该对抗扰动是基于版权编码器优化得到的，这使得该水印在不破坏编码器编码性能的同时，其鉴别能力和抗移除鲁棒性也会得到提升。

技术特征：

1.一种面向自监督学习视觉模型的版权保护方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种面向自监督学习视觉模型的版权保护方法，其特征在于，步骤s1，基于干净的数据集d和编码器eθ来生成对抗扰动wadv，并使得覆盖扰动后图像经过编码器编码得到的特征嵌入eθ(xi+wadv)其中xi∈d,i∈{1,2,,d}在私密图像编码后的特征嵌入eθ(xtar)周围聚集。

3.根据权利要求1所述的一种面向自监督学习视觉模型的版权保护方法，其特征在于，步骤s1，为了使希望使eθ(xtar)和eθ(xi+wadv)之间的特征距离缩小，实现这个目标wadv，在基于数据集d对扰动进行优化的过程中将以下损失函数最小化：ladv＝exid[1-sim(eθ(xi+wadv)，eθ(xtar))]。

4.根据权利要求1所述的一种面向自监督学习视觉模型的版权保护方法，其特征在于，步骤s2，水印嵌入，该过程是通过联合损失lcomb进一步训练eθ来实现的，该联合损失分别由对比损失lcon和水印损失lwat两个分量组成，即lcomb＝lcon+αlwat，其中α是平衡损耗的参数，默认情况下我们使用α＝40，lcon作为对比学习算法的损失函数，采用两种常见的对比学习算法，分别为simclr和mocov2，两者的损失函数分别为：

5.根据权利要求4所述的一种面向自监督学习视觉模型的版权保护方法，其特征在于，步骤s2，通过使用softmax函数σ处理后的叠加对抗水印图像的嵌入和不叠加水印的正常图像的嵌入之间的kl散度，即

6.根据权利要求1所述的一种面向自监督学习视觉模型的版权保护方法，其特征在于，步骤s3，在白盒场景中，拥有者将直接访问可疑编码器即可疑编码器与版权编码器拥有相似的编码特性；因此版权方将直接获得可疑编码器的输出用于水印验证；通过一组干净图像和叠加对抗扰动后的水印图像之间的平均kl散度进行相似性分析：

技术总结
本发明涉及版权保护技术领域，且公开了一种面向自监督学习视觉模型的版权保护方法，包括以下步骤：步骤S1:水印生成前，首先需使用经过自监督学习预训练得到的编码器E<subgt;θ</subgt;生成对抗扰动w<subgt;adv</subgt;并以此作为水印；步骤S2:水印嵌入，在生成w<subgt;adv</subgt;后，下一步是将w<subgt;adv</subgt;嵌入预训练编码器E<subgt;θ</subgt;中；步骤S3:水印验证，当编码器版权拥有者验证可疑编码器是否侵犯了其带水印编码器的知识产权时，可以在白盒场景和黑盒场景两种场景下验证其版权。该面向自监督学习视觉模型的版权保护方法，与传统的针对端到端分类模型的水印算法不同，本算法不需要获得下游任务的先验知识；因此，本算法能够在白盒甚至是更严格的黑盒场景下验证编码器的所有权。

技术研发人员：张天行,孙广玲,陆小锋
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/1/13