一种面向在线学习的投毒攻击防御方法

本发明属于信息安全、机器学习领域，涉及在线学习过程中在线投毒攻击的防御方法，具体提供一种面向在线学习的投毒攻击防御方法。

背景技术：

1、在边缘计算环境中，数据投毒攻击(dpa)是最具破坏性的潜在攻击之一，攻击者可以轻易地冒充合法用户终端在线生成恶意数据并攻击边缘ai模型，攻击者可以注入毒化样本来修改训练数据的数据分布，从而训练模型以满足他们的特定攻击目标；这种攻击可能会严重危害ai模型的安全性和可靠性，并对边缘系统造成严重威胁。比如，在医疗物联网(the internet of medical things，iomt)领域中，攻击者伪装成合法医疗终端仅上传2％的恶意药物剂量数据，就会严重干扰药物剂量预测模型。

2、目前，关于投毒攻击防御的研究和应用多是针对离线环境，对于在线环境下的投毒攻击还没有有效的解决办法，主要原因在于当前防御方法在面对在线攻击时存在以下不足：首先，由于无法预知全部样本以及攻击时刻，导致无法构建数据防御所依赖的可信干净样本集，使防御方法失效；其次，由于投毒样本总数未知，难以制定合适的过滤阈值，使得离线防御方法不得不采用开销巨大的遍历子集方法保证防御效果，然而，这种开销对于资源受限的边缘计算环境是致命的。

技术实现思路

1、本发明的目的在于针对边缘计算环境中面对在线攻击时无法预知全部样本、攻击时刻及投毒样本总数(干净样本数)的问题，提供一种面向在线学习的投毒攻击防御方法；首先，计算当前到达边缘设备的每个样本的目标函数值，并按照从小到大的顺序排序，同时计算每个样本的影响力，也按照从小到大的顺序排序；然后，按照给定的一组可能的投毒率，计算出可能的干净样本总数，按照可能的干净样本总数依次选择目标函数值排序靠前且影响力排序靠前的样本构建候选干净样本集，每一个投毒率对应一个候选干净样本集；选择损失最小的候选干净样本集作为可信干净样本集，并利用该可信干净样本集训练模型；最后，依次对每一个时间片的达到边缘设备的样本，循环往复之前的操作直到在线学习达到收敛的状态，该过程通过在线增量式地将影响力较大和目标函数值较大的样本点排除在训练模型之外(用影响力较小和目标函数值较小的点净化模型)，以此实现对在线投毒攻击的在线防御目的。

2、为实现上述目的，本发明采用的技术方案为：

3、一种面向在线学习的投毒攻击防御方法，包括以下步骤：

4、s1.初始化防御方法的参数；

5、s2.设置一组可能的投毒率集合；

6、s3.计算当前样本集合中每一个样本的目标函数值，并按照从小到大的顺序排序；

7、s4.计算当前样本集合中每一个样本的影响力，并按照从小到大的顺序排序；

8、s5.对于投毒率集合中每一个投毒率，计算该投毒率下的干净样本总数，第j个投毒率下的干净样本总数计为numj；

9、s6.在每一个投毒率下，选择目标函数值和影响力均位于序列中前numj个的样本构造候选干净样本集计算每一个候选干净样本集的损失值，从中选择损失值最小的作为可信干净样本集并记录对应的投毒率为最优投毒率pt；

10、s7.使用可信干净样本集训练模型，更新模型参数；

11、s8.更新时间片，重复s2～s7直至达到模型收敛条件。

12、进一步的，s1中，采用随机初始化将模型参数初始化为θ0，并初始化当前时间片t为1、最优投毒率pt为0。

13、进一步的，s2中，投毒率组合表示为i，具体为：

14、

15、其中，γ为预设投毒率，r为投毒率区间参数，ij表示第j个投毒率。

16、进一步的，s3中，目标函数值表达为：

17、

18、

19、

20、其中，为模型的目标函数，为模型的损失函数，t表示当前时间片，θt-1为截止到当前时间片时的模型参数，λ与ω(θt-1)为正则化系数与正则化项；表示当前样本集合，cache1与cachet分别表示第1个与第t个时间片，b为每个时间片的样本数；(xi，yi)表示第i个样本点，xi与yi分别表示第i个样本点对应的特征向量与标签值。

21、进一步的，s4中，影响力表达为：

22、

23、

24、

25、

26、

27、其中，ci表示第i个样本点的影响力，(xi，yi)表示第i个样本点，xi与yi分别表示第i个样本点对应的特征向量与标签值，k为样本的特征维度；表示当前样本集合对应的特征矩阵，cache1与cachet分别表示第1个与第t个时间片；θt-1为截止到当前时间片时的模型参数，θ(i)表示采用包含样本(xi，yi)的当前样本集合训练模型得到的模型参数，θ(-i)表示采用不包含样本(xi，yi)的当前样本集合训练模型得到的模型参数。

28、进一步的，s5中，针对投毒率ij，干净样本总数为：

29、numj＝t×b×(1-ij)，

30、其中，numj表示投毒率ij下的干净样本总数，t表示当前时间片，b为每个时间片的样本数。

31、进一步的，s6中，损失值表达为：

32、

33、

34、其中，表示第j个投毒率下的候选干净样本集，表示候选干净样本集的损失值；(xi，yi)表示第i个样本点，xi与yi分别表示第i个样本点对应的特征向量与标签值，θt-1为截止到当前时间片时的模型参数。

35、基于上述技术方案，本发明的有益效果在于：

36、本发明提供一种面向在线学习的投毒攻击防御方法，充分考虑样本影响力和目标函数值的特点，在线学习过程中，依次检测每一时间片到达边缘设备的低影响力和低目标函数值的样本点，构建可信干净样本集，再通过可信干净样本集对模型进行训练，实现对投毒攻击的防御目的；并且，具有如下优点：

37、1)解决了在线学习过程中无法预知全部样本点和攻击时刻的问题，根据样本随时刻的变化动态构建可信干净样本集；

38、2)解决了在线学习过程中无法预知投毒率问题，通过设置一组可能的投毒率并从中寻找最优投毒率；

39、3)通过基于目标函数值最小和影响力最小的双重启发式筛选机制，迭代持续提升可信干净样本集的纯净度，从而降低开销提升防御效果。

技术特征：

1.一种面向在线学习的投毒攻击防御方法，其特征在于，包括以下步骤：

2.根据权利要求1所述面向在线学习的投毒攻击防御方法，其特征在于，s1中，采用随机初始化将模型参数初始化为θ0，并初始化当前时间片t为1、最优投毒率pt为0。

3.根据权利要求1所述面向在线学习的投毒攻击防御方法，其特征在于，s2中，投毒率集合表示为i，具体为：

4.根据权利要求1所述面向在线学习的投毒攻击防御方法，其特征在于，s3中，目标函数值表达为：

5.根据权利要求1所述面向在线学习的投毒攻击防御方法，其特征在于，s4中，影响力表达为：

6.根据权利要求1所述面向在线学习的投毒攻击防御方法，其特征在于，s5中，针对投毒率ij，干净样本总数为：

7.根据权利要求1所述面向在线学习的投毒攻击防御方法，其特征在于，s6中，损失值表达为：

技术总结
本发明属于信息安全、机器学习领域，提供一种面向在线学习的投毒攻击防御方法，用以解决边缘计算环境中面对在线攻击时无法预知全部样本、攻击时刻及投毒样本总数的问题。本发明首先，计算当前到达边缘设备的每个样本的目标函数值及影响力，均按照从小到大的顺序排序；然后，按照给定的一组可能的投毒率，计算出可能的干净样本总数，依次选择目标函数值与影响力排序靠前的样本构建候选干净样本集，选择损失最小的候选干净样本集作为可信干净样本集训练模型；最后，循环直至在线学习达到收敛状态，该过程通过在线增量式地将影响力较大和目标函数值较大的样本点排除在训练模型之外，以此实现对在线投毒攻击的在线防御目的。

技术研发人员：朱沿旭,文红,王永丰,石煜昊
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/3/24