联邦边缘学习环境下模型分割优化的隐私数据保护方法

本发明涉及联邦边缘学习、深度学习模型分割，具体是一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。

背景技术：

1、随着深度学习网络(dnn)在物联网领域中的广泛应用，如语音识别，计算机视觉，图像处理等。在深度学习任务的应用中，需要大量的数据来训练dnn模型，这需要庞大的存储系统以及足够的算力支持。传统的解决方案采用集中的训练方式，将边缘设备的数据传输到云服务器进行训练。这种方案在数据隐私保护方面有不可避免的缺陷。另一方面，数据上传到云也需要占用大量的通信资源，拉低了整个系统的性能。基于此，在边缘设备周围架设边缘服务器得以受到人们的重视。边缘服务器凭借其物理距离的优势，相比于云服务器有更加可靠的短距离通信传输，显著的降低了系统的通信成本。但是，数据在边缘服务器的隐私保护问题仍未得到解决。

2、联邦学习(federal learning,fl)的出现为隐私保护的解决提供了新的平台和机遇。fl是一种分布式学习范式，允许多个边缘设备协同训练dnn模型。在fl框架中每个边缘设备根据自己的数据集在本地进行模型训练，然后将本地模型参数上传至中央服务器，中央服务器负责将各个边缘设备的模型聚合，得到全局模型参数，并将全局模型再分发到边缘设备。重复上述训练过程，直至模型收敛。

3、随着越来越多的物联网设备参与到联邦学习中，近年来研究人员致力于优化fl范式，优化目标主要集中在提高模型精度和通信效率上。相比而言，对于提高fl的计算效率以及降低fl计算能耗的研究并不多。在经典fl框架下，资源受限的边缘设备承担了大部分的模型训练任务，资源充足的边缘服务器只是承担了计算量很小的聚合任务，这种不公平的任务分配策略很大程度上降低了fl的训练效率。

4、边缘学习(edge learning)提出利用网络边缘的资源执行计算任务，具有数据传输距离短、数据处理实时的优点。一些解决方案将联合学习和边缘计算相结合，以减少交换模型参数时的通信开销。它们要求边缘服务器对近端移动设备的模型进行聚合，并将聚合后的模型上传到云数据中心。然而，移动设备仍然需要消耗大量的本地计算资源来训练模型。这就引入了一个额外的第三方，边缘服务器，这可能会增加新的潜在的安全风险。

5、联邦边缘学习(federal edge learning,feel)的出现弥补了fl在资源分配策略上的不足，也平衡了边缘学习隐私安全性的缺陷。在feel中，基于边缘计算的思想，将模型计算任务转移到私有的可信任的边缘服务器上，而不是在中央服务器上进行简单的模型聚合。边缘设备、边缘服务器和中央服务器构成了feel的三层架构。现有大部分feel策略为增强数据隐私的安全性，在模型计算通信的过程中增加了噪声或者进行了加密处理，但都同时提高了模型训练的复杂度，不利于模型训练的效率。再者，现有feel策略多继承了经典fl框架的特征，将整个dnn模型放了在边缘设备上，资源受限的边缘设备承担了大部分的模型训练任务。这种不公平的任务分配策略同样很大程度上降低了feel的训练效率。

6、为此，本发明提出的一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，在保证数据隐私安全性的前提下，降低边缘设备端的模型计算能耗，提高模型计算效率。

技术实现思路

1、本发明针对现有方法的不足，提出了一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。

2、本发明提出的一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，在保证数据隐私安全性的前提下，降低边缘设备端的模型计算能耗，提高模型计算效率。本发明方法的大体思想是：分割学习策略、模型反演、模型分割优化和模型分割动态调整策略。

3、分割学习策略给定了模型分割的分割策略，在模型分割点处进行有效的模型分割，并部署到边缘设备和边缘服务器上。

4、模型反演用来验证边缘设备的子模型在不同分割点的隐私安全性，训练一个反演模型，对不同分割点的中间激活进行反演测试，根据对边缘数据安全性的要求，找到一个最小的模型分割安全点q。

5、模型分割优化用来在数据隐私安全性和训练性能之间找到一个平衡点。按照该分割平衡点k，进行模型的初始化分割。

6、模型分割动态调整策略，边缘设备计算发生变化时，对模型分割点进行动态调整。分为两种情况，当边缘设备其他计算任务抢占计算资源时，若新任务的响应速度要求高，则应减少feel训练任务所占用的计算量，即减少边缘设备上的模型层数，这部分模型依靠边缘服务器来训练。当边缘设备上计算任务量少时，则可增加feel训练任务在边缘设备的模型层数，由于边缘设备的资源限制以及能耗要求，模型在边缘设备上的子模型层数并不能一直增加，需采取的策略是将子模型层数增加至之前模型分割优化所得到的模型分割平衡点。

7、本发明具体如下：

8、第一方面，本发明提供一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，包括如下步骤：

9、步骤1、构建联邦边缘学习框架，包括一个云服务器s、一组边缘服务器es、n个边缘设备e以及每个边缘设备的私有数据集di；

10、步骤2、制定模型分割学习策略，实现dnn模型的分割，一部分部署在边缘设备端，另一部分部署在边缘服务器端；

11、步骤3、构建反演模型，训练并推理，根据对数据安全性的要求计算dnn模型分割隐私安全点q；

12、步骤4、考虑各边缘设备的计算性能及功耗，兼顾dnn模型训练效率，确定dnn模型分割平衡点k。然后根据步骤2所示模型分割学习策略将dnn模型在模型分割平衡点k处进行分割初始化，以保护各边缘设备的数据隐私；

13、步骤5、根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整dnn模型分割点，以提高边缘设备任务调度的灵活性。

14、进一步的，步骤2具体包括以下步骤：

15、所述dnn模型从输入层至输出层共有n层，其中靠近输入层的前m层部署在边缘设备上，称为左子模型ml；靠近输出层的后n-m层部署到边缘服务器上，称为右子模型mr，模型分割处为当前模型分割点。

16、边缘设备在本地执行前向传播，将左子模型最后的激活参数传到边缘服务器的右子模型。边缘服务器使用接受到的激活参数继续进行正向传播。之后，边缘服务器对右子模型的模型参数进行反向传播，更新右子模型。然后，边缘服务器将右子模型在分割点处的反向传播模型参数传递给边缘设备。边缘设备接收到边缘服务器传来的反向传播模型参数后，对本地左子模型继续进行反向传播。以此来进行分离式的边缘联邦学习。

17、进一步的，步骤3具体包括以下步骤：

18、从dnn模型的输入层开始进行逐层分割，对于每一个可能的分割点(即分割层)li，i＝1,2,…，n。分别构建反演模型gi，用来测试该分割点的隐私安全性。分割点为li时，部署在边缘设备上的左子模型记为mli。

19、对反演模型gi进行训练，使得反演推理出的数据与原始输入数据之间的均方误差(mse，mean square error)最小化。设用于训练反演模型的数据集为datag，则反演模型gi的优化可表示为：

20、

21、利用训练好的反演模型gi对左子模型mli发送的中间激活参数aiti进行反演推理，重构原始输入数据。

22、采用峰值信噪比psnr(peak signal-to-noise ratio)和结构相似性ssim(structural similarity)来衡量反演模型的重构数据与原数据的相似程度。若重构数据与原数据的psnr>30db且ssim>0.8时，则认为以当前分割点进行模型分割是隐私不安全的。反之，若重构数据与原数据的psnr≤30db或ssim≤0.8则认为以当前分割点进行模型分割是隐私安全的。

23、反演模型的训练从i＝1开始，逐个训练反演模型gi，直到反演模型gi重构出的图像不满足评价指标，则i就是要找的模型分割安全点,记为q。其中，为检验反演模型对不同分割点进行攻击的训练效果，针对不同分割层数i的反演模型gi的模型结构和训练次数应相同。

24、进一步的，步骤4具体包括以下步骤：

25、4-1计算边缘设备总能量消耗e；

26、单个边缘设备总能量消耗esum由边缘设备模型计算能耗和通信传输能耗两部分组成；边缘设备模型计算能耗可由设备cpu/gpu功率乘计算时间得到，边缘设备通信能耗可由设备通信功率乘通信传输时间得到；边缘设备总能量消耗e可表示为：

27、e＝pedge*tedge+parr*tarr    式(2)

28、其中，pedge表示边缘设备计算单元功率，parr表示边缘设备通信传输功率，tedge表示边缘设备计算所需时间，tarr表示边缘设备通信所需时间；

29、4-2计算模型训练总时延t。

30、模型训练总时延t由边缘设备训练时间、通信传输时间和服务器训练时间三部分组成；边缘设备训练时间可由边缘设备左子模型计算量、边缘设备算力以及训练任务的超参数得出；服务器训练时间可由边缘服务器右子模型计算量、服务器设备算力以及训练任务的超参数得出；通信传输时间可由模型参数上传至服务器时间和下载到本地时间计算得出；模型训练总时延t可表示为：

31、

32、其中flopsedge为边缘设备左子模型计算量，flopssever为边缘服务器右子模型计算量，wedge、wsever分别为边缘设备左子模型、边缘服务器右子模型的算力，cait为通信传输数据量，r为通信传输速率，b为模型训练的batchsize，epoch为模型训练次数；

33、边缘设备左子模型的层数越多，dnn模型分割点处参数量越小，通信传输的能耗以及时间就越小，模型训练效率更高，但同时占用了更多边缘设备的计算资源，产生了更多能耗。反之，边缘设备左子模型的层数越少，边缘设备的能耗更低，但同时模型训练效率降低。

34、4-3计算模型分割平衡点k，使得整个系统的训练时间及能量消耗尽可能少。

35、在通信传输率r，模型参数量params以及模型安全性的约束之下，该优化问题可表示为：

36、

37、s.t.k>q

38、k≤n

39、paramsedge<medge

40、其中，paramsedge为边缘设备左子模型参数量，medge为边缘设备内存容量，n为dnn模型网络模型总层数，λ和μ分别表示能耗和时延的重要性加权指标，q为模型分割安全点；

41、利用二次多项式回归，优化求解公式(4)，得到模型分割平衡点k；

42、4-4在分割平衡点k处进行模型分割，将分割后左子模型(输入端)部署在边缘设备，右子模型(输出端)部署在边缘服务器吗，完成模型分割的初始化。

43、进一步的，步骤5具体包括以下步骤：

44、实时监控边缘设备负载情况，根据资源(cpu/gpu/内存)占用率、边缘设备核心温度、高优先级任务插队等情况出现时，对当前模型分割的分割点k进行动态调整。

45、5-1对dnn模型进行训练，初始化模型分割的分割点k为模型分割平衡点，即k＝k,时刻t＝t0；

46、5-2判断当前时刻t模型分割的分割点k是否满足k>q，若否则执行步骤5-3；若是则继续判断训练过程中是否有出现资源(cpu/gpu/内存)占用率大于预设值θ、优先级高于当前任务的插队任务中的至少一种情况，若是则将部署在边缘设备的左子模型的尾部s层的计算任务交给边缘服务器，模型分割点更新为k＝k-s，且更新后分割点k满足k≥q，执行步骤5-3；若否则更新k＝k，然后执行步骤5-3；

47、5-3判断当前dnn模型的训练任务是否完成，若是则模型分割任务结束；若否则t＝t+δt时，δt为等待时间，返回步骤5-2。

48、边缘设备与边缘服务器通过一次通信传输完成模型分割点k的更新。所述通信传输过程具体是边缘设备在给边缘服务器传输激活参数ait的同时，携带一个模型分割动态调整状态字段dynamic_adjustment＝true，边缘设备传输第k-s层至第k层的模型参数给边缘服务器。之后，这s层的计算任务，将由边缘服务器承担。s的取值应根据dnn模型大小设定，模型越大，每次动态调整的步长s越大。

49、当资源(cpu/gpu/内存)占用率低、高优先级任务处理完成时，应将模型分割点恢复至模型分割平衡点k，以保证边缘设备能耗、资源占用以及训练时间的平衡。这一过程为减少边缘设备左子模型的层数的逆过程，同样通过一次通信完成模型分割点的调整。

50、第二方面，本发明提供一种隐私数据保护系统，包括：

51、联邦边缘学习框架构建模块；

52、模型分割学习策略模块；

53、反演模型构建模块，训练并推理，根据对数据安全性的要求计算dnn模型分割隐私安全点q；

54、初始分割模块，确定dnn模型分割平衡点k，然后根据模型分割学习策略将dnn模型在模型分割平衡点k处进行初始分割；

55、动态调整模块，根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整dnn模型分割点。

56、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。

57、第四方面，本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。

58、本发明有益效果：

59、本发明提出了一种联邦边缘学习环境下模型分割优化的隐私数据保护方法结合了隐私安全保护和模型分割动态调整策略，在满足联邦边缘学习计算任务、数据隐私安全性和边缘设备能耗控制的条件下，使得联邦边缘学习效率最大化。

60、本发明采用反演模型寻找满足数据隐私安全性的模型分割安全点，在满足数据安全性的条件下，找到一个边缘设备能耗和训练效率的模型分割平衡点。在平衡点处进行模型分割部署的初始化。然后在训练和推理的过程中根据边缘设备的资源分配需求，动态调整模型分割点，提高边缘设备任务调度的灵活性，满足复杂环境下模型训练效率最大化以及资源动态调整的需求。