移动边缘计算中基于联邦学习的隐私保护主动缓存方法

本发明涉及移动边缘网络计算，特别是涉及联邦学习和隐私保护的主动缓存方法

背景技术：

1、随着5g通信的快速发展，移动设备需要处理的数据流量变得庞大，数据通信需要的时间成本大幅增加，进一步影响了用户交互延迟的增加。移动边缘计算的出现为上述问题提供了一种解决方式，与集中式云计算不同的是，移动边缘计算主要特点在于将计算卸载与内容缓存到网络边缘处，使得在资源有限的移动设备上达到降低延迟和提高计算能力的目的。为了防止用户大量的请求造成了通信链路负担，边缘缓存的方法开始被采用。在一个移动边缘计算网络中，存在多个边缘服务器，以保证覆盖到该区域内所有用户。利用边缘服务器更加靠近终端设备的特性和存储资源，对流行内容进行缓存。

2、内容缓存的传统技术如random(随机选择算法)、lru(最近最少使用算法)、fifo(先进先出算法)、lfu(最不经常使用算法)都是根据服务请求的时间进行决策的。考虑到边缘节点有限的存储资源，以及边缘节点覆盖到的终端访问内容的多样性。显而易见，这些传统缓存技术并不适用于该场景。预测流行度最高的内容，并将其提前缓存到附近的边缘节点中，是至关重要的。目前已经有一些基于内容预测的缓存方案，如提出了一种多智能体强化学习的策略，在用户偏好未知且需要观察历史用户请求的情况下，预测内容并进行缓存。由于不同区域的用户的偏好存在差异性，所以对内容流行度的预测，应该注重每一个边缘节点覆盖区域内的本地用户请求内容。

3、基于上述方案，用户历史数据在缓存过程中变得透明。与传统的数据中心环境相比，在移动边缘计算网络传输过程中，由于服务提供商存在于网络边缘，会导致更多的网络漏洞出现。考虑用户移动性的情况，终端设备将在多个边缘服务器之间发生切换，每次移动到新的区域内都会重新分析用户数据特征，传输次数的增加导致传输过程中被攻击的概率增加，增大了用户隐私数据泄露的可能性。运用联邦学习的思想结合移动边缘计算环境对用户数据进行本地模型训练，再将本地模型上传到中心服务器进行全局聚合，通过减少数据传输的次数，加强了对用户历史数据的隐私保护。然而，用户总是希望敏感数据仅自己可见，但这显然在基于学习的缓存策略中难以实现。针对这类问题，采取将数据发送到网络边缘前进行处理的方案，从而向边缘服务器隐藏真实的数据信息，以达到隐私保护的目的。

4、在本发明中，提出了一种结合隐私保护的内容主动缓存方案，基于现有的应用于边缘计算领域的联邦学习算法，结合彩票假设的思想，以实现对用户数据的隐私保护目的。本文随后证明，与现有的主动缓存方案推荐，本文提出的方案具有显著的缓存性能。

技术实现思路

1、本发明结合彩票假说，每个边缘节点与终端之间只通信处理过的参数，而不是用户的基本数据模型，达到了保护用户隐私的目的。在联邦学习的基础上，构建了一种基于协作的移动边缘计算架构，提供了局部和全局的流行内容缓存策略，从而降低移动用户的通信成本和请求交互延迟。该方案的缓存策略基于协同过滤算法，对用户相似度进行计算，根据全局模型计算出的权重，最终提供k个流行内容缓存的推荐列表。如图1所示，本发明公开的移动边缘计算中基于联邦学习的隐私保护主动缓存方法，包括以下步骤：

2、步骤1：构建用户行为矩阵：用户行为分析主要采用矩阵分解技术，推测表示潜在的用户特征向量和项目特征向量，并根据已获得的特征向量初始化用户行为矩阵，数据以三元组的形式保存；

3、步骤2：模型设置：根据用户数据的维度(包括用户特征向量和项目特征向量的维度)、嵌入层维度作为多层感知机模型初始化的参数。初始化隐藏层和激活函数，并对用户特征向量和项目特征向量采用嵌入编码及横向拼接；

4、步骤3：模型初始化：初始化全局模型，为之后进行的n轮模拟通信做准备。针对每一个边缘服务器，首先下载中心服务器上的全局模型，根据模型参数的张量完成掩码模型始化，作为本地模型。

5、步骤4：配置边缘网络：根据终端用户分布存在的空间性，同一区域内的用户可能有相似的浏览习惯，将位置接近的m个用户部署在同一个边缘服务器范围内，以构建协作关系的边缘网络。

6、步骤5：隐私保护：使用终端用户的本地数据和创建的剪枝掩码，对初始模型进行修剪，得到彩票假设稀疏子网。根据彩票假设稀疏子网，来解决服务器之间通信时的数据隐私保护问题。

7、步骤6：主动缓存预测：通过协同过滤的技术实现缓存内容预测，需要进行两个步骤。首先，根据全局模型训练后获得的用户及项目特征和权重，处理原始数据集，计算出新的压缩矩阵。其次，通过余弦相似度技术计算出用户相似度，寻找相似用户，以达成预测目的。

8、本发明的有益效果：本发明将彩票假设和联邦学习主动缓存技术结合，考虑到边缘节点之间会存在的协作关系，以及在请求服务阶段，涉及用户数据传输过程中的隐私保护问题。给出了对应的缓存解决方案，最终达到提高终端用户的主动缓存效率的目的。在本发明中，每个用户采用自己的数据参与和维护本地模型更新，在涉及需要与边缘节点与中心服务器进行通信的阶段，该模型经过彩票假设理论，对模型参数进行掩码处理，在中心服务器聚合的过程中，针对这些经过处理的模型参数完成操作。实验结果证明：根据该方案在公开数据集的表现上，证明了该方案在缓存效率方面优于其他现有方法。

技术特征：

1.移动边缘计算中基于联邦学习的隐私保护主动缓存方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的移动边缘计算中基于联邦学习的隐私保护主动缓存方法，其特征在于：所述步骤1中，本发明将用户潜在特征向量分别表示为{x1，x2，...，xm}∈rm×n，项目潜在特征向量表示为{y1，y2，...，yn}∈rm×n，其中rm×n表示一个m行n列的稀疏矩阵，m表示用户数量，n表示项目数量。rm×n矩阵是稀疏的原因在于用户与项目的交互范围较小。用户和项目之间的预测交互作用piij用以下公式表示：

3.根据权利要求1所述的移动边缘计算中基于联邦学习的隐私保护主动缓存方法，其特征在于：所述步骤2中，本发明采用推荐系统中广泛使用的结合多层感知神经网络和协同过滤方案，根据用户特征向量和项目特征向量的维度为该模型添加嵌入层信息，作为模型的初始状态。为了保证训练时的用户隐私保护，除了本地训练模型之外，用户向量并不直接存储在模型中，而选择本地存储。每个用户模型开始训练时，首先在网络传播层输入用户，并寻找与之匹配的项目，随后对用户和项目采用嵌入编码及横向拼接，并经过几个全连接层特征提取，最后通过激活函数sigmoid(x)＝1/(1+e-x)，将输出向量映射到{0，1}之间。

4.根据权利要求1所述的移动边缘计算中基于联邦学习的隐私保护主动缓存方法，其特征在于：所述步骤3中，本发明提出的系统模型首先在中心服务器维护一个全局模型，协作域内的每一个边缘服务器在进行本地模型训练前，需要先从中心服务器下载全局模型，在全局模型的基础上进行本地模型的训练和参数更新。本地模型训练主要依赖用户的历史数据，考虑到对用户数据的隐私保护问题，这种方式通过对训练前的模型添加掩码，使得边缘节点在进行本地模型更新时，不再与中心服务器直接通信模型，只通信经过彩票假设模型处理的本地模型参数。相应地，中心服务器在进行全局模型聚合时，处理的也是彩票假设模型参与后的参数。

5.根据权利要求1所述的移动边缘计算中基于联邦学习的隐私保护主动缓存方法，其特征在于：所述步骤4中，本发明构建了边缘网络模型，终端用户的分布存在一定空间性，同一区域内的用户可能有相似的浏览习惯，如学校、超市、图书馆等公共场所。当有新用户进入这些区域，覆盖该范围的边缘服务器将对新用户所拥有的数据进行采集分析，此时，显然可以结合边缘服务器上已有的分析结果和已缓存的流行内容完成流行内容的主动缓存预测。在本文提出的方案中，通过分析用户数据集中的数据项，将位置接近的m个用户部署在同一个边缘服务器范围内，以达到最大化模拟实际场景的效果。

6.根据权利要求1所述的移动边缘计算中基于联邦学习的隐私保护主动缓存方法，其特征在于：所述步骤5中，本发明为解决服务器之间通信时的数据隐私保护问题，通过学习找到彩票假设稀疏子网的办法，使用终端用户的本地数据和创建的剪枝掩码，对初始模型进行修剪，得到彩票假设子网。本发明在构建彩票假设稀疏子网时对基本模型进行掩码操作，在每一轮通信迭代过程中，边缘节点首先从中心服务器下载全局模型。在本地训练的过程中，每个边缘节点在下载和上传全局模型时，通信的模型都是经过掩码处理的彩票假设子网参数，而非原始模型。随后，中心服务器对接受到的经过掩码处理的子网参数进行聚合操作，再将聚合更新后的子网参数传回给终端用户，以实现对用户本地数据的隐私保护操作。

7.根据权利要求1所述的移动边缘计算中基于联邦学习的隐私保护主动缓存方法，其特征在于：所述步骤6中，本发明根据协同过滤技术将用户行为分解为用户特征向量和项目特征向量，作为该方案的输入特征，这二者通过模型训练，最终映射输出的交互矩阵即预测内容评分。本文使用这种技术进行用户偏好的特征提取，并结合余弦相似度技术确定所用到数据集的相似用户集合，进行接下来的主动缓存内容推荐。用户b和用户c相似度计算过程用以下公式表示：

技术总结
本发明公开一种移动边缘计算中移动边缘计算中基于联邦学习的隐私保护主动缓存方法，该算法是将联邦学习技术与协同过滤技术进行混合。引入协同过滤技术，通过修改联邦学习中的训练模型，将用户特征向量和项目特征向量作为嵌入层加入到模型的隐藏层中，通过边缘服务器的本地更新和中心服务器的全局聚合，迭代训练得到预测的用户潜在特征向量和项目潜在特征向量，并结合彩票假设思想，在模型训练的过程中起到对用户数据的隐私保护，同时降低了迭代过程中通信成本和训练速率。本发明将主动缓存决策问题转换为预测用户潜在特征向量，潜在特征向量代表预测的用户行为偏好。该发明在用户行为偏好建模的问题上充分考虑了用户数据的隐私保护，能够在考虑隐私保护的条件下在众多缓存方案中以较低的通信成本找到缓存策略，在一定程度上解放终端设备的存储资源，保证了用户使用体验，降低服务器及用户间的通信成本。

技术研发人员：武笑同,谭文安
受保护的技术使用者：南京航空航天大学
技术研发日：
技术公布日：2024/1/16