一种联邦学习场景下的移动设备算力预测方法和装置与流程

[0001]
本申请涉及人工智能技术领域，尤其涉及一种联邦学习场景下的移动设备算力预测方法和装置。


背景技术：

[0002]
联邦学习是目前流行的一种发展前途广泛的分布式机器学习技术，通过让每个参与的设备将全局模型下载到本地，使用本地数据集训练后上传结果，可起到有效的保护每个参与设备本地数据集的隐私作用。
[0003]
然而，联邦学习在大规模移动设备训练场景下面临模型训练延迟的巨大挑战。导致延迟过大的原因有以下几个方面：1)联邦学习任务中参与训练的移动设备算力差异大，算力不均衡；2)移动设备的地理位置分布广泛，具有强移动性；3)移动设备网络状态动态变化使得可靠性无法保证。面对这些问题，当前主流的联邦学习主要有两种解决方式：1)不考虑设备状态，冗余式地多选一部分设备参与训练来允许训练过程中某些设备断线的情况；2)考虑候选设备当前时刻的状态，选择当前可用计算与网络资源充足的设备参与每轮训练。然而由于设备时刻处于动态变化中，这两种方式都无法得知设备被选中参与训练后未来是否能顺利完成训练任务。
[0004]
因此，在参与设备具有强烈动态性的联邦学习场景下，如何设计一种移动设备算力预测方法，提高联邦学习场景下有效参与设备的比例和减少联邦学习任务的成本，是本领域技术人员亟待解决的技术问题。


技术实现要素：

[0005]
本申请实施例提供了一种联邦学习场景下的移动设备算力预测方法和装置，使得提高联邦学习场景下有效参与设备的比例和减少联邦学习任务的成本。
[0006]
有鉴于此，本申请第一方面提供了一种联邦学习场景下的移动设备算力预测方法，所述方法包括：
[0007]
收集移动设备上的数据信息，所述数据信息包括位置信息、时间信息、日期信息、网络信息和资源状态信息；
[0008]
将所述位置信息进行聚类，得到所述移动设备的热点位置；
[0009]
通过所述时间信息记录所述移动设备在所述热点位置上的停留时间；
[0010]
根据所述日期信息、所述停留时间、所述网络信息和所述资源状态信息，计算所述移动设备不同日期下在所述热点位置的平均网络状态和平均资源状态；
[0011]
将所述位置信息、所述时间信息、所述日期信息、所述平均网络状态和所述平均资源状态进行预处理，作为训练数据；
[0012]
将所述训练数据输入循环神经网络模型进行预测，得到预置时间段后所述移动设备的网络信息和资源状态信息并输出。
[0013]
优选的，所述位置信息具体为gps数据。
[0014]
优选的，所述将所述位置信息进行聚类，得到所述移动设备的热点位置具体包括：
[0015]
对所述gps数据进行噪声过滤与采样率调整；
[0016]
对过滤和调整后的gps数据进行聚类，得到所述移动设备的热点位置。
[0017]
优选的，所述网络信息具体包括上传网络带宽和下载网络带宽。
[0018]
优选的，所述资源状态信息具体为cpu负载率。
[0019]
优选的，所述循环神经网络模型具体为长短期记忆模型。
[0020]
优选的，所述将所述训练数据输入循环神经网络模型进行预测，得到预置时间段后所述移动设备的网络信息和资源状态信息并输出具体包括：
[0021]
将所述训练数据输入长短期记忆模型；
[0022]
采用双输出层的模式同时进行预置时间段后的所述热点位置和所述停留时间的预测；
[0023]
结合所述热点位置和所述停留时间的预测结果，与所述移动设备的网络信息和所述资源状态信息进行映射，得到预置时间段后所述移动设备的网络信息和资源状态信息并输出。
[0024]
本申请第二方面提供一种联邦学习场景下的移动设备算力预测装置，包括：收集模块和状态预测模块；
[0025]
所述收集模块具体包括：
[0026]
收集单元，用于收集移动设备上的数据信息，所述数据信息包括位置信息、时间信息、日期信息、网络信息和资源状态信息；
[0027]
聚类单元，用于将所述位置信息进行聚类，得到所述移动设备的热点位置；
[0028]
记录单元，用于通过所述时间信息记录所述移动设备在所述热点位置上的停留时间；
[0029]
计算单元，用于根据所述日期信息、所述停留时间、所述网络信息和所述资源状态信息，计算所述移动设备不同日期下在所述热点位置的平均网络状态和平均资源状态；
[0030]
所述状态预测模块具体包括：
[0031]
预处理单元，用于将所述位置信息、所述时间信息、所述日期信息、所述平均网络状态和所述平均资源状态进行预处理，作为训练数据；
[0032]
预测单元，用于将所述训练数据输入循环神经网络模型进行预测，得到预置时间段后所述移动设备的网络信息和资源状态信息并输出。
[0033]
优选的，所述循环神经网络模型具体为长短期记忆模型。
[0034]
优选的，所述预测单元具体包括：
[0035]
输入子单元，用于将所述训练数据输入长短期记忆模型；
[0036]
双输出预测子单元，用于采用双输出层的模式同时进行预置时间段后的所述热点位置和所述停留时间的预测；
[0037]
输出子单元，用于结合所述热点位置和所述停留时间的预测结果，与所述移动设备的网络信息和所述资源状态信息进行映射，得到预置时间段后所述移动设备的网络信息和资源状态信息并输出。
[0038]
从以上技术方案可以看出，本申请实施例具有以下优点：
[0039]
本申请实施例中，提供了一种联邦学习场景下的移动设备算力预测方法，包括收
集移动设备上的数据信息，数据信息包括位置信息、时间信息、日期信息、网络信息和资源状态信息；将位置信息进行聚类，得到移动设备的热点位置；通过时间信息记录移动设备在热点位置上的停留时间；根据日期信息、停留时间、网络信息和资源状态信息，计算移动设备不同日期下在热点位置的平均网络状态和平均资源状态；将位置信息、时间信息、日期信息、平均网络状态和平均资源状态进行预处理，作为训练数据；将训练数据输入循环神经网络模型进行预测，得到预置时间段后移动设备的网络信息和资源状态信息并输出。
[0040]
基于本申请所提供的移动设备算力预测方式，在联邦学习任务场景中，联邦学习参数服务器能够同时根据设备当前资源状态和预测未来阶段内的设备资源状态做出选择，使得在每一轮的联邦学习任务中选中参数的设备更大概率能够按时完成本地训练并及时上传训练结果，有效地提高联邦学习场景下的有效参与设备的比例和减少联邦学习任务的时间成本。
[0041]
与现有主流的冗余式选择方式相比，本申请所提供的移动设备算力预测的方法使得联邦学习任务不再需要选择冗余的候选设备来防止选中设备断连或超时的问题，而是通过预测模型推断出设备未来阶段内的可用状态，从而有效提高所选设备顺利完成训练任务的概率，减少了选择冗余设备带来的资源浪费和额外的训练时长。与只考虑设备当前状态的选择方式相比，本申请所提供的移动设备算力预测的方法可以同时获取设备当前与预测未来的资源状态，防止在联邦学习动态场景中选中当前状态优良，而未来状态差的这类设备，同时也能提高当前状态差，而未来状态优良最终能够顺利完成任务的这类设备被选择的概率，这两类设备状态也是动态场景中常见的状态，因此本方案能够解决原有的只考虑设备当前状态的选择方式带来的局限性。
附图说明
[0042]
图1为本申请实施例中联邦学习任务场景图；
[0043]
图2为本申请第一实施例中联邦学习场景下的移动设备算力预测法的方法流程图；
[0044]
图3为本申请第二实施例中联邦学习场景下的移动设备算力预测法的方法流程图；
[0045]
图4为本申请第三实施例中联邦学习场景下的移动设备算力预测装置的结构示意图；
[0046]
图5为本申请第三实施例中联邦学习场景下的移动设备算力预测装置的收集模块的示意图；
[0047]
图6为本申请第三实施例中联邦学习场景下的移动设备算力预测装置的状态预测模块的示意图。
具体实施方式
[0048]
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0049]
应理解，本申请应用于联邦学习任务场景下，请参阅图1，图1为本申请实施例中联邦学习任务场景图，如图1所示，图1中包括参数服务器，移动设备(设备1、设备2、设备3)。在进行联邦学习时，由于移动设备的位置会发生变化，从而导致网络带宽不稳定、可用运算资源不足的问题，可能使得被选中的移动设备未能按时上传训练结果，因此在选择移动设备前，需要对移动设备未来一段时间内的算力进行预测，其中算力即包括网络带宽状态和运算资源状态。
[0050]
本申请第一方面设计了一种联邦学习场景下的移动设备算力预测方法。为了便于理解，请参阅图2，图2为本申请第一实施例中联邦学习场景下的移动设备算力预测方法法的方法流程图，如图2所示，具体为：
[0051]
s101，收集移动设备上的数据信息，数据信息包括位置信息、时间信息、日期信息、网络信息和资源状态信息。
[0052]
可以理解的是，在对移动设备算力进行预测前，首先需要先收集移动设备当前和过去状态下的数据信息，数据信息包括位置信息、时间信息、日期信息、网络信息和资源状态信息。其中，位置信息为移动设备在不同时期、时间下所处的位置，可以通过移动设备的gps功能获取，具体为gps实时经纬度；日期信息包括是否为工作日、周末、节假日等日期，用于记录移动设备在这些日期下对应的常用地理位置；网络信息则移动设备的带宽，具体包括上传网络带宽和下载网络带宽；资源状态信息为移动设备的运算资源，例如cpu负载率。
[0053]
s102，将位置信息进行聚类，得到移动设备的热点位置。
[0054]
需要说明的是，上述热点位置指的是移动设备经常停留的位置。通过将移动设备在一端时间内的位置信息进行聚类，从而得到移动设备的热点位置。
[0055]
s103，通过时间信息记录移动设备在热点位置上的停留时间。
[0056]
可以理解的是，在得到热点位置后，再统计移动设备在热点位置上的停留时间。
[0057]
s104，根据日期信息、停留时间、网络信息和资源状态信息，计算移动设备不同日期下在热点位置的平均网络状态和平均资源状态。
[0058]
需要说明的是，平均网络状态和平均资源状态可以通过在特点位置上的停留时间计算得到，由于移动设备在工作日、周末、节假日等日期下的热点位置可能有所不同，因此需要将平均网络状态和平均资源状态与日期信息结合，计算移动设备不同日期下在热点位置的平均网络状态和平均资源状态。
[0059]
s105，将位置信息、时间信息、日期信息、平均网络状态和平均资源状态进行预处理，作为训练数据。
[0060]
可以理解的是，得到上述信息后，经过预处理，则可以作为预测模型的训练数据进行输入了。
[0061]
s106，将训练数据输入循环神经网络模型进行预测，得到预置时间段后移动设备的网络信息和资源状态信息并输出。
[0062]
需要说明的是，本申请采用的预测模型为循环神经网络模型(recurrent neural network,rnn)。循环神经网络模型是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络，具有记忆性、参数共享并且图灵完备，在对序列的非线性特征进行学习时具有一定优势。
[0063]
预处理后的数据以一个六元组表示：[poi
i
,st
i
,dt
i
,ρ
i
,d
i
,u
i
],其中下
标i表示对应的设备i；poi表示通过聚类算法得到设备i的热点地理位置；st表示设备i在该热点位置停留的时长；dt表示日期信息(工作日、周末、节假日等)；ρ表示设备i这段时间内在此热点位置上的平均资源状态(cpu的平均负载率)；d和u代表设备i的cpu这段时间内在此热点位置上的平均资源状态(下载速率和上传速率)。预处理后的数据作为序列数据，可以用于循环神经网络的输入数据。
[0064]
输出数据以一个六元组表示：[ρ(t),u(t),d(t),ρ
*
(t),u
*
(t),d
*
(t)]
i
，其中，ρ(t)代表设备i在t时刻当前观察到的设备cpu负载率，ρ
*
(t)代表设备i在t时刻预测本轮时间段内的平均设备cpu负载率；u(t)和d(t)分别代表设备i在t时刻当前观察到的上传速率和下载速率，u
*
(t)和d
*
(t)分别代表设备i在t时刻预测本轮时间段内的平均上传速率和下载速率。
[0065]
本申请实施例所提供的一种联邦学习场景下的移动设备算力预测方法，包括收集移动设备上的数据信息，数据信息包括位置信息、时间信息、日期信息、网络信息和资源状态信息；将位置信息进行聚类，得到移动设备的热点位置；通过时间信息记录移动设备在热点位置上的停留时间；根据日期信息、停留时间、网络信息和资源状态信息，计算移动设备不同日期下在热点位置的平均网络状态和平均资源状态；将位置信息、时间信息、日期信息、平均网络状态和平均资源状态进行预处理，作为训练数据；将训练数据输入循环神经网络模型进行预测，得到预置时间段后移动设备的网络信息和资源状态信息并输出。基于本申请所提供的移动设备算力预测方式，在联邦学习任务场景中，联邦学习参数服务器能够同时根据设备当前资源状态和预测未来阶段内的设备资源状态做出选择，使得在每一轮的联邦学习任务中选中参数的设备更大概率能够按时完成本地训练并及时上传训练结果，有效地提高联邦学习场景下的有效参与设备的比例和减少联邦学习任务的时间成本。
[0066]
与现有主流的冗余式选择方式相比，本申请所提供的移动设备算力预测的方法使得联邦学习任务不再需要选择冗余的候选设备来防止选中设备断连或超时的问题，而是通过预测模型推断出设备未来阶段内的可用状态，从而有效提高所选设备顺利完成训练任务的概率，减少了选择冗余设备带来的资源浪费和额外的训练时长。与只考虑设备当前状态的选择方式相比，本申请所提供的移动设备算力预测的方法可以同时获取设备当前与预测未来的资源状态，防止在联邦学习动态场景中选中当前状态优良，而未来状态差的这类设备，同时也能提高当前状态差，而未来状态优良最终能够顺利完成任务的这类设备被选择的概率，这两类设备状态也是动态场景中常见的状态，因此本方案能够解决原有的只考虑设备当前状态的选择方式带来的局限性。
[0067]
实验结果表明，本方法可以有效提高联邦学习场景中选中可用设备的概率，特别是在候选设备处于移动状态下的不稳定环境时，降低了现有主流的不考虑设备状态的冗余选择式、只考虑设备当前状态的选择方式等带来的设备算力资源浪费和网络资源浪费的问题，通过选择可用资源充足的设备参与训练，也能有效缩短联邦学习每一轮训练任务的时间成本。
[0068]
请参阅图3，本申请第二实施例同了一种联邦学习场景下的移动设备算力预测方法，包括：
[0069]
s201，收集移动设备上的数据信息，数据信息包括gps数据、时间信息、日期信息、上传网络带宽、下载网络带宽和cpu负载率。
[0070]
需要说明的是，本实施例中的步骤s201与第一实施例中的步骤s101一致，其中，位置信息具体为gps数据率，网络信息具体包括上传网络带宽和下载网络带宽，资源状态信息具体为cpu负载率。
[0071]
s2021，对gps数据进行噪声过滤与采样率调整。
[0072]
可以理解的是，由于gps位置信息存在噪声与漂移现象，因此需要对原始gps数据进行噪声过滤与采样率调整。
[0073]
s2022，对过滤和调整后的gps数据进行聚类，得到移动设备的热点位置。
[0074]
可以理解的是，对原始gps数据进行噪声过滤与采样率调整后在进行聚类，可以提高数据的有效性。
[0075]
s203，通过时间信息记录移动设备在热点位置上的停留时间。
[0076]
可以理解的是，本实施例中的步骤s203与第一实施例中的步骤s103一致，此处不再进行赘述。
[0077]
s204，根据日期信息、停留时间、网络信息和资源状态信息，计算移动设备不同日期下在热点位置的平均网络状态和平均资源状态。
[0078]
可以理解的是，本实施例中的步骤s204与第一实施例中的步骤s104一致，此处不再进行赘述。
[0079]
s205，将位置信息、时间信息、日期信息、平均网络状态和平均资源状态进行预处理，作为训练数据。
[0080]
可以理解的是，本实施例中的步骤s205与第一实施例中的步骤s105一致，此处不再进行赘述。
[0081]
s2061，将训练数据输入长短期记忆模型。
[0082]
需要说明的是，本实施例中的循环神经网络模型具体为长短期记忆模型。长短期记忆(long short-term memory,lstm)是一种特殊的rnn，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。相比普通的rnn，lstm能够在更长的序列中有更好的表现。
[0083]
s2062，采用双输出层的模式同时进行预置时间段后的热点位置和停留时间的预测。
[0084]
s2063，结合热点位置和停留时间的预测结果，与移动设备的网络信息和资源状态信息进行映射，得到预置时间段后移动设备的网络信息和资源状态信息并输出。
[0085]
需要说明的是，将输出结果采用双输出层，同时进行热点地理位置和位置停留时长的预测。最后将热点地理位置和位置停留时长时间，结合设备运算资源信息和网络资源信息计算出设备在该位置上该时间段内的平均cpu负载率、上传/下载速率，以一个六元组表示：以一个六元组表示：[ρ(t),u(t),d(t),ρ
*
(t),u
*
(t),d
*
(t)]
i
，其中，ρ(t)代表设备i在t时刻当前观察到的设备cpu负载率，ρ
*
(t)代表设备i在t时刻预测本轮时间段内的平均设备cpu负载率；u(t)和d(t)分别代表设备i在t时刻当前观察到的上传速率和下载速率，u
*
(t)和d
*
(t)分别代表设备i在t时刻预测本轮时间段内的平均上传速率和下载速率。
[0086]
本申请第二方面提供了一种联邦学习场景下的移动设备算力预测装置，请参阅图4。
[0087]
本申请第三实施例提供了一种联邦学习场景下的移动设备算力预测装置，包括收集模块301和状态预测模块302。
[0088]
收集模块具体包括：
[0089]
收集单元3011，用于收集移动设备上的数据信息，数据信息包括位置信息、时间信息、日期信息、网络信息和资源状态信息；
[0090]
聚类单元3012，用于将位置信息进行聚类，得到移动设备的热点位置；
[0091]
记录单元3013，用于通过时间信息记录移动设备在热点位置上的停留时间；
[0092]
计算单元3014，用于根据日期信息、停留时间、网络信息和资源状态信息，计算移动设备不同日期下在热点位置的平均网络状态和平均资源状态；
[0093]
状态预测模块302具体包括：
[0094]
预处理单元3021，用于将位置信息、时间信息、日期信息、平均网络状态和平均资源状态进行预处理，作为训练数据；
[0095]
预测单元3022，用于将训练数据输入循环神经网络模型进行预测，得到预置时间段后移动设备的网络信息和资源状态信息并输出。
[0096]
优选的，位置信息具体为gps数据率，网络信息具体包括上传网络带宽和下载网络带宽，资源状态信息具体为cpu负载率。
[0097]
进一步的，聚类单元3012包括：
[0098]
调整子单元30121，用于对gps数据进行噪声过滤与采样率调整。
[0099]
聚类子单元30122，用于对过滤和调整后的gps数据进行聚类，得到移动设备的热点位置。
[0100]
优选的，循环神经网络模型具体为长短期记忆模型。
[0101]
进一步的，预测单元3022具体包括：
[0102]
输入子单元30221，用于将训练数据输入长短期记忆模型；
[0103]
双输出预测子单元30222，用于采用双输出层的模式同时进行预置时间段后的热点位置和停留时间的预测；
[0104]
输出子单元30223，用于结合热点位置和停留时间的预测结果，与移动设备的网络信息和资源状态信息进行映射，得到预置时间段后移动设备的网络信息和资源状态信息并输出。
[0105]
收集模块301的工作示意图如图5所示，状态预测模块302的工作示意图如图6所示。
[0106]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0107]
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0108]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0109]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0110]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-only memory，英文缩写：rom)、随机存取存储器(英文全称：random access memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0111]
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。