系统参数处理方法、装置、设备及存储介质与流程

文档序号:30599866发布日期:2022-07-01 21:27阅读:72来源:国知局
系统参数处理方法、装置、设备及存储介质与流程

1.本发明涉及人工智能技术领域,尤其涉及一种系统参数处理方法、装置、设备及存储介质。


背景技术:

2.随着计算机技术和大数据处理技术的不断发展,联邦学习的应用越来越广泛。联邦学习不仅在算法设计上存在许多设计难点,在计算机工程角度也有许多尚待解决的问题。
3.由于联邦学习在系统架构的层面涉及到了分布式计算、分布式存储以及跨站点传输,所以系统复杂度相对较大。联邦学习的底层分布式框架(下文简称框架)是一个离线训练的分布式系统,为了适应不同用户的不同硬件环境,框架本身设计成一个参数化系统,提供大量可配置的参数。用户在使用的过程中可以根据用户机器的配置来调整框架参数以获得最优化的性能或者最大化的稳定性。
4.目前,联邦学习底层分布式系统参数的配置一般由用户根据经验手动调整。但是,由于系统复杂度较高,可配置的参数较多,人工调试参数的方式较为费时,且调试效果很难保证,调试效率较低。


技术实现要素:

5.本发明的主要目的在于提供一种系统参数处理方法、装置、设备及存储介质,旨在构建系统参数调试的模型,将系统参数调试自动化,以提高系统参数调试效率。
6.为实现上述目的,本发明提供一种系统参数处理方法,应用于参与多方安全计算的多个参与方中的第一参与方,所述方法包括:
7.确定至少一个训练样本,其中,每一训练样本包括系统参数以及在该系统参数下进行计算时对应的系统性能信息;
8.构建用于根据系统参数预测系统性能信息的模型;
9.根据所述至少一个训练样本,联合所述多个参与方中的至少部分其它参与方对所述模型进行联邦训练,其中,训练后的模型用于供所述多个参与方中的任一参与方调整系统参数。
10.在一种可能的实现方式中,根据所述至少一个训练样本,联合所述多个参与方中的至少部分其它参与方对所述模型进行联邦训练,包括:
11.根据所述至少一个训练样本,联合所述多个参与方中的至少部分其它参与方对所述模型进行联邦训练;
12.重复执行下述操作,直至满足训练结束条件:
13.根据训练得到的模型,调整所述第一参与方的系统参数;
14.判断调整后的系统参数对应的系统性能信息是否优于调整前对应的系统性能;
15.若是,则联合所述多个参与方中的至少部分其它参与方对继续所述模型进行联邦
训练;
16.若否,则确定满足训练结束条件。
17.在一种可能的实现方式中,根据训练得到的模型,调整所述第一参与方的系统参数,包括:
18.随机生成多个调参方案,每一参数方案包括用于输入至所述模型的系统参数;
19.根据所述模型,确定每一调参方案对应的系统性能信息;
20.根据各个调参方案对应的系统性能信息,从所述多个调参方案中选择一调参方案;
21.根据所选择的调参方案调整所述第一参与方的系统参数。
22.在一种可能的实现方式中,根据各个调参方案对应的系统性能信息,从所述多个调参方案中选择一调参方案,包括:
23.根据各个调参方案对应的系统性能信息,从所述多个调参方案中选择系统性能信息满足预设条件的调参方案作为备选方案;
24.若所述备选方案有多个,则对于每一备选方案,基于所述备选方案的系统参数对预设的数据集进行计算,并检测进行计算时对应的系统性能信息;
25.根据检测得到的各个备选方案对应的系统性能信息,从多个备选方案中选择一调参方案。
26.在一种可能的实现方式中,联合所述多个参与方中的至少部分其它参与方对继续所述模型进行联邦训练,包括:
27.根据检测得到的系统性能信息,构建新的训练样本;
28.根据新的训练样本,联合所述多个参与方中的至少部分其它参与方对所述模型进行联邦训练。
29.在一种可能的实现方式中,所述模型为线性回归模型;所述模型对应的系统参数包括环境参数和分布式参数;
30.其中,所述环境参数包括下述至少一项:cpu信息、内存信息和硬盘信息;
31.所述分布式参数包括下述至少一项:线程池信息、网络包信息和重试等待时间。
32.在一种可能的实现方式中,所述方法还包括:
33.获取所述至少部分其它参与方构建并训练得到的用于根据系统参数预测系统性能信息的模型;
34.对获取到的模型以及所述第一参与方构建并训练得到的模型进行聚合,得到聚合后的模型;
35.其中,所述用于供所述多个参与方中的任一参与方调整系统参数的模型为所述聚合后的模型。
36.本发明还提供一种系统参数处理方法,包括:
37.获取用于根据系统参数预测系统性能信息的模型,其中,所述模型为基于上述任一项所述的方法得到的模型;
38.生成至少一个调参方案,每一参数方案包括用于输入至所述模型的系统参数;
39.根据所述模型,得到各个调参方案对应的系统性能信息,并根据各个调参方案的系统性能信息进行系统参数调整。
40.本发明还提供一种系统参数处理装置,包括:
41.训练样本确定模块,由于确定至少一个训练样本,其中,每一训练样本包括系统参数以及在该系统参数下进行计算时对应的系统性能信息;
42.模型构建模块,用于构建用于根据系统参数预测系统性能信息的模型;
43.模型训练模块,用于根据所述至少一个训练样本,联合所述多个参与方中的至少部分其它参与方对所述模型进行联邦训练,其中,训练后的模型用于供所述多个参与方中的任一参与方调整系统参数。
44.本发明还提供一种系统参数处理装置,包括:
45.获取模块,用于获取用于根据系统参数预测系统性能信息的模型,其中,所述模型为基于如前述任一项所述的装置得到的模型;
46.调参方案生成模块,用于生成至少一个调参方案,每一参数方案包括用于输入至所述模型的系统参数;
47.参数调整模块,用于根据所述模型,得到各个调参方案对应的系统性能信息,并根据各个调参方案的系统性能信息进行系统参数调整。
48.本发明还提供一种系统参数处理设备,所述系统参数处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的系统参数处理程序,所述系统参数处理程序被所述处理器执行时实现如前述任一项所述的系统参数处理方法的步骤。
49.本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有系统参数处理程序,所述系统参数处理程序被处理器执行时实现如前述任一项所述的系统参数处理方法的步骤。
50.本发明还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现前述任一项所述的系统参数处理方法。
51.本发明提供了一种系统参数处理方法、装置、设备及存储介质,该方法应用于参与多方安全计算的多个参与方中的第一参与方,所述方法包括:确定至少一个训练样本,其中,每一训练样本包括系统参数以及在该系统参数下进行计算时对应的系统性能信息;构建用于根据系统参数预测系统性能信息的模型;根据所述至少一个训练样本,联合所述多个参与方中的至少部分其它参与方对所述模型进行联邦训练,其中,训练后的模型用于供所述多个参与方中的任一参与方调整系统参数。本发明通过构建用于根据系统参数预测系统性能信息的模型,由多个参与方联合进行多方安全计算,对模型进行训练,训练好的模型可用于对各参与方中的任一参与方进行系统参数的调整。从而使系统参数的调试实现自动化,以提高系统参数调试效率。
附图说明
52.图1为本发明实施例提供的一种应用场景示意图;
53.图2为本发明实施例提供的一种系统参数处理方法的流程示意图;
54.图3为本发明实施例提供的一种横向联邦学习的原理示意图;
55.图4为本发明实施例提供的另一种系统参数处理方法的流程示意图;
56.图5为本发明实施例提供的一种模型训练的方法的流程示意图;
57.图6为本发明实施例提供的一种系统参数调整方法的流程示意图;
58.图7为本发明实施例提供的一种系统参数处理装置的结构示意图;
59.图8为本发明实施例提供的另一种系统参数处理装置的结构示意图;
60.图9为本发明实施例提供的一种系统参数处理设备的结构示意图。
61.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
62.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
63.联邦学习底层的分布式系统较为复杂,且可配置的参数较多,人工调试需要用户投入较大的学习成本以及调试成本才可能获取系统最优参数。这个过程耗时费力,效率较低。
64.为了解决这一问题,本发明实施例提供一种方法,可以基于机器学习模型进行系统参数的调整。但是单个用户的系统参数数据量过少,难以达到机器学习模型优化的数据量要求。而联邦学习正是一个多方参与的过程,弥补了单个用户数据量不足的问题。联邦学习框架是一个离线系统,需要用户安装在自己的硬件环境上,多用户之间可以通过联邦学习训练一个系统调优能力更强的系统调优模型,从而利用此模型有效进行系统参数调整。
65.有鉴于此,本发明实施例提供一种系统参数处理方法、装置、设备及存储介质,构建系统参数调试的模型,将系统参数调试自动化,以提高系统参数调试效率。
66.图1为本发明实施例提供的一种应用场景示意图。如图1所示,参与多方安全计算的多个参与方协同进行数据处理。为了提高数据处理的效率,需要对各方的系统参数进行调整。每个参与方均具有系统参数以及对应的系统性能信息,通过联邦学习,多个参与方共同训练用于根据系统参数预测系统性能信息的模型(下文简称系统调参模型),各方可以利用训练好的系统调参模型确定本地的系统参数。然后基于确定的系统参数,进行多方安全计算。
67.下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
68.图2为本发明实施例提供的一种系统参数处理方法的流程示意图。本实施例提供的方法的执行主体可以为参与多方安全计算的任一参与方,参与方具体可以为服务器或终端设备或设备集群等。如图2所示,本实施例的系统参数处理方法可以包括:
69.步骤201、确定至少一个训练样本,其中,每一训练样本包括系统参数以及在该系统参数下进行计算时对应的系统性能信息。
70.其中,系统参数指参与方的系统架构的参数,可能包括硬件参数和软件参数。硬件参数指硬件设备的参数,软件参数指软件配置的参数。系统性能信息指对应系统参数下可以表征系统运行性能的信息,例如,系统性能评分等信息,具体可以通过系统的处理速度、响应时间等来确定。
71.系统参数影响系统性能,因而可以将系统参数作为特征变量,将系统性能作为目标变量(即标签),共同构成训练样本。
72.针对每一个参与方,都可以从本地获取历史的系统参数数据和对应的系统性能数据,作为本方的训练样本。
73.步骤202、构建用于根据系统参数预测系统性能信息的模型。
74.确定系统参数与系统性能信息之间的函数关系,据此关系构建模型。此模型即上述的系统调参模型。
75.具体的,模型可以采用线性回归模型、逻辑回归模型、神经网络模型等,这里不做限定。在实际的应用中,可以根据不同模型的特点,对模型类型进行选择。
76.步骤203、根据至少一个训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练,其中,训练后的模型用于供多个参与方中的任一参与方调整系统参数。
77.具体的,可以通过获取其它参与方的训练样本的方式,扩大训练样本量,以提高模型训练的精度。为保障数据隐私,可以对样本数据加密后进行传输,在参与方的模型训练过程中同样使用加密计算。
78.将训练好的模型的参数发送给其它参与方以实现模型参数的共享,则各方可以利用训练后的模型进行本方的系统参数调整。
79.本实施例提供的系统参数处理方法,应用于参与多方安全计算的多个参与方中的第一参与方,方法包括:确定至少一个训练样本,其中,每一训练样本包括系统参数以及在该系统参数下进行计算时对应的系统性能信息;构建用于根据系统参数预测系统性能信息的模型;根据至少一个训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练,其中,训练后的模型用于供多个参与方中的任一参与方调整系统参数。本发明通过构建用于根据系统参数预测系统性能信息的模型,由多个参与方联合进行多方安全计算,对模型进行训练,训练好的模型可用于对各参与方中的任一参与方进行系统参数的调整。从而使系统参数的调试实现自动化,以提高系统参数调试效率。
80.在系统调参模型最终确定之前,可能需要经过多次模型训练。可选的,在模型训练过程中,可以预设训练轮次,在达到训练轮次时,结束训练;或者,在模型收敛时,结束训练,例如可以预设损失容限值,在训练过程中计算损失值,并在损失值达到预设的损失容限值时确定损失函数的结果收敛,结束训练。
81.此外,也可以通过检验模型效果来确定模型训练的次数和最终的模型参数。
82.相对应的,上述步骤203根据至少一个训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练,具体可以包括:根据至少一个训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练;重复执行下述操作,直至满足训练结束条件:根据训练得到的模型,调整第一参与方的系统参数;判断调整后的系统参数对应的系统性能信息是否优于调整前对应的系统性能;若是,则联合多个参与方中的至少部分其它参与方对继续模型进行联邦训练;若否,则确定满足训练结束条件。
83.根据至少一个训练样本,联合多个参与方中的至少部分其它参与方对模型进行至少一次联邦训练,应用训练得到的模型调整第一参与方的系统参数,确定调整后的系统的系统性能相对于调整前是否有提升。如果系统性能有提升,说明本次训练的模型相对于上次有优化,即模型还有优化的可能,则可以再继续进行下一轮次的模型训练;如果系统性能没有提升,说明本次训练对模型的性能没有提升,即模型可能已经达到最佳程度,则无需再进行下一轮次的模型训练,可以结束训练。
84.在本实施例中,通过直接使用训练的模型进行实际的系统参数调整,并对调整后的系统性能进行分析,可以确定模型训练的程度,作为模型训练进程的指导性指标,可以高效监控模型训练过程,避免模型训练次数过少导致的模型使用效果差,或者模型训练次数过多导致的时间、资源浪费,提升模型训练的效率。
85.在一种可能的实现方式中,根据训练得到的模型,调整第一参与方的系统参数的方式具体可以包括:随机生成多个调参方案,每一参数方案包括用于输入至模型的系统参数;根据模型,确定每一调参方案对应的系统性能信息;根据各个调参方案对应的系统性能信息,从多个调参方案中选择一调参方案;根据所选择的调参方案调整第一参与方的系统参数。
86.首先随机生成多个调参方案,每个调参方案对应一组系统参数;将每一组系统参数输入到模型中,可以确定对应的系统性能信息(即标签);将每组系统参数对应的系统性能信息作为筛选的依据,从中选择一个调参方案对应的系统参数作为新的系统参数,将第一参与方原有的系统参数调整为新的系统参数。
87.本实施例提供的利用模型调整系统参数的方式,既适用于对模型性能进行检测以确定是否需要继续进行模型训练的过程中,同样也适用于利用最终训练好的模型实际进行系统参数调整的过程中。通过随机生成调参方案,并针对每一调参方案进行系统性能分析,可以提高生成最优系统参数的概率,即可以提高模型性能判断的准确性,也可以提高系统参数调整的效率。
88.其中一种根据各个调参方案对应的系统性能信息,从多个调参方案中选择一调参方案的方式可以为,从多个调参方案中选择系统性能信息最优的一个调参方案,将其对应的系统参数作为新的系统参数。
89.另一种根据各个调参方案对应的系统性能信息,从多个调参方案中选择一调参方案的方式具体可以包括:根据各个调参方案对应的系统性能信息,从多个调参方案中选择系统性能信息满足预设条件的调参方案作为备选方案;若备选方案有多个,则对于每一备选方案,基于备选方案的系统参数对预设的数据集进行计算,并检测进行计算时对应的系统性能信息;根据检测得到的各个备选方案对应的系统性能信息,从多个备选方案中选择一调参方案。
90.其中,预设条件可以为系统性能信息大于或等于某个阈值;或者,系统性能信息按优劣排列,选其中最优的若干个,等等。相对应的,从多个调参方案中选出满足预设条件的备选方案;利用备选方案,对预设的数据集进行实际的计算,检测其对应的实际的系统性能信息,据此,从备选方案中选择最优的一个调参方案,将其对应的系统参数作为新的系统参数。
91.其中,系统性能信息可以为,对预设数据集的计算速度或计算时长。可以基于计算速度进行评分,例如大于或等于某一速度值,对应系统性能为80分等。也可以基于计算时长进行评分,例如小于或等于某一时长值,对应系统性能为80分等。
92.本实施例通过筛选备选方案,并基于实际的计算过程,对备选方案对应的实际系统性能信息进行分析,可以排除系统调参模型分析的误差,进一步提高系统参数调整的效果。
93.在一种可能的实现方式中,联合多个参与方中的至少部分其它参与方对继续模型
进行联邦训练,包括:根据检测得到的系统性能信息,构建新的训练样本;根据新的训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练。
94.在模型训练过程中,可能会涉及到利用备选方案对预设的数据集进行实际计算;在利用模型进行实际的系统参数调整的过程中,会涉及到利用调参方案实际的数据集进行计算。这些过程中都会生成新的“系统参数-系统性能信息”的数据对,可以作为新增的样本数据。利用新增的样本数据更新训练样本,再次进行联邦训练,可以扩大样本数量,同时提升模型精度,最大程度地挖掘数据价值。
95.在一种可能的实现方式中,模型可以为线性回归模型;模型对应的系统参数包括环境参数和分布式参数;其中,环境参数可以包括下述至少一项:cpu信息、内存信息和硬盘信息;分布式参数可以包括下述至少一项:线程池信息、网络包信息和重试等待时间。
96.其中,环境参数等同于步骤201中所说的硬件参数,是硬件设备的基础参数。分布式参数等同于软件参数,是分布式系统软件配置的参数。环境参数一般是固定的,不可调整,但与不同分布式参数组合构成的系统参数会导致不同的系统性能,因而同样作为训练样本对模型进行训练。
97.在分布式参数中,线程池信息可以为多线程处理模式下线程池的大小;网络包信息可以为与其他参与方进行数据传输时的网络包大小;重试等待时间可以是指,在向其他参与方发送信息后,若在该时间内没有接收到参与方返回的响应,则重新发送信息。
98.将各个系统参数作为特征变量,为每个特征变量设定权重值,将系统性能信息作为目标变量,构建线性回归函数。
99.如上述实施例中说明的,模型也可以为其它类型,例如逻辑回归模型、神经网络模型等。
100.以上各实施例所说明的是在任一参与方单方的模型训练过程,在各方完成训练后,还可以通过模型聚合,得到参数更为优化的模型。具体的可以包括:获取至少部分其它参与方构建并训练得到的用于根据系统参数预测系统性能信息的模型;对获取到的模型以及第一参与方构建并训练得到的模型进行聚合,得到聚合后的模型;其中,用于供多个参与方中的任一参与方调整系统参数的模型为聚合后的模型。
101.参与模型训练的参与方,可以为参与多方安全计算的多个参与方中的部分参与方或全部参与方。故由本方法执行主体的参与方可以联合其它参与模型训练的参与方进行联邦训练。
102.具体的,针对每一个参与模型训练的参与方,同样执行步骤201-步骤203,提供各自本地的训练样本,构建系统调参模型,彼此联合进行联邦训练。
103.由于各参与方均可以提供目标变量数据,符合横向联邦学习的特点,因而可以采用横向联邦学习进行模型训练。各参与方利用本地的样本数据进行模型参数的计算,各参与方的模型参数合并得到模型参数。在模型训练过程中涉及到数据传输,可以对数据进行加密计算。加密算法可以采用同态加密或半同态加密。
104.图3为本发明实施例提供的一种横向联邦学习的原理示意图。如图3所示,参与横向联邦学习的各参与方为客户终端1、客户终端2
……
客户终端k,各客户终端利用本地的样本数据进行本方的模型参数的计算,并将计算得到的本方的模型参数发送到服务器(即横向联邦学习的协调方),在服务器进行各方模型参数的聚合,得到最终确定的模型参数,并
分发给各参与方,完成模型训练过程。发送过程中的数据是加密数据。
105.图4为本发明实施例提供的另一种系统参数处理方法的流程示意图,本实施例的方法可应用于利用系统调参模型对系统参数进行调整,该方法包括:
106.步骤401、获取用于根据系统参数预测系统性能信息的模型。
107.其中,该模型为基于上述实施例的方法得到的系统调参模型。
108.步骤402、生成至少一个调参方案,每一参数方案包括用于输入至模型的系统参数。
109.与上述实施例中的调参方案相似的,每个调参方案对应一组系统参数,每组系统参数中可能包括有环境参数和分布式参数。
110.其中,环境参数可以从设备直接获取,分布式参数可以随机生成。
111.步骤403、根据模型,得到各个调参方案对应的系统性能信息,并根据各个调参方案的系统性能信息进行系统参数调整。
112.将每个调参方案对应的系统参数输入模型中,即可对应输出系统性能信息的预测值。然后即可根据各个调参方案对应的系统性能信息进行系统参数调整。
113.已经训练好的模型,可以对一组系统参数对应的系统性能信息进行精准的预测,比较接近实际的系统性能信息。因而,采用本实施例的方法即可快速准确地对多组调参方案进行比较,并从中确定最优的调参方案对系统参数进行调整。相对于现有技术,整体的效率大大提升。
114.其中,部分相似技术特征的具体实现可以参考上述实施例中的说明。
115.图5为本发明实施例提供的一种模型训练的方法流程图。机构a与机构b都部署了联邦学习分布式框架。首先采集框架初始参数,并据此初始化系统调参模型。而后通过联邦建模的方式训练模型参数,得到新的模型。在完成每一次的建模后都利用新模型优化系统参数,如果系统性能较上一次有所提升则说明此次联邦建模成功优化系统参数,如此循环直到系统性能没有提升便完成了此次的联邦优化建模。
116.本实施例中的系统调参模型采用多特征量线性回归模型进行拟合。在本模型中当前机构a有如下特征:
[0117][0118]
机构b也有类似的参数以及评分数据。
[0119]
以上数据中,包括了环境参数以及分布式系统参数,前者指的是用户的服务器环境参数,例如cpu核数,内存大小,以及硬盘大小等等;后者即为分布式系统参数。性能评分则是对应的环境参数和分布式系统参数下的联邦学习性能评分(评分范围为0~100)。将以上参数套入模型:
[0120]hθ
=θ0+θ1*x1+θ2*x2+θ3*x3+θ4*x4+

+θn*xn[0121]
其中x代表上述的环境参数以及分布式系统参数(x即为特征),h
θ
(x)则为本实施例中所说的模型,而每个机构都可提供相同的x(每个机构都有自己的环境参数以及分布式系统参数)。由此,该问题即可转换为联邦学习的多特征量线性回归建模(上述所有参数为特征,训练得到模型h
θ
(x))。通过多机构之间联合进行联邦学习多特征量线性回归建模,可以聚合多个机构的数据(不同环境参数和分布式系统参数以及其对应的性能评分),从而大大增加了训练数据量,可得到效果更好的模型h
θ
(x)。
[0122]
在完成上述联邦学习多特征量线性回归建模后,即可得到模型h
θ
(x)。本发明利用枚举的办法进行参数回归。例如,得到模型h
θ
(x)后,新加入的机构c输入自身的环境参数(对于一个特定的机构而言,该参数往往是固定的)以及随机生成大量的分布式系统参数,流程如图6所示。通过随机生成和/或枚举的方式生成的分布式系统参数与服务器自带的环境参数组合形成多种系统参数组合,输入到模型中即可得到各参数组合的系统性能预测得分,进而可以从中选取性能最高的参数组合作为新的系统参数。参数组合越多,最后得到的结果也会更优,从而节省了机构需要通过真实算法去获取性能得分的时间,大大降低了成本。
[0123]
在原有的联邦学习系统中,每个用户的系统参数都是孤立的,用户在进行系统调优的过程中只能依靠个人经验以及反复的实验才能得出最优参数,但是本发明将多个用户的参数联合起来进行联邦学习得到更优的系统模型解决了该问题。免除了用户在使用联邦学习系统的过程中需要反复调节参数的问题,同时集中了更多的参数数据得到更好的参数模型以达到更好的系统调优效果。
[0124]
图7为本发明实施例提供的一种系统参数处理装置的结构示意图。如图7所示,系统参数处理装置700可以包括:训练样本确定模块701、模型构建模块702、模型训练模块703。
[0125]
训练样本确定模块701,由于确定至少一个训练样本,其中,每一训练样本包括系统参数以及在该系统参数下进行计算时对应的系统性能信息;
[0126]
模型构建模块702,用于构建用于根据系统参数预测系统性能信息的模型;
[0127]
模型训练模块703,用于根据至少一个训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练,其中,训练后的模型用于供多个参与方中的任一参与方调整系统参数。
[0128]
在一种可能的实现方式中,模型训练模块703具体用于:
[0129]
根据至少一个训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练;
[0130]
重复执行下述操作,直至满足训练结束条件:
[0131]
根据训练得到的模型,调整第一参与方的系统参数;
[0132]
判断调整后的系统参数对应的系统性能信息是否优于调整前对应的系统性能;
[0133]
若是,则联合多个参与方中的至少部分其它参与方对继续模型进行联邦训练;
[0134]
若否,则确定满足训练结束条件。
[0135]
在一种可能的实现方式中,模型训练模块703在根据训练得到的模型,调整第一参与方的系统参数时,具体用于:
[0136]
随机生成多个调参方案,每一参数方案包括用于输入至模型的系统参数;
[0137]
根据模型,确定每一调参方案对应的系统性能信息;
[0138]
根据各个调参方案对应的系统性能信息,从多个调参方案中选择一调参方案;
[0139]
根据所选择的调参方案调整第一参与方的系统参数。
[0140]
在一种可能的实现方式中,模型训练模块703在根据各个调参方案对应的系统性能信息,从多个调参方案中选择一调参方案时,具体用于:
[0141]
根据各个调参方案对应的系统性能信息,从多个调参方案中选择系统性能信息满足预设条件的调参方案作为备选方案;
[0142]
若备选方案有多个,则对于每一备选方案,基于备选方案的系统参数对预设的数据集进行计算,并检测进行计算时对应的系统性能信息;
[0143]
根据检测得到的各个备选方案对应的系统性能信息,从多个备选方案中选择一调参方案。
[0144]
在一种可能的实现方式中,模型训练模块703在联合多个参与方中的至少部分其它参与方对继续模型进行联邦训练时,具体用于:
[0145]
根据检测得到的系统性能信息,构建新的训练样本;
[0146]
根据新的训练样本,联合多个参与方中的至少部分其它参与方对模型进行联邦训练。
[0147]
在一种可能的实现方式中,模型为线性回归模型;模型对应的系统参数包括环境参数和分布式参数;
[0148]
其中,环境参数包括下述至少一项:cpu信息、内存信息和硬盘信息;
[0149]
分布式参数包括下述至少一项:线程池信息、网络包信息和重试等待时间。
[0150]
在一种可能的实现方式中,装置700还包括:
[0151]
获取模块704,用于获取至少部分其它参与方构建并训练得到的用于根据系统参数预测系统性能信息的模型;
[0152]
模型聚合模块705,用于对获取到的模型以及第一参与方构建并训练得到的模型进行聚合,得到聚合后的模型;
[0153]
其中,用于供多个参与方中的任一参与方调整系统参数的模型为聚合后的模型。
[0154]
本实施例提供的系统参数处理装置,可以用于执行前述任一方法实施例提供的技术方案,其实现原理和技术效果类似,此处不再赘述。
[0155]
图8为本发明实施例提供的另一种系统参数处理装置的结构示意图。如图8所示,系统参数处理装置800可以包括:获取模块801、调参方案生成模块802、参数调整模块803。
[0156]
获取模块801,用于获取用于根据系统参数预测系统性能信息的模型,其中,模型为基于如前述任一项的装置得到的模型;
[0157]
调参方案生成模块802,用于生成至少一个调参方案,每一参数方案包括用于输入至模型的系统参数;
[0158]
参数调整模块803,用于根据模型,得到各个调参方案对应的系统性能信息,并根据各个调参方案的系统性能信息进行系统参数调整。
[0159]
本实施例提供的系统参数处理装置,可以用于执行前述任一方法实施例提供的技术方案,其实现原理和技术效果类似,此处不再赘述。
[0160]
图9为本发明实施例提供的一种系统参数处理设备的结构示意图。如图9所示,系
统参数处理设备可以包括:存储器901、处理器902及存储在存储器901上并可在处理器902上运行的数据处理程序,数据处理程序被处理器902执行时实现如前述任一实施例的系统参数处理方法的步骤。
[0161]
可选地,存储器901既可以是独立的,也可以跟处理器902集成在一起。
[0162]
本实施例提供的设备的实现原理和技术效果可以参见前述各实施例,此处不再赘述。
[0163]
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有数据处理程序,数据处理程序被处理器执行时实现如前述任一实施例的系统参数处理方法的步骤。
[0164]
本发明实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现前述任一实施例的系统参数处理方法。
[0165]
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
[0166]
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本发明各个实施例方法的部分步骤。
[0167]
应理解,上述处理器可以是中央处理单元(central processing unit,简称cpu),还可以是其它通用处理器、数字信号处理器(digital signal processor,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
[0168]
存储器可能包含高速ram存储器,也可能还包括非易失性存储nvm,例如至少一个磁盘存储器,还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
[0169]
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0170]
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits,简称asic)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
[0171]
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0172]
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0173]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
[0174]
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1