基于逆向拍卖的联邦学习支付方法、系统及存储介质与流程

1.本发明公开涉及一般联邦学习领域，尤其涉及基于逆向拍卖的联邦学习支付方法、系统及存储介质。


背景技术：

2.联邦机器学习是一种分布式的机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模，关于其激励机制目前也存在着大量的研究。现有技术中提出了基于投标价格和质量的多维度逆向拍卖，招标方公布的招标信息中包括一个评分规则，评分规则由两部分构成，第一部分是投标价格，第二部分是投标方所拥有的资源，如：数据数量、cpu、带宽、计算能力等；投标方根据自身的能力进行投标；在收集到足够数量的投标后，招标方会对投标方的投标进行打分，选择一定数量的投标方参与联邦学习。但是，通过研究我们发现在目前的研究中主要存在两个方面的问题：第一个问题是由于数据等相关信息属于投标方的隐私信息，没有最终模型就没有评判方法，因此通过上述方法无法反映投标方的数据质量；第二个问题是支付机制的设计问题，目前大部分支付机制都是事前支付，即在投标方中标后就会获得服务器提供的支付，这就会引发一些问题，如投标方在获得支付后可能会提供质量较差的模型导致最终模型性能的下降等。


技术实现要素：

3.鉴于此，本发明公开提供了基于逆向拍卖的联邦学习支付方法、系统及存储介质，完善了联邦学习激励机制关于投标方的事后支付问题，也解决了如何衡量投标方贡献的问题。
4.本发明提供的技术方案，具体为，一种基于逆向拍卖的联邦学习支付方法，包括以下步骤：
5.1)构建由招标方、投标方组成的联邦学习框架；
6.2)招标方公布联邦学习任务信息、发出投标请求；其中所述联邦学习任务信息包括任务预算b、招募投标方的数量、每个投标方获得奖励的最大值与最小值[p
min
,p
max
]、价值函数vi(q1,q2,...qm)，q代表投标方所具有的各种资源，所述各种资源包括本地数据、计算能力、带宽及cpu周期；
[0007]
3)投标方在收到投标请求后，根据本身具有的资源决定是否进行投标；
[0008]
4)招标方收到足够数量的投标后，招标方采用评价规则，根据投标方的投标价格和投标资源对投标进行选择，获得中标者集合w；
[0009]
5)中标者集合w中的投标方采用自身的数据完成所述联邦学习任务的训练，将训练后得到的模型参数提交给招标方，招标方根据支付机制完成支付；其中所述支付机制由两部分构成，分别是：投标方的投标价格及投标资源。
[0010]
进一步地，步骤2)招标方公布联邦学习任务信息时，设定一个最低得分s，投标方
通过估算自身的得分和招标方所要求的最低得分s进行比较，如果投标方的得分高于招标方的最低得分s才会考虑参与投标，否则投标不会考虑参与投标；
[0011]
所述投标方的价值函数由此得出投标方i的得分为：其中qi代表投标方本身具有的资源，ωi定义为招标方给各种资源附加的权重参数。
[0012]
进一步地，步骤3)中投标方根据本身具有的资源决定是否进行投标时，其参与投标的基本条件是自身效用大于零，投标方的投标价格bi需要满足p
min
≤bi≤p
max
,bi≥ci，投标方的投标定义为b(bi,qi)；ci为投标方i参与联邦学习任务所产生的成本，qi为投标方所具有的各种资源。
[0013]
进一步地，步骤4)中所述评价规则为：
[0014]
定义投标方i的资源价值为vi，投标方的投标价格bi，计算招标方对投标方投标中的资源估值为
[0015]
将的投标方形成一个集合并对其进行一个由低到高的排序；
[0016]
招标方根据自身的预算及所述排序选出投标方来参与联邦学习。
[0017]
进一步地，在投标方的选择阶段，投标方的投标价格bi与其提供的资源价值vi比值小于1，就将该投标方纳入优胜者集合，最终选择出符合条件的中标者集合w；
[0018][0019]
进一步地，步骤5)中所述支付机制中，定义支付密度阈值为：
[0020][0021]
vi表示招标方公布的价值函数，w表示中标者集合；
[0022]
招标方根据投标方的投标资源计算其获得的支付：
[0023]
p'i＝ρ
·
(p
max-p
min
)+p
min
[0024]
将投标方的投标价格bi与p'i进行比较，选择出较低的价格对投标方进行支付：
[0025]
pi＝min(bi,p'i)。
[0026]
进一步地，通过计算投标方的局部模型在验证集中每个样本上的损失来衡量投标方的贡献contribi：
[0027][0028]
其中，loss
i,j
为投标方i的局部模型在验证集样本j上的损失；pj表示投标方i在所有参与联邦学习任务的投标方的损失中所占的比例；
[0029]
由此，投标方i的贡献定义为：
[0030]
contribi＝∑
j∈d-lnpj[0031]
其中，d为招标方所拥有的验证集。
[0032]
另一方面，本发明还提供了一种基于逆向拍卖的联邦学习支付系统，包括招标方和投标方，其中，所述基于逆向拍卖的联邦学习支付系统用于执行上述基于逆向拍卖的支付方法。
[0033]
此外，本发明还提供了一种计算机可读存储介质，所述可读存储介质上储存有可执行指令，当所述指令在计算机上运行时，使得计算机处理器执行上述激励方法的任意一种。
[0034]
本发明提供的基于逆向拍卖的联邦学习支付方法、系统及存储介质，完善了联邦学习激励机制关于投标方的事后支付问题，使得投标方能够在满足预算的前提下选择高质量低成本的投标方；同时也解决了如何衡量投标方贡献的问题，通过计算投标方所提供的局部模型在验证集样本上的损失来反映投标方的贡献，来保证最终模型的性能。
[0035]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
[0036]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1为本发明公开实施例提供的一种基于逆向拍卖的联邦学习支付方法的流程示意图；
[0039]
图2为本发明公开实施例提供的一种基于逆向拍卖的联邦学习支付系统的结构框图。
具体实施方式
[0040]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统的例子。
[0041]
由于投标方会撒谎，没有最终模型就没有评价标准，因此通过现有技术并没有办法获得真实的数据质量。目前大多数研究采用统一的事前支付方式，不利于区分投标方的贡献且无形中增加了招标方的预算。
[0042]
首先本实施方案提供了一种基于逆向拍卖的联邦学习支付方法，包括：在联邦学习框架中，由投标方、招标方组成；在每一轮的联邦学习中，投标方首先发布一个价值函数、投标方可获得支付的最大值最小值以及有关联邦学习任务的其它信息，投标方通过价值函数并结合其它信息来选择投标方；当投标方收到带有价值函数的投标请求时，它们会根据自身情况来决定是否参与投标，而参与投标的基本条件是自身效用大于零；在收到足够数量的投标后，招标方会根据投标方的投标价格和投标资源进行选择。
[0043]
如图1所示，具体地，包括如下步骤：
[0044]
1)构建由招标方、投标方组成的联邦学习框架；
[0045]
2)招标方公布联邦学习任务信息、发出投标请求；其中联邦学习任务信息包括任务预算b、招募投标方的数量、每个投标方获得奖励的最大值与最小值[p
min
,p
max
]、投标方的价值函数vi(q1,q2,...qm)，q代表投标方所具有的各种资源，包括本地数据、计算能力、带宽、cpu周期等；
[0046]
进一步地，在步骤2)拍卖的初始阶段，招标方在公布任务相关信息的时候会设定一个的最低得分s。投标方通过估算自己的得分和服务器所要求的最低得分s进行比较，如果投标方的得分高于招标方的要求才会考虑参与投标，否则不会考虑参与；
[0047]
价值函数表示为：
[0048][0049]
投标方i的得分表示为：
[0050][0051]
3)投标方在收到投标请求后，根据本身具有的资源决定是否进行投标，即是否参与联邦学习；投标方作为一个理性的个体，需要根据自身的成本来选择资源和投标价格来使自身利益的最大化。如果其本身利润为零的话，投标方是不会进行投标的，所以投标方的投标价格bi需要满足p
min
≤bi≤p
max
,bi≥ci，投标方的投标为b(bi,qi)；ci表示为投标方i参与联邦学习任务所产生到的成本，如投标方参与任务要消耗电力、网络等方面的成本等，qi表示投标方所具有的各种资源，如cpu频率、数据量、带宽等；
[0052]
4)收到足够数量的投标后，招标方采用评价规则，根据投标方的投标价格和投标资源对投标方的投标进行选择，获得中标者集合w；其中评价规则为：定义投标方i的资源价值为vi，投标方的投标价格bi，计算招标方对投标方投标中的资源估值为
[0053]
将的投标方形成一个集合并对其进行一个由低到高的排序；招标方根据自身的预算及排序选出投标方来参与联邦学习即投标；
[0054]
具体地，在投标方的选择阶段，只要投标方的竞标价格bi与其提供的资源价值vi比值小于1，就将该投标方纳入优胜者集合，最终选择出符合条件的中标者集合w；
[0055][0056]
5)投标方完成训练任务、提交模型参数，招标方根据支付机制完成支付；
[0057]
为了保证激励更多高质量、低成本的投标方参与投标并保证最终模型的质量，引入了一种新的支付机制，该支付机制由两部分构成，第一部分是投标方的投标价格，第二部分由投标方的投标资源决定(需要在满足预算的前提下)，目的是为了吸引更多的投标方提供更高质量的资源；
[0058]
上述支付机制中，首先定义支付密度阈值为：
[0059][0060]
vi表示招标方公布的价值函数，该价值函数主要作用是给投标方的各种资源，例如cpu频率、数据量、带宽等分配不同的权重来对投标方的资源进行评估。
[0061]
招标方根据投标方投标资源计算其获得的支付：
[0062]
p'i＝ρ
·
(p
max-p
min
)+p
min
[0063]
将投标方的投标价格与p'i进行比较，选择出较低的价格对投标方进行支付；
[0064]
pi＝min(bi,p'i)
[0065]
通过改变传统联邦学习逆向拍卖的支付机制，为招标方尽可能节省预算的同时，招募更多高质量、低成本的投标方。
[0066]
最后，为了保证最终模型的性能，需要对投标方的贡献进行度量，衡量贡献的一种直观方法是评估局部模型在验证集上的性能，如准确性和损失等。基于此，本实施方案通过计算投标方的局部模型在验证集中每个样本上的损失来衡量投标方的贡献：
[0067][0068]
其中，loss
i,j
为投标方i的局部模型在验证集样本j上的损失。pj示投标方i的局部模型在验证集上的损失，在所有参与联邦学习任务即投标任务的投标方的损失中所占的比(例如有三个投标方参与任务，假如其中投标方1的损失是3，三个投标方的局部模型的损失和为9，pj就是3/9。
[0069]
因此，投标方i的贡献定义为：
[0070]
contribi＝∑
j∈d-lnpj[0071]
其中，d为招标方所拥有的验证集。
[0072]
因为不同验证样本的预测难度是不同的。当某一验证样本的预测准确率较高时，其预测难度较低。在这种情况下，即使去掉了某个投标方的模型，对全局模型的影响也不大。因此，通过赋予样本不同的权重来衡量投标方的贡献，保证最终模型质量。
[0073]
上述投标方的选择阶段中涉及的选择算法，包括如下步骤：
[0074]
输入：投标方参与者集合u、价值函数v(q1,q2,...qm)、投标集b(bi,qi)；
[0075]
输出：中标者集合w；
[0076]
支付算法，包括：
[0077]
输入：投标方的预算b、中标者集合w、中标者投标价格bi、中标者投标资源价值vi；
[0078]
输出：中标者支付pi＝min(bi,p'i)；
[0079]
如图2所示，本实施方案提供了与上述基于逆向拍卖的联邦学习支付方法相对应的控制系统；
[0080]
具体地，一种实施上述联邦学习中基于逆向拍卖激励的系统包括：
[0081]
任务发布模块，用于招标方将任务信息发布给投标方，其中，所述类型信息包括价值函数v(q1,q2,...qm)和支付的最大值与最小值[p
min
,p
max
]等；
[0082]
获胜投标挑选模块，用于通过投标者提交的投标决定本轮胜出者w和支付价格pi；
[0083]
数据上传模块，用于投标方在完成任务后将模型参数上传给招标方；
[0084]
任务费用支付模块，用于招标方对投标方的支付。
[0085]
本实施方案还提供了一种计算机可读存储介质，可读存储介质上储存有可执行指令，当所述指令在计算机上运行时，使得计算机处理器执行基于逆向拍卖的联邦学习支付方法中的任意一种。
[0086]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。