一种基于区块链的联邦学习可信融合激励方法及系统与流程

文档序号:32070641发布日期:2022-11-05 02:15阅读:45来源:国知局

1.本发明属于互联网技术领域,尤其涉及一种基于区块链的联邦学习可信融合激励方法及系统。


背景技术:

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成已经成为本领域一般技术人员所公知的现有技术。
3.互联网数据的处理过程通常包括以下方式,其中一方收集数据并将其传输到另一方,另一方负责整理和融合数据。最后,第三方将获取集成数据并构建模型,以供其他各方使用。随着对数据安全和用户隐私的意识日益增强,如何在加强数据隐私和安全性的前提下分析数据成为业内广泛关注的问题。
4.联邦学习是一种机器学习环境,在这种环境下,多个参与节点在中央服务器的协调下协同训练一个模型,同时保持训练数据的分散性。多个参与节点以模型参数作为信息载体,可以在不交换数据的情况下,共同训练模型,既将分散在各参与节点的数据孤岛进行链接,又保证了参与节点的数据隐私安全,可以带动跨领域企业级大数据合作,催生人工智能领域共享建模的新生态。
5.但是在实际应用中,联邦学习中各个参与节点目的不一,数据质量参差不齐,在缺乏一定激励方法的情况下,给恶意节点提供了破坏攻击的可能性,如参与节点消极搭便车、模型投毒攻击等恶意行为,这些恶意行为可能会影响模型的训练时间或致使模型无法收敛。在现有的技术方案中,更侧重于解决联邦学习中各参与节点的资源分配不均问题,缺乏对参与节点行为的量化评估,因而在实际应用中效果不佳。


技术实现要素:

6.为了解决上述问题,本发明提供一种基于区块链的联邦学习可信融合激励方法及系统,通过在迭代学习过程中动态更新参与节点的信用度,以解决联邦学习模型训练中参与节点消极搭便车、模型投毒攻击等问题,实现多方参与节点高效可信的进行模型训练,并构建多属性融合数据的实体模型,以便于对参与节点进行实体级、属性级可信查询,从而实现对参与节点行为的量化评估。
7.为了实现上述目的,本发明主要包括以下几个方面:第一方面,本发明实施例提供一种基于区块链的联邦学习可信融合激励方法,包括:在多轮联邦学习过程中,获取各个参与节点的基础信用度和预设的节点等级临界值;针对每一轮迭代学习,根据参与节点的基础信用度和前一轮的信用度更新参与节点在当前轮迭代学习的信用度,通过比较所述节点等级临界值与更新后的信用度确定参与节点的等级,对预设等级的参与节点进行隔离并记录到区块链中;根据参与节点更新后的
信用度以及相关属性信息,构建多属性融合数据的实体模型,将所述实体模型存储在区块链上。
8.在一种可能的实施方式中,根据参与节点本地梯度对联邦学习全局梯度的贡献度和本地梯度的有效信息度,确定参与节点的基础信用度;其中,所述贡献度用于衡量本地梯度与联邦学习全局梯度的全局一致性,所述有效信息度用于衡量目标参与节点与联邦学习中除所述目标参与节点之外的其他参与节点所提供的梯度差异。
9.在一种可能的实施方式中,所述贡献度为参与节点本地更新梯度和前一轮联邦学习全局更新梯度的符号一致的数量,与联邦学习聚合的模型总参数量的比值。
10.在一种可能的实施方式中,通过以下方式确定所述有效信息度:;其中,为参与节点i在第t轮迭代中的有效信息度,m为联邦学习总参数量,n表示联邦学习中参与节点总数,为参与节点i与参与节点j在第t轮的梯度更新中符号相异的参数个数。
11.在一种可能的实施方式中,按照以下公式更新参与节点在当前轮迭代学习的信用度:;其中,m
it
为参与节点i在第t轮迭代中的信用度,为信用度变化值,为基础信用度,t为迭代次数。
12.在一种可能的实施方式中,所述相关属性信息包括贡献度、有效信息度、基础信用度和参与节点之间的贡献比值关系。
13.在一种可能的实施方式中,在将实体模型存储在区块链上之后,还包括:查询所述区块链上的实体模型中参与节点在每一轮迭代学习中的贡献度,计算各参与节点在联邦学习全过程中的综合贡献度;根据所述综合贡献度向参与节点发送相应的激励信息。
14.在一种可能的实施方式中,获取用户身份,针对不同的用户身份,确定所述区块链上的实体模型的可信查询权限。
15.第二方面,本发明实施例提供一种基于区块链的联邦学习可信融合激励系统,包括:获取模块,用于在多轮联邦学习过程中,获取各个参与节点的基础信用度和预设的节点等级临界值;存储模块,用于针对每一轮迭代学习,根据参与节点的基础信用度和前一轮的信用度更新参与节点在当前轮迭代学习的信用度,通过比较所述节点等级临界值与更新后的信用度确定参与节点的等级,对预设等级的参与节点进行隔离并记录到区块链中;根据参与节点更新后的信用度以及相关属性信息,构建多属性融合数据的实体模型,将所述实体模型存储在区块链上。
16.在一种可能的实施方式中,还包括:激励模块,用于查询所述区块链上的实体模型中参与节点在每一轮迭代学习中的贡献度,计算各参与节点在联邦学习全过程中的综合贡献度;根据所述综合贡献度向参与节点发送相应的激励信息。
17.以上一个或多个技术方案存在以下有益效果:(1)本发明针对联邦学习模型融合场景,通过在迭代学习过程中动态更新参与节点的信用度,以解决联邦学习模型训练中参与节点消极搭便车、模型投毒攻击等问题,实现了鼓励参与节点诚实积极参与联邦学习,有效降低了参与节点恶意行为的发生。
18.(2)本发明提出了多属性融合数据的实体模型,实现了实体级和属性级可信查询,能够了解参与节点信用度融合数据的过程。
19.(3)本发明可高效查询每个参与节点在指定周期内各自的贡献度,计算联邦学习全过程中每个参与节点对模型的综合贡献度,为参与节点行为的量化评估提供依据。
附图说明
20.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
21.图1是本发明实施例一所提供的基于区块链的联邦学习可信融合激励方法的流程示意图;图2是本发明实施例一所提供的实体模型的结构示意图。
具体实施方式
22.下面结合附图与实施例对本发明作进一步说明。
23.应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
24.需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
25.实施例一请参阅图1,本实施例提供一种基于区块链的联邦学习可信融合激励方法,具体包括以下步骤:s101:在多轮联邦学习过程中,获取各个参与节点的基础信用度和预设的节点等级临界值;s102:针对每一轮迭代学习,根据参与节点的基础信用度和前一轮的信用度更新参与节点在当前轮迭代学习的信用度,通过比较所述节点等级临界值与更新后的信用度确定参与节点的等级,对预设等级的参与节点进行隔离并记录到区块链中;根据参与节点更新后的信用度以及相关属性信息,构建多属性融合数据的实体模型,将所述实体模型存储在区块链上。
26.在具体实施中,在联邦学习过程中,多个参与节点在中央服务器的协调下协同训练一个模型。本技术在每一轮迭代学习中,根据参与节点的基础信用度和前一轮的信用度更新当前轮迭代学习的信用度,并将当前轮迭代学习的信用度与预设的节点等级临界值进行比较,确定参与节点的等级。这里,节点等级临界值可以为多个,本实施例设置两个值a和b作为节点等级临界值,(0<b<a≤1),这样,信用度落入不同的区间范围内,分别对应不同的参与节点等级,具体为:;对预设等级的参与节点进行隔离并记录到区块链中。在具体应用中,对不可信参与节点的身份识别码进行上链存证(黑名单),不允许其参与接下来的联邦学习,这样,可以解决联邦学习模型训练中参与节点消极搭便车、模型投毒攻击等问题,实现鼓励参与节点诚实积极参与联邦学习。并且,根据参与节点的信用度以及相关属性信息,构建多属性融合数据的实体模型,将所述实体模型存储在区块链上,以支持参与节点的实体级、属性级可信查询,为参与节点行为的量化评估提供依据。
27.作为一可选实施方式,根据参与节点本地梯度对联邦学习全局梯度的贡献度和本地梯度的有效信息度,确定参与节点的基础信用度;其中,所述贡献度用于衡量本地梯度与联邦学习全局梯度的全局一致性,所述有效信息度用于衡量目标参与节点与联邦学习中除所述目标参与节点之外的其他参与节点所提供的梯度差异。可选的,所述贡献度为参与节点本地更新梯度和前一轮联邦学习全局更新梯度的符号一致的数量,与联邦学习聚合的模型总参数量的比值。具体地,参与节点i在第t轮迭代的贡献度记为,定义为t-1轮迭代的全局更新梯度,为参与节点i在第t轮迭代的本地更新梯度,计算方式为:参与节点本地更新和前一轮迭代全局更新对应梯度的符号相同比例,其公式如下:;式中,n为联邦学习聚合的模型总参数量(总参数=[x1,x2,x3

xn]),其中,x表示参与节点本地训练的参数,[x1,

,xn]表示聚合后的参数是n个,,为统计x,y中具有相同符号(正/负)的参数个数,。
[0028]
有效信息度衡量了在一轮梯度更新中,参与节点更新梯度包含的信息量,当一个参与节点与其他参与节点提供的梯度差异较小,则该参与节点提供的梯度更新的信息量越小,其信用度也越低。其计算方式为:不同参与节点本地更新梯度符号差异比例,其计算过程如下:;其中,为参与节点i在第t轮迭代的有效信息度,m为联邦学习总参数量,n表示
联邦学习中参与节点总数,为参与节点i与参与节点j在第t轮的梯度更新中符号相异的参数个数。
[0029]
基础信用度由参与节点对联邦学习全局梯度的贡献度和本地梯度的有效信息度来综合度量,一个参与节点在进行一轮梯度上传时,包含的信息量越多且该部分信息对全局梯度更新贡献越高,那么参与节点的信用度越高,参与节点i在第t轮迭代的基础信用度记为,其计算方式如下:;其中,和分别表示和的权重,和分别表示节点i在第t轮迭代的贡献度和有效信息度,,。
[0030]
至此,完成参与节点基础信用度计算,实现了对参与节点信用度的初步评估。
[0031]
作为一可选实施方式,按照以下公式更新参与节点在当前轮迭代学习的信用度:;其中,m
it
为节点i在第t轮迭代中的信用度,为信用度变化值,为基础信用度,t为迭代次数。
[0032]
每轮迭代学习结束后,根据参与节点在迭代中的行为表现是积极、消极还是恶意,再结合本轮的基础信用度和前一轮的信用度更新参与节点在当前轮迭代学习的信用度。其中,行为表现判断依据:参与节点在规定时间内是否上传参数/是否自主中断通信。
[0033]
至此得到各个参与节点的等级。动态更新参与节点信用度,是为了确保选取参与联邦学习的每个节点更为可信。区块链分布式账本数据记录隔离,结合参与节点身份识别码实现了链上存证。链上数据具有难以篡改性,对身份记录有强有力的管控。
[0034]
作为一可选实施方式,如图2所示,构建多属性融合数据的实体模型,并将实体模型上链,所述相关属性信息包括贡献度、有效信息度、基础信用度和参与节点之间的贡献比值关系,具体步骤如下:(1)建立参与节点i在第t轮迭代中与其他参与节点之间的贡献比值关系r
ti
,r
ti
=[a
i1
,a
i2
,

,a
i(i-1)
,a
i(i+1)
,
…ail
],这里,l表示共有l个参与节点,a
il
表示参与节点i与参与节点l之间的贡献比值;这里,贡献比值关系r
ti
为参与节点i与任意其他参与节点在联邦学习第t轮迭代中的贡献占比,用于区分参与节点的表现优劣。
[0035]
(2)根据贡献度,有效信息度,基础信用度和参与节点之间的贡献比值关系,构建该参与节点的实体模型m,实体模型m={c1,c2,c3,c4,r
ti
} ,这里,c1为贡献度,c2为有效信息度,c3为基础信用度,c4为信用度,r
ti
为参与节点之间的贡献比值关系。
[0036]
(3)数据上传,将多属性融合数据的实体模型上传至区块链。
[0037]
作为一可选实施方式,在将实体模型存储在区块链上之后,还包括:根据所述区块链上的实体模型查询参与节点在每一轮迭代学习中的贡献度,计算各参与节点在联邦学习全过程中的综合贡献度;根据所述综合贡献度向参与节点发送相应的激励信息。
[0038]
在具体实施中,在最后一轮联邦学习结束后,查询区块链分布式账本中各参与节点在联邦学习全过程中的贡献度,依据综合贡献度模型计算各参与节点的综合贡献度。
[0039]
可选的,获取用户身份,针对不同的用户身份,确定所述区块链上的实体模型的可信查询权限,以加强数据隐私和安全性。
[0040]
(1)若为普通用户,输入参与节点的身份识别码,即可查询该参与节点的所有数据信息(实体级可信查询);输入参与节点身份识别码和属性名称即可查询其属性数据信息(属性级可信查询)。
[0041]
(2)若为管理员,输入参与节点身份识别码即可查询和管理该参与节点的所有数据信息。
[0042]
实施例二本发明实施例还提供一种基于区块链的联邦学习可信融合激励系统,包括:获取模块,用于在多轮联邦学习过程中,获取各个参与节点的基础信用度和预设的节点等级临界值;存储模块,用于针对每一轮迭代学习,根据参与节点的基础信用度和前一轮的信用度更新参与节点在当前轮迭代学习的信用度,通过比较所述节点等级临界值与更新后的信用度确定参与节点的等级,对预设等级的参与节点进行隔离并记录到区块链中;根据参与节点更新后的信用度以及相关属性信息,构建多属性融合数据的实体模型,将所述实体模型存储在区块链上。
[0043]
作为一可选实施方式,还包括:激励模块,用于查询所述区块链上的实体模型中参与节点在每一轮迭代学习中的贡献度,计算各参与节点在联邦学习全过程中的综合贡献度;根据所述综合贡献度向参与节点发送相应的激励信息。
[0044]
本实施例提供的基于区块链的联邦学习可信融合激励系统用于实现前述的基于区块链的联邦学习可信融合激励方法,因此基于区块链的联邦学习可信融合激励系统中的具体实施方式可见前文中的基于区块链的联邦学习可信融合激励方法的实施例部分,在此不再进行赘述。
[0045]
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1