基于区块链的联邦建模方法及装置与流程

文档序号:26103978发布日期:2021-07-30 18:15阅读:110来源:国知局
基于区块链的联邦建模方法及装置与流程

本发明涉及区块链技术领域,尤其涉及基于区块链的联邦建模方法及装置。



背景技术:

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

人工智能相关应用场景的关键是能否获取到高性能的人工智能模型,而保证模型性能的前提条件就是能够拥有足量、足质的数据。目前,跨境场景下的数据涉及行内外多个部门和机构,考虑到数据安全以及相关法律法规,相关人工智能应用的数据也仅仅局限在部门或机构内部,部门、机构外仍有相当一部分数据并没有利用起来。这就直接导致:1)数据利用率不高,大量本应产出高业务价值的数据只能躺在磁盘中;2)顾忌于数据安全相关法律法规,业务人员不能放手去挖掘人工智能相关应用场景;3)受限于数据数量和数据质量,技术人员很难只依靠自身开发出高质人工智能模型,致使本就为数不多的人工智能应用场景落地难。

因此,现有方案中机构之间存在的“数据孤岛”、“数据合作难”、“合作不安全”等一系列痛点问题,致使数据合作难、数据利用率低、集中式建模可行性低。



技术实现要素:

本发明实施例提供一种基于区块链的联邦建模方法,用以打破跨场景数据孤岛以进行联合建模,提高跨场景数据利用率,该基于区块链的联邦建模方法包括:

通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范;

接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;第二参与节点为区块链上加入联邦模型训练任务的至少一个参与节点;

在区块链上对第二参与节点发送的联邦模型训练数据进行检验;

在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。

本发明实施例还提供一种基于区块链的联邦建模装置,用以打破跨场景数据孤岛以进行联合建模,提高跨场景数据利用率,该基于区块链的联邦建模装置包括:

任务发布模块,用于通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范;

数据接收模块,用于接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;第二参与节点为区块链上加入联邦模型训练任务的至少一个参与节点;

数据校验模块,用于在区块链上对第二参与节点发送的联邦模型训练数据进行检验;

模型构建模块,用于在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。

本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于区块链的联邦建模方法。

本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述基于区块链的联邦建模方法的计算机程序。

本发明实施例中,通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范;接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;在区块链上对第二参与节点发送的联邦模型训练数据进行检验;在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。本发明实施例通过发布联邦模型训练任务及训练联邦模型的数据规范,接收其它参与节点发送的联邦模型训练数据,在其它参与节点发送的联邦模型训练数据校验通过时,利用其它参与节点发送的联邦模型训练数据构建及训练联邦模型,因此能够打破跨场景数据孤岛以进行联合建模,提高跨场景数据利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:

图1为本发明第一实施例提供的基于区块链的联邦建模方法的实现流程图;

图2为本发明第二实施例提供的基于区块链的联邦建模方法的实现流程图;

图3为本发明第三实施例提供的基于区块链的联邦建模方法的实现流程图;

图4为本发明第四实施例提供的基于区块链的联邦建模方法中步骤304的实现流程图;

图5为本发明第五实施例提供的基于区块链的联邦建模方法的实现流程图;

图6为本发明第六实施例提供的基于区块链的联邦建模方法的实现流程图;

图7为本发明第七实施例提供的基于区块链的联邦建模方法的实现流程图;

图8为本发明第八实施例提供的基于区块链的联邦建模装置的功能模块图;

图9为本发明第九实施例提供的基于区块链的联邦建模装置的功能模块图;

图10为本发明第十实施例提供的基于区块链的联邦建模装置的功能模块图;

图11为本发明第十一实施例提供的基于区块链的联邦建模装置中节点奖惩模块1004的结构框图;

图12为本发明第十二实施例提供的基于区块链的联邦建模装置的功能模块图;

图13为本发明第十三实施例提供的基于区块链的联邦建模装置的功能模块图;

图14为本发明第十四实施例提供的基于区块链的联邦建模装置的功能模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。

图1示出了本发明第一实施例提供的基于区块链的联邦建模方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:

如图1所示,基于区块链的联邦建模方法,应用于区块链上的第一参与节点,其包括:

步骤101,通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范;

步骤102,接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;第二参与节点为区块链上加入联邦模型训练任务的至少一个参与节点;

步骤103,在区块链上对第二参与节点发送的联邦模型训练数据进行检验;

步骤104,在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。

在本发明实施例中,区块链上所有参与节点组成的链可以称为数据联邦链,第一参与节点为区块链上的任一参与节点,而非特指某特定的区块链节点。在构建联合多方的联邦模型时,第一参与节点在区块链上发布联邦模型训练任务,第一参与节点在发布联邦模型训练任务的同时需要消费联盟币,联盟币为区块链的数据联邦链上进行奖惩的代币。另外,第一参与节点在发布联邦模型训练任务的同时,也需要明确训练联邦模型的数据规范。例如,训练联邦模型的数据规范至少包括数据格式,本领域技术人员可以理解的是,训练联邦模型的数据规范还可以包括除上述数据格式之外的其它数据规范,例如数据量,数据形式等等,本发明实施例对此不作特别的限制。

第一参与节点在区块链上发布联邦模型训练任务后,持有数据的任何参与方可以主动领取第一参与节点发布联邦模型训练任务。为便于描述和区分,我们可以把领取和加入联邦模型训练任务的区块链节点称为第二参与节点。该第二参与节点可以是一个区块链节点,也可以是多个区块链节点。第二参与节点在加入联邦模型训练任务后,按照第一参与节点发布的训练联邦模型的数据规范准备和发送联邦模型训练数据至第一参与节点,即第一参与节点接收第二参与节点根据训练联邦模型的数据规范准备的联邦模型训练数据。

第一参与节点在接收到第二参与节点发送的联邦模型训练数据后,在区块链上对第二参与节点发送的联邦模型训练数据进行校验,判断第二参与节点发送的联邦模型训练数据是否符合第一参与节点发布的训练联邦模型的数据规范。

第一参与节点在对第二参与节点发送的联邦模型训练数据检验通过时,说明第二参与节点发送的联邦模型训练数据是符合训练联邦模型的数据规范的,可以用于训练联邦模型。此时第一参与节点即可根据第二参与节点发送的联邦模型训练数据,在区块链上构建及训练联邦模型,进而获得训练后的联邦模型。鉴于本发明实施例得到的联邦模型是联合多个区块链节点(第二参与节点)得到的联邦模型,因此能够打破跨场景数据孤岛以进行联合建模,提高跨场景数据利用率。

在本发明实施例中,通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范;接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;在区块链上对第二参与节点发送的联邦模型训练数据进行检验;在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。本发明实施例通过发布联邦模型训练任务及训练联邦模型的数据规范,接收其它参与节点发送的联邦模型训练数据,在其它参与节点发送的联邦模型训练数据校验通过时,利用其它参与节点发送的联邦模型训练数据构建及训练联邦模型,因此能够打破跨场景数据孤岛以进行联合建模,提高跨场景数据利用率。

图2示出了本发明第二实施例提供的基于区块链的联邦建模方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了提高联邦模型训练数据的准确性,如图2所示,在上述图1所示方法步骤的基础上,基于区块链的联邦建模方法,还包括:

步骤201,在第二参与节点发送的联邦模型训练数据检验未通过时,发送修正数据通知至第二参与节点;

步骤202,接收第二参与节点根据修正数据通知修正后重新发送的联邦模型训练数据。

第二参与节点在发送联邦模型训练数据时,可能因一时疏忽提供了不符合训练联邦模型的数据规范的联邦模型训练数据,或者基于某种考虑故意提供不符合训练联邦模型的数据规范的联邦模型训练数据。此时,第二参与节点发送的联邦模型训练数据可能检验不通过。

因此,在第二参与节点发送的联邦模型训练数据检验未通过时,第一参与节点发送修正数据通知至第二参与节点,即第一参与节点要求第二参与节点重新准备符合训练联邦模型的数据规范的联邦模型训练数据。故第二参与节点在接收到第一参与节点发送的修正数据通知后,对联邦模型训练数据修正后重新发送联邦模型训练数据至第一参与节点。

在本发明实施例中,在第二参与节点发送的联邦模型训练数据检验未通过时,发送修正数据通知至第二参与节点;接收第二参与节点根据修正数据通知修正后重新发送的联邦模型训练数据。本发明实施例在第二参与节点发送的联邦模型训练数据检验未通过时,第一参与节点发送修正数据通知至第二参与节点,能够提高联邦模型训练数据的准确性。

图3示出了本发明第三实施例提供的基于区块链的联邦建模方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了进一步提高联邦模型训练数据的准确性,如图3所示,在上述方法步骤的基础上,基于区块链的联邦建模方法,还包括:

步骤301,在第二参与节点重新发送联邦模型训练数据的次数满足修正次数惩罚阈值时,触发惩罚合约从区块链的所有参与节点中随机选取监督节点;

步骤302,监督节点通过获取联盟币的方式将联邦模型训练任务信息广播至非监督节点;非监督节点为所有参与节点中除监督节点之外的其它参与节点;联邦模型训练任务信息至少包括监督节点对第二参与节点的奖惩评估结果;

步骤303,非监督节点在接收到监督节点广播的联邦模型训练任务信息后,对第二参与节点进行奖惩投票;

步骤304,根据监督节点对第二参与节点的奖惩评估结果,以及非监督节点对第二参与节点的奖惩投票结果,对第二参与节点及监督节点进行奖惩。

第二参与节点重新发送联邦模型训练数据可能符合训练联邦模型的数据规范,也可能仍然不符合训练联邦模型的数据规范。领取联邦模型训练任务的第二参与节点有多次重新修改和提供联邦模型训练数据的机会,但也不会一直让第二参与节点无限制的修改和提供联邦模型训练数据。

在第二参与节点重新发送联邦模型训练数据的次数超过一定的次数,即第二参与节点重新发送联邦模型训练数据的次数满足修正次数惩罚阈值时,且最后一次提供的联邦模型训练数据仍不符合训练联邦模型的数据规范时,触发惩罚合约从区块链的所有参与节点中选取监督节点。具体的,惩罚合约可以从区块链的所有参与节点中随机选取监督节点。

进而,该监督节点将联邦模型训练任务信息广播至非监督节点,以便非监督节点对第二参与节点进行奖惩投票,投票后实现对第二参与节点的奖惩。其中,非监督节点为所有参与节点(至少包括第一参与节点和第二参与节点)中除监督节点之外的其它参与节点。联邦模型训练任务信息至少包括监督节点对第二参与节点的奖惩评估结果,本领域技术人员可以理解的是,该联邦模型训练任务信息还可以包括训练联邦模型的任务内容、任务背景、第二参与节点准备的联邦模型训练数据等等。监督节点在将联邦模型训练任务信息广播至非监督节点的同时奖励若干个联盟币。

因此,非监督节点在接收到监督节点广播的联邦模型训练任务信息后,基于监督节点广播的联邦模型训练任务信息对第二参与节点进行奖惩投票。最后,根据监督节点对第二参与节点的奖惩评估结果,以及非监督节点对第二参与节点的奖惩投票结果,综合评估后对第二参与节点及监督节点进行奖励或惩罚。

另外,非监督节点也可以对监督节点进行监督,即若非监督节点发现监督节点广播的联邦模型训练任务信息有误或存在疑惑,非监督节点也可以对监督节点进行举报,以防止监督节点敷衍了事。举报成功后,发放非监督节点若干个联盟币作为奖励,扣除被举报的监督节点若干个联盟币作为惩罚。

在本发明实施例中,在第二参与节点重新发送联邦模型训练数据的次数满足修正次数惩罚阈值时,触发惩罚合约从区块链的所有参与节点中随机选取监督节点;监督节点通过获取联盟币的方式将联邦模型训练任务信息广播至非监督节点;非监督节点为所有参与节点中除监督节点之外的其它参与节点;联邦模型训练任务信息至少包括监督节点对第二参与节点的奖惩评估结果;非监督节点在接收到监督节点广播的联邦模型训练任务信息后,对第二参与节点进行奖惩投票;根据监督节点对第二参与节点的奖惩评估结果,以及非监督节点对第二参与节点的奖惩投票结果,对第二参与节点及监督节点进行奖惩。本发明实施例中,在触发惩罚合约后选取监督节点,将联邦模型训练任务信息广播至非监督节点,非监督节点基于联邦模型训练任务信息后对第二参与节点进行奖惩投票,根据监督节点及非监督节点对第二参与节点的奖惩结果,对第二参与节点及监督节点进行奖惩,能够进一步提高联邦模型训练数据的准确性。

图4示出了本发明第四实施例提供的基于区块链的联邦建模方法中步骤304的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了监督和促使第二参与节点提供符合数据规范的联邦模型训练数据,如图4所示,步骤304,根据监督节点对第二参与节点的奖惩评估结果,以及非监督节点对第二参与节点的奖惩投票结果,对第二参与节点及监督节点进行奖惩,包括:

步骤401,在非监督节点对第二参与节点的奖惩投票结果、监督节点对第二参与节点的奖惩评估结果,以及所有参与节点的最终投票结果均为奖励结果时,奖励第二参与节点及监督节点联盟币;

步骤402,在所有参与节点的最终投票结果为惩罚结果时,扣除第二参与节点联盟币。

在对第二参与节点及监督节点进行奖惩时,若非监督节点对第二参与节点的奖惩投票结果、监督节点对第二参与节点的奖惩评估结果,以及所有参与节点的最终投票结果一致且均为奖励结果时,说明监督节点和非监督节点均认可第二参与节点提供的联邦模型训练数据,此时分别奖励提供数据的第二参与节点及实现监督功能的监督节点若干个联盟币。

而在所有参与节点的最终投票结果为惩罚结果时,说明参与节点并未认可第二参与节点提供的联邦模型训练数据,此时扣除第二参与节点若干个联盟币作为惩罚。

在本发明实施例中,在非监督节点对第二参与节点的奖惩投票结果、监督节点对第二参与节点的奖惩评估结果,以及所有参与节点的最终投票结果均为奖励结果时,奖励第二参与节点及监督节点联盟币;在所有参与节点的最终投票结果为惩罚结果时,扣除第二参与节点联盟币。本发明实施例中根据奖惩结果对第二参与节点及监督节点进行奖惩,能够监督和促使第二参与节点提供符合数据规范的联邦模型训练数据。

图5示出了本发明第五实施例提供的基于区块链的联邦建模方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了提高本地模型性能,如图5所示,在上述方法步骤的基础上,基于区块链的联邦建模方法,还包括:

步骤501,在注册为区块链的参与节点时获取联盟币;和/或

步骤502,通过消费联盟币购买同质模型参数,以利用购买的同质模型参数优化本地模型。

第一参与节点在注册为区块链的参与节点时,发放第一参与节点若干数量的联盟币作为初始奖励。

第一参与节点如果需要利用其他参与节点的数据资源,提升本地模型性能,此时可以通过消费联盟币的方式直接购买同质优秀模型的参数。在购买同质模型参数时,需要明确购买模型的类型、参数范围及数量等,以利用购买的同质模型参数优化本地模型。

在本发明实施例中,通过消费联盟币购买同质模型参数,以利用购买的同质模型参数优化本地模型,能够提高第一参与节点的本地模型性能。

图6示出了本发明实施例提供的基于区块链的联邦建模方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了验证联邦模型训练数据是否有助于提升联邦模型性能,如图6所示,在上述方法步骤的基础上,基于区块链的联邦建模方法,还包括:

步骤601,在获得训练后的联邦模型后,触发验证合约从区块链的所有参与节点中随机选取验证节点;

步骤602,验证节点根据联邦模型训练任务的类型,利用联邦模型评估指标对联邦模型进行评测,对第二参与节点是否有助于联邦模型性能提升进行投票;

步骤603,在验证节点的投票结果与区块链的所有参与节点的最终投票结果一致时,奖励验证节点联盟币;

步骤604,在验证节点的投票结果与区块链的所有参与节点的最终投票结果均为提升结果时,奖励第二参与节点联盟币。

在获得训练后的联邦模型后,触发验证合约对训练后的联邦模型性能是否提升进行验证。验证合约从区块链的所有参与节点中选取验证节点。具体的,验证合约可以从区块链的所有参与节点中随机选取验证节点。

进而,选取的验证节点根据联邦模型训练任务的类型,利用联邦模型评估指标对联邦模型进行评测,对第二参与节点是否有助于联邦模型性能提升进行投票。其中,联邦模型评估指标例如可以包括auc值(areaundercurve,roc(receiveroperatingcharacteristiccurve)曲线下的面积),还可以包括除auc之外的准确率acc(accuracy)值及召回率recall值等。

最后,在验证节点的投票结果与区块链的所有参与节点的最终投票结果一致,说明参与节点对验证节点的投票结果较为认可,此时奖励验证节点联盟币。而在验证节点的投票结果与区块链的所有参与节点的最终投票结果均认为第二参与节点提供的联邦模型训练数据有助于提升联邦模型性能时,说明验证节点和参与节点均认为第二参与节点提供的联邦模型训练数据有助于提升联邦模型性能,此时奖励第二参与节点若干联盟币。

在本发明实施例中,在获得训练后的联邦模型后,触发验证合约从区块链的所有参与节点中随机选取验证节点;验证节点根据联邦模型训练任务的类型,利用联邦模型评估指标对联邦模型进行评测,对第二参与节点是否有助于联邦模型性能提升进行投票;在验证节点的投票结果与区块链的所有参与节点的最终投票结果一致时,奖励验证节点联盟币;在验证节点的投票结果与区块链的所有参与节点的最终投票结果均为提升结果时,奖励第二参与节点联盟币。本发明实施例中,通过触发的验证节点验证第二参与节点提供的联邦模型训练数据是否有助于联邦模型性能提升,实现对第二参与节点和验证节点的奖惩。

图7示出了本发明第七实施例提供的基于区块链的联邦建模方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了记录性能良好的联合模型,如图7所示,在上述图6所示方法步骤的基础上,基于区块链的联邦建模方法,还包括:

步骤701,将验证合约验证性能提升的联合模型记录在区块链上,奖励发布联邦模型训练任务的第一参与节点及加入联邦模型训练任务的第二参与节点联盟币。

在验证合约验证联合模型性能提升后,将验证合约验证性能提升的联合模型记录在区块链上,同时发放发布联邦模型训练任务的第一参与节点及加入联邦模型训练任务的第二参与节点若干联盟币,作为对联合模型贡献的奖励。

在本发明实施例中,将验证合约验证性能提升的联合模型记录在区块链上,奖励发布联邦模型训练任务的第一参与节点及加入联邦模型训练任务的第二参与节点联盟币,能够记录性能良好的联合模型。

本发明实施例还提供一种基于区块链的联邦建模装置,如下面的实施例所述。由于这些装置解决问题的原理与基于区块链的联邦建模方法相似,因此这些装置的实施可以参见方法的实施,重复之处不再赘述。

图8示出了本发明第八实施例提供的基于区块链的联邦建模装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:

参考图8,所述基于区块链的联邦建模装置所包含的各个模块用于执行图1对应实施例中的各个步骤,具体请参阅图1以及图1对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述基于区块链的联邦建模装置,应用于区块链上的第一参与节点,包括任务发布模块801、数据接收模块802、数据校验模块803及模型构建模块804。

任务发布模块801,用于通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范。

数据接收模块802,用于接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;第二参与节点为区块链上加入联邦模型训练任务的至少一个参与节点。

数据校验模块803,用于在区块链上对第二参与节点发送的联邦模型训练数据进行检验。

模型构建模块804,用于在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。

在本发明实施例中,任务发布模块801通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范;数据接收模块802接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;数据校验模块803在区块链上对第二参与节点发送的联邦模型训练数据进行检验;模型构建模块804在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。本发明实施例任务发布模块801通过发布联邦模型训练任务及训练联邦模型的数据规范,数据接收模块802接收其它参与节点发送的联邦模型训练数据,模型构建模块804在其它参与节点发送的联邦模型训练数据校验通过时,利用其它参与节点发送的联邦模型训练数据构建及训练联邦模型,因此能够打破跨场景数据孤岛以进行联合建模,提高跨场景数据利用率。

图9示出了本发明第九实施例提供的基于区块链的联邦建模装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了提高联邦模型训练数据的准确性,参考图9,所述基于区块链的联邦建模装置所包含的各个模块用于执行图2对应实施例中的各个步骤,具体请参阅图2以及图2对应实施例中的相关描述,此处不再赘述。本发明实施例中,在上述功能模块的基础上,所述基于区块链的联邦建模装置还包括修正通知发送模块901及修正数据接收模块902。

修正通知发送模块901,用于在第二参与节点发送的联邦模型训练数据检验未通过时,发送修正数据通知至第二参与节点。

修正数据接收模块902,用于接收第二参与节点根据修正数据通知修正后重新发送的联邦模型训练数据。

在本发明实施例中,修正通知发送模块901在第二参与节点发送的联邦模型训练数据检验未通过时,发送修正数据通知至第二参与节点;修正数据接收模块902接收第二参与节点根据修正数据通知修正后重新发送的联邦模型训练数据。本发明实施例修正通知发送模块901在第二参与节点发送的联邦模型训练数据检验未通过时,第一参与节点发送修正数据通知至第二参与节点,能够提高联邦模型训练数据的准确性。

图10示出了本发明第十实施例提供的基于区块链的联邦建模装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了进一步提高联邦模型训练数据的准确性,参考图10,所述基于区块链的联邦建模装置所包含的各个模块用于执行图3对应实施例中的各个步骤,具体请参阅图3以及图3对应实施例中的相关描述,此处不再赘述。本发明实施例中,在上述功能模块的基础上,所述基于区块链的联邦建模装置还包括监督节点选取模块1001、任务信息广播模块1002、非监督节点投票模块1003及节点奖惩模块1004。

监督节点选取模块1001,用于在第二参与节点重新发送联邦模型训练数据的次数满足修正次数惩罚阈值时,触发惩罚合约从区块链的所有参与节点中随机选取监督节点。

任务信息广播模块1002,用于监督节点通过获取联盟币的方式将联邦模型训练任务信息广播至非监督节点;非监督节点为所有参与节点中除监督节点之外的其它参与节点;联邦模型训练任务信息至少包括监督节点对第二参与节点的奖惩评估结果。

非监督节点投票模块1003,用于非监督节点在接收到监督节点广播的联邦模型训练任务信息后,对第二参与节点进行奖惩投票。

节点奖惩模块1004,用于根据监督节点对第二参与节点的奖惩评估结果,以及非监督节点对第二参与节点的奖惩投票结果,对第二参与节点及监督节点进行奖惩。

在本发明实施例中,监督节点选取模块1001在第二参与节点重新发送联邦模型训练数据的次数满足修正次数惩罚阈值时,触发惩罚合约从区块链的所有参与节点中随机选取监督节点;任务信息广播模块1002监督节点通过获取联盟币的方式将联邦模型训练任务信息广播至非监督节点;非监督节点为所有参与节点中除监督节点之外的其它参与节点;联邦模型训练任务信息至少包括监督节点对第二参与节点的奖惩评估结果;非监督节点投票模块1003非监督节点在接收到监督节点广播的联邦模型训练任务信息后,对第二参与节点进行奖惩投票;节点奖惩模块1004根据监督节点对第二参与节点的奖惩评估结果,以及非监督节点对第二参与节点的奖惩投票结果,对第二参与节点及监督节点进行奖惩。本发明实施例中,监督节点选取模块1001在触发惩罚合约后选取监督节点,任务信息广播模块1002将联邦模型训练任务信息广播至非监督节点,非监督节点投票模块1003非监督节点基于联邦模型训练任务信息后对第二参与节点进行奖惩投票,节点奖惩模块1004根据监督节点及非监督节点对第二参与节点的奖惩结果,对第二参与节点及监督节点进行奖惩,能够进一步提高联邦模型训练数据的准确性。

图11示出了本发明第十一实施例提供的基于区块链的联邦建模装置中节点奖惩模块1004的结构示意,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了监督和促使第二参与节点提供符合数据规范的联邦模型训练数据,参考图11,所述节点奖惩模块1004所包含的各个单元用于执行图4对应实施例中的各个步骤,具体请参阅图4以及图4对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述节点奖惩模块1004包括节点奖励单元1101及节点惩罚单元1102。

节点奖励单元1101,用于在非监督节点对第二参与节点的奖惩投票结果、监督节点对第二参与节点的奖惩评估结果,以及所有参与节点的最终投票结果均为奖励结果时,奖励第二参与节点及监督节点联盟币。

节点惩罚单元1102,用于在所有参与节点的最终投票结果为惩罚结果时,扣除第二参与节点联盟币。

在本发明实施例中,节点奖励单元1101在非监督节点对第二参与节点的奖惩投票结果、监督节点对第二参与节点的奖惩评估结果,以及所有参与节点的最终投票结果均为奖励结果时,奖励第二参与节点及监督节点联盟币;节点惩罚单元1102在所有参与节点的最终投票结果为惩罚结果时,扣除第二参与节点联盟币。本发明实施例中节点惩罚单元1102根据奖惩结果对第二参与节点及监督节点进行奖惩,能够监督和促使第二参与节点提供符合数据规范的联邦模型训练数据。

图12示出了本发明第十二实施例提供的基于区块链的联邦建模装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了提高本地模型性能,参考图12,所述基于区块链的联邦建模装置所包含的各个单元用于执行图5对应实施例中的各个步骤,具体请参阅图5以及图5对应实施例中的相关描述,此处不再赘述。本发明实施例中,在上述功能模块的基础上,所述基于区块链的联邦建模装置还包括节点注册模块1201和/或模型参数购买模块1202。

节点注册模块1201,用于在注册为区块链的参与节点时获取联盟币。

模型参数购买模块1202,用于通过消费联盟币购买同质模型参数,以利用购买的同质模型参数优化本地模型。

在本发明实施例中,模型参数购买模块1202通过消费联盟币购买同质模型参数,以利用购买的同质模型参数优化本地模型,能够提高第一参与节点的本地模型性能。

图13示出了本发明第十三实施例提供的基于区块链的联邦建模装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了验证联邦模型训练数据是否有助于提升联邦模型性能,参考图13,所述基于区块链的联邦建模装置所包含的各个单元用于执行图6对应实施例中的各个步骤,具体请参阅图6以及图6对应实施例中的相关描述,此处不再赘述。本发明实施例中,在上述功能模块的基础上,所述基于区块链的联邦建模装置还包括验证节点选取模块1301、验证节点投票模块1302、验证节点奖励模块1303及第二参与节点奖励模块1304。

验证节点选取模块1301,用于在获得训练后的联邦模型后,触发验证合约从区块链的所有参与节点中随机选取验证节点。

验证节点投票模块1302,用于验证节点根据联邦模型训练任务的类型,利用联邦模型评估指标对联邦模型进行评测,对第二参与节点是否有助于联邦模型性能提升进行投票。

验证节点奖励模块1303,用于在验证节点的投票结果与区块链的所有参与节点的最终投票结果一致时,奖励验证节点联盟币。

第二参与节点奖励模块1304,用于在验证节点的投票结果与区块链的所有参与节点的最终投票结果均为提升结果时,奖励第二参与节点联盟币。

在本发明实施例中,验证节点选取模块1301在获得训练后的联邦模型后,触发验证合约从区块链的所有参与节点中随机选取验证节点;验证节点投票模块1302验证节点根据联邦模型训练任务的类型,利用联邦模型评估指标对联邦模型进行评测,对第二参与节点是否有助于联邦模型性能提升进行投票;验证节点奖励模块1303在验证节点的投票结果与区块链的所有参与节点的最终投票结果一致时,奖励验证节点联盟币;第二参与节点奖励模块1304在验证节点的投票结果与区块链的所有参与节点的最终投票结果均为提升结果时,奖励第二参与节点联盟币。本发明实施例中,通过触发的验证节点验证第二参与节点提供的联邦模型训练数据是否有助于联邦模型性能提升,实现对第二参与节点和验证节点的奖惩。

图14示出了本发明第十四实施例提供的基于区块链的联邦建模装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:

在本发明的一实施例中,为了记录性能良好的联合模型,参考图14,所述基于区块链的联邦建模装置所包含的各个单元用于执行图7对应实施例中的各个步骤,具体请参阅图7以及图7对应实施例中的相关描述,此处不再赘述。本发明实施例中,在上述功能模块的基础上,所述基于区块链的联邦建模装置还包括模型记录模块1401。

模型记录模块1401,用于将验证合约验证性能提升的联合模型记录在区块链上,奖励发布联邦模型训练任务的第一参与节点及加入联邦模型训练任务的第二参与节点联盟币。

在本发明实施例中,模型记录模块1401将验证合约验证性能提升的联合模型记录在区块链上,奖励发布联邦模型训练任务的第一参与节点及加入联邦模型训练任务的第二参与节点联盟币,能够记录性能良好的联合模型。

本发明提出一种跨境场景下人工智能模型联合训练方法和装置,通过运用联邦学习、区块链、智能合约、人工智能等技术手段联合打造“跨境场景人工智能联合训练系统”,旨在通过制定公平的利益分配规则,建立合理激励机制,实现跨境场景下多方联合建模,以构建更好、更准、更高效地人工智能模型服务于跨境场景建设。

1、引入联邦学习机制。联邦学习是一种机器学习框架,强调模型训练过程中对数据拥有方的数据隐私保护,是一种应对数据隐私保护的有效措施,能使各机构自有数据不出本地,通过加密机制下的参数交换方式建立共有模型。有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。参与联邦训练的各家机构对于其本地数据具有完全的自治权限,可以自主决定是否加入数据联邦进行建模,能够更好地应对未来愈加严格的数据隐私和数据安全监管环境。

2、去中心化的闭环激励措施。基于区块链智能合约,设计“联邦币”和相应的奖罚机制,从而使得各个参与方的数据价值可以被量化且能完成价值转移。在该机制中,用户只要加入数据联邦即可获取一定数量的“联邦币”,发布联邦训练任务或者购买模型参数需要消耗“联邦币”,加入联邦训练任务可以赚取“联邦币”。“联邦币”一方面可以吸引拥有较大数据量的参与方参与建模,获取“联邦币”奖励;另一方面对于拥有数据量不高,但数据维度丰富的参与方,也具有吸引力,积极参与联邦任务,仍可积累到可观的“联邦币”。对于那些没有初始数据进行模型训练的参与方,可以消费“联邦币”发布联邦任务,借助其他拥有数据的参与方来完成初步建模,解决“冷启动”问题。

3、构建模型集市。通过建立统一的联邦模型任务发布规范,使得各个参与方可以主动自主的发起联邦建模,充分挖掘出各个参与方的建模需求,从而构建起一个活跃丰富的模型集市。

4、自治。巧妙地通过设计“惩罚合约”、“验证合约”实现自我管理。“数据联邦”中的各节点,既是参与者,也是管理者,充分调动数据协同管理效率。

本发明基于智能合约构建一个计算机化且自动执行的联邦建模协议;基于区块链智能合约,设计“联邦币”和相应的奖罚机制;去中心化的闭环激励措施使得各个参与方的数据价值可以被量化且能完成价值转移。

本发明具备有以下有益技术效果:

(a)在没有相关数据的情况下实现人工智能相关场景应用,解决“冷启动问题”。

(b)在保护数据隐私的同时打破数据孤岛,使跨部门、机构间的数据合作成为可能。

(c)充分激励、协调行内部门与部门之间、行内与行外第三方之间进行数据联合,充分地、深度地、高效地挖掘数据价值,共同构建优质人工智能模型,共同完成人工智能应用。

(d)提高数据利用率,充分利用数据价值。

本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于区块链的联邦建模方法。

本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述基于区块链的联邦建模方法的计算机程序。

综上所述,本发明实施例中,通过消费联盟币在区块链上发布联邦模型训练任务及训练联邦模型的数据规范;接收第二参与节点根据训练联邦模型的数据规范发送的联邦模型训练数据;在区块链上对第二参与节点发送的联邦模型训练数据进行检验;在第二参与节点发送的联邦模型训练数据检验通过时,根据第二参与节点发送的联邦模型训练数据在区块链上构建及训练联邦模型,以获得训练后的联邦模型。本发明实施例通过发布联邦模型训练任务及训练联邦模型的数据规范,接收其它参与节点发送的联邦模型训练数据,在其它参与节点发送的联邦模型训练数据校验通过时,利用其它参与节点发送的联邦模型训练数据构建及训练联邦模型,因此能够打破跨场景数据孤岛以进行联合建模,提高跨场景数据利用率。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1