数据处理方法和相关装置

本申请实施例涉及数据处理，尤其涉及一种数据处理方法和相关装置。

背景技术：

1、随着互联网应用的发展，在医疗、金融、保险等数据敏感行业的应用中，数据保护与数据利用之间存在明显的矛盾。

2、一方面，从数据安全考虑，数据不能出本地，比如有的数据涉及到隐私，不能将这些数据明文传输给非数据所属终端；另一方面，从充分利用数据考虑，希望能够对丰富的数据源中的数据进行利用。

3、因此，在数据处理时，如何做到既保护数据安全、又实现多方协作充分利用已有数据，是亟待解决的技术问题。

技术实现思路

1、本申请实施例提供了一种数据处理方法和相关设备，能够实现既保护数据安全又实现多方协作。

2、第一方面，提供了一种数据处理方法，应用于包括多个区块链节点的区块链网络，所述方法包括：获取至少两个终端发出的上链申请，任一所述上链申请包括：发送所述上链申请的终端基于本地数据对目标模型进行联邦学习训练得到的梯度数据；对所述上链申请进行校验，排除所述上链申请中具有攻击性质的上链申请；对通过校验的所述上链申请中的梯度数据进行梯度融合，得到所述目标模型的更新梯度；广播所述更新梯度，所述更新梯度被任一所述终端获取后用于更新本地的所述目标模型。

3、该实施例进行数据处理时，终端基于本地数据对目标模型进行联邦学习得到梯度数据，避免了传输原始数据存在的数据泄密风险，提高了多个终端进行协作时的安全性，另外，由于采用了去中心化的区块链网络对数据进行处理、以及利用智能合约对上链申请进行审核，进一步提高了数据处理的安全性。

4、结合第一方面，在第一方面的某些实现方式中，所述对通过校验的所述上链申请中的梯度数据进行梯度融合，包括：利用梯度聚合根据预设算法对通过校验的上链申请中的梯度数据进行加权聚合。其中，预设算法可以包括联邦学习fedavg算法。

5、结合第一方面，在第一方面的某些实现方式中，所述对所述上链申请进行校验，包括：确定所述上链申请是否为攻击性质的上链申请，在确定所述上链申请不是攻击性质的上链申请时，所述上链申请通过校验。

6、通过校验上链申请是否是攻击性质的上链申请，以及在上链申请不是攻击性质的上链申请时，确定上链申请校验通过，通过这种方式，可以过滤掉恶意终端发出的攻击性质上链申请，有利于提高数据处理的准确性。

7、结合第一方面，在第一方面的某些实现方式中，所述上链申请包括时间戳信息，所述时间戳信息用于标识终端进行联邦学习训练所消耗的时长；所述对所述上链申请进行校验，包括：确定所述上链申请包括的时间戳信息是否真实，基于时间戳信息是否真实确定所述上链申请是否为攻击性质的上链申请。比如，在时间戳信息对应的时长小于预设值时，可以确定时间戳信息不真实。

8、结合第一方面，在第一方面的某些实现方式中，还包括；确定目标区块链节点；所述对通过校验的所述上链申请中的梯度数据进行梯度融合，包括：由所述目标区块链节点对通过校验的所述上链申请中的梯度数据进行梯度融合。

9、结合第一方面，在第一方面的某些实现方式中，还包括：由所述目标区块链节点基于智能合约确定对所述至少两个终端中的每个终端进行奖励的奖励信息；广播所述奖励信息。

10、第二方面，提供了一种数据处理方法，应用于与区块链网络进行通信的终端；所述终端获取第一方面或者第一方面任一可能的实现方式中广播的更新梯度，根据更新梯度更新本地的目标模型。

11、结合第二方面，在第二方面的某些实现方式中，还包括：获取所述区块链网络广播的奖励信息；所述奖励信息是区块链网络基于智能合约中的奖励机制确定的。

12、第三方面，提供了一种区块链网络，所述区块链网络包括至少两个区块链节点，所述区块链网络执行如第一方面或者第一方面任一可能的实现方式所述的数据处理方法。

13、第四方面，提供了一种终端，所述终端包括：处理器和存储器；所述存储器与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述处理器调用所述计算机指令以使得所述终端执行如第二方面或者第二方面任一可能的实现方式所述的数据处理方法。

14、可以理解的是，上述第二方面到第四方面提供的技术方案可以分别对应到如第一方面及其可能的实现中提供的任一种方案中，能够达到的有益效果类似，此处不再赘述。

技术特征：

1.一种数据处理方法，其特征在于，应用于包括多个区块链节点的区块链网络，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对通过校验的所述上链申请中的梯度数据进行梯度融合，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述上链申请进行校验，包括：

4.根据权利要求3所述的方法，其特征在于，所述上链申请包括时间戳信息，所述时间戳信息用于标识终端进行联邦学习训练所消耗的时长；

5.根据权利要求1至4任一项所述的方法，其特征在于，还包括；确定目标区块链节点；

6.根据权利要求5所述的方法，其特征在于，还包括：

7.一种数据处理方法，其特征在于，应用于与区块链网络进行通信的终端；

8.根据权利要求7所述的方法，其特征在于，还包括：

9.一种区块链网络，其特征在于，所述区块链网络包括至少两个区块链节点，所述区块链网络执行如权利要求1至6任一项所述的数据处理方法。

10.一种终端，其特征在于，所述终端包括：

技术总结
本申请提供了一种数据处理方法和相关装置，所述方法应用于区块链网络，包括：获取至少两个终端发出的上链申请，任一上链申请包括：发送上链申请的终端基于本地数据对目标模型进行联邦学习训练得到的梯度数据；对上链申请进行校验；对通过校验的上链申请中的梯度数据进行梯度融合，得到目标模型的更新梯度；广播更新梯度，更新梯度被任一终端获取后用于更新本地的目标模型。采用该方案进行数据处理时，终端基于本地数据对目标模型进行联邦学习训练得到梯度数据，避免了传输原始数据存在的数据泄密风险，提高了多个终端进行协作时的安全性，由于采用了去中心化的区块链网络对数据进行处理、以及对上链申请进行校验，进一步提高了数据处理的安全性。

技术研发人员：黄虎,潘乐扬,林晖,王迎雪,张泽儒,周海源,苏品任,杨家文
受保护的技术使用者：北京大学深圳研究生院
技术研发日：
技术公布日：2024/1/15