一种疾病预测模型的联邦训练方法及系统、疾病预测方法

本发明涉及医疗健康领域，具体来说，涉及医疗领域中基于机器学习进行疾病预测的技术，更具体来说，涉及一种疾病预测模型的联邦训练方法及系统、疾病预测方法。

背景技术：

1、随着机器学习的发展，尤其是深度学习等人工智能技术的广泛应用，尤其是近年来预训练大模型的快速发展，对数据的需求与日俱增。然而，随着有价值的公共数据不断被消耗，训练大模型时会面临数据枯竭问题。引起该问题的原因包括：由于隐私保护条款，以及企业利益等等原因，高质量的私有数据并未得到充分的利用，这种数据孤岛现象阻碍了信息的整合与共享，从而在训练模型时会面临数据枯竭问题。为确保隐私数据被有效利用来训练模型，联邦学习被引入作为解决方案。联邦学习利用聚合模型来代替直接聚合数据，从而保证不泄露数据隐私的情况下，促进多个客户端(即参与方)之间的合作与共享，充分利用高质量私有数据解决数据枯竭等问题。

2、在医疗领域中，深度学习人工智能建模等技术起着至关重要的作用。首先，在辅助诊断方面，人工智能等技术辅助医生进行更准确的诊断。通过分析患者的医疗数据，如影像学、实验室结果和病历，人工智能能够快速识别潜在的疾病迹象和模式，提供有关可能诊断的建议。这有助于医生更快地制定治疗计划和提高患者护理质量。其次，人工智能可以提高医疗效率，自动化流程和数据分析可以减少繁琐的任务，协助制定个性化治疗计划，提高药物管理的精度，减少医疗错误等等。不同的医疗机构之间的医疗数据天然具有隐私敏感性，以及国家政策的相关要求，使得这些医疗数据未能得到充分的利用。比如，三甲医院丰富的医疗数据可以帮助一些小医院进行疾病预测模型训练，得到性能更好的疾病预测模型，该模型有助于提高医疗诊断能力和效率。联邦学习方法作为一种隐私保护的分布式机器学习范式，可以充分的利用不同医疗机构的医疗数据共同训练疾病预测模型。

3、传统的联邦学习方法是使用一个中央服务器协调多个客户端进行多轮训练的联邦学习过程。在每一轮训练开始时，中央服务器会将初始化的全局模型发送给每个客户端。然后，每个客户端在其本地数据上训练模型，并只将模型更新传回中央服务器。最后，中央服务器从所有客户端收集这些更新，并更新全局模型以结束这一轮的联邦训练。但这类联邦学习存在实用性问题，因为要求客户端的数据独立同分布。如果数据非独立同分布，会导致模型性能低、模型精度低、模型通信速度慢、模型收敛速度等问题。

4、然而现实场景的应用中，不同客户端的数据通常都是非独立同分布的，尤其是在医疗领域，不同地区的医院往往具有不同的人口统计数据、生活方式以及其他与健康相关的特征，这些特征不同表明每个客户端的本地医疗数据之间是非独立同分布的，这种非独立同分布性质造成数据异质性，这种数据异质性会导致训练过程中的问题。因为全局模型需要在各个客户端的本地医疗数据集上进行训练，但是由于数据的差异和不一致性，疾病预测模型(也称为全局模型)可能难以得到有效的训练。具体来说，疾病预测模型可能会在某些分布上的性能较差，因为某些客户端的本地医疗数据可能与疾病预测模型的训练目标存在偏差。这种偏差可能源于不同医院、不同地区的数据收集方式、诊断标准、患者人群等方面的差异。从而导致训练得到的疾病预测模型的性能不好。

5、为此，现有技术从数据共享，数据增强，数据选择来解决联邦学习中数据异质性问题，但这些基于数据的方法可能泄露隐私，数据处理不当也会加剧模型学习偏移的问题和联邦学习的不公平性问题。现有技术从模型的角度来解决联邦学习中数据异质性问题，即主要采用了改进模型更新方法、聚合策略、自适应最优化以及模型正则化等一系列方法，但这些基于模型的方法在一定程度上增加了计算开销和通信开销，会过于依赖中央服务器的性能。现有技术从模型框架的角度来解决联邦学习中数据异质性问题，即主要包括相似度聚类、知识蒸馏和基础附加个性化层等等。但这些基于改变模型框架(即在联邦学习训练中添加一些集群步骤)的方法可能会增加通信成本，特别是当涉及到数百个客户时，同时还可能会产生收敛不稳定等问题。

6、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种疾病预测模型的联邦训练方法及系统、疾病预测方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种疾病预测模型的训练方法，所述疾病预测模型用于根据医疗数据进行疾病预测，其特征在于，所述方法包括：

4、s1、将已有的多个客户端构建有向环形拓扑连接；

5、s2、给多个客户端配置相同结构的初始疾病预测模型，其中，每个客户端自有本地医疗数据集；

6、s3、基于构建的环形拓扑连接关系，每个客户端利用自有的本地医疗数据集以先传输联邦训练再基于广播的知识蒸馏联邦训练的方式对其对应的初始疾病预测模型进行多次迭代联邦训练，其中，传输联邦训练时相邻客户端之间进行全部参数传递，基于广播的知识蒸馏联邦训练时，每个客户端将其训练好的疾病预测模型参数广播给其他所有客户端。

7、在本发明的一些实施例中，在所述步骤s3中，

8、每个客户端利用自有的本地医疗数据集进行至少一次的传输联邦训练后再进行至少一次的知识蒸馏联邦训练。

9、在本发明的一些实施例中，在所述步骤s3中，每次传输联邦训练包括：

10、基于构建的有向环形拓扑连接关系，所有客户端基于自有的本地医疗数据集对其对应的初始疾病预测模型按方向进行顺序训练，并在训练时基于每个客户端本地医疗数据集对应的预设第一损失更新其对应的疾病预测模型参数；其中，在构建的有向环形拓扑连接中，下一个客户端的初始疾病预测模型采用上一个客户端训练好的疾病预测模型参数进行初始化。

11、在本发明的一些实施例中，所述预设第一损失为第一均值交叉熵损失，每个客户端本地医疗数据集的第一均值交叉熵损失为：

12、

13、k∈(1，n)

14、其中，表示第k个客户端本地医疗数据集的第一均值交叉熵损失，dk表示第k个客户端的本地医疗数据集，|dk|表示第k个客户端的医疗数据样本量，表示第k个客户端的本地数据集中第i个医疗数据样本，表示第k个客户端的本地数据集中第i个医疗数据样本对应的标签，表示第k个客户端的本地医疗数据集中第i个医疗数据样本的交叉熵损失，表示将第k个客户端的本地医疗数据集dk中第i个医疗数据样本输入参数为的疾病预测模型的输出，n为客户端的个数。

15、在本发明的一些实施例中，在所述步骤s3中，每次知识蒸馏联邦训练包括：

16、在传输联邦训练完成后，每个客户端将其经传输联邦训练后得到的疾病预测模型参数广播给其他所有客户端以作为其他客户端的教师疾病预测模型；

17、分别以每个客户端作为目标客户端，使目标客户端利用自身经传输联邦训练后的疾病预测模型对自有本地医疗数据集进行特征提取得到目标客户端本地医疗数据集的特征表示，以及利用其它客户端的教师疾病预测模型对自有的本地医疗数据集进行特征提取得到目标客户端本地数据集的多个初始教师特征表示；

18、将目标客户端本地医疗数据集的特征表示分别与其本地医疗数据集的所有初始教师特征表示进行知识蒸馏以得到目标客户端本地医疗数据集的特征表示分别与多个初始教师特征表示之间的相似度权重，并基于该相似度权重对目标客户端本地医疗数据集的所有初始教师特征表示进行加权融合以得到目标客户端本地医疗数据集的目标教师特征表示，并基于目标客户端本地医疗数据集的特征表示以及目标教师特征表示计算的目标客户端本地医疗数据集的预设第二损失以更新目标客户端的疾病预测模型参数。

19、在本发明的一些实施例中，所述预设第二损失包括对比损失和第二均值交叉熵损失：

20、

21、其中，表示第r个目标客户端本地医疗数据集的预设第二损失，表示第r个目标客户端本地医疗数据集的预设第二均值交叉熵损失，表示第r个目标客户端本地医疗数据集的对比损失。

22、在本发明的一些实施例中，所述目标客户端本地医疗数据集的对比损失为：

23、

24、其中，表示第r个目标客户端本地数据集的对比损失，λ为预设超参数，表示第r个目标客户端本地医疗数据集dr的目标教师特征表示，表示第r个目标客户端的本地医疗数据集dr的特征表示。

25、在本发明的一些实施例中，采用如下方式得到目标客户端本地医疗数据集的目标教师特征表示：

26、

27、其中，

28、

29、αrj表示第r个目标客户端本地医疗数据集的特征表示与第j个初始教师特征表示之间的相似度权重，softmax(·)为归一化函数，表示第r个目标客户端本地医疗数据集dr的第j个初始教师特征表示，表示第r个目标客户端的本地医疗数据集dr的特征表示的预设维度。

30、根据本发明的第二方面，提供一种疾病预测模型的联邦训练系统，所述系统包括多个客户端，所述多个客户端被配置为采用上述实施例中所述的方法训练其对应的疾病预测模型。

31、根据本发明的第三方面，提供一种疾病预测方法，所述方法包括：

32、获取待预测的医疗数据；

33、采用上述实施例中所述的方法训练得到的疾病预测模型对所述待预测的医疗数据进行疾病预测。

34、根据本发明第四方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现第一方面、第三方面所述方法的步骤。

35、与现有技术相比，本发明的优点在于：

36、本发明上述实施例中提出的疾病预测模型的训练方法及系统中，通过先传输联邦训练再基于广播的知识蒸馏联邦训练的方式对其对应的初始疾病预测模型进行多次迭代联邦训练，可以有效解决由客户端的本地医疗数据集的非独立同分布引起的数据异质性问题，同时每个客户端能够更好地实现个性化疾病预测模型的训练，从而提高了不同客户端的疾病预测模型性能。