基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统与流程

本发明涉及智能医疗，更具体地，涉及一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法、系统、设备和计算机可读存储介质。

背景技术：

1、随着医疗技术的发展，医疗数据量呈现爆炸性增长，这些数据包括但不限于患者病历、临床试验结果、医学影像和实验室测试结果。这些数据的复杂性和敏感性要求使用高效、安全且准确的方法进行处理和分析，以支持医疗决策。传统的中心化数据处理方法面临着数据隐私和安全的严重挑战，尤其是在涉及敏感的医疗数据时。此外，中心化方法还需要庞大的数据存储和处理能力，这在资源和成本上都是一大负担。另一方面，现有的医疗决策支持系统在处理复杂的医疗数据时，可能因为缺乏高效的数据分析工具，而无法充分利用这些数据来提供准确的诊断和治疗建议。

2、尽管为解决数据安全性和隐私性问题，已将联邦学习和分布式训练的方法引入医疗数据的处理中，但是现有技术在以下方面仍然存在不足：

3、1、在现有的机器学习和分布式框架中，不同用户端的计算能力和数据质量可能存在很大差异，可能导致学习过程中的效率不均和资源利用不平衡，从而影响整个系统的性能。

4、2、在传统的机器学习环境中，由于缺乏有效的动态参数融合和梯度裁剪机制，可能导致模型训练的不稳定性和效率低下。

5、3、现有技术可能在处理复杂的医疗文本数据方面存在局限性，缺乏有效的机制来理解和处理大量的临床文本数据。

6、4、在现有的医疗决策辅助系统中，可能由于缺乏高效、准确的数据处理和分析机制，导致在提供医疗诊断和治疗建议方面的效果有限。

技术实现思路

1、鉴于上述问题，本发明提供一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法，利用异步参数处理更高效的利用联邦学习的用户端计算性能，并对异步联邦学习的参数聚合使用动态参数融合，同时使用梯度剪枝方法提高用户端的本地模型训练效率，从而构建高效的基于联邦学习的辅助决策方法。

2、一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法，所述联邦学习由参数服务器和n个用户端组成，n为大于1的自然数，所述方法包括：

3、用户端用本地临床数据集训练本地模型，将训练完成的本地模型参数上传至所述参数服务器；

4、所述参数服务器接收不同的用户端的本地模型参数，聚合本地模型参数得到全局参数，再将所述全局参数发送至用户端，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至最小参数版本用户端返回后继续等待一段延迟时间后执行聚合；

5、所述用户端接收所述参数服务器端发送的所述全局参数，并更新所述本地模型。

6、进一步，所述参数服务器包括版本管理模块，所述版本管理模块保存了不同的全局参数版本，所述全局参数版本包括版本号、全局参数、版本时间戳，所述版本管理模块还保存了个用户端上的全局参数版本号，所述版本管理模块的工作包括以下步骤：

7、第1步，所述参数服务器接收到来自用户端的所述本地模型参数后，所述版本管理模块更新所述用户端上的全局参数版本号为当前最大版本时间戳对应的版本号+1；

8、第2步，所述版本管理模块获取所述n个用户端上的版本号，计算所述n个用户端上的版本号的最大值与最小值之差，得到n个用户端版本差异；

9、第3步，所述参数服务器聚合所述用户端的本地模型参数得到全局参数后，所述版本管理模块记录所述全局参数及所述全局参数的时间戳，得到新的全局参数版本并保存。

10、进一步，所述延迟时间是由所述版本管理模块根据所述n个用户端版本差异和所述用户端的本地模型参数上传时间决定的。

11、进一步，所述更新的全局参数值的计算公式为：

12、

13、其中，为当前最大版本时间戳对应的版本号，是版本号为t的全局参数，为用户端在版本的贡献度，是学习率，是所述用户端使用t版本的全局参数基于本地数据集训练，使用梯度得到的所述用户端的本地模型参数。

14、进一步，所述贡献度根据所述用户端的历史参数质量和迭代完成速度动态调整所述用户端的本地模型参数在全局参数更新中的权重。

15、进一步，所述用户端i的贡献度使用的计算公式如下：

16、

17、其中，表示所述用户端的历史参数质量分数，表示所述用户端i的迭代完成速度分数，是调节两者影响的权重因子。

18、进一步，使用动态梯度裁剪后的梯度更新得到所述用户端的本地模型参数上传到所述参数服务器，所述梯度裁剪的阈值基于所述用户端的性能分数计算得到，所述用户端的性能分数根据用户端的计算能力、数据吞吐量和历史梯度稳定性指标计算得到。

19、进一步，所述动态梯度裁剪后的梯度表示为：

20、

21、其中，表示用户端i在使用全局参数版本t训练时的动态梯度裁剪阈值。

22、进一步，所述本地模型包括下列模型中的一种或几种：transformer、gpt、bert、t5、xlnet、roberta、albert、dall-e、wavegan、biggan、unilm、clip。

23、进一步，所述bert模型首先对所述临床数据集进行文本预处理，转换成模型能理解的格式；所述文本预处理的结果通过多层编码器捕捉文本上下文之间的关系；解码器解码编码器输出结果，所述解码器输出的结果通过全连接层进行映射和转换产生临床辅助决策文本。

24、一种基于联邦大模型的实体恶性肿瘤临床辅助决策系统，所述联邦学习由参数服务器和n个用户端组成，n为大于1的自然数，

25、用户端包括：

26、获取模块：用于获取本地临床数据集，其中所述用户端为n个用户端的任意一个；

27、用户端接收模块：用于接收所述参数服务器发送的全局参数并更新本地模型；

28、训练模块：用于所述本地临床数据集训练本地模型得到本地模型参数；

29、上传模块：用于所述用户端将所述本地模型参数上传至所述参数服务器端；

30、参数服务器包括：

31、服务器接收模块：用于所述参数服务器接收不同的用户端的本地模型参数，

32、参数聚合模块：用于聚合本地模型参数得到全局参数，其中，所述参数服务器根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数：如果所述n个用户端版本差异小于等于阈值下限，参数服务器立即执行聚合；如果所述n个用户端版本差异大于阈值下限且小于等于阈值上限，参数服务器等待一段延迟时间后执行聚合；如果所述n个用户端版本差异大于阈值上限，参数服务器强制等待至最小参数版本用户端返回后继续等待一段延迟时间后执行聚合；

33、发送模块：用于将所述全局参数发送至用户端。

34、一种基于联邦大模型的实体恶性肿瘤临床辅助决策设备，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法的任一步骤。

35、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法的任一步骤。

36、本技术的优势：

37、1. 本发明根据参数服务器上n个用户端版本差异确定不同的全局参数聚合策略，用于优化不同计算能力和数据分布的用户端之间的同步策略，可以减少等待时间，提高整体的学习效率，解决了联邦学习中的效率不均和资源利用不平衡问题；

38、2. 本发明通过动态调整全局参数聚合过程中不同用户端的贡献度，有效利用了高性能用户端的计算结果，同时减少了低性能用户端的负面影响，提高了模型训练的稳定性和效率。

39、3. 本发明通过梯度裁剪得到用户端的本地模型参数，加快了本地模型训练速度，从而提升了联邦学习训练的效率。

40、4．本发明基于transformer结构的bert模型的应用来处理和分析临床文本数据，能够更好地理解和处理复杂的医疗文本数据，提高了辅助决策的准确性和效率。