基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统与流程

文档序号:37829721发布日期:2024-04-30 17:39阅读:来源:国知局

技术特征:

1.一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述联邦学习由参数服务器和n个用户端组成,n为大于1的自然数,所述方法包括:

2.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述参数服务器包括版本管理模块,所述版本管理模块保存了不同的全局参数版本,所述全局参数版本包括版本号、全局参数、版本时间戳,所述版本管理模块还保存了个用户端上的全局参数版本号,所述版本管理模块的工作包括以下步骤:

3.根据权利要求2所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述延迟时间是由所述版本管理模块根据所述n个用户端版本差异和所述用户端的本地模型参数上传时间决定的。

4.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述更新的全局参数值的计算公式为:

5.根据权利要求4所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述贡献度根据所述用户端的历史参数质量和迭代完成速度动态调整所述用户端的本地模型参数在全局参数更新中的权重。

6.根据权利要求5所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述用户端i的贡献度使用的计算公式如下:

7.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,使用动态梯度裁剪后的梯度更新得到所述用户端的本地模型参数上传到所述参数服务器,所述梯度裁剪的阈值基于所述用户端的性能分数计算得到,所述用户端的性能分数根据用户端的计算能力、数据吞吐量和历史梯度稳定性指标计算得到。

8.根据权利要求7所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述动态梯度裁剪后的梯度表示为:

9.根据权利要求1所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述本地模型包括下列模型中的一种或几种:transformer、gpt、bert、t5、xlnet、roberta、albert、dall-e、wavegan、biggan、unilm、clip。

10.根据权利要求9所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法,其特征在于,所述bert模型首先对所述临床数据集进行文本预处理,转换成模型能理解的格式;所述文本预处理的结果通过多层编码器捕捉文本上下文之间的关系;解码器解码编码器输出结果,所述解码器输出的结果通过全连接层进行映射和转换产生临床辅助决策文本。

11.一种基于联邦大模型的实体恶性肿瘤临床辅助决策系统,其特征在于,所述联邦学习由参数服务器和n个用户端组成,

12.一种基于联邦大模型的实体恶性肿瘤临床辅助决策设备,其特征在于,包括:存储器和处理器;所述存储器用于存储程序指令;所述处理器用于调用程序指令,当程序指令被执行时实现权利要求1-10任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法。

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的基于联邦大模型的实体恶性肿瘤临床辅助决策方法。


技术总结
本发明属于智能医疗领域,具体涉及一种基于联邦大模型的实体恶性肿瘤临床辅助决策方法及系统。方法包括:用户端用本地临床数据集训练本地模型,将训练完成的本地模型参数上传至所述参数服务器;所述参数服务器接收不同的用户端的本地模型参数,根据n个用户端版本差异等待不同时间后聚合本地模型参数得到全局参数,再将所述全局参数发送至用户端;所述用户端接收所述参数服务器端发送的所述全局参数,并更新所述本地模型。所述方法可以优化不同计算能力和数据分布的用户端之间的同步策略,减少等待时间,提高联邦学习的学习效率,解决了联邦学习中的效率不均和资源利用不平衡问题。

技术研发人员:孙宇慧,何昆仑
受保护的技术使用者:中国人民解放军总医院
技术研发日:
技术公布日:2024/4/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1