一种基于联邦学习的分布式小尺度肺结节检测方法

本发明涉及目标检测，具体涉及一种基于联邦学习的分布式小尺度肺结节检测方法。

背景技术：

1、近年来，在深度学习(deep learning，dl)的快速驱动下，目标检测算法已应用于多个领域，智慧医疗方向深度学习在图像识别中，通过卷积神经网络实现的视觉算法在识别错误率和效率上2015年已经超越了人类。小尺度肺结节目标检测的目的是精确地检测出医疗图像中可视化特征较少的小尺度病灶。在这个问题上，深度学习仍然面临着巨大的挑战。与普通尺寸的目标相比，小尺度病灶所包含的外观信息非常有限，因此很难将它们从复杂的背景或相近的目标中分离出来。

2、深度学习的成功都是建立在对大量数据训练的基础之上，而想要获取足量的优质医疗数据是一件及其困难的事情。随着越来越完善的法律法规，监管机构对于数据的使用审批愈加严格，往日轻松获取大量数据的时代已然过去。数据是人工智能时代的燃料，随着优质训练数据获取难度的不断提高，传统的集中数据式训练模型方法正面临着极大挑战。

3、联邦学习(federated learning，fl)是2016年由谷歌公司的h.brendan mcmahan等人提出的，作为一种面向隐私安全的分布式机器学习技术，其可以在各客户端部署深度学习算法同时利用本地数据训练模型，本地训练结束后由中心服务器聚合模型后再次分发给各客户端进行训练，这样就确保数据在不出本地的前提下，各参与方之间协同训练模型，突破了数据隐私保护的制约，同时联邦学习是分布式计算框架，可以在有限算力的边缘设备上进行分布式计算。比如google gboard，在多部安装虚拟键盘gboard的手机上部署联邦学习模型，通过分布式联邦学习框架来训练模型，实现了在不传递用户数据的前提下协同优化整体模型，进一步提升用户体验。通过引入联邦学习，可以有效的解决数据“孤岛”问题，同时联邦学习在分布式训练过程中达到收敛所需要的时间相比深度学习集中式所花费的更短，联邦训练中每一轮参与的训练客户端随机选取，训练数据均有所不同，比较深度学习集中式训练可以进一步学习到数据的全局分布特性，模型的泛化能力较好。因此，在分布式联邦学习框架下研究小尺度目标检测具有重大意义。

技术实现思路

1、本发明的目的在于，提出一种基于联邦学习的分布式小尺度肺结节检测方法，这种方法不仅可以更准确地检测到小尺度病灶，还提供了更多关于病变特征的信息，为医生提供更全面、准确的诊断依据。

2、为实现上述目的，本技术提出的一种基于联邦学习的分布式小尺度肺结节检测方法，包括：

3、获取病人真实肺部ct图像并进行预处理；

4、将预处理后的ct图像输入至肺结节小尺度病灶检测模型进行训练，训练时通过多个本地客户端的模型平均训练时间；

5、采用adagrad优化器，在离散的本地客户端下利用稀疏梯度的信息，实现肺结节小尺度病灶检测模型收敛；

6、将收敛得到的结果输入至cbam模块，得到含有空间与通道注意力特征的特征图；

7、将含有空间与通道注意力特征的特征图输入至fpn多尺度预测网络中获得多尺度特征图，根据多尺度特征图得到新的特征金字塔；

8、将新的特征金字塔输入到rpn网络中，rpn网络生成候选框，再分别送入roipooling层，得到四个相同大小的特征向量，最后将特征向量融合成指定维度上的新特征向量，并将其置于全连接层中完成识别任务。

9、进一步地，训练时通过多个本地客户端的模型平均训练时间，具体为：

10、

11、其中，tavg为前s轮模型训练时间的平均值。

12、进一步地，adagrad优化器实现方式为：

13、

14、

15、式中j为损失函数；gt,i表示t时刻的θi梯度；gt,ii表示t时刻参数θi的梯度平方和。

16、进一步地，cbam模块包括通道注意力模块和空间注意力模块；所述通道注意力模块对输入特征图f(h×w×c)分别做基于width和height的全局最大池化、全局平均池化，得到不同空间语义描述算子，然后分别进入共享两层神经网络(mlp)，其激活函数为relu函数；然后，将共享两层神经网络输出特征图加和，再经sigmoid激活，产生channelattention feature，即mc(f)，最后将mc(f)与输入特征图f做乘法操作，得到含通道注意力的特征图f’，公式如下：

17、

18、注：式中σ为sigmoid函数，

19、

20、空间注意力模块以输出特征图f’作为输入，同时沿着通道维度进行全局最大池化、全局平均池化操作，分别得到两个h×w×1的特征图，然后基于通道进行concat操作(通道拼接)，再用一个7×7卷积核进行卷积操作，降维为一个通道h×w×1之后经过sigmoid产生空间注意特征，即ms(f)，最后将ms(f)与该模块输入特征图f’相乘，得到含有通道注意力和空间注意力的特征图f”，公式如下：

21、

22、注：式中σ表示sigmoid函数，f7×7表示滤波器大小为7×7的卷积运算。

23、进一步地，所述fpn多尺度预测网络通过自顶向下方式，将提取到的顶层特征进行上采样以获得特征图，然后将底层特征和上采样得到的特征图进行逐元素相加，得到多尺度特征图。

24、进一步地，特征金字塔结合3*3的卷积核对每个融合结果消除混叠效应，生成的新特征金字塔层p2、p3、p4、p5，且其与不同尺度的特征图c2、c3、c4、c5卷积结果一致。

25、进一步地，所述rpn网络在每一层产生一组候选框，这些候选框在原始ct图像上对应不同尺度和位置的目标区域，故在不同的特征层上获得相应的候选特征图。

26、本发明采用的以上技术方案，与现有技术相比，具有的优点是：(1)适用于借助病人病历图像通过模型检测肺结节病人“孤立”病灶的情况

27、本发明中以病人ct图像作为输入，在模型中提取全局不同尺度的视觉特征，以及局部视觉特征，并将其二者相加融合得到特征金字塔，具备局部与全局的双重视觉特征表达，对其具有隐蔽性的病灶进行了检测，适用于ct图像中不易发现，孤立存在的小尺度病灶捕捉情况。

28、(2)适用于肺部病变检测治疗的使用场景

29、本发明可以对已经确诊的肺部病变部位进行日常检测，在病患接受一段治疗后，应对病灶进行检测，使用本方法来分析图像，检测和定位任何新的肺结节或病变的变化。可以自动识别和测量这些病变，包括尺寸、位置以及形状，并且对于治疗效果的检测，还可以用于定期的肺部ct扫描，以确定是否复发。

30、(3)适用于大规模肺癌筛查任务

31、本发明中对于肺部病变检测任务的速度与精度能力，可以满足对某一地区的大面积人口的肺部癌变筛查，帮助自动化地筛查大批量的肺部ct扫描图像，提高筛查效率，并且保证筛查的准确率。

32、(4)适用于医疗科研人员的对数据的统计场景

33、本发明可以用来分析肺结节的统计数据，以研究肺癌的发病机制，风险因素和疾病的预测，基于其模型自身结构设计，快速、高效、准确的对肺结节病例数据的分析是主要功能，同时，本方法还可以在临床实验中用于评估新药或创新性治疗方法的有效性。