一种基于医疗影像的无监督疾病诊断方法及系统

本发明涉及人工智能及数字医疗，特别涉及一种基于医疗影像的无监督疾病诊断方法及系统。

背景技术：

1、随着信息化以及人工智能大数据的不断发展，医疗产业也向信息化、智能化、电子化发展，电子医疗产业利用信息技术和电子设备来处理和管理医疗信息，提高了医疗影像的利用效率。传统的疾病诊断主要依靠体检、血液检查、尿液化验等手段，这些方法通常只能发现表层问题，而对于内部组织、器官和病变区域的检测，则显得相对困难。现代化电子医疗设备的使用会产生大量的医疗影像，医疗影像技术的出现，极大地改变了临床医学的面貌。医疗影像技术通过医疗影像反映人体内部构造和功能状态的变化，可以快速准确地检测到各种疾病、肿瘤及异常情况，并在手术和治疗过程中为医生提供重要的指导和参考，在医疗领域中具有重要的意义，因此如何高效地利用这些医疗影像数据成为了研究员关注的重点问题。医疗影像数据由于人工标注低质量的缺失，在现实医疗领域中无标签的医疗影像数据是常见的，对这些无标签的医疗影像数据以无监督聚类的方法进行分析利用可以充分利用这些医疗影像数据提高医生诊断的效率，减少医生的负担。

2、传统的机器学习算法处理疾病诊断问题时受到人工智能能力的限制，疾病诊断准确率和鲁棒性较低，并且缺乏对大规模医疗影像的使用。随着深度学习和神经网络的发展，使用医疗影像分析技术进行疾病诊断可以通过深度学习的方法自动化分析和处理医疗影像，在短时间内处理和分析大量的医学影像，提取有用的特征和类别信息。目前很大一部分的医疗影像诊断是在有监督的条件下进行的，但是由于人工标注的低质量，同时面临着大量的无标签医学影像数据，本发明提出了一种基于医疗影像的无监督疾病诊断方法，具体来说采用基于对比学习的深度聚类技术去完成疾病诊断，同时充分利用了疾病诊断网络模型得到的医疗影像数据的语义信息。总之，通过深度聚类方法对医疗影像数据进行疾病诊断可以使医生得到更全面、精准的诊断，从而大大提高医疗水平和质量。

3、近年来，对医疗影像数据进行疾病诊断的方法有：《diagnose like aradiologist:hybrid neuro-probabilistic reasoning forattribute-based medicalimage diagnosis》介绍了一种用于基于属性的医疗影像诊断的混合神经概率推理算法。方法包括两个并行分支，一个是贝叶斯网络分支，执行概率因果关系推理，另一个是图卷积网络分支，使用特征表示，执行更一般的关系建模和推理。这两个分支之间的紧密耦合是通过一个交叉网络的注意机制和它们的分类结果的融合来实现的。《medical image diagnosisofprostate tumor based on psp-net+vgg16deep learning network》提出了一种基于深度学习网络psp-net+vgg16的前列腺肿瘤诊断方法。基于psp-net的深度卷积神经网络分割方法构建了无空卷积残差结构模型提取网络，首先，将三维前列腺mri转换为二维图像切片，然后基于psp-net神经网络训练二维图像的切片输入，vgg16网络用于分析感兴趣的区域并对前列腺癌和正常前列腺进行分类。

4、公开号为cn111430025a的专利《一种基于医疗影像数据扩增的疾病诊断方法》首先将原始影像数据映射到深度特征空间中，提取具有高度线性化的语义信息的特征；之后根据医疗影像中对应不同类别的数据在特征空间中的分布，获得用于数据扩增的特征协方差矩阵；计算数据扩增损失函数，通过不断优化该损失，获得特征提取能力更强的模型。该数据增广方法仅在训练模型时使用，并且该发明对固定的医疗影像数据进行有效的扩充，从而降低深度神经网络对标注患者数据数量的要求，有效缓解了医疗影像数据获取困难、标注成本高的问题，而且提高了疾病诊断的准确率。公开号为cn111488912b的专利《一种基于深度学习神经网络的喉部疾病诊断系统》解决了传统方法对喉镜图像的诊断效率以及诊断准确率低的问题。搭建了喉部疾病诊断网络模型，搭建的喉部疾病诊断网络模型可以用于喉部疾病诊断的智能系统，从而更好地对喉镜图像进行诊断，帮助医生提升疾病的诊断效率和诊断准确率，降低漏诊和误诊率。

5、综上所述，利用深度学习以及深度神经网络进行疾病诊断是可行、高效的。在现有无监督医疗诊断的方法中缺少对医疗影像类别信息的使用，即大部分疾病诊断方法都是“拉近”医疗影像的两个增广样本的距离，“推远”和其它医疗影像增广样本的距离。在无监督的环境中，可以应用伪标签来解决这个问题，但是在无监督的环境中获取标签信息是困难的，本发明提出了一个基于医疗影像数据的自学习成对约束矩阵的方法去监督医疗影像样本间的对比学习，从而学习到更有判别性的医疗影像样本表征和更好的疾病诊断结果，获得更高的疾病诊断效率。

技术实现思路

1、本发明的目的是为解决在现有无监督医疗诊断的方法中缺少对医疗影像类别信息的使用及在无监督的环境中获取标签信息是困难的问题，提供一种基于医疗影像的无监督疾病诊断方法及系统。该方法及系统能够使用医疗影像数据训练疾病诊断网络模型，通过训练完毕的疾病诊断网络模型获得患者的无标记医疗影像的类别信息，将这些类别信息呈现给医生，可以帮助医生更好地了解每个医疗影像之间的差异，以及不同疾病之间的关联性，有助于医生提升疾病的诊断效率和诊断准确。

2、为了实现上述的目的，本发明采用如下的技术方案：

3、本发明提供了一种基于医疗影像的无监督疾病诊断方法。首先预处理和增广医疗影像数据，其次构建并随机初始化以及训练疾病诊断网络模型，最后使用疾病诊断网络模型对待诊断患者进行疾病诊断。本发明的主要参数包括：温度超参数、批量大小、优化器参数、模型的训练轮数、阈值。其中温度超参数用于调节实例级别和聚类级别对比学习过程中的相似性度量；批量大小用于控制训练模型过程中同时采样的样本数量；优化器参数包括优化器类型、初始学习率、学习率衰减方法，用于设置训练模型过程中的优化器；模型的训练轮数用于设置模型训练的结束条件；阈值用来得到稀疏成对约束矩阵。该方法包含以下步骤：

4、s1、预处理医疗影像数据，清洗医疗影像数据，筛选正面清晰的医疗影像数据；

5、s2、对s1中预处理后的医疗影像进行增广；

6、s3、构建随机初始化的疾病诊断网络模型，包括特征提取网络、实例级别投影头、聚类级别投影头、成对约束网络、判别器网络；

7、s4、训练s3中的疾病诊断网络模型，设计优化器和损失函数对疾病诊断网络模型进行更新；

8、s5、使用疾病诊断网络模型，依据待诊断患者的医疗影像进行疾病的聚类，将结果呈现给医生进行疾病的诊断；

9、所述步骤s1具体包括以下步骤：

10、s11、基于医疗影像的无监督疾病诊断方法中设计了一个疾病诊断网络模型去进行疾病诊断，为了充分地训练疾病诊断网络模型，本发明搜集医疗影像数据集；

11、s12、清洗医疗影像数据集，用软件image magick挑选正面清晰的医疗影像数据，表示为x＝{x1,…xi,…xn)；

12、其中，n表示挑选出来的医疗影像样本总数。

13、所述步骤s2具体包括以下步骤：

14、s21、为了提高网络的泛化性能，充分利用计算资源，对医疗影像数据集设置适当的批量大小m，将医疗影像数据分成n/m个批次，得到n/m个小批量医疗影像；

15、s22、依次对步骤s21中每个小批量医疗影像中的每个医疗影像x进行两次图像增广预处理得到图像增广样本xu、xv，图像增广预处理操作是对医疗影像依次进行随机裁剪、翻转、添加噪声、随机颜色抖动、随机灰度变换操作，以扩充数据集，提高模型的鲁棒性和泛化能力，并确保将医疗影像转换为可以输入疾病诊断网络模型的向量，得到两次增广后的医疗影像数据；

16、如图1所示，所述步骤s3构建的疾病诊断网络模型主要包括：特征提取网络、实例级别投影头，聚类级别投影头、成对约束网络、判别器网络。s3步骤主要包括以下步骤：

17、s31、利用resnet-34构建特征提取网络f(·)；

18、s32、构建实例级别投影头。实例级别投影头gins(·)是一个多层感知机网络，网络结构依次是线性层、relu激活函数、线性层；

19、s33、构建聚类级别投影头。聚类级别投影头gcls(·)是一个多层感知机网络，网络结构依次是线性层、relu激活函数、线性层，softmax激活函数；

20、s34、构造成对约束网络。成对约束网络gcon(·)依次是由线性层，relu激活函数、线性层、sigmoid激活函数构成的一个多层感知机网络；

21、s35、构造判别器网络。判别器网络gdis(·)依次是由线性层、leakyrelu激活函数、线性层、leakyrelu激活函数、线性层、tanh激活函数构成的多层感知机网络。

22、所述步骤s4具体包括以下步骤：

23、s41、将步骤s22中两次增广后的医疗影像数据以小批量方式输入到步骤s31的特征提取网络f(·)中，分别得到样本的特征表征和其中m为批量大小(batch size)，表示第i个医疗影像的第一个随机增广样本的特征表征，表示第i个医疗影像的第二个随机增广样本的特征表征；

24、s42、将特征表征和输入到实例级别投影头以及聚类级别投影头中，得到相应的潜表征和伪标签其中表示第i个医疗影像的第一个随机增广样本的潜表征，表示第i个医疗影像的第二个随机增广样本的潜表征，表示第i个医疗影像的第一个随机增广样本的伪标签，表示第i个医疗影像的第二个随机增广样本的伪标签，yui表示一批医疗影像的第一个随机增广样本的第i类的类分配，yvi表示一批医疗影像的第二个随机增广样本的第i类的类分配，其维度为[1,k]，k为类别数；

25、s43、构造实例级别对比学习损失，实例级别对比损失将同一个医疗影像的两个随机增广样本拉近，并推远与其它医疗影像的随机增广样本的距离，定义如下：

26、

27、

28、

29、其中m代表批量大小，表示第i个医疗影像的第一个随机增广样本的潜表征，表示第i个医疗影像的第二个随机增广样本的潜表征，表示第k个医疗影像的第一个随机增广样本的潜表征，表示第k个医疗影像的第二个随机增广样本的潜表征，τz为实例级别对比学习的温度参数；

30、s44、构造聚类级别对比学习损失，聚类级别对比损失将相似的医疗影像划分到同一类别，同时学习类别与类别之间的一致性和判别性。聚类级别对比学习损失定义如下：

31、

32、

33、

34、防止所有的医疗影像聚到同一类，定义辅助损失如下：

35、

36、其中k表示疾病的类别，yui表示一批医疗影像的第一个随机增广样本的第i类的类分配，yvi表示一批医疗影像的第二个随机增广样本的第i类的类分配，yuj表示一批医疗影像的第一个随机增广样本的第j类的类分配，yvj表示一批医疗影像的第二个随机增广样本的第j类的类分配，τy为聚类级别对比学习的温度参数；

37、s45、通过成对约束网络得到成对约束矩阵c＝gcon(φ)，输入是第一个增广样本的潜表征相似度矩阵φ＝zuzut，输出是成对约束矩阵c，c的维度是[m,m]，成对约束矩阵损失如(8)所示：

38、

39、其中，使用均方差损失一致性损失潜表征约束损失共同训练成对约束网络。具体来说，为了使得成对约束矩阵能捕捉到伪标签中包含的信息，引入了均方差损失

40、

41、其中cij表示c的第i行第j列元素的值，ψ＝yuyut是第一个增广样本的语义相似度矩阵，除了均方差损失外，还引入了一致性损失以保持医疗影像的两个增广样本中得到的成对约束矩阵之间的一致性，一致性损失定义如下：

42、

43、其中cij为成对约束矩阵c的第i行第j列元素的值，为的第i行第j列元素的值，其中为了使成对样本在的成对约束矩阵和潜表征相似性矩阵所对应，引入了潜表征约束损失

44、

45、其中表示第i个医疗影像的第一个随机增广样本的潜表征，表示第j个医疗影像的第一个随机增广样本的潜表征，表示的转置向量；

46、s46、用成对约束矩阵来约束同一类别的医疗影像使其具有相似的潜表征和伪标签。具体来说，在自学习成对约束矩阵后，使用这些成对约束矩阵来识别同一类的医疗影像。成对约束矩阵中大于给定阈值δ1的样本应该被认为是同一类别的样本。定义稀疏成对约束矩阵维度为[m,m]，位于第i行和第j列的值由公式(12)给出：

47、

48、s47、为了确保成对约束矩阵的准确性，本发明提出了判别器网络。将z和y拼接起来作为判别器网络gdis(·)的输入，第i个医疗影像的和拼接起来作为输入的正样本，其中被转换为one-hot向量第i个医疗影像的和其它k-1个one-hot向量拼接起来作为输入的负样本。在训练判别器网络的过程中，只采用高置信度样本去训练，即为判别器损失如(13)所示：

49、

50、其中表示其它k-1个one-hot向量，判别器网络训练完成后进行医疗影像样本的置信度判别，如(14)所示：

51、

52、其中表示医疗影像的第一个随机增广样本的潜表征，表示所对应的伪标签的one-hot向量；

53、s48、为了使得来自同一组的样本具有相似的潜表征，定义潜表征约束损失为：

54、

55、引入一个伪标签约束损失来约束伪标签，定义伪标签约束损失为：

56、

57、最终总的训练模型的损失为：

58、

59、s49、以迭代的方式重复步骤s41-s48，设置各个网络的优化器的学习率及权重衰减率，采用随机梯度下降策略训练疾病诊断网络模型达到设定的迭代次数。

60、所述步骤s5具体包括以下步骤：

61、s51、对待诊断患者的医疗影像进行转变尺寸的增广操作；

62、s52、把增广后的医疗影像输入到疾病诊断网络模型中并且输出医疗影像数据的疾病诊断结果，把疾病诊断结果呈现给医生，帮助医生进行疾病诊断。

63、本发明还提供一种基于医疗影像的无监督疾病诊断系统，所述系统用于实现上述的基于医疗影像的无监督疾病诊断方法，包括计算机处理器、内存及图形处理器；医疗影像数据存储单元；医疗影像数据预处理单元；疾病诊断网络模型训练单元；疾病诊断单元。

64、进一步，所述医疗影像数据存储单元存储步骤s1中的医疗影像数据集，将其加载到计算机内存中；所述医疗影像数据预处理单元从内存中分步提取批量大小的医疗影像样本，执行步骤s2进行医影像增广得到医疗影像的随机增广样本，将其加载到图形处理器中；疾病诊断网络模型训练单元在图形处理器中使用随机增广医疗影像样本执行步骤s3-步骤s4去训练模型，确定疾病诊断网络模型的参数；疾病诊断单元通过疾病诊断网络模型对待诊断的医疗影像数据聚类，确定每个医疗影像所属的类别，将类别信息呈现给医生，帮助医生进行疾病诊断。具体的数据处理和计算工作由所述计算机处理器完成。

65、与现有技术相比本发明的有益效果：

66、1、本发明设计的基于医疗影像的无监督疾病诊断方法及系统能有效地提高医疗影像数据的利用率及疾病诊断的质量。具体来说，该方法使用无标签的医疗影像数据对疾病诊断网络模型进行训练，利用每个医疗影像的两个随机增强作为自监督信号有效提高了医疗影像数据的利用率；

67、2、本发明设计的能够通过医疗影像来获得成对约束矩阵从而得到同类样本，有了成对约束矩阵后通过拉近同类的医疗影像，可以有效的缓解对比学习本身存在的假负例问题，最后设定一个判别器网络来寻找高置信度的医疗影像样本能够减少引入成对约束矩阵所带来的不确定性，可以提高疾病诊断的性能；

68、3、本发明提出的是一种端到端的方法，能够通过疾病诊断网络模型中的聚类级别投影头直接获得类别信息，操作方便且耗时较少，将类别信息直接给到医生可以大大提高疾病诊断的效率，降低医疗诊断的错误率。