基于医学影像图预测目标疾病指标状态的装置

1.本技术涉及医学图像处理技术领域，尤其涉及一种基于医学影像图预测目标疾病指标状态的装置。


背景技术：

2.在对疾病的发展趋势进行判断时，通过医学影像图所获取的信息进行相应的评估是医学领域常用的评估方式。如乳腺癌筛查的评估过程遵循三重评估模型：适当的影像学检查、临床评估、针刺穿刺活检。乳腺钼靶x线摄影是乳腺癌筛查的推荐影像学检查，作为显示病变和检测乳腺组织早期变化的主要影像学检查。在肿瘤相关的疾病指标状态的检测中，状态检测常依赖于手术切除或穿刺活检。这类方法存在有创性的缺陷。对此，乳腺钼靶x线摄影检查等医学影像可无创地获取肿瘤的信息。乳腺钼靶x线摄影检查作为一种影像学检查，运用于乳腺肿物的检测及可用于对乳腺肿物良恶性进行评估。由于影像组学只能提取有限的特征，因而能自动学习相关特征的深度学习也被引入医学影像的研究。
3.在实现现有技术的过程中，发明人发现：在乳腺癌领域，许多研究致力于在乳腺钼靶x线摄影检查上运用深度学习的方法，以取代人工进行乳房肿块的良性和恶性的预测。目前，基于影像学的深度学习均是基于人工绘制肿瘤区域或基于人工绘制训练的自动绘制肿瘤区域的深度学习模型，其存在主观性且耗时长的问题。
4.因此，需要提供一种可以基于医学影像图对目标疾病指标状态进行更准确高效预测的相关技术方案。


技术实现要素：

5.本技术实施例提供一种可以基于医学影像图对目标疾病指标状态进行更准确高效预测的相关技术方案，用以解决现有基于影像学的深度学习存在主观性且耗时长的技术问题。
6.本技术提供的一种基于医学影像图预测目标疾病指标状态的装置，包括：图像采集模块，用于获取第一目标位置和第二目标位置的医学影像图，得到第一初始图像和第二初始图像；图像标准化模块，用于标准化所述第一初始图像和第二初始图像，得到标准化图像；预测模块，用于通过基于深度学习网络的深度学习模型处理所述标准化图像，得到目标疾病指标状态的预测结果。
7.进一步的，所述图像采集模块具体用于：通过乳腺钼靶x线摄影方式获取第一目标位置和第二目标位置的医学影像图，得到第一初始图像和第二初始图像；所述第一目标位置为乳腺癌患者的头尾位；
所述第二目标位置为乳腺癌患者的斜侧位。
8.进一步的，所述图像标准化模块具体用于：去除所述第一初始图像和第二初始图像中的干扰信息，得到第一原始图像和第二原始图像；按预设方向调整所述第一原始图像和第二原始图像的方向，得到第一待处理图像和第二待处理图像；通过最近邻插值法调整所述第一待处理图像和第二待处理图像的尺寸，得到第一标准图像和第二标准图像；水平拼接所述第一标准图像和第二标准图像，得到标准化图像。
9.进一步的，所述深度学习模型预先通过模型训练得到，所述模型训练包括以下步骤：通过乳腺钼靶x线摄影方式采集第一目标位置和第二目标位置的第一初始图像集和第二初始图像集；采用与所述标准化图像相同的标准化方法处理所述第一初始图像集和第二初始图像集，得到标准化图像集；获取所述标准化图像集对应的乳腺癌指标状态结果集；根据所述乳腺癌指标状态结果集，标注所述标准化图像集，得到训练图像集；基于深度学习网络，用所述训练图像集训练模型，得到深度学习模型，并以二值交叉熵作为损失函数；其中，所述深度学习网络包括深度残差网络和特征金字塔网络，所述目标疾病指标状态为乳腺癌指标状态。
10.进一步的，所述乳腺癌指标状态包括人类表皮生长因子受体-2的状态、雌激素受体的状态、黄体酮受体的状态。
11.进一步的，所述深度学习模型包括作为骨干网络的深度残差网络、与所述骨干网络对接的特征金字塔网络、与所述特征金字塔网络对接的整合单元，所述预测模块具体用于：通过深度学习模型中的深度残差网络处理所述标准化图像，得到m层第一深度学习特征组；通过所述深度学习模型中的特征金字塔网络融合所述第一深度学习特征组中的第n至m层的特征数据，结合所述第一深度学习特征组中的第m层数据，得到m-n+2层以不同尺度表征所述标准化图像特征的第二深度学习特征组；通过所述深度学习模型中的整合单元整合所述第二深度学习特征组，得到目标疾病指标状态的预测结果；其中，n＜m，m和n为正整数。
12.进一步的，所述m为4，n为3。
13.进一步的，所述第二深度学习特征组中的第1层特征数据由所述第一深度学习特征组中的第4层特征数据构成，所述整合单元包括池化层、flatten层、dropout层、分类层，通过所述深度学习模型中的整合单元整合所述第二深度学习特征组，得到目标疾病指标状态的预测结果，包括以下具体步骤：
通过所述池化层对所述第二深度学习特征组中的第1层特征数据进行降维，得到第一层降维特征数据；通过所述flatten层处理所述第一层降维特征数据、所述第二深度学习特征组中的第2-3层的特征数据，得到一维化特征数据组；通过所述dropout层、所述分类层处理所述一维化特征数据组，得到目标疾病指标状态的预测结果。
14.进一步的，所述第二深度学习特征组中第2-3层的特征数据通过以下步骤获得：通过尺寸为1的卷积核对所述第一深度学习特征组中第4层的特征数据降维，并经尺寸为3的卷积核处理，得到所述第二深度学习特征组中第2层的特征数据；通过尺寸为1的卷积核对所述第一深度学习特征组中第3层的特征数据降维，并与所述第二深度学习特征组中第2层的特征数据进行特征融合，得到融合特征数据；通过尺寸为3的卷积核处理所述融合特征数据，得到所述第二深度学习特征组中第3层的特征数据。
15.进一步的，所述分类层包括第一分类层、第二分类层，所述第一分类层应用relu函数实现激活功能，所述第二分类层采用softmax 函数。
16.本技术提供的实施例至少具有以下有益效果：通过对第一目标位置和第二目标位置的医学影像图标准化处理，并采用基于深度学习网络的深度学习模型对标准化的图片进行预测，对目标疾病指标状态的预测更加准确高效。
附图说明
17.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本技术实施例提供的一种基于医学影像图预测目标疾病指标状态的装置的示意图；图2为本技术实施例提供的一种基于医学影像图预测目标疾病指标状态的装置中图像标准化模块的具体用途流程图；图3为本技术实施例提供的一种基于医学影像图预测目标疾病指标状态的装置中模型训练的流程图；图4为本技术实施例提供的一种基于医学影像图预测目标疾病指标状态的装置中预测模块的具体用途流程图。
18.100、基于医学影像图预测目标疾病指标状态的装置；11、图像采集模块；12、图像标准化模块；13、预测模块。
具体实施方式
19.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.请参照图1，本技术提供的一种基于医学影像图预测目标疾病指标状态的装置100，包括：图像采集模块11，用于获取第一目标位置和第二目标位置的医学影像图，得到第一初始图像和第二初始图像；图像标准化模块12，用于标准化所述第一初始图像和第二初始图像，得到标准化图像；预测模块13，用于通过基于深度学习网络的深度学习模型处理所述标准化图像，得到目标疾病指标状态的预测结果。
21.需要指出的是，这里的第一目标位置和第二目标位置可以理解为对目标患者的检测部位拍摄医学影像图时选择的不同的拍摄角度或者不同的拍摄位置。这里的医学影像图可以理解为医院等医护场所通过常用的拍摄手段获取的患者的目标位置的图像，如通过乳腺钼靶x线摄影获取的图像。这里的标准化图像是通过对第一初始图像和第二初始图像进行标准化处理后得到的最终图像，可以直接输入深度学习模型进行处理。这里的深度学习模型可以理解为基于深度学习网络训练得到的模型，如基于卷积神经网络训练得到的模型。深度学习模型中的深度学习网络可以运用深度残差网络和特征金字塔网络，这里的特征金字塔用作特征提取器。通过获取多个位置的医学影像图，同时进行标准化处理得到标准化图像，最终通过基于深度残差网络和特征金字塔网络的深度学习模型进行相应的预测，可以有效提高预测的准确性，同时也可以提高预测效率。
22.进一步的，所述图像采集模块11具体用于：通过乳腺钼靶x线摄影方式获取第一目标位置和第二目标位置的医学影像图，得到第一初始图像和第二初始图像；所述第一目标位置为乳腺癌患者的头尾位；所述第二目标位置为乳腺癌患者的斜侧位。
23.需要说明的是，在进行乳腺癌检查中，通过乳腺钼靶x线摄影方式拍摄医学影像图是常用的乳腺癌检查方法之一。基于医学影像图预测目标疾病指标状态的装置100运用于乳腺癌预测时，本技术优选乳腺钼靶x线摄影方式获取医学影像图。这里的头尾位（cc）和斜侧位（mlo）可以理解为通过乳腺钼靶x线摄影方式对乳腺癌患者拍摄时的特定位置。可以理解的是，获取多个位置的医学影像图，可以获取乳腺癌患者的检测位置的更多特征，从而提高最终的预测准确性。
24.进一步的，请参考图2，所述图像标准化模块12具体用于：s301：去除所述第一初始图像和第二初始图像中的干扰信息，得到第一原始图像和第二原始图像；s302：按预设方向调整所述第一原始图像和第二原始图像的方向，得到第一待处理图像和第二待处理图像；s303：通过最近邻插值法调整所述第一待处理图像和第二待处理图像的尺寸，得到第一标准图像和第二标准图像；s304：水平拼接所述第一标准图像和第二标准图像，得到标准化图像。
25.需要说明的是，第一初始图像和第二初始图像是原始的拍摄图片，其中不可避免的出现一些与预测无关的信息。为此，需要对第一初始图像和第二初始图像进行初步的处
理，去除与预测无关的干扰信息，如图像中的标签、意外拍摄到的其他器材的边缘、空白区域等，以此减少非必要信息对最终预测的干扰，提高预测准确性。这里的标签可以理解为图像上自带的患者信息及方位信息等。在去除干扰信息后，可以统一第一原始图像和第二原始图像的方向，便于后续的深度学习模型直接预测，而不需要判断或者调整方向，从而提高预测效率。之后，可以采用最近邻差值法将图像调整大小至512
×
256（长
×
宽）并进行水平拼接，最终得到标准化图像。最近邻差值法可以采用pil（python image library）软件包中的算法，也可以采用其他工具提供的算法，还可以根据需要自行编写。显而易见的是，通过对图像进行标准化处理，可以减少深度学习模型的计算量，提高处理速度及准确性。
26.进一步的，所述深度学习模型预先通过模型训练得到，请参考图3，所述模型训练包括以下步骤：s401：通过乳腺钼靶x线摄影方式采集第一目标位置和第二目标位置的第一初始图像集和第二初始图像集；s402：采用与所述标准化图像相同的标准化方法处理所述第一初始图像集和第二初始图像集，得到标准化图像集；s403：获取所述标准化图像集对应的乳腺癌指标状态结果集；s404：根据所述乳腺癌指标状态结果集，标注所述标准化图像集，得到训练图像集；s405：基于深度学习网络，用所述训练图像集训练模型，得到深度学习模型，并以二值交叉熵作为损失函数；其中，所述深度学习网络包括深度残差网络和特征金字塔网络，所述目标疾病指标状态为乳腺癌指标状态。
27.需要说明的是，深度学习模型需要预先训练后才可正常使用，且训练时用到的训练图片需要和最终使用模型处理的图片保持相同的标准。在一种具体的实施方式中，收集基于乳腺钼靶x线摄影方式拍摄的图片，第一目标位置为乳腺癌患者的头尾位，第二目标位置为乳腺癌患者的斜侧位。第一目标位置对应第一初始图像集，第二目标位置对应第二初始图像集。同时，第一初始图像集和第二初始图像集中的元素保持对应，最终得到标准化图像集。如1号乳腺癌患者第一次通过乳腺钼靶x线摄影方式拍摄图片，得到头尾位的第一头尾位图片和斜侧位的第一斜侧位图片，第一头尾位图片存放于第一初始图像集，第一斜侧位图片存放于第二初始图像集，第一头尾位图片和第一斜侧位图片最终标准化处理得到第一标准化图片。第一标准化图片作为标准化图像集中的一个元素。对于第一标准化图片，获取其对应的免疫组化及原位杂交结果，得到对应的人类表皮生长因子受体-2（her2）的状态、雌激素受体（er）的状态、黄体酮受体（pr）的状态结果，并以此作为乳腺癌指标状态结果集的元素，并以此标注第一标准化图片作为训练图像集中的元素。这里的乳腺癌指标状态可以理解为人类表皮生长因子受体-2（her2）的状态、雌激素受体（er）的状态、黄体酮受体（pr）的状态。训练图像集中的其他元素采用上述相同的方法得到。在具体的实施过程中，当深度学习网络由包括深度残差网络和特征金字塔网络在内的网络组建时，可以通过深度残差网络和特征金字塔网络搭建初始的深度学习模型，并用训练图像集加以训练，可以得到最终的深度学习模型，并以二值交叉熵作为损失函数。
28.进一步的，所述乳腺癌指标状态包括人类表皮生长因子受体-2的状态、雌激素受
体的状态、黄体酮受体的状态。
29.需要说明的是，人类表皮生长因子受体-2（her2）基因扩增是乳腺癌治疗中的一个重要发现，抗her2靶向治疗的发展取得了显著的成功。her2阳性乳腺癌患者的生存率过去较低，但使用her2靶向药物进行全身治疗可显著提高生存率。通过原位杂交或免疫组化中发现存在过量的 hrer2 酪氨酸激酶蛋白来证明 her2 扩增的存在，通常可识别受益于 her2 靶向治疗的患者。雌激素受体（er）和黄体酮受体（pr）的发现也是乳腺癌治疗中的另一个重大发现。大多数乳腺癌表现出er和pr的过表达，靶向这些激素受体的药物的开发显著提高了激素受体阳性乳腺癌患者的生存率。因此，本技术中的乳腺癌指标状态优选人类表皮生长因子受体-2（her2）的状态、雌激素受体（er）的状态、黄体酮受体（pr）的状态，以此提高基于医学影像图预测目标疾病指标状态的装置100的使用价值，提高对乳腺癌的预测准确性。
30.进一步的，所述深度学习模型包括作为骨干网络的深度残差网络、与所述骨干网络对接的特征金字塔网络、与所述特征金字塔网络对接的整合单元，请参考图4，所述预测模块13具体用于：s601：通过深度学习模型中的深度残差网络处理所述标准化图像，得到m层第一深度学习特征组；s602：通过所述深度学习模型中的特征金字塔网络融合所述第一深度学习特征组中的第n至m层的特征数据，结合所述第一深度学习特征组中的第m层数据，得到m-n+2层以不同尺度表征所述标准化图像特征的第二深度学习特征组；s603：通过所述深度学习模型中的整合单元整合所述第二深度学习特征组，得到目标疾病指标状态的预测结果；其中，n＜m，m和n为正整数。
31.需要指出的是，本技术中的深度残差网络作为深度学习模型的骨干网络。优选的，深度残差网络采用resnet-18。在一种具体的实施方式中，标准化图像输入深度学习模型，通过深度学习模型中的深度残差网络进行处理，可以得到初始的多层深度学习特征，也可以理解为多层深度残差网络特征，深度残差网络特征的层数可以根据需要进行设置。初始的多层深度学习特征可以理解为m层第一深度学习特征组，提取第一深度学习特征组时不需要进行图像分割。第一深度学习特征组由m层深度残差网络特征组成，m层深度残差网络特征按先后顺序依次排列，最后一个深度残差网络特征为第m层深度残差网络特征。
32.深度学习模型中的特征金字塔网络（fpn）用于对第一深度学习特征组中的部分深度学习特征进行融合处理。优选的，这里的特征金字塔网络（fpn）采用原始版本，使用串联层而不是在特征金字塔网络内部添加层。在一种具体的实施方式中，特征金字塔网络（fpn）对第一深度学习特征组中的第n至m层的特征数据进行融合处理，即对通过深度残差网络获取的第n层至第m层的特征进行融合，最终获取m-n+2个以不同的尺度呈现输入图像特征的深度学习特征，即第二深度学习特征组。
33.深度学习模型中的整合单元可以由卷积神经网络中的基本功能层组成，如池化层、flatten层、dropout层、linear层、分类层等。通过深度学习模型中的整合单元，可以根据第二深度学习特征组，得到目标疾病指标状态的预测结果。
34.进一步的，所述m为4，n为3。
35.可以理解的是，通过深度残差网络提取特征的层数和用于特征金字塔网络融合的特征的个数直接影响到整个深度学习模型的处理速度。在一种具体的实施方式中，深度残差网络提取特征的层数采用4层，用于特征金字塔网络融合的特征的个数采用2个。标准化图像输入深度学习模型后，通过深度学习模型中的深度残差网络进行处理，可以得到初始的4层深度学习特征，也可以理解为4层深度残差网络特征，即第一深度学习特征组包括4层的深度残差网络特征。深度学习模型中的特征金字塔网络（fpn）用于对第一深度学习特征组中的第三层和第四层深度残差网络特征进行融合处理，最终获取3个以不同的尺度呈现输入图像特征的深度学习特征，即第二深度学习特征组。例如：通过resnet-18对标准化图像提取特征后，得到4层深度残差网络特征，将其中的第三、四层输出的特征图经特征金字塔网络（fpn）进行特征融合，最终得到3个深度学习特征。需要指出的是，本技术中的深度学习模型的权重采用glorot算法进行初始化，优化器采用自适应矩估计，学习率、正则权重、批次大小可以根据实际需要进行具体数值的设置。采用glorot算法进行初始化可以理解为glorot初始化，即xavier初始化。
36.进一步的，所述第二深度学习特征组中的第1层特征数据由所述第一深度学习特征组中的第4层特征数据构成，所述整合单元包括池化层、flatten层、dropout层、分类层，通过所述深度学习模型中的整合单元整合所述第二深度学习特征组，得到目标疾病指标状态的预测结果，包括以下具体步骤：通过所述池化层对所述第二深度学习特征组中的第1层特征数据进行降维，得到第一层降维特征数据；通过所述flatten层处理所述第一层降维特征数据、所述第二深度学习特征组中的第2-3层的特征数据，得到一维化特征数据组；通过所述dropout层、所述分类层处理所述一维化特征数据组，得到目标疾病指标状态的预测结果。
37.需要说明的是，第二深度学习特征组中的第1层本质为骨干网络本身的预测，通过池化可以进行降维。第二深度学习特征组中的第1层最终深度学习特征经过第1层的池化层后，加入第1层的flatten层。第二深度学习特征组中的第2层最终深度学习特征直接加入对应的第2层的flatten层，第二深度学习特征组中的第3层最终深度学习特征直接加入对应的第3层的flatten层，flatten层可以使多维的输入一维化，作为从卷积层到全连接层的过渡。每一层的flatten层都对应有dropout层，采用dropout层可以避免过度拟合。分类层可以最终用于获取目标疾病指标状态的预测结果。
38.进一步的，所述第二深度学习特征组中第2-3层的特征数据通过以下步骤获得：通过尺寸为1的卷积核对所述第一深度学习特征组中第4层的特征数据降维，并经尺寸为3的卷积核处理，得到所述第二深度学习特征组中第2层的特征数据；通过尺寸为1的卷积核对所述第一深度学习特征组中第3层的特征数据降维，并与所述第二深度学习特征组中第2层的特征数据进行特征融合，得到融合特征数据；通过尺寸为3的卷积核处理所述融合特征数据，得到所述第二深度学习特征组中第3层的特征数据。
39.需要说明的是，第二深度学习特征组中第1层的特征数据并不需要经过尺寸为1的卷积核降维处理，也不需要经尺寸为3的卷积核处理。第二深度学习特征组中第2层的特征
数据是通过尺寸为1的卷积核降维，并经尺寸为3的卷积核处理后得到的。第二深度学习特征组中第3层的特征数据是通过尺寸为1的卷积核降维后与第二深度学习特征组中第2层特征融合，并通过尺寸为3的卷积核消除特征融合的混叠效应后得到的。
40.进一步的，所述分类层包括第一分类层、第二分类层，所述第一分类层应用relu函数实现激活功能，所述第二分类层采用softmax 函数。
41.需要指出的是，第一分类层可以理解为位于dropout层之后的一个分类层，应用relu函数实现激活功能。第二分类层可以理解为第一分类层之后的另一个分类层，该分类层应用softmax 函数。每一个dropout层后面都对应有一个第一分类层。dropout层和第一分类层之间还可以设置linear层。在一种具体的实施方式中，将三个第一分类层连接起来，将该层连接到最终的第二分类层，最终通过第二分类层输出目标疾病指标状态的预测结果，如人类表皮生长因子受体-2（her2）的状态、雌激素受体（er）的状态、黄体酮受体的状态（pr）。
42.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
43.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
44.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。