一种乳腺钼靶病灶检测方法及系统与流程

1.本发明涉及人工智能技术领域，尤其是一种乳腺钼靶病灶检测方法及系统。


背景技术：

2.世界卫生组织提出，1/3的癌症是完全可以预防的，1/3的癌症可以通过早期发现得到根治，1/3的癌症可以通过现有的医疗措施延长生命、减轻痛苦、改善生命质量。由于两癌筛查是目前防控乳腺癌、宫颈癌的有效手段，因此为实现对宫颈癌、乳腺癌的有效控制，尽早进行女性“两癌”筛查是非常有必要的。
3.其中乳腺钼靶是进行乳腺癌筛查的最常见方法。医院通过乳腺钼靶进行筛查存在以下问题：资深乳腺钼靶诊断专家极度稀缺，基层医疗机构中医师更是凤毛麟角，特别是基层医院对乳腺钼靶诊断缺乏专业能力，往往会将钼靶上传给上级医院，需要更加专业的医生进行诊断分析。这样会浪费大量的时间，患者无法快速拿到检查结果；资深乳腺钼靶诊断专家极度稀缺，基层医疗机构中医师更是凤毛麟角，特别是基层医院对乳腺钼靶诊断缺乏专业能力，往往会将钼靶上传给上级医院，需要更加专业的医生进行诊断分析。这样会浪费大量的时间，患者无法快速拿到检查结果。


技术实现要素：

4.本发明提供了一种乳腺钼靶病灶检测方法及系统，用于解决现有检测效率低的问题。
5.为实现上述目的，本发明采用下述技术方案：
6.本发明第一方面提供了一种乳腺钼靶病灶检测方法，所述方法包括以下步骤：
7.获取历史钼靶影像数据，对所述历史钼靶影像数据进行钼靶标注；
8.将影像按照窗值选取若干窗口，并将选取的窗口进行归一化处理，作为训练模型的输入；
9.对输入的无标注的影像数据集进行无监督训练，得到中间表示状态，对输入的有标注的影像数据集训练，调节所述中间表示状态的信息，得到训练模型；
10.将待检测钼靶影像数据进行归一化处理后输入所述训练模型，得到钼靶病灶的检测结果。
11.进一步地，所述窗口的选取具体为：
12.选取窗值[0,3500]作为全局窗，选取窗值为[500,3500]作为钙化窗，选取窗值[0,3000]作为肿块窗。
[0013]
进一步地，所述钼靶病灶包括良性钙化、肿块、肿块伴钙化、可疑钙化、淋巴结肿大、非对称致密、非对称致密伴钙化、结构扭曲、结构扭曲伴钙化、皮肤增厚、皮肤收缩、乳头凹陷。
[0014]
进一步地，所述方法还包括对于所述检测结果中存在的良性钙化形状进行分类，具体过程为：
[0015]
构建良性钙化形状数据集，对数据集中良性钙化形状进行标注；
[0016]
将标注的影像归一化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0017]
采用增加孔洞卷积的resnet50网络进行训练，得到良性钙化分类预测模型；
[0018]
基于所述良性钙化分类预测模型，对待检测影像中的良性钙化形状分类进行预测。
[0019]
进一步地，所述增加孔洞卷积的resnet50网络具体为：
[0020]
在resnet50的stage1、stage2、stage3的输出分支上分别用3*3空洞卷积进行卷积；
[0021]
在resnet50的stage4的输出分支上进行1*1卷积；
[0022]
经上述两步卷积后得到4个卷积结果，通过spp结构把四个卷积分支进行融合，得到最终图片特征表示方式。
[0023]
进一步地，所述方法还包括对所述检测结果中存在的可疑钙化分布及形状进行分析，具体过程为：
[0024]
构建可疑钙化分布和形状数据集，在数据集中标注可疑钙化形状；
[0025]
将标注的影像归一化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0026]
采用增加孔洞卷积的resnet50网络进行训练，得到可疑钙化分布及形状预测模型；
[0027]
基于所述可疑钙化分布及形状预测模型，对待检测影像中的可疑钙化形状分类进行预测。
[0028]
进一步地，所述方法还包括对于所述检测结果中存在的肿块进行分析，预测肿块形状、密度和边缘，具体过程为：
[0029]
构建肿块形状、密度和边缘数据集，对数据集中肿块的形状和边缘进行标注；
[0030]
将标注的影像归一化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0031]
采用增加孔洞卷积的resnet50网络进行训练，得到肿块形状及边缘的预测模型；
[0032]
基于所述肿块形状及边缘的预测模型，对待检测影像中的肿块形状、边缘和密度进行预测。
[0033]
进一步地，所述方法还包括对于检测结果中存在的腺体类型和改变方式进行分类，具体过程为：
[0034]
构建腺体类型和改变方式数据集，对数据集中lcc和rcc两种轴位图像对腺体类型和腺体改变方式进行标注；
[0035]
将标注的影像归一化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0036]
采用增加孔洞卷积的resnet50网络进行训练，得到腺体类型和改变方式的预测模型；
[0037]
基于所述腺体类型和改变方式的预测模型，对待检测影像中的腺体类型和改变方式进行预测。
[0038]
本发明第二方面提供了一种乳腺钼靶病灶检测系统，所述系统包括：
[0039]
钼靶标注单元，用于获取历史钼靶影像数据，对所述历史钼靶影像数据进行钼靶标注；
[0040]
图像处理单元，用于将影像按照窗值选取若干窗口，并将选取的窗口进行归一化处理，作为训练模型的输入；
[0041]
模型训练单元，用于对输入的无标注的影像数据集进行无监督训练，得到中间表示状态，对输入的有标注的影像数据集训练，调节所述中间表示状态的信息，得到训练模型；
[0042]
病灶预测单元，用于将待检测钼靶影像数据进行归一化处理后输入所述训练模型，得到钼靶病灶的检测结果。
[0043]
进一步地，所述系统还包括：
[0044]
良性钙化分析单元，用于对所述检测结果中良性钙化形状的分类；
[0045]
可疑钙化分析单元，用于对所述检测结果中可疑钙化分布及形状检测；
[0046]
肿块分析单元，用于对所述检测结果中肿块形状、密度和边缘的分析；
[0047]
腺体分析单元，用于对所述检测结果中腺体类型和腺体改变方式的分类。
[0048]
本发明第二方面的所述检测系统能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。
[0049]
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
[0050]
本发明使用大量临床数据进行训练，得到预测模型，用于对乳腺钼靶病灶进行检测分析，同时对于检测结果基于具体的病灶类型进行进一步地训练分析，得到各种病灶的详细检测结果，能够快速准确的对钼靶中病灶进行检测，并且形成专业的结构化报告，医院医生特别是基层医院医生能够根据智能诊断结果快速完成乳腺钼靶诊断，诊断更加专业、快速。
附图说明
[0051]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0052]
图1是本发明所述方法实施例的流程示意图；
[0053]
图2是本发明所述系统实施例的结构示意图。
具体实施方式
[0054]
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
[0055]
如图1所示，本发明实施例提供了一种乳腺钼靶病灶检测方法，所述方法包括以下步骤：
[0056]
s1,获取历史钼靶影像数据，对所述历史钼靶影像数据进行钼靶标注；
[0057]
s2,将影像按照窗值选取若干窗口，并将选取的窗口进行归一化处理，作为训练模型的输入；
[0058]
s3,对输入的无标注的影像数据集进行无监督训练，得到中间表示状态，对输入的有标注的影像数据集训练，调节所述中间表示状态的信息，得到训练模型；
[0059]
s4,将待检测钼靶影像数据进行归一化处理后输入所述训练模型，得到钼靶病灶的检测结果。
[0060]
所述钼靶病灶包括良性钙化、肿块、肿块伴钙化、可疑钙化、淋巴结肿大、非对称致密、非对称致密伴钙化、结构扭曲、结构扭曲伴钙化、皮肤增厚、皮肤收缩和乳头凹陷共12种病灶。
[0061]
步骤s1中，从多家三甲医院收集最近五年的钼靶影像数据和钼靶报告，作为历史钼靶影像数据，由经验丰富的主任级医师对每一张钼靶的进行标注。将标注好的数据交由另一位三甲医院的主任级医师进行审核，当两位专家均对标注结果无异议时，便将其作为最终标注结果进行保存；对于存在异议的结果则交由第三位专家进行审核，并以多数意见为准。
[0062]
步骤s2为影像的预处理过程，将标注好的图像按hu值分别选取[0, 3500](此窗值下12种钼靶病灶均看的比较清晰，后面称为全局窗)、[500, 3500](此窗值下与钙化相关的钼靶病灶均看的比较清晰，后面称为钙化窗)[0, 3000](此窗值下与肿块相关的钼靶病灶均看的比较清晰，后面称为肿块窗)，根据全局窗、钙化窗、肿块窗三个窗把钼靶图像归一化到[0-255]范围转化自然图像，最后将三张图像合成一张3通道图像并归一化后作为模型的输入。
[0063]
步骤s3为网络训练，将归一化后的图像(2048*2048*3)输入到改进的 centernet2中进行训练，若输入图像宽度与高度不是2048，则通过双线性差值算法将图像调整到宽度与高度均为2048。同时，在训练过程中使用多种数据增强方法，如旋转，水平翻转，通道翻转，多重mosaic，多尺度重采样等处理来增加样本数量，提升算法鲁棒性。
[0064]
其中改进的centernet2为两阶段训练，第一阶段使用无标注数据进行无监督训练(预训练)，第二阶段为带有标注的数据进行正常centernet2训练。
[0065]
第一阶段把模型训练成一种中间表示状态，中间表示状态代表病灶的整体信息。第二阶段使用带标注的数据集对模型进行微调，把模型训练到最终状态。在第一阶段的基础上训练可以在少量带标注数据集的基础上达到较好的效果。
[0066]
第一阶段无监督训练的过程为：对于任一输入影像(原始图片)，对其作数据增强，得到2张增强图片。将增强图片输入到编码器(encoder)中，2个encoder 是共享参数得到中间表示，通过projiection head得到图像最终中间表示。
[0067]
本发明所述方法实施例的其一实现方式中，所述方法还包括对于所述检测结果中存在的良性钙化形状进行分类，其中良性钙化形状共分为十种，分别为圆形钙化、点状钙化、血管钙化、中心透亮性钙化、钙乳样钙化、大杆状钙化、粗大或爆米花样钙化、环形钙化、营养不良型钙化、皮肤钙化，本实现方式的具体过程为：
[0068]
构建良性钙化形状数据集，对数据集中良性钙化形状进行标注；将标注好的数据交由另一位三甲医院的主任级医师进行审核，当两位专家均对标注结果无异议时，便将其作为最终标注结果进行保存；对于存在异议的结果则交由第三位专家进行审核，并以多数意见为准。
[0069]
将标注好的图像按hu值分别选取[500,3500]，将良性钙化病灶图像归一化到[0-255]范围转化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0070]
将归一化后的图像(80*80*3)输入到改进的resnet50中进行训练，若输入图像宽度与高度不是80，则通过双线性差值算法将图像调整到宽度与高度均为80。同时，在训练过程中使用多种数据增强方法，如旋转，水平翻转，通道翻转，等处理来增加样本数量，提升算法鲁棒性。得到良性钙化分类预测模型。
[0071]
基于所述良性钙化分类预测模型，对待检测影像中的良性钙化形状分类进行预测，并将预测类别在原图中标注出便于医生复审。
[0072]
所述增加孔洞卷积的resnet50网络具体为：
[0073]
在resnet50的stage1、stage2、stage3的输出分支上分别用3*3空洞卷积进行卷积；在resnet50的stage4的输出分支上进行1*1卷积；经上述两步卷积后得到4个卷积结果，通过spp结构把四个卷积分支进行融合，得到最终图片特征表示方式。
[0074]
本发明所述方法实施例的其一实现方式中，所述方法还包括对所述检测结果中存在的可疑钙化分布及形状进行分析，具体过程为：
[0075]
构建可疑钙化分布和形状数据集，在数据集中标注可疑钙化形状；将标注好的数据交由另一位三甲医院的主任级医师进行审核，当两位专家均对标注结果无异议时，便将其作为最终标注结果进行保存；对于存在异议的结果则交由第三位专家进行审核，并以多数意见为准。
[0076]
将标注的影像按hu值分别选取[500,3500]，将良性钙化病灶图像归一化到[0-255]范围转化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0077]
将归一化后的图像(300*300*3)采用增加孔洞卷积的resnet50网络进行训练，若输入图像宽度与高度不是300，则通过双线性差值算法将图像调整到宽度与高度均为300。同时，在训练过程中使用多种数据增强方法，如旋转，水平翻转，通道翻转，等处理来增加样本数量，提升算法鲁棒性。得到可疑钙化分布及形状预测模型；
[0078]
基于所述可疑钙化分布及形状预测模型，对待检测影像中的可疑钙化形状分类进行预测。
[0079]
可疑钙化分布共有簇状分布、集群分布、区域性分布、散在分布、线样分布、段样分布共六种分布。可疑钙化形状共分为十七种，分别为圆形钙化、点状钙化、血管钙化、中心透亮性钙化、钙乳样钙化、大杆状钙化、粗大或爆米花样钙化、环形钙化、营养不良型钙化、皮肤钙化、粗糙不均质钙化、细小多形性钙化、细线样钙化、沙砾状钙化、沙泥状钙化、多种形态钙化共十七种。
[0080]
本发明所述方法实施例的其一实现方式中，所述方法还包括对于所述检测结果中存在的肿块进行分析，预测肿块形状、密度和边缘，具体过程为：
[0081]
构建肿块形状、密度和边缘数据集，对数据集中肿块的形状和边缘进行标注；将标注好的数据交由另一位三甲医院的主任级医师进行审核，当两位专家均对标注结果无异议
时，便将其作为最终标注结果进行保存；对于存在异议的结果则交由第三位专家进行审核，并以多数意见为准。
[0082]
将标注的影像按hu值分别选取[0,3000]，将良性钙化病灶图像归一化到 [0-255]范围转化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0083]
将归一化后的图像(400*400*3)采用增加孔洞卷积的resnet50网络进行训练，若输入图像宽度与高度不是400，则通过双线性差值算法将图像调整到宽度与高度均为400。同时，在训练过程中使用多种数据增强方法，如旋转，水平翻转，通道翻转，等处理来增加样本数量，提升算法鲁棒性，得到肿块形状及边缘的预测模型；
[0084]
基于所述肿块形状及边缘的预测模型，对待检测影像中的肿块形状、边缘和密度进行预测，并将预测类别在原图中标注出便于医生复审。
[0085]
肿块形状共有圆形、卵圆形、不规则形三种。肿块密度共有高密度、等密度、低密度、含脂肪密度四种。肿块边缘共有清晰、遮蔽、模糊、微分叶、不规则形五种。
[0086]
本发明实施例的其一实现方式中，所述方法还包括对于检测结果中存在的腺体类型和改变方式进行分类，具体过程为：
[0087]
构建腺体类型和改变方式数据集，对数据集中lcc和rcc两种轴位图像对腺体类型和腺体改变方式进行标注；将标注好的数据交由另一位三甲医院的主任级医师进行审核，当两位专家均对标注结果无异议时，便将其作为最终标注结果进行保存；对于存在异议的结果则交由第三位专家进行审核，并以多数意见为准。
[0088]
将标注的影像按hu值分别选取[0,3500]，将良性钙化病灶图像归一化到 [0-255]范围转化为自然图像，每个影像形成一张3通道图像，作为训练模型的输入；
[0089]
将归一化后的图像(512*512*3)采用增加孔洞卷积的resnet50网络进行训练，若输入图像宽度与高度不是512，则通过双线性差值算法将图像调整到宽度与高度均为512。同时，在训练过程中使用多种数据增强方法，如旋转，水平翻转，通道翻转，等处理来增加样本数量，提升算法鲁棒性，得到腺体类型和改变方式的预测模型；
[0090]
基于所述腺体类型和改变方式的预测模型，对待检测影像中的腺体类型和改变方式进行分类预测，并将预测类别在原图中标注出便于医生复审。
[0091]
如图2所示，本发明实施例还提供了了一种乳腺钼靶病灶检测系统，所述系统包括钼靶标注单元1、图像处理单元2、模型训练单元3和病灶预测单元4。
[0092]
钼靶标注单元1用于获取历史钼靶影像数据，对所述历史钼靶影像数据进行钼靶标注；图像处理单元2用于将影像按照窗值选取若干窗口，并将选取的窗口进行归一化处理，作为训练模型的输入；模型训练单元3用于对输入的无标注的影像数据集进行无监督训练，得到中间表示状态，对输入的有标注的影像数据集训练，调节所述中间表示状态的信息，得到训练模型；病灶预测单元4用于将待检测钼靶影像数据进行归一化处理后输入所述训练模型，得到钼靶病灶的检测结果。
[0093]
所述系统还包括良性钙化分析单元、可疑钙化分析单元、肿块分析单元和腺体分析单元。良性钙化分析单元用于对所述检测结果中良性钙化形状的分类；可疑钙化分析单元用于对所述检测结果中可疑钙化分布及形状检测；肿块分析单元用于对所述检测结果中肿块形状、密度和边缘的分析；腺体分析单元用于对所述检测结果中腺体类型和腺体改变方式的分类。
[0094]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。