一种基于乳腺癌分子分型超声多模态自动识别方法和装置与流程

1.本发明涉及人工智能领域，尤其是涉及一种基于乳腺癌分子分型超声多模态自动识别方法和装置。


背景技术：

2.乳腺癌是女性中最常见的癌症，女性在一生中患上病风险高达12％，死亡风险高达5％，乳腺癌的发病率一直在上升，但在许多工业化国家，经过一段时间的持续上升后，乳腺癌死亡率在过去10-15年保持稳定。乳腺x线筛查方案的大规模引入，使的小肿瘤和侵袭性较低的肿瘤得到了更早的发现和诊断，使得乳腺癌患病风险有所下降。在过去的几十年里，治疗技术的进步也使乳腺癌死亡风险率大幅下降，导致了乳腺癌存活率的大量增加。但是，确诊后5年和 10年的相对生存率分别为88％和77％，均显著高于所有癌症的5年内相对生存率之和。因此，寻找预测乳腺癌患者5年生存期内能够生存的重要作用因素，并分析这些因素对诊断后10年甚至更长时间生存期的所起的作用是必要的。近年来在乳腺癌分子分型上的预后价值方面取得了重大进展，但是乳腺癌的分子分型的确定仍是十分困难的，依赖专家的水平及经验，在医疗水平较低的地区，乳腺癌的筛查更显困难。
3.近年来，超声成像技术大为发展，是临床实践中检测疾病的最常见方案之一。超声成像具有许多优点，超声成像的时候，超声波是属于一种机械波，所以它没有放射性的损伤，所以这种检查的安全性非常的高。超声检查可以动态的显示器官的运动以及血流状况，所以可以同时获取功能和形态学方面的信息，这样就更有利于病变的检出了。超声检查不仅非常的便捷易于操作，而且他的检查费用也比其他的检查方式低廉。因此超声具有安全性，实时和低成本优点。在超声系统搭建的自动诊疗系统也为近年来迅速崛起深度学习的应用提供了基础。在深度学习之前，往往通过人工提取特征，然后使用支持向量机、决策树、逻辑回归等机器学习方法进行自动识别，但提取特征的过程往往耗费十分巨大的人力，特征的好坏往往依赖提取特征专家的经验。而深度学习则可以自动提取图像高层特征，进行端对端的学习。在2012年imagenet比赛表现出的优异效果后，深度学习卷积神经网络的开始统治图像识别领域，广泛应用在图像识别、定位、分割、目标跟踪、人脸识别等各个领域。
4.然而用深度学习方法对乳腺癌超声图像进行分子分型预测相对缺失，故提出了一种基于乳腺癌分子分型超声多模态自动识别方法。


技术实现要素：

5.本发明实施例提供了本发明的目的在于提供一种基于乳腺癌分子分型超声多模态自动识别方法，旨在解决解决在乳腺癌分子分型自动识别问题。
6.一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，包括如下步骤，
7.s1、对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；
8.s2、将预处理后的三种超声图像进行数据增强；
9.s3、将增强后的三种超声图像进行模态模型训练；
10.s4、对训练形成的灰阶、彩超、弹性模型进行集成。
11.所述s1包括，
12.s11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
13.s12、对截取的图像进行灰度化；
14.s13、以零为阈值剪去灰度化后图像像素最低值；
15.s14、对s13得到图像进行开运算，腐蚀图像噪音区域；
16.s15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
17.s16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
18.所述s2包括，
19.s21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
20.s22、对s21得到的超声图像采用mixup数据增强方式进行数据增强。
21.所述s3包括，
22.s31、采用三个参数不共享的resnet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
23.s4包括，
24.s41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
25.score＝a*gray+b*color+c*elastic
ꢀꢀ
公式1；
26.其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
27.gray、color、elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
28.s42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
29.本发明实施例提供了基于乳腺癌分子分型超声多模态自动识别模型的生成装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
30.本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5 中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
31.本发明实施例提供了一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法装置，其特征在于，包括，
32.数据预处理模块，用于对乳腺癌分子分型的灰阶、彩超和弹性超声图像降噪预处理。
33.数据增强模块，用于将预处理后的三种超声图像进行数据增强。
34.训练模块，将增强后的三种超声图像进行模态模型训练。
35.集成模块，对训练形成的灰阶、彩超、弹性模型进行集成。
36.优选地，所述装置的截取位置为左上和右下，数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致，采用mixup数据增强方式进行数据增强。
37.优选地，所述装置特征抽取采用三个参数不共享的resnet，装置集成方法为
38.score＝a*gray+b*color+c*elastic
ꢀꢀ
公式1；
39.其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
40.gray、color、elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
41.通过以0.01为间隔遍历0～1中所有的参数空间，搜索出score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
42.借助于本发明实施例的技术方案，降低了模型拟合难度，并且使得本发明提出一种数据预处理方法，降低模型拟合难度。数据增强使模型效果变好，模型训练使不同的卷积网络学到不同的网络特征。而模型集成可以得到更鲁棒的模型。
43.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
44.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明实施例的基于乳腺癌分子分型超声图像多模态自动识别流程图；
46.图2是本发明实施例的基于乳腺癌分子分型超声图像多模态自动识别具体流程图。
具体实施方式
47.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
49.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普
通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
50.方法实施例
51.根据本发明实施例，提供了基于乳腺癌分子分型超声图像多模态自动识别方法和装置，图1是本发明实施例的基于乳腺癌分子分型超声图像多模态自动识别方法流程图，如图1所示，包括如下步骤，
52.s1、乳腺癌分子分型的灰阶、彩超和弹性超声图像预处理，即降噪；
53.s2、将预处理后的三种超声图像进行数据增强；
54.s3、将增强后的三种超声图像进行模态模型训练；
55.s4、对训练形成的灰阶、彩超、弹性模型进行集成。
56.s1具体包括，
57.s11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
58.s12、对截取的图像进行灰度化；
59.s13、以零为阈值剪去灰度化后图像像素最低值；
60.s14、对s13得到图像进行开运算，腐蚀图像噪音区域；
61.s15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
62.s16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
63.s2具体包括，
64.s21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
65.s22、对s21得到的超声图像采用mixup数据增强方式进行数据增强。
66.s3具体包括，
67.s31、采用三个参数不共享的resnet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
68.s4具体包括，
69.s41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
70.score＝a*gray+b*color+c*elastic
ꢀꢀ
公式1；
71.其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
72.gray、color、elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
73.s42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
74.以下对本发明实施例的上述技术方案进行详细说明。
75.获得原始的乳腺癌超声图像，由于原始的乳腺癌超声图像的影像区域四周有相当多的噪音，需要数据预处理，即在降噪时可以取影像区域的左上、右下为两端截取图像；再对截取图像进行灰度化，以零为阈值剪去像素最低值，进行图像开运算，腐蚀图像中噪音区域，采用找寻最大值连通区域算法，找出最大区域后进行矩形拟合，获取与截取图像的交集，完成图像降噪工作。
76.降噪完成的超声图像需要进行数据预处理，乳腺癌超声图像数据有灰阶、彩超、弹性三种类型数据，为了保证三种影像数据增强后能保持对齐，因此在做数据增强时关于方
位变化需保持一致，即三种图像的数据增强旋转角度、翻转方向、随机剪切位置、缩放大小需要保持一致，而颜色随机抖动则各自选用不同参数，保持样本多样性。同时采用mixup数据增强方式，mixup采用对不同类别之间进行建模的方式实现数据增强。
77.数据增强后，由于乳腺癌分子分型超声图像含有灰阶、彩超、弹性的数据，三种数据中两两差异明显，尤其弹性数据与彩超、灰阶数据相差甚远，三种图像不似ct三维数据，不存在空间结构，不能使用3d卷积搭建进行特征抽取，完成模型搭建训练；也不是时间序列图像，三种之间不存在序列关系，故 cnn+lstm、gru+lstm也不适用；基于该三种图像是一个病灶三种不同的表现方式，是一种多模态的表现方式，故使用多模态的方式搭建模型是合理的。本研究采用三个参数不共享的resnet抽取特征抽取到三个不同模态的数据进行训练，不同的卷积网络学到不同图像的特征，从而完成网络的训练。
78.集成学习是一种机器学习范式。将用resnet抽取到的图像特征集成，在集成学习中，往往会训练多个模型解决相同的问题，并将它们结合起来以获得更好的结果，当模型以合适的方法进行组合时，就可以得到更鲁棒的模型。
79.因此上述灰阶、彩超、弹性模型可用作设计更复杂模型的构件，这些模型本身的泛化并不是非常好，因为它们可能存在较高的偏差或者方差。集成方法的思想是通过将这些模型的偏差和方差结合起来，从而获得更好一个更为鲁棒的模型，本发明实施例的集成方法如下：
80.score＝a*gray+b*color+c*elastic
ꢀꢀ
公式1；
81.其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
82.gray、color、elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。通过以0.01为间隔遍历0～1中所有的参数空间，搜索出score最大的值。
83.本发明实施例提出了采用相同的角度、尺度变化，采用不同的颜色抖动，使用mixup作用三种乳腺癌图像的数据增强方法，增强了模型效果。
84.此外，本发明实施例还提出了一种多模态模型乳腺癌分子分型超声模型训练方法，该方法适用于一个病灶三种不同的表现方式。
85.将灰阶、彩超、弹性模型的方差和偏差结合起来，对不同模态图像分配不同的权重，找出最佳的权重参数，从而获得更好一个更为鲁棒的模型，提出采用参数搜索方法集成乳腺癌超声模型，有更好的鲁棒性。
86.装置实施例一
87.根据本发明实施例，提供了一种基于乳腺癌分子分型超声图像多模态自动识别装置，包括，
88.数据预处理模块，用于对乳腺癌分子分型的灰阶、彩超和弹性超声图像降噪预处理。
89.数据增强模块，用于将预处理后的三种超声图像进行数据增强。
90.训练模块，将增强后的三种超声图像进行模态模型训练。
91.集成模块，对训练形成的灰阶、彩超、弹性模型进行集成。
92.装置的截取位置为左上和右下，数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致，采用mixup数据增强方式进行数据增强。
93.装置特征抽取采用三个参数不共享的resnet，装置集成方法为
94.score＝a*gray+b*color+c*elastic
ꢀꢀ
公式1；
95.其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
96.gray、color、elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
97.通过以0.01为间隔遍历0～1中所有的参数空间，搜索出score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
98.本发明实施例是与上述方法实施例对应的装置实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
99.装置实施例二
100.本发明实施例提供一种基于乳腺癌分子分型超声图像多模态自动识别装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下方法步骤：
101.s1、对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；
102.s2、将预处理后的三种超声图像进行数据增强；
103.s3、将增强后的三种超声图像进行模态模型训练；
104.s4、对训练形成的灰阶、彩超、弹性模型进行集成。
105.s1具体包括，
106.s11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
107.s12、对截取的图像进行灰度化；
108.s13、以零为阈值剪去灰度化后图像像素最低值；
109.s14、对s13得到图像进行开运算，腐蚀图像噪音区域；
110.s15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
111.s16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
112.s2具体包括，
113.s21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
114.s22、对s21得到的超声图像采用mixup数据增强方式进行数据增强。
115.s3具体包括，
116.s31、采用三个参数不共享的resnet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
117.s4具体包括，
118.s41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
119.score＝a*gray+b*color+c*elastic
ꢀꢀ
公式1；
120.其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
121.gray、color、elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
122.s42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
123.最后得到乳腺癌超声图像自动识别结果。
124.装置实施例三
125.本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器执行时实现上述装置实施例二中所述的步骤。
126.本实施例所述计算机可读存储介质包括但不限于为：rom、ram、磁盘或光盘等。
127.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
128.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。