一种基于甲状腺超声图像的结节分级系统及方法与流程

1.本发明涉及计算机人工智能深度学习技术领域，尤其是涉及一种基于甲状腺超声图像的结节分级系统及方法。


背景技术：

2.传统机器学习方法的甲状腺癌自动识别往往分为两步走，首先提取特征，然后使用分类器进行分类。常用提取特征的方法有sift、hog、haar
‑
like、lbp特征等，提取特征的好坏决定自动识别的效果；特征提取工作需要不断调参，是一件耗时费力的事情，与技术的经验有很大相关，经验丰富的专家往往提取出的特征更为有用，但拥有这样丰富的技术人员不多。常用的分类器有svm、决策树、逻辑回归等等，不同的分类器在不同任务上效果不一，但效果不会相差太远。
3.随着深度学习的复兴，特别在2012年，卷积神经网络(cnn)在imagenet任务的突出效果引起世人极大关注，随后在图像识别领域获得统治地位，由于其在图像识别、定位、分割等各种视觉任务上取得的出色表现，渐渐的在医疗领域也不断应用。与传统机器学习方法不同，深度学习是一种端对端的方式，其能自动提取图像特征，因此可以免去传统机器学习上许多弊端。
4.从目前的研究现状来看，传统的机器学习方法在甲状腺自动识别上取得了一定的效果，使用深度学习方法也获得了相当效果，但随着时间推移，深度学习图像识别框架发生了巨大改进，但目前的甲状腺自动识别的研究还是使用较老的框架，因此效果还有提升的空间。


技术实现要素：

5.本发明的目的在于提供一种基于甲状腺超声图像的结节分级系统及方法，该结节分级系统能够解决现有技术中甲状腺结节自动识别和结节分级过程中准确率不高的问题。
6.为了实现上述目的，本发明提供如下技术方案：
7.一种基于甲状腺超声图像的结节分级方法，所述方法具体包括：
8.s101，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
9.s102，对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
10.s103，根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
11.s104，对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
12.s105，抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库，通过所述训练数据库训练模型结构；
13.s106，对训练好的所述模型结构进行测试；
14.s107，通过训练好的所述模型结构，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级。
15.在上述技术方案的基础上，本发明还可以做如下改进：
16.进一步地，所述方法进一步包括：
17.s108，根据训练好的所述结节分级，生成诊断结果。
18.进一步地，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库具体包括：
19.选取包含不同症象特征的结节的第一甲状腺超声图像、不同设备上采集的第一甲状腺超声图像和不同角度的第一甲状腺超声图像形成第一数据库。
20.进一步地，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库具体包括：
21.将所述第一数据库中的第一甲状腺超声图像进行标注形成第二数据库。
22.进一步地，对所述第二数据库清洗形成第三数据库具体包括：
23.审查所述第二数据库，去除所述第二数据库中标注错误的第二甲状腺超声图像，形成第三数据库。
24.进一步地，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库具体包括：
25.根据实际应用场景的数据分布特征，通过旋转、平移、对称反转将所述第三数据库的第三甲状腺超声图像调整为与所述实际应用场景的数据分布特征相对应第四甲状腺超声图像，形成第四数据库。
26.进一步地，通过所述训练数据库训练模型结构具体包括：
27.通过effnet、densnet和resnet作为弱学习器分别训练所述模型结构，通过动态和预先设定的权重加权的方式，分别集成得到分类输出。
28.一种基于甲状腺超声图像的结节分级系统，其特征在于，包括：
29.准备模块，其用于选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
30.清洗模块，其与所述准备模块电性相连，用于对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
31.增强模块，其与所述清洗模块电性相连，用于根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
32.预处理模块，其与所述增强模块电性相连，用于对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
33.训练模块，其与所述预处理模块电性相连，用于抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库；
34.模型结构，其与所述训练模块电性相连，通过训练数据库中的部分第五甲状腺超声图像训练所述模型结构；
35.测试模块，其与所述模型结构电性相连，用于对训练好的所述模型结构进行测试；
36.分级模块，用于在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；
37.生成模块，根据训练好的所述结节分级，生成诊断结果。
38.进一步地，所述模型结构包括检测模型、分级模型和分割模型；所述检测模型、所述分级模型和所述分割模型分别与所述测试模块电性相连；
39.所述检测模型用于检测第五甲状腺超声图像中的结节，所述分割模型用于从第五甲状腺超声图像中分割出结节图像，所述分级模型用于对检测和分割得到的结节图像进行分级。
40.进一步地，所述检测模型进一步包括efficientdet模型和cspnet模型，所述efficientdet模型和cspnet模型用于检测第五甲状腺超声图像中的结节；
41.所述分割模型进一步包括resnetst模型和hrnet
‑
ocr模型；所述resnetst模型和所述hrnet
‑
ocr模型用于从第五甲状腺超声图像中分割出结节图像；
42.所述分级模型进一步包括effnet模型、densenet模型和resne模型，所述effnet模型、densenet模型和resne模型分别用于对检测和分割得到的结节图像进行分级。
43.本发明具有如下优点：
44.本发明中的基于甲状腺超声图像的结节分级系统，提出一种在甲状腺超声自动诊断系统中使用深度学习技术自动检测结节且对结节进行tirads分级的技术。针对甲状腺结节图片数据分布不均衡的问题，采用loss函数权重增强，训练数据集重要性采样等技术，克服图片数据分布不均衡的问题。针对甲状腺结节图片采集困难的问题，通过基于公开方式获取的医疗数据做预训练，并在具体场景上以少量的数据调优的方法，来克服甲状腺结节图片数量少的问题。解决了现有技术中甲状腺结节自动识别和结节分级过程中准确率不高的问题。
附图说明
45.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明实施例中结节分级方法的流程示意图；
47.图2为本发明实施例中获取诊断结果的流程示意图；
48.图3为本发明实施例中结节分级系统的示意图；
49.图4为本发明实施例中获取诊断结果的结构示意图。
50.附图标记说明：
51.准备模块10，清洗模块20，增强模块30，预处理模块40，训练模块50，模型结构60，测试模块70，分级模块80，生成模块90。
具体实施方式
52.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.如图1所示，本发明提供了一种基于甲状腺超声图像的结节分级方法，所述方法具
体包括：
54.s101，数据准备；
55.在本步骤中，选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；数据准备是指，将用于训练的第一数据库处理成适合深度模型处理的第二数据库。处理过程包括但不限于，选择数据，对数据进行标注，数据均衡处理等。
56.s102，数据清洗；
57.在本步骤中，对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；数据清洗是指，对准备好的数据进行审查，去除或者修正不合理的第二甲状腺超声图像。包括但不限于，标注有误的数据。
58.s103，数据增强；
59.在本步骤中，根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；数据增强是指，根据实际应用场景的数据分布特性，针对性的修改训练数据集中的第三甲状腺超声图像。
60.s104，数据预处理；
61.在本步骤中，对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；数据预处理是指，对第四甲状腺超声图像进行变换，以提高模型对第四甲状腺超声图像识别，分割，以及结节分类的准确率。
62.s105，模型训练；
63.在本步骤中，抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库，通过所述训练数据库训练模型结构60；模型训练是指，从经s101
‑
s104步骤处理过的第五数据库中，抽取部分第五甲状腺超声图像形成训练数据库，并使用训练数据库训练模型结构60。所训练的模型结构60可以由多个模型组合而成，比如，识别模型和分级模型级联，或者多个识别模型融合。
64.s106，模型测试；
65.本步骤中，对训练好的所述模型结构60进行测试；模型测试是指，从经s101
‑
s105步骤处理过的图像数据中，抽取测试数据集，使用测试数据对经过训练的模型结构60进行测试，得到模型结构60性能评估。评估标准包括但不限于，auc，iou，准确率等。
66.推理过程是指在实际医疗应用场景中，使用训练过程得到的，具备对甲状腺超声图像进行准确的诊断分级的能力的模型结构60，端到端的对甲状腺超声图像推理，从中分割结节，并自动分级。
67.s106，模型推理；
68.在本步骤中，通过训练好的所述模型结构60，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；模型推理包括，使用检测模型检测第五甲状腺超声图像中的结节，或者使用分割模型从第五甲状腺超声图像中分割出结节图像。随后使用分级模型对检测或者分割得到的结节图像进行分级。模型推理是指，使用训练好的模型，在实际医疗应用场景中，对经过预处理的图像进行端到端的检测，分割，或者识别。
69.本发明的目的在于提出一种能在甲状腺诊断任务中，使用最新算法端到端的从甲状腺超声图像中分割结节，并自动分级，辅助医生对甲状腺癌的进行筛查，以及超声图像的
分级以及报告撰写。使得在甲状腺癌早期阶段完成检测工作，避免穿刺等代价昂贵的工作。
70.本发明所提出的端到端的处理过程包括训练和推理两个过程。
71.训练过程使用甲状腺超声图像数据训练深度模型。使模型具备在实际医疗应用场景中，对甲状腺超声图像进行准确的诊断分级的能力。
72.推理过程是指在实际医疗应用场景中，使用训练过程得到的，具备对甲状腺超声图像进行准确的诊断分级的能力的模型，端到端的对甲状腺超声图像推理，从中分割结节，并自动分级。
73.选取包含不同症象特征的结节的第一甲状腺超声图像、不同设备上采集的第一甲状腺超声图像和不同角度的第一甲状腺超声图像形成第一数据库。将所述第一数据库中的第一甲状腺超声图像进行标注形成第二数据库。
74.如图2所示，所述方法进一步包括：s107，得到诊断结果；
75.在本步骤中，根据训练好的所述结节分级，生成诊断结果。得到诊断结果是指，将模型推理得到的结果，转换成适用于实际应用场景的诊断结果。
76.数据准备
77.第一甲状腺超声图像由于来源不同，具备不同的特点。比如，图像中是否有结节，是否有血管，气管等容易与结节混淆的其他人体组织，这就要求在准备过程中选取与实际应用场景相似的图像进行训练。选取方式包含，选取包含不同症象特征的结节的图像；选取不同设备上采集的图像；选取不同角度的图像，比如横切/纵切图像。
78.另外，如果采用有监督方式训练模型，则在数据准备阶段还应完成第一甲状腺超声图像标标注工作。标注工作有多种标注方案，比如，标注结节的各种症象，标注结节的长短经，标注结节。
79.审查所述第二数据库，去除所述第二数据库中标注错误的第二甲状腺超声图像，形成第三数据库。
80.数据清洗
81.数据清洗是指，对准备好的数据进行审查，去除或者修正不合理的图像，比如，无结节的图像标注为有节结，图像中结节症象，长短经，轮廓等标注错误。
82.数据清洗工作对深度模型有重要影响，不合理图像越少，训练完毕之后的模型指标越好。
83.根据实际应用场景的数据分布特征，通过旋转、平移、对称反转将所述第三数据库的第三甲状腺超声图像调整为与所述实际应用场景的数据分布特征相对应第四甲状腺超声图像，形成第四数据库。
84.数据增强
85.根据实际应用场景的数据分布特性，针对性的修改训练数据集中的第三甲状腺超声图像。例如，实际应用场景中，甲状腺超声图像亮度，对比度偏低，则训练数据集中的第三甲状腺超声图像亮度，对比度也应调整到同等水平。另外，数据增强对于图像来说，还可以包含旋转，平移，对称反转等操作。
86.数据预处理
87.数据预处理是指，对第四甲状腺超声图像进行变换，以提高模型结构20对第四甲状腺超声图像识别，分割，以及结节分类的准确率。
88.图像预处理对提高模型训练结果的性能影响较大。
89.将若干个模型级集成所述模型结构60，按照每个模型的可信度集成得到分类输出。
90.通过effnet、densnet和resnet作为弱学习器分别训练所述模型结构60，通过动态和预先设定的权重加权的方式，分别集成得到分类输出。
91.模型训练
92.从经前述步骤处理过的图像数据中，抽取训练数据集，并使用训练数据集训练模型结构。所训练的模型结构可以由多个模型组合而成，比如，识别模型和分级模型级联，或者多个识别模型融合。
93.本发明的模型结构包含分割模型，检测模型，分级模型。选用的模型包括以下模型，但不限于这些模型：
94.resnetst和hrnet
‑
ocr等模型做分割；efficientdet和cspnet等模型做检测；effnet、densenet和resnet等模型做分级。以上模型在公开数据集上表现相对是最好的。
95.本发明的模型，可以由多个模型级联而成，比如，使用resnetst和effnet级联，完成分割模型的功能。
96.本发明的模型，在训练的过程中，可以有多个模型集成，然后按照每个模型的可信度集成得到最终的输出。比如，采用effnet、densnet和resnet作为弱学习器分别训练，然后以动态或者预先设定的权重加权的方式，集成得到最终的分类输出。
97.模型测试
98.模型测试是指，对于模型训练得到的结果，在测试数据集上测试，并得到输出结果，以对模型的性能进行评估。
99.在测试过程中，有如下模块：
100.数据预处理
101.数据预处理是指，对第四甲状腺超声图像进行变换，以提高模型结构20对甲状腺超声图像识别，分割，以及结节分类的准确率。
102.图像预处理对提高模型推理结果的性能影响较大。
103.模型推理
104.模型推理是指，使用训练好的模型结构60，在实际医疗应用场景中对甲状腺超声图片进行结节检测，分级。
105.得到诊断结果
106.得到诊断结果是指，根据模型推理得到的结节分级，生成诊断结果。
107.诊断结果例如：超声诊断报告，病历等。
108.如图3
‑
4所示，一种基于甲状腺超声图像的结节分级系统，包括：
109.准备模块10，其用于选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将所述第一数据库进行处理，形成适合深度模型处理的第二数据库；
110.清洗模块20，其与所述准备模块电性相连，用于对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；
111.增强模块30，其与所述清洗模块电性相连，用于根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；
112.预处理模块40，其与所述增强模块电性相连，用于对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；
113.训练模块50，其与所述预处理模块电性相连，用于抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库；
114.模型结构60，其与所述训练模块电性相连，通过训练数据库中的部分第五甲状腺超声图像训练所述模型结构；
115.测试模块70，其与所述模型结构电性相连，用于对训练好的所述模型结构进行测试；
116.分级模块80，用于在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；
117.生成模块90，根据训练好的所述结节分级，生成诊断结果。
118.所述模型结构包括检测模型、分级模型和分割模型；所述检测模型、所述分级模型和所述分割模型分别与所述测试模块电性相连；
119.所述检测模型用于检测第五甲状腺超声图像中的结节，所述分割模型用于从第五甲状腺超声图像中分割出结节图像，所述分级模型用于对检测或者分割得到的结节图像进行分级。
120.所述检测模型进一步包括efficientdet模型和cspnet模型，所述efficientdet模型和cspnet模型用于检测第五甲状腺超声图像中的结节；
121.所述分割模型进一步包括resnetst模型和hrnet
‑
ocr模型；所述resnetst模型和所述hrnet
‑
ocr模型用于从第五甲状腺超声图像中分割出结节图像；
122.所述分级模型进一步包括effnet模型、densenet模型和resne模型，所述effnet模型、densenet模型和resne模型分别用于对检测或者分割得到的结节图像进行分级。
123.该基于甲状腺超声图像的结节分级方法使用过程如下：
124.使用时，操作人员选取与实际应用场景相似的第一甲状腺超声图像组成第一数据库，将用于所述第一数据库进行处理，形成适合深度模型处理的第二数据库；对所述第二数据库清洗，去除所述第二数据库中不合理的第二甲状腺超声图像形成第三数据库；根据实际应用场景的数据分布特性，对所述第三数据库中的第三甲状腺超声图像进行针对性的修改形成第四数据库；对所述第四数据库中的第四甲状腺超声图像进行预处理形成第五数据库；抽取所述第五数据库中的部分第五甲状腺超声图像形成训练数据库，通过所述训练数据库训练模型结构60；通过训练好的所述模型结构60，在实际应用场景对甲状腺超声图片进行结节检测，得到结节分级；根据训练好的所述结节分级，生成诊断结果。
125.在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
126.此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除
非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
127.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。