医学图像分割模型的训练方法、介质及电子设备与流程

1.本发明涉及一种训练方法，特别是涉及一种医学图像分割模型的训练方法、介质及电子设备。


背景技术：

2.随着人工智能技术的不断发展，利用基于ai的医学图像分割模型对医学图像进行处理进而辅助医生进行诊断已成为相关领域的惯用手段。医学图像分割模型在实际应用之前需要进行训练以便获取对医学图像进行处理的能力，然而，医学图像的尺寸往往都比较大，例如，肝脏ct图像的尺寸通常为512
×
512。而在医学图像分割模型的训练过程中，特别是在3d医学图像分割模型的训练过程中，受到gpu显存大小的限制，通常很难直接将医学图像按照原始大小直接输入医学图像分割模型来对其进行训练。因此，如何提供一种能够适用于医学图像分割模型的训练方法已成为相关领域技术人员亟需解决的技术问题之一。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种医学图像分割模型的训练方法、介质及电子设备，用于解决现有技术中存在的上述问题。
4.为实现上述目的及其他相关目的，本发明的第一方面提供一种医学图像分割模型的训练方法，用于对一医学图像分割模型进行训练，所述医学图像分割模型的训练方法包括：获取多个训练图像；对所述医学图像分割模型进行第一阶段的训练，其中，所述第一阶段的训练包括多轮训练；对所述医学图像分割模型进行第二阶段的训练，以完成对所述医学图像分割模型的训练，其中，所述第二阶段的训练包括多轮训练；在所述第一阶段的每轮训练中，对所述医学图像分割模型进行训练的方法包括：根据所述训练图像获取普通样本，其中，所述普通样本的尺寸小于所述训练图像的尺寸；利用所述普通样本对所述医学图像分割模型进行训练；在所述第二阶段的每轮训练中，对所述医学图像分割模型进行训练的方法包括：根据所述训练图像获取普通样本或者从困难样本库中获取困难样本，其中，所述普通样本的尺寸与所述困难样本相同；根据所述普通样本或所述困难样本对所述医学图像分割模型进行训练。
5.于所述第一方面的一实施例中，根据所述训练图像获取普通样本的实现方法包括：从所述训练图像中随机选取特定尺寸的区域作为所述普通样本。
6.于所述第一方面的一实施例中，在所述第一阶段的训练完成以后，或者，在所述第二阶段的每轮训练完成以后，所述医学图像分割模型的训练方法还包括：初始化所述困难样本库；利用所述医学图像分割模型对各所述训练图像进行处理，以得到各所述训练图像的预测结果；根据各所述训练图像的预测结果及真实标注结果对所述困难样本库进行更新。
7.于所述第一方面的一实施例中，根据各所述训练图像的预测结果及真实标注结果对所述困难样本库进行更新的实现方法包括：根据各所述训练图像的预测结果及真实标注
结果，获取各所述训练图像对应的预测效果；对于预测效果较差的第一训练图像，获取各所述第一训练图像对应的困难样本并存入所述困难样本库。
8.于所述第一方面的一实施例中，获取所述第一训练图像对应的困难样本的实现方法包括：根据所述第一训练图像的预测结果及真实标注结果，获取所述第一训练图像的误差图；对所述第一训练图像的误差图进行池化，并根据池化结果选取误差最大的区域作为所述第一训练图像对应的困难样本，在所述池化中所采用的池化核的尺寸与所述普通样本的尺寸相同。
9.于所述第一方面的一实施例中，根据所述训练图像获取普通样本或者从困难样本库中获取困难样本的实现方法包括：生成一随机数；当所述随机数的数值满足预设条件时，根据所述训练图像获取所述普通样本，否则，从所述困难样本库中获取所述困难样本。
10.于所述第一方面的一实施例中，所述训练图像的尺寸大于或等于512
×
512。
11.于所述第一方面的一实施例中，所述训练图像为肝脏ct图像。
12.本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面任一项所述医学图像分割模型的训练方法。
13.本发明的第三方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本发明第一方面任一项所医学图像分割模型的训练方法。
14.如上所述，本发明一个或多个实施例中所述的医学图像分割模型的训练方法具有以下有益效果：
15.于所述医学图像分割模型的训练方法中，采用普通样本或困难样本来对所述医学图像分割模型进行训练，其中，所述普通样本和所述困难样本的尺寸小于所述训练图像，因此，可以直接利用所述普通样本和所述困难样本完成对所述医学图像分割模型的训练。
16.此外，所述医学图像分割模型的训练方法包括对所述医学图像进行第一阶段和第二阶段的训练，其中，所述第一阶段采用普通样本对所述医学图像分割模型进行训练，以使所述医学图像分割模型适应数据，所述第二阶段采用普通样本或困难样本对所述医学图像分割模型进行训练，以避免出现训练不足或者过度训练的问题，从而在节约显存的同时实现更好的训练效果。
附图说明
17.图1a显示为本发明所述医学图像分割模型的训练方法于一具体实施例中的流程图。
18.图1b显示为本发明所述医学图像分割模型的训练方法于一具体实施例中第一阶段的训练流程图。
19.图1c显示为本发明所述医学图像分割模型的训练方法于一具体实施例中第二阶段的训练流程图。
20.图2a显示为本发明所述医学图像分割模型的训练方法于一具体实施例中对困难样本库进行更新的流程图。
21.图2b显示为本发明所述医学图像分割模型的训练方法于一具体实施例中步骤s16
的详细流程图。
22.图2c显示为本发明所述医学图像分割模型的训练方法于一具体实施例中步骤s162的详细流程图。
23.图2d显示为本发明所述医学图像分割模型的训练方法于一具体实施例中获取误差图的示例图。
24.图2e显示为本发明所述医学图像分割模型的训练方法于一具体实施例中获取困难样本的示例图。
25.图2f显示为本发明所述医学图像分割模型的训练方法于一具体实施例中获取的困难样本示例图。
26.图3显示为本发明所述医学图像分割模型的训练方法于一具体实施例中的关键步骤流程图。
27.图4显示为本发明所述医学图像分割模型的训练方法于一具体实施例中的流程图。
28.图5显示为本发明所述电子设备于一具体实施例中的结构示意图。
29.元件标号说明
30.500电子设备
31.510存储器
32.520处理器
33.530显示器
34.s11～s16步骤
35.s121～s122步骤
36.s131～s132步骤
37.s161～s162步骤
38.s1621～s1622步骤
39.s31～s32步骤
40.s41～s44步骤
具体实施方式
41.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
42.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
43.在医学图像分割模型的训练过程中，特别是在3d医学图像分割模型的训练过程中，受到gpu显存大小的限制，通常很难直接将医学图像按照原始大小直接输入医学图像分割模型来对其进行训练。针对这一问题，于本发明的一实施例中提供一种医学图像分割模型的训练方法，用于对一医学图像分割模型进行训练，所述医学图像分割模型例如为卷积神经网络分割模型、决策树分类模型等。具体地，请参阅图1a，本实施例中所述医学图像分割模型的训练方法包括：
44.s11，获取多个训练图像。其中，所述训练图像为大尺寸图像，例如为尺寸大于或等于512
×
512的图像。
45.可选地，所述训练图像为医学图像，更具体地，所述训练图像为肝脏ct图像。
46.s12，对所述医学图像分割模型进行第一阶段的训练，其中，所述第一阶段的训练包括多轮(epoch)训练。
47.具体地，请参阅图1b，在所述第一阶段的每轮训练中，对所述医学图像分割模型进行训练的方法包括：
48.s121，根据所述训练图像获取普通样本，其中，所述普通样本的尺寸小于所述训练图像的尺寸。所述普通样本是指对所述训练图像进行采样而得到的样本。例如，对于任一训练图像a，其尺寸为w
×
h，则可以从该训练图像a中通过框选的方式选取w
×
h的区域作为该训练图像a对应的普通样本，其中，w和h分别为该训练图像a的宽度和高度，二者的取值例如均为512，w和h分别为该训练图像a对应的普通样本的宽度和高度，且w<w，h<h，二者的取值例如均为256。
49.s122，利用所述普通样本对所述医学图像分割模型进行训练。其中，对所述医学图像分割模型进行训练的方法可以采用现有技术实现，此处不做过多赘述。
50.可选地，所述第一阶段的任一轮训练的终止条件可以为：所有的训练样本均被训练一遍，或者，该轮训练的训练步数达到一步数阈值，所述步数阈值可以根据实际需求预先设置。
51.s13，对所述医学图像分割模型进行第二阶段的训练，以完成对所述医学图像分割模型的训练，其中，所述第二阶段的训练包括多轮训练。
52.具体地，请参阅图1c，在所述第二阶段的每轮训练中，对所述医学图像分割模型进行训练的方法包括：
53.s131，根据所述训练图像获取普通样本或者从困难样本库中获取困难样本，其中，所述普通样本的尺寸与所述困难样本相同，所述困难样本是指所述医学图像分割模型的预测效果较差的样本。
54.s132，根据所述普通样本或所述困难样本对所述医学图像分割模型进行训练。
55.根据以上描述可知，本实施例所述医学图像分割模型的训练方法中，采用普通样本或困难样本来对所述医学图像分割模型进行训练，其中，所述普通样本和所述困难样本的尺寸小于所述训练图像，因此，可以直接利用所述普通样本和所述困难样本完成对所述医学图像分割模型的训练。
56.此外，所述医学图像分割模型的训练方法包括对所述医学图像进行第一阶段和第二阶段的训练，其中，所述第一阶段采用普通样本对所述医学图像分割模型进行训练，以使所述医学图像分割模型适应数据，所述第二阶段采用普通样本或困难样本对所述医学图像
分割模型进行训练，以避免出现训练不足或者过度训练的问题，从而在节约显存的同时实现更好的训练效果。
57.于本发明的一实施例中，根据所述训练图像获取普通样本的实现方法包括：从所述训练图像中随机选取特定尺寸的区域作为所述普通样本。其中，所述特定尺寸可以根据需求预先设置。
58.可选地，本实施例可以采用普通采样方法对所述训练图像进行采样以得到所述普通样本。所述普通采样的具体实现方法为：假设所述训练图像的尺寸为w
×
h，则随机从所述训练图像中选取w
×
h的区域作为所述普通样本。并且，在每轮训练中一张训练图像最多被采样一次。
59.请参阅图2a，于本发明的一实施例中，在所述第一阶段的训练完成以后，或者，在所述第二阶段的每轮训练完成以后，所述医学图像分割模型的训练方法还包括：
60.s14，初始化所述困难样本库。可选地，步骤s14可以通过清空数据库的方式实现对所述困难样本库的初始化。
61.s15，利用所述医学图像分割模型对各所述训练图像进行处理，以得到各所述训练图像的预测结果。具体地，所述医学图像分割模型，例如为全卷积神经网络模型，可以输入任意大小的图像，因此，所述医学图像分割模型可以直接对各所述训练图像进行处理来得到其预测结果。
62.s16，根据各所述训练图像的预测结果及真实标注结果对所述困难样本库进行更新。其中，各所述训练图像的真实标注结果可以通过人工标注等方式取得，本发明对其获取方式不做限制。
63.可选地，请参阅图2b，本实施例中根据各所述训练图像的预测结果及真实标注结果对所述困难样本库进行更新的实现方法包括：
64.s161，根据各所述训练图像的预测结果及真实标注结果，获取各所述训练图像对应的预测效果。具体地，所述训练图像的预测结果与真实标注结果的差异越大，说明所述医学图像分割模型所述训练图像的预测效果越差，也即，所述训练图像对应的预测效果越差；反之，则说明所述训练图像对应的预测效果越好。
65.可选地，所述训练图像对应的预测效果可以根据所述训练图像的预测结果及真实标注结果之间的重叠状况获得，所述重叠状况例如可以通过一重叠指标来描述，其中，所述重叠指标的定义例如为：其中，image∩out是指所述训练图像的预测结果及真实标注结果的重叠区域，|image|是指所述训练图像的预测结果，|out|表示所述训练图像的真实标注结果。例如，当所述医学图像分割模型用于对医学图像进行分割来获取其中的肿瘤区域时，image∩out表示预测结果和真实标注结果均为肿瘤的区域，|image|表示预测结果为肿瘤的区域，|out|表示真实标注结果为肿瘤的区域。
66.可选地，当所述预测效果通过所述重叠指标来描述时，若某一训练图像对应的预测结果的重叠指标小于一指标阈值，则认为该训练图像的预测效果较差，并将该训练图像作为第一训练图像；反之，当该训练图像对应的预测结果的重叠指标大于或等于所述指标阈值时，则认为该训练图像的预测效果较好，并将该训练图像作为第二训练图像。其中，所述指标阈值可以根据实际需求设置。
67.s162，对于预测效果较差的第一训练图像，获取各所述第一训练图像对应的困难样本并存入所述困难样本库。其中，所述第一训练图像对应的困难样本可以通过对所述第一训练图像进行采样得到。此外，对于预测效果较好的第二训练图像，不根据所述第二训练图像更新所述困难样本库。
68.可选地，将所述第一训练图像对应的困难样本存入所述困难样本库的实现方法包括：将所述第一训练图像的编号及其对应的困难样本的坐标存入所述困难样本库。基于此，当需要获取困难样本时，可以从所述困难样本库中读取训练图像的编号及其对应的困难样本的坐标，然后结合步骤s11中获取的训练图像即可获取所述医学图像分割模型训练所需的困难样本。
69.可选地，请参阅图2c，本实施例中获取所述第一训练图像对应的困难样本的实现方法包括：
70.s1621，根据所述第一训练图像的预测结果及真实标注结果，获取所述第一训练图像的误差图。
71.可选地，步骤s1621中可以通过计算所述第一训练图像的预测结果及真实标注结果之间的差值或差值的绝对值来得到所述误差图，其中，获取所述误差图的示例图如图2d所示。
72.s1622，对所述第一训练图像的误差图进行池化，并根据池化结果选取误差最大的区域作为所述第一训练图像对应的困难样本，其中，所述池化结果是指所述第一训练图像经池化后得到的池化图像，且在所述池化中所采用的池化核的尺寸优选为与所述普通样本的尺寸相同。
73.可选地，所述池化中所采用的池化函数为求和函数或平均值函数，此时，可以从池化图像中选取最大值对应的区域作为所述第一训练图像对应的困难样本。例如，当所述池化函数为求和函数，且所述池化核的尺寸为3
×
3时，通过池化获取所述困难样本的实现方式例如图2e所示，其中，获取到的第一训练图像对应的困难样本如图2f所示。
74.请参阅图3，于本发明的一实施例中，根据所述训练图像获取普通样本或者从困难样本库中获取困难样本的实现方法包括：
75.s31，生成一随机数。
76.s32，当所述随机数的数值满足预设条件时，根据所述训练图像获取所述普通样本，否则，从所述困难样本库中获取所述困难样本。
77.可选地，所述预设条件例如为所述随机数小于一数值阈值，其中，所述数值阈值可以根据实际需求设置。此时，当所述随机数小于所述数值阈值时，根据所述训练图像获取所述普通样本，并在本轮训练中采用所述普通样本对所述医学图像分割模型进行训练；当所述随机数大于或等于所述数值阈值时，从所述困难样本库中获取所述困难样本，并在本轮训练中采用所述困难样本对所述医学图像分割模型进行训练。
78.本实施例中根据所述随机数的数值来选择使用普通样本或困难样本对所述医学图像分割模型进行训练，而非全部采用困难样本，能够防止过度训练所造成的过拟合问题。
79.请参阅图4，于本发明的一实施例中，所述医学图像分割模型的训练方法包括：
80.s41，获取多个训练图像。
81.s42，在前n个训练轮使用普通样本对所述医学图像分割模型进行训练，以使所述
医学图像分割模型适应训练数据。其中，n为正整数，其取值例如为10。此外，步骤s42中每一轮训练总共需要s步，s为正整数，其取值例如为200。
82.可选地，步骤s42中可以采用普通采样方法对所述训练图像进行采样来获取所述普通样本，其中，一轮训练中一个训练图像最多被采样一次。
83.s43，在n个训练轮以后，开始加入困难样本对所述医学图像分割模型进行训练。
84.可选地，为了不增加每轮的训练时间，步骤s43中每轮训练的最大步数也为s步。
85.可选地，步骤s43中在每一步采集训练区域的时候，首先生成一个随机数r，当随机数r大于或等于一数值阈值t时，本次采集从困难样本库中随机选取一个困难样本，并使用该困难样本对所述医学图像分割模型进行训练。当r小于t时，从所述训练图像中采用普通采样方法获取普通样本，并使用该普通样本对所述医学图像分割模型进行训练。
86.s44，在一个训练轮的训练完成以后，对所述困难样本库进行更新。
87.其中，对所述困难样本库进行更新的实现方法包括：清空所述困难样本库；利用该训练轮得到的医学图像分割模型对各训练图像进行预测，若所述训练图像的尺寸为w
×
h，则各所述训练图像的预测结果的尺寸为c
×
w
×
h，其中c为类别数；获取各所述训练图像的预测效果以及尺寸为w
×
h的误差图；基于所述误差图获取所述训练图像的预测效果，当所述训练图像的预测效果较差时，通过池化求取误差和最大的尺寸为w
×
h的区域，并记录其编号和坐标归入所述困难样本库。
88.s45，重复上述步骤s43～s44，直到对所述医学图像分割模型的训练结束。
89.根据以上描述可知，本实施例提供了一种医学图像分割模型的训练方法，该方法弥补了市场上医疗图像分割算法训练的缺陷，在节约显存的同时实现了更好的训练效果。并且，该方法尤其适用于大尺寸医学图像，例如，尺寸在512
×
512以上的医学图像。此外，与一些相关技术中基于困难样本的训练方法相比，本实施例所述医学图像分割模型的训练方法没有增量样本，因而不会增加训练时间。
90.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
91.基于以上对所述医学图像分割模型的训练方法的描述，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图1a或图4所示医学图像分割模型的训练方法。
92.基于以上对所述医学图像分割模型的训练方法的描述，本发明还提供一种电子设备。具体地，请参阅图5，于本发明的一实施例中，所述电子设备500包括存储器510和处理器520，所述存储器510存储有计算机程序，所述处理器520与所述存储器510通信相连，调用所述计算机程序时执行图1a或图4所示医学图像分割模型的训练方法。
93.可选地，所述电子设备500还包括显示器530，所述显示器530与所述存储器510和所述处理器520通信相连，用于显示所述医学图像分割模型的训练方法的相关gui交互界面。
94.本发明所述医学图像分割模型的训练方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案
都包括在本发明的保护范围内。
95.于所述医学图像分割模型的训练方法中，采用普通样本或困难样本来对所述医学图像分割模型进行训练，其中，所述普通样本和所述困难样本的尺寸小于所述训练图像，因此，可以直接利用所述普通样本和所述困难样本完成对所述医学图像分割模型的训练。
96.此外，所述医学图像分割模型的训练方法包括对所述医学图像进行第一阶段和第二阶段的训练，其中，所述第一阶段采用普通样本对所述医学图像分割模型进行训练，以使所述医学图像分割模型适应数据，所述第二阶段采用普通样本或困难样本对所述医学图像分割模型进行训练，以避免出现训练不足或者过度训练的问题，从而在节约显存的同时实现更好的训练效果。
97.综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
98.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。