神经网络模型训练方法、装置及系统与流程

文档序号:12064762阅读:318来源:国知局
神经网络模型训练方法、装置及系统与流程

本发明涉及图像处理领域,特别涉及一种神经网络模型训练方法、装置及系统。



背景技术:

图像分割是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的技术。它是由图像处理到图像分析的关键步骤。

目前,在医学领域,可以使用神经网络模型对医学图像进行分割,该神经网络模型可以采用预先确定的训练样本对初始神经网络模型进行训练得到(示例的,可以采用最速下降法进行训练)。具体的,服务器可以在线下预先收集大量训练样本,每个训练样本包括原始图像和原始图像的分割结果,采用该多个训练样本对原始神经网络模型进行训练得到训练后的神经网络模型,在将该神经网络训练成功后,可以发布新的神经网络模型版本供客户端下载。

但是,目前在医学领域中,训练神经网络模型时,需要先建立一原始神经网络模型,并线下收集训练样本,神经网络模型的训练时间较长,训练的准确性较低。



技术实现要素:

为了解决现有技术神经网络模型的训练时间较长,训练的准确性较低的问题,本发明实施例提供了一种神经网络模型训练方法、装置及系统。所述技术方案如下:

第一方面,提供了一种神经网络模型训练方法,应用于医学图像分割系统的服务器,所述方法包括:

接收多个客户端发送的医学样本,其中,第一客户端发送的医学样本包括:多张CT图像和每张CT图像对应的第一标签图像,所述第一标签图像用于标识所述CT图像包含的指定器官,所述第一标签图像是所述第一客户端采用本地神经网络模型对所述多张CT图像进行分割得到的,所述第一客户端为所述多个客户端中的任一客户端;

根据所述多个客户端发送的医学样本,训练所述服务器中的第一神经网络模型,所述第一神经网络模型为所述服务器中最新版本的神经网络模型。

可选地,所述根据所述多个客户端发送的医学样本,训练所述服务器中的第一神经网络模型,包括:

删除所述多个客户端发送的医学样本中不准确的医学样本,得到训练样本;

采用所述训练样本训练所述服务器中的所述第一神经网络模型。

可选地,所述删除所述多个客户端发送的医学样本中不准确的医学样本,得到训练样本,包括:

依次显示第一样本的多个掩膜图像,每个掩膜图像由所述第一样本中的一个标签图像叠加在相应的CT图像上形成,所述第一样本为所述多个客户端发送的医学样本中的任一样本;

接收人工在所述任一掩膜图像所在界面或所述第一样本所在界面触发的对所述第一样本的删除操作;

根据所述删除操作将所述第一样本作为不准确的样本删除。

可选地,所述删除所述多个客户端发送的医学样本中不准确的医学样本,得到训练样本,包括:

将所述第一样本中的每张CT图像采用所述服务器中预设的标准神经网络模型进行分割,得到与所述每张CT图像对应的第二标签图像,所述第二标签图像用于标识所述CT图像包含的指定器官,所述第一样本为所述多个客户端发送的医学样本中的任一样本;

判断所述CT图像的分割图像差值是否大于预设差值阈值,所述分割图像差值为对应于同一CT图像的所述第一标签图像与所述第二标签图像的图像差值;

当分割图像差值大于预设差值阈值的CT图像在所述第一样本中的占比大于预设比值时,将所述第一样本存储至人工确认数据库,所述人工确认数据库中的样本用于由人工确认是否删除;

当分割图像差值大于预设差值阈值的CT图像在所述第一样本中的占比不大于预设比值时,将所述第一样本存储至训练样本数据库,所述训练样本数据库中的样本用于训练神经网络模型;

将所述人工确认数据库中确认不删除的样本和/或所述训练样本数据库中的样本确定为所述训练样本。

可选地,在所述根据所述多个客户端发送的医学样本,训练所述服务器中的第一神经网络模型之后,所述方法还包括:

将第二神经网络模型发送至多个测试客户端,所述第二神经网络模型为根据所述多个客户端发送的医学样本训练所述服务器中的第一神经网络模型所得到的神经网络模型;

接收所述多个测试客户端对所述第二神经网络模型的打分;

根据所述多个测试客户端对所述第二神经网络模型的打分,确定测试分数;

判断所述测试分数是否大于预设的及格分数;

当所述测试分数大于预设的及格分数,将所述第二神经网络模型确定为最新版本的神经网络模型;

当所述测试分数不大于预设的及格分数,将所述第一神经网络模型确定为最新版本的神经网络模型。

第二方面,提供了一种神经网络模型训练方法,应用于医学图像分割系统的第一客户端,所述方法包括:

获取包括多张计算机断层扫描CT图像的待分割样本,所述CT图像包含指定器官的图像;

采用所述第一客户端内的本地神经网络模型对每张CT图像进行分割,得到与所述每张CT图像对应的第一标签图像,所述第一标签图像用于标识所述CT图像包含的指定器官;

将医学样本发送至所述服务器,以便于所述服务器根据所述医学样本训练所述服务器中的第一神经网络模型,所述第一神经网络模型为所述服务器中最新版本的神经网络模型,所述医学样本包括:所述每张CT图像和所述每张CT图像对应的所述第一标签图像。

第三方面,提供了一种神经网络模型训练装置,应用于医学图像分割系统的服务器,所述装置包括:

第一接收模块,用于接收多个客户端发送的医学样本,其中,第一客户端发送的医学样本包括:多张CT图像和每张CT图像对应的第一标签图像,所述第一标签图像用于标识所述CT图像包含的指定器官,所述第一标签图像是所述第一客户端采用本地神经网络模型对所述多张CT图像进行分割得到的,所述第一客户端为所述多个客户端中的任一客户端;

训练模块,用于根据所述多个客户端发送的医学样本,训练所述服务器中的第一神经网络模型,所述第一神经网络模型为所述服务器中最新版本的神经网络模型。

可选地,所述训练模块,包括:

删除子模块,用于删除所述多个客户端发送的医学样本中不准确的医学样本,得到训练样本;

训练子模块,用于采用所述训练样本训练所述服务器中的所述第一神经网络模型。

第四方面,提供了一种神经网络模型训练装置,应用于医学图像分割系统的第一客户端,所述装置包括:

获取模块,用于获取包括多张计算机断层扫描CT图像的待分割样本,所述CT图像包含指定器官的图像;

分割模块,用于采用所述第一客户端内的本地神经网络模型对每张CT图像进行分割,得到与所述每张CT图像对应的第一标签图像,所述第一标签图像用于标识所述CT图像包含的指定器官;

发送模块,用于将医学样本发送至所述服务器,以便于所述服务器根据所述医学样本训练所述服务器中的第一神经网络模型,所述第一神经网络模型为所述服务器中最新版本的神经网络模型,所述医学样本包括:所述每张CT图像和所述每张CT图像对应的所述第一标签图像。

第五方面,提供了一种医学图像分割系统,所述医学图像分割系统包括:至少一个服务器和与所述服务器相连的至少一个第一客户端;

所述服务器包括第三方面所述的神经网络模型训练装置;

每个所述第一客户端包括第四方面所述的神经网络模型训练装置。

本发明实施例提供的技术方案带来的有益效果是:

本发明实施例提供的神经网络模型训练方法、装置及系统,通过服务器在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,接收多个客户端发送的包含多张CT图像和标签图像的医学样本,对最新的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型训练的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的神经网络模型训练方法所涉及的实施环境的示意图;

图2是本发明实施例提供的一种神经网络模型训练方法的流程图;

图3是本发明实施例提供的另一种神经网络模型训练方法的流程图;

图4是本发明实施例提供的又一种神经网络模型训练方法的流程图;

图5是本发明实施例提供的一种根据多个客户端发送的医学样本训练服务器中的第一神经网络模型的流程图;

图6-1是本发明实施例提供的一种显示的某个掩膜图像的示意图;

图6-2是本发明实施例提供的另一种显示的某个掩膜图像的示意图;

图7-1是本发明实施例提供的一种模型打分界面示意图;

图7-2为是本发明实施例提供的另一种模型打分界面示意图;

图8是本发明实施例提供的一种神经网络模型训练装置的结构框图;

图9是本发明实施例提供的一种训练模块的结构框图;

图10是本发明实施例提供的另一种神经网络模型训练装置的结构框图;

图11是本发明实施例提供的又一种神经网络模型训练装置的结构框图;

图12是本发明实施例提供的再一种神经网络模型训练装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

请参见图1,其示出了本发明实施例中提供的神经网络模型训练方法所涉及的一种医学图像分割系统的实施环境的示意图。该实施环境可以包括:服务器110和多个具有显示屏的客户端120。

服务器110可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。客户端120为具有显示屏的医疗设备。

服务器110和客户端120之间可以通过有线网络或无线网络建立连接,客户端120可以为服务器110提供训练样本,服务器110可以使用该样本对神经网络模型进行训练,客户端120可以从服务器110中下载训练好的神经网络模型进行医学图像分割。

图2为本发明实施例提供的一种神经网络模型训练方法的流程图,该方法应用于医学图像分割系统的服务器,如图2所示,该方法可以包括:

步骤101、服务器接收多个客户端发送的医学样本,其中,第一客户端发送的医学样本包括:多张计算机断层扫描(英文:Computed Tomography;简称:CT)图像和每张CT图像对应的第一标签图像,该第一标签图像用于标识CT图像包含的指定器官,第一标签图像是第一客户端采用本地神经网络模型对多张CT图像进行分割得到的,第一客户端为多个客户端中的任一客户端。

步骤102、服务器根据多个客户端发送的医学样本,训练服务器中的第一神经网络模型,该第一神经网络模型为服务器中最新版本的神经网络模型。

综上所述,本发明实施例提供的神经网络模型训练方法,通过服务器在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,接收多个客户端发送的包含多张CT图像和标签图像的医学样本,对最新版本的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型的准确性。

图3为本发明实施例提供的一种神经网络模型训练方法的流程图,该方法应用于医学图像分割系统的第一客户端,第一客户端为多个客户端中的任一客户端,如图3所示,该方法可以包括:

步骤201、获取包括多张计算机断层扫描CT图像的待分割样本,该CT图像包含指定器官的图像。

步骤202、采用第一客户端内的本地神经网络模型对每张CT图像进行分割,得到与每张CT图像对应的第一标签图像,该第一标签图像用于标识CT图像包含的指定器官。

步骤203、将医学样本发送至服务器,以便于服务器根据医学样本训练服务器中的第一神经网络模型,该第一神经网络模型为服务器中最新版本的神经网络模型,医学样本包括:每张CT图像和每张CT图像对应的第一标签图像。

综上所述,本发明实施例提供的神经网络模型训练方法,在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,通过向服务器发送包含多张CT图像和标签图像的医学样本,使服务器能够根据医学样本对最新的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型的准确性。

图4为本发明实施例提供的另一种神经网络模型训练方法的流程图,服务器可以通过收集各个客户端上传的样本来训练服务器中的最新的神经网络模型,该神经网络模型训练方法应用于如图1所述的实施环境中,本发明实施例以多个客户端中的第一客户端为例进行说明,在本发明实施例中,服务器在得到新的神经网络模型后,还可以通过测试客户端对该新的神经网络模型来进行测试,以确定该新的神经网络模型的有效性,可选地,该第一客户端也可以为预设的测试客户端。如图4所示,该方法可以包括:

步骤301、第一客户端获取包括多张计算机断层扫描CT图像的待分割样本,该CT图像包含指定器官的图像。

可选地,每个待分割样本可以是一个患者的病例。一个患者的病例通常由几百张CT图像组成,每张CT图像即为包含患者指定器官的图像。示例地,某病患的一个病例包括300张CT图像,其中,每张CT图像为包含患者指定器官的图像,示例的,该每张CT图像可以是患者胸部的CT图像,包含该患者胸部的指定器官,则该300张CT图像可以组成一个待分割样本。

步骤302、第一客户端采用第一客户端内的本地神经网络模型对每张CT图像进行分割,得到与每张CT图像对应的第一标签图像。

可选的,该本地神经网络模型可以为第一客户端从服务器中下载得到的最新版本的神经网络模型,该第一标签图像用于标识对应的CT图像包含的指定器官。

实际应用中,服务器中可能存储有多个版本的神经网络模型,每个版本的神经网络模型可以对应一个唯一标识该神经网络模型的版本号,该版本号通常由服务器进行分配,例如该版本号可以为1.1或1.2等。第一客户端可以周期性地向服务器请求下载神经网络模型,服务器接收该请求之后可以向第一客户端提供神经网络模型,通常服务器为各个客户端提供的神经网络模型均是最新版本的神经网络模型;或者,服务器可以向各个客户端定期推送最新版本的神经网络模型,因此,第一客户端获取的是最新版本的神经网络模型。

通常的,当第一客户端接收到指示用于分割待分割样本中CT图像的分割指令时,可以先判断该第一客户端内的本地神经网络模型是否为最新版本的神经网络模型,本地神经网络模型为最新版本的神经网络模型时,采用该最新版本的神经网络模型进行CT图像分割,本地神经网络模型不为最新版本的神经网络模型时,第一客户端可以从服务器下载最新版本的神经网络模型,并采用该最新版本的神经网络模型进行CT图像分割。实际应用中,第一客户端可以获取服务器中最新版本的神经网络模型的版本号,通过将该版本号与第一客户端内的本地神经网络模型的版本号进行比较,可以确定第一客户端内的本地神经网络模型是否为最新版本的神经网络模型,当服务器中最新版本的神经网络模型的版本号大于第一客户端内的本地神经网络模型的版本号时,第一客户端内的本地神经网络模型不是最新版本的神经网络模型;当服务器中最新版本的神经网络模型的版本号等于第一客户端内的本地神经网络模型的版本号时,第一客户端内的本地神经网络模型是最新版本的神经网络模型。示例地,假设第一客户端获取的服务器中最新版本的神经网络模型的版本号为1.5,第一客户端内的本地神经网络模型的版本号为1.2,可知1.5>1.2则可以确定第一客户端内的本地神经网络模型不是最新版本的神经网络模型。

第一客户端采用本地神经网络模型对每张CT图像进行分割时,将指定器官作为分割目标,即可得到与每张CT图像对应的第一标签图像,,该第一标签图像用于标识对应的CT图像包含的指定器官。示例地,该指定器官可以为肝脏器官。可选地,分割得到的第一标签图像可以为二值图像,则第一标签图像中指定器官对应的像素的像素值可以为1,非指定器官部位对应的像素的像素值可以为0,或者,分割得到的第一标签图像也可以为灰度图像,则第一标签图像中指定器官对应的像素的像素值可以为255,非指定器官部位对应的像素的像素值可以为0。示例地,采用本地神经网络模型对每张CT图像进行分割时,可选择肝脏器官作为指定器官,则可得到与每张CT图像对应的包括肝脏器官的第一标签图像,该第一标签图像中肝脏对应的像素的像素值为1,非肝脏部位对应的像素的像素值为0。

可选地,本发明实施例涉及的神经网络模型可以为卷积神经网络。

需要说明的是,在采用本地神经网络模型对每张CT图像进行分割之前,可以对每张CT图像进行图像预处理。该预处理过程包括:

步骤a、读取CT图像,并记录CT图像的窗宽W、窗位信息M。

一般地,CT图像为医学数字成像和通信(英文:Digital Imaging and Communications in Medicine;简称:DICOM)格式的图像。

窗宽指CT图像的CT值范围。窗宽的宽窄影响图像的对比度,窄窗宽显示的CT值范围小,每级灰阶代表的CT值幅度小,则图像对比度强。窗位指窗宽上、下限CT值的平均数。窗位的高低影响图像的亮度,窗位低图像亮度高呈白色,窗位高图像亮度低呈黑色。

步骤b、根据CT图像的窗宽和窗位信息按照第一公式确定CT图像的灰度分布范围。

该第一公式为:α=M-W/2,β=M+W/2;其中,W为CT图像的窗宽,M为CT图像的窗位,α为DICOM图像中指定器官对应的像素的最小值,β为CT图像中指定器官对应的像素的最大值。

步骤c、根据CT图像的灰度分布范围对CT图像进行灰度变换。

可选地,可以按照第二公式对CT图像进行灰度变换,该第二公式为:

其中,C(i,j)为变换前的CT图像(i,j)位置处的像素点的灰度值,D(i,j)为变换后的CT图像(i,j)位置处的像素点的灰度值。

步骤d、对灰度变换后的CT图像做形态学膨胀操作,并获取膨胀操作后的CT图像的连通区域。

步骤e、确定CT图像的目标连通区域,并根据该目标连通区域对CT图像进行裁剪,得到裁剪后的CT图像。

可选地,可以根据指定器官在CT图像中所占面积的大小确定目标连通区域。示例地,当指定器官为肝脏时,由于肝脏在每张CT图像中所占面积最大,因此,可以将该目标连通区域确定为最大连通区域。

可选地,在对CT图像进行裁剪时,以目标连通区域的中心,使目标连通区域的边缘与裁剪后的CT图像的边缘相切。由于每张CT图像中包括有多个器官,若直接对包含有多个器官的CT图像进行分割,其分割速度和分割结果的准确性必然会受到一定程度的影响,因此,在采用本地神经网络模型对每张CT图像进行分割之前,可以根据指定器官所在的目标连通区域的大小对CT图像进行裁剪以提高分割的速度和分割结果的准确性。

步骤f、将裁剪后的CT图像缩放到目标尺寸,并将缩放后的图像保存为目标图像格式。

在对神经网络模型进行训练时,用于训练的每张图像的大小相同。但是,指定器官在每张CT图像中的大小可能不一样,所以根据指定器官所在的目标连通区域的大小裁剪后的CT图像可能具有不同的大小,因此,需要将裁剪后的CT图像缩放到目标尺寸。

示例地,该目标尺寸可以为301*400。实际应用中,该目标尺寸可以根据需要进行调整,本发明实施例在此不做限定。

可选地,目标图像格式可以为BMP格式、JPEG格式和PNG格式等格式。

可选地,在采用本地神经网络模型对每张CT图像进行分割之后,还可以采用人工手动的方式对分割结果进行微调,微调可以表现为在分割结果中切割部分图像或者在分割结果中增加部分图像,以进一步提高分割结果的准确性。

实际应用中,在第一客户端接收到指示用于分割待分割样本中CT图像的分割指令后,若本地神经网络模型不为最新版本的神经网络模型,第一客户端可以向用户呈现提示信息,用于提示用户进行神经网络模型的更新,若用户指示不进行神经网络模型的更新,第一客户端可以采用本地神经网络模型进行CT图像分割,由于最后得到的样本不是采用最新版本的神经网络模型处理得到的,第一客户端可以不上传该样本,也可以在上传该样本时标注该样本所对应的神经网络模型的版本号,由服务器根据预设规则确定是否使用该样本进行神经网络模型的训练。例如,服务器可以使用该样本对其对应的神经网络模型进行训练,也可以使用该样本对最新版本的神经网络模型进行训练。

步骤303、第一客户端将医学样本发送至服务器,该医学样本包括:每张CT图像和每张CT图像对应的第一标签图像。

需要说明的是,第一客户端可以在该客户端处于空闲状态(也即没有进行其他数据的处理或传输的状态)时,将医学样本发送至服务器,以避免影响客户端的其他数据的处理效率。

可选的,客户端也可以周期性地将新增的医学样本发送至服务器。

步骤304、服务器根据多个客户端发送的医学样本,训练服务器中的第一神经网络模型,该第一神经网络模型为服务器中最新版本的神经网络模型。

现有的神经网络训练方法,会将所有收集的样本用于神经网络的训练。但是,当收集的样本中的某些样本有误差且误差较大时,若继续采用该样本训练神经网络,不但不会增加训练精度,还会带来相反的结果。因此,在服务器接收多个客户端发送的医学样本之后,可以对接收到的第一样本进行筛选,然后采用经过筛选的样本作为训练样本,对服务器中的第一神经网络模型进行训练,以提高神经网络的收敛速度和训练精度。示例地,该筛选过程可以为删除多个客户端发送的医学样本中不准确的医学样本。

可选地,如图5所示,根据多个客户端发送的医学样本,训练服务器中的第一神经网络模型的过程可以包括:

步骤3041、服务器删除多个客户端发送的医学样本中不准确的医学样本,得到训练样本。

可选地,服务器删除多个客户端发送的医学样本中不准确的医学样本的过程,可以有多种可实现方式,本发明实施例以以下两种可实现方式为例进行说明。

第一种可实现方式,可以通过人工筛选来实现不准确的医学样本的删除,具体可以包括:

步骤a1、服务器依次显示第一样本的多个掩膜图像,每个掩膜图像由第一样本中的一个标签图像叠加在相应的CT图像上形成,该第一样本为多个客户端发送的医学样本中的任一样本。

可选地,服务器可以设置有输入输出接口,通过该输入输出接口连接外部输入输出设备,例如,该输入输出设备包括显示屏,服务器可以在该输入输出设备的显示屏上依次显示第一样本的多个掩膜图像,该显示屏可以是为服务器配置的维护设备的显示屏。第一样本的多个掩膜图像是指,第一样本中的一个标签图像叠加在相应的CT图像上形成图像,在掩膜图像中,以原图的方式对CT图像进行显示,以一定透明度的方式对标签图像进行显示,且标签图像中指定器官对应的像素具有一定的像素值。通过这样的显示方式,可以方便地对标签图像和CT图像中的指定器官进行对照查看,以便于判断分割结果的准确性。示例地,显示屏显示的某个掩膜图像可以如图6-1所示,假设该掩膜图像中,以点填充的图像部分为标签图像中的指定器官对应的图像部分,该掩膜图像中以斜线填充的图像部分为CT图像中指定器官对应的图像部分,通过对该掩膜图像的查看,可以看到CT图像中指定器官对应的图像和标签图像中指定器官对应的图像有互相重叠的部分和不重叠部分,该互相重叠的部分反映为分割结果中分割准确的部分,该不重叠的部分反映为分割结果中分割不准确的部分,通过该对比,可以看出分割结果的准确度,当该准确度差到一定程度时,即可认为该分割结果不准确。图中虚线可用于标示图像的中心位置,可以借助该中心位置判断指定器官的位置。

为了便于用户对比,服务器还可以同时将第一样本对应的三维图像显示在掩膜图像的显示界面中,该三维图像为根据第一样本中的多张CT图像生成的。示例地,图6-2中同时显示了第一样本的掩膜图像(左上)和三维图像(右下),同时,为了便于用户查看,图6-2中还显示了患者腹腔的正视透视图(右上)和左视透视图(左下),图中虚线可用于标示图像的中心位置,可以借助该中心位置判断指定器官的位置。对图6-2的分析,可以相应参考对图6-1的分析,此处不再赘述。

步骤b1、服务器接收人工在任一掩膜图像所在界面或第一样本所在界面触发的对第一样本的删除操作。

可选地,当维护人员在服务器对第一样本的多个掩膜图像进行查看时,当其认为多个掩膜图像不准确导致该第一样本不准确时,维护人员可以对第一样本进行人工删除,维护人员可以人工在任一掩膜图像所在界面或第一样本所在界面触发对第一样本的删除操作,示例地,该删除操作可以为维护人员通过鼠标在相应的界面操作产生的。例如,每个掩膜图像所在界面或者每个样本所在界面可以设置有第一样本对应的删除按钮,当人工点击该删除按钮时,生成相应的删除指令。

步骤c1、服务器根据删除操作将第一样本作为不准确的样本删除。

可选地,当服务器接收了人工触发的对第一样本的删除操作之后,可以根据该删除操作将对应的第一样本作为不准确的样本进行删除。

示例地,该对第一样本的删除操作是在维护人员在掩膜图像对应的界面触发的,例如该界面可以是在图6-1或图6-2中所示的界面,也即是,服务器接收了人工在任一掩膜图像所在界面上触发删除操作之后,根据系统设置,可以默认维护人员认为该掩膜图像对应的第一样本为不准确的样本,则服务器可以在当前掩膜图像的界面中对第一样本进行删除,或者,维护人员在第一样本对应的界面触发删除操作,服务器相应删除第一样本。

第二种可实现方式,通过服务器和人工结合的筛选方式实现不准确的医学样本的删除,具体可以包括:

步骤a2、服务器将第一样本中的每张CT图像采用服务器中预设的标准神经网络模型进行分割,得到与每张CT图像对应的第二标签图像,该第二标签图像用于标识CT图像包含的指定器官,该第一样本为多个客户端发送的医学样本中的任一样本。

可选地,服务器中预设的标准神经网络模型通常是维护人员预先设置的最可靠的神经网络模型,示例地,可以为服务器中存储的最新版本的神经网络模型。

步骤b2、服务器判断CT图像的分割图像差值是否大于预设差值阈值,分割图像差值为对应于同一CT图像的第一标签图像与第二标签图像的图像差值。

可选地,第一标签图像与第二标签图像的图像差值可以通过对应图像中指定器官的面积差值表示。该面积差值可以表现为图像中指定器官包含的像素点数目的差值。

实际应用中,预设差值阈值可以根据实际情况进行设置,本发明实施例对其不做具体限定。

步骤c2、当分割图像差值大于预设差值阈值的CT图像在第一样本中的占比大于预设比值时,服务器将第一样本存储至人工确认数据库,人工确认数据库中的样本用于由人工确认是否删除,执行步骤e2。

示例地,上述预设比值可以为5%。

可选地,分割图像差值大于预设差值阈值的CT图像在第一样本中的占比,可以通过分割图像差值大于预设差值阈值的CT图像的总数与第一样本中包含的CT图像的总数的比值来表现。示例地,假设预设比值为5%,第一样本中包含的CT图像的总数为300,分割图像差值大于预设差值阈值的CT图像的总数为21,则分割图像差值大于预设差值阈值的CT图像在第一样本中的占比为7%,可知7%>5%,则服务器将该第一样本存储至人工确认数据库,由人工确认该第一样本是否删除。

步骤d2、当分割图像差值大于预设差值阈值的CT图像在第一样本中的占比不大于预设比值时,服务器将第一样本存储至训练样本数据库,训练样本数据库中的样本用于训练神经网络模型,执行步骤e2。

步骤e2、服务器将人工确认数据库中确认不删除的样本和/或训练样本数据库中的样本确定为训练样本。

可选地,可以将人工确认数据库中确认不删除的样本确定为训练样本,也可以将训练样本数据库中的样本确定为训练样本,也可以同时将人工确认数据库中确认不删除的样本和训练样本数据库中的样本均确定为训练样本,本发明实施例对其不做具体限定。示例地,假设人工确认数据库中确认不删除的样本为样本1,训练样本数据库中的样本为样本2和样本3,则服务器可以将样本1确定为训练样本,也可以将样本2和样本3确定为训练样本,或者,也可以将样本1、样本2和样本3均确定为训练样本。

服务器删除多个客户端发送的医学样本中不准确的医学样本的第一种可实现方式需要人工参与,该人工参与筛选样本的方式使得收集更为异常的样本成为可能,从而使分割准确的样本范围更广泛;第二种可实现方式能够减少人工的工作量,能够在实现神经网络模型自动化更新的同时,保证分割结果的准确性。

步骤3042、服务器采用训练样本训练服务器中的第一神经网络模型。

可选地,服务器可以将所有训练样本打包,然后将打包后的训练样本用于训练第一神经网络模型,该第一神经网络模型为服务器中最新版本的神经网络模型。在打包的训练样本中,每张CT图像与对应的第一标签图像一一对应。

可选地,可以采用前馈反向传播算法对第一神经网络模型进行训练,也可以采用其他算法对第一神经网络模型进行训练,该训练过程可以参考现有技术,本发明实施例对其不再赘述。

步骤305、服务器将第二神经网络模型发送至第一客户端。

该第二神经网络模型为根据多个客户端发送的医学样本,训练服务器中的第一神经网络模型所得到的神经网络模型。

可选地,由于训练后的第二神经网络模型的性能并非一定优于训练前的第一神经网络模型(例如,训练所选择的错误样本过多,导致训练得到的神经网络模型精度较低),因此,服务器在完成对第二神经网络模型的训练之后,可以将训练好的第二神经网络模型发送至多个测试客户端,用于测试第二神经网络模型的图像分割效果。在本发明实施例中,第一客户端也可以为预设的测试客户端,因此,服务器可以将第二神经网络模型发送至第一客户端。

可选地,用于测试的多个测试客户端可以为多个客户端中的部分客户端,也可以为全部客户端。在实际应用中,具体由哪些客户端充当测试客户端可以根据实际需要进行设定,本发明实施例对其不做具体限定。

步骤306、第一客户端在使用第二神经网络模型后,显示模型打分界面。

可选地,第一客户端可以为预设的测试客户端。在将医学样本发送至服务器之后,充当测试客户端的第一客户端可以接收服务器发送的第二神经网络模型,并在使用第二神经网络模型后,显示模型打分界面。用户(通常为医护人员)可以在该模型打分界面中对第二神经网络模型进行打分,该打分可以表征第二神经网络模型对医学图像分割结果的准确性,打分越高,则表示用户认为分割结果越准确。示例地,该打分可以为百分制打分。打分的具体标准可以根据实际应用进行设定,本发明实施例对其不做具体限定。

示例地,图7-1为本发明实施例提供的一种模型打分界面示意图,该模型打分界面仅显示了打分区域01,图7-2为本发明实施例提供的另一种模型打分界面示意图,该模型打分界面显示了打分区域01、分割结果显示区域02和待分割图像显示区域03。在图7-1和图7-2显示的打分区域01中用户可以对根据自己的判断准则对第二神经网络模型进行打分,以表征第二神经网络模型对医学图像分割结果的准确性。实际应用中,模型打分界面还可以有其他形式,本发明实施例对其不做具体限定。

步骤307、第一客户端通过模型打分界面接收用户对第二神经网络模型的打分。

示例地,在图7-1和图7-2显示的打分区域01中,用户可以通过鼠标点击打分区域中的数字和“.”对第二神经网络模型进行打分,可以通过鼠标点击打分区域中的“×”对打分进行修改。

步骤308、第一客户端将打分发送至服务器。

步骤309、服务器根据第一客户端对第二神经网络模型的打分,确定测试分数。

可选地,服务器接收多个测试客户端对第二神经网络模型的打分之后,可以根据该打分确定测试分数,该测试分数可以为多个测试客户端打分的平均分,也可以为多个测试客户端打分的最低分,或者,也可以为根据多个测试客户端对测试分数影响的程度计算出的分数,示例地,多个测试客户端对测试分数影响的程度可以通过权值进行表示。实际应用中,根据多个打分确定测试分数的方式可以根据实际进行设定,本发明实施例对其不做具体限定。

示例地,假设多个客户端中有三个客户端为测试客户端,分别为客户端1、客户端2和客户端3,服务器接收的三个客户端的打分分别为80、85和90,三个客户端对测试分数影响的程度的权值分别为0.2、0.3和0.5。当测试分数为多个测试客户端打分的平均分时,可以确定测试分数为(80+85+90)/3=85;当测试分数为多个测试客户端打分的最低分时,可以确定测试分数为80;当测试分数为根据三个测试客户端对测试分数影响的程度计算出的分数时,可以确定测试分数为80*0.2+85*0.3+90*0.5=86.5。

步骤3010、服务器判断测试分数是否大于预设的及格分数。

可选地,预设的及格分数可以为表示当前的第二神经网络模型的分割结果的准确性高于训练前的第一神经网络的分割结果的准确性的最低分数。该预设的及格分数可以为人为设定的一个分数值,例如,可以人为设定该预设的及格分数为80;也可以为对第一神经网络模型进行测试时的测试分数,例如,对第一神经网络模型进行测试时的测试分数为82,则该预设的及格分数可以设置为82;或者,该预设的及格分数的数值可以根据情况进行设定,本发明实施例对其不做具体限定。

测试分数大于预设的及格分数,也即是,当前使用的第二神经网络模型的分割结果的准确性高于训练前的第一神经网络分割结果的准确性;测试分数不大于预设的及格分数,也即是,当前的第二神经网络模型的分割结果的准确性不高于训练前的第一神经网络的分割结果的准确性。

步骤3011、当测试分数大于预设的及格分数,服务器将第二神经网络模型确定为最新版本的神经网络模型。

示例地,假设预设的及格分数为80,第二神经网络模型的测试分数为82,可知82>80,也即是测试分数大于预设的及格分数,则可将第二神经网络模型确定为最新版本的神经网络模型。

步骤3012、当测试分数不大于预设的及格分数,服务器将第一神经网络模型确定为最新版本的神经网络模型。

示例地,假设预设的及格分数为80,第二神经网络模型的测试分数为79,可知79<80,也即是测试分数不大于预设的及格分数,则可将第一神经网络模型确定为最新版本的神经网络模型。

可选地,医学图像分割系统中包含的多个客户端在采用本地神经网络模型对CT图像进行分割后,均可以对本地神经网络模型进行打分,也即是,即使某客户端不是测试客户端,该客户端也可以对本地神经网络模型进行打分,该打分可以为常规打分,客户端可以通过该打分向服务器反馈其使用的本地神经网络模型的分割准确性。其打分过程可以为:显示模型打分界面,通过模型打分界面接收用户对本地神经网络模型的打分,并将打分发送至服务器。对该打分的相关描述和该打分的具体实现过程可以参考测试客户端对第二神经网络模型的打分,此处不再赘述。

需要说明的是,医学图像分割系统中包含的多个客户端对第一神经网络模型的常规打分为可选操作,对其并不做强制性要求,也即是,在采用本地神经网络模型对CT图像进行分割后,用户可以选择对本地神经网络模型打分或者不对本地神经网络模型打分。

可选地,服务器中可能存储有多个版本的神经网络模型,其中,最新版本的神经网络模型为客户端当前使用的神经网络模型,其他版本的神经网络模型只是供后台维护人员进行记录或参考的。

由于在医学领域中,可以针对不同器官建立相应的神经网络模型,客户端基于该神经网络模型进行医学图像分割,分割后得到的标签图像包括指定器官,本发明上述实施例主要以该指定器官为肝脏为例进行说明,实际应用中,该指定器官还可以是心脏或大脑等,相应的神经网络模型的训练方法可以参考肝脏的神经网络模型的训练方法,本发明实施例对此不作赘述。

需要说明的是,本发明实施例提供的神经网络模型训练方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。

综上所述,本发明实施例提供的神经网络模型训练方法,通过服务器在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,接收多个客户端发送的包含多张CT图像和标签图像的医学样本,根据测试客户端的打分确定最新版本的神经网络模型,并对最新版本的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型的准确性。

图8为本发明实施例提供的一种神经网络模型训练装置800的结构框图,该神经网络模型训练装置800应用于医学图像分割系统的服务器,如图8所示,该神经网络模型训练装置800可以包括:

第一接收模块801,用于接收多个客户端发送的医学样本,其中,第一客户端发送的医学样本包括:多张CT图像和每张CT图像对应的第一标签图像,第一标签图像用于标识CT图像包含的指定器官,第一标签图像是第一客户端采用本地神经网络模型对多张CT图像进行分割得到的,第一客户端为多个客户端中的任一客户端。

训练模块802,用于根据多个客户端发送的医学样本,训练服务器中的第一神经网络模型,第一神经网络模型为服务器中最新版本的神经网络模型。

综上所述,本发明实施例提供的神经网络模型训练装置,在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,通过第一接收模块接收多个客户端发送的包含多张CT图像和标签图像的医学样本,训练模块对最新版本的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型训练的准确性。

如图9所示,训练模块802可以包括:

删除子模块8021,用于删除多个客户端发送的医学样本中不准确的医学样本,得到训练样本。

训练子模块8022,用于采用训练样本训练服务器中的第一神经网络模型。

可选地,删除子模块8021具体用于:

依次显示第一样本的多个掩膜图像,每个掩膜图像由第一样本中的一个标签图像叠加在相应的CT图像上形成,第一样本为多个客户端发送的医学样本中的任一样本。

接收人工在所述任一掩膜图像所在界面或所述第一样本所在界面触发的对所述第一样本的删除操作。

根据删除操作将第一样本作为不准确的样本删除。

可选地,删除子模块8021具体用于:

将第一样本中的每张CT图像采用服务器中预设的标准神经网络模型进行分割,得到与每张CT图像对应的第二标签图像,该第二标签图像用于标识CT图像包含的指定器官,第一样本为多个客户端发送的医学样本中的任一样本。

判断CT图像的分割图像差值是否大于预设差值阈值,分割图像差值为对应于同一CT图像的第一标签图像与第二标签图像的图像差值。

当分割图像差值大于预设差值阈值的CT图像在第一样本中的占比大于预设比值时,将第一样本存储至人工确认数据库,人工确认数据库中的样本用于由人工确认是否删除。

当分割图像差值大于预设差值阈值的CT图像在第一样本中的占比不大于预设比值时,将第一样本存储至训练样本数据库,训练样本数据库中的样本用于训练神经网络模型。

将人工确认数据库中确认不删除的样本和/或训练样本数据库中的样本确定为训练样本。

如图10所示,该神经网络模型训练装置800还可以包括:

发送模块803,用于将第二神经网络模型发送至多个测试客户端,第二神经网络模型为根据多个客户端发送的医学样本训练服务器中的第一神经网络模型所得到的神经网络模型。

第二接收模块804,用于接收多个测试客户端对第二神经网络模型的打分。

第一确定模块805,用于根据多个测试客户端对第二神经网络模型的打分,确定测试分数。

判断模块806,用于判断测试分数是否大于预设的及格分数。

第二确定模块807,用于当测试分数大于预设的及格分数,将第二神经网络模型确定为最新版本的神经网络模型。

第三确定模块808,用于当测试分数不大于预设的及格分数,将第一神经网络模型确定为最新版本的神经网络模型。

综上所述,本发明实施例提供的神经网络模型训练装置,在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,通过第一接收模块接收多个客户端发送的包含多张CT图像和标签图像的医学样本,根据测试客户端的打分确定最新版本的神经网络模型,训练模块对最新版本的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型训练的准确性。

图11为本发明实施例提供的一种神经网络模型训练装置900的结构框图,该神经网络模型训练装置900应用于医学图像分割系统的第一客户端,如图11所示,该神经网络模型训练装置900可以包括:

获取模块901,用于获取包括多张计算机断层扫描CT图像的待分割样本,该CT图像包含指定器官的图像。

分割模块902,用于采用第一客户端内的本地神经网络模型对每张CT图像进行分割,得到与每张CT图像对应的第一标签图像,该第一标签图像用于标识CT图像包含的指定器官。

发送模块903,用于将医学样本发送至服务器,以便于服务器根据医学样本训练服务器中的第一神经网络模型,该第一神经网络模型为服务器中最新版本的神经网络模型,医学样本包括:每张CT图像和每张CT图像对应的第一标签图像。

综上所述,本发明实施例提供的神经网络模型训练装置,在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,通过发送模块向服务器发送包含多张CT图像和标签图像的医学样本,使服务器能够根据医学样本对最新版本的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型训练的准确性。

需要说明的是,第一客户端也可以为预设的测试客户端。当第一客户端为预设的测试客户时,如图12所示,该神经网络模型训练装置900还可以包括:

第一接收模块904,用于接收服务器发送的第二神经网络模型。

显示模块905,用于在使用第二神经网络模型后,显示模型打分界面。

第二接收模块906,用于通过模型打分界面接收用户对第二神经网络模型的打分。

打分发送模块907,用于将打分发送至服务器。

综上所述,本发明实施例提供的神经网络模型训练装置,在多个客户端中的每个客户端采用最新的神经网络模型进行CT图像分割后,通过发送模块向服务器发送包含多张CT图像和标签图像的医学样本,打分发送模块将测试客户端的打分发送至服务器,以便于服务器确定最新版本的神经网络模型,并根据医学样本对最新版本的神经网络模型进行训练,实现神经网络模型的在线训练,缩短了神经网络模型的训练时间,有效地提高了神经网络模型训练的准确性。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置、模块和子模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

本发明实施例还提供了一种医学图像分割系统,该医学图像分割系统包括:至少一个服务器和与服务器相连的至少一个第一客户端,该服务器包括上述神经网络模型训练装置800,该第一客户端包括上述神经网络模型训练装置900。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1