一种对医疗图像进行转换学习的方法和装置与流程

文档序号:11590814阅读:135来源:国知局

本发明涉及医疗人工智能与大数据处理领域,特别涉及一种对医疗图像转换学习的方法和装置。



背景技术:

随着以深度学习框架为内核的新人工智能技术强势崛起,在各个领域都获得了长足的发展与推进,alphago、无人驾驶车、语音识别等人们期盼多年的技术也都在很短的时间内获得了突破。在可见的未来当中,深度学习也将推动医疗行业的大数据分析与人工智能应用的发展。

然而,即便有以上的突破,目前深度学习技术在训练环节仍然存在着比较大的问题:

i)模型训练成本高,目前应用得最好的深度学习和大数据分析模型都是非常庞大的模型,从头开始训练模型的时间动辄数星期甚至数月,消耗大量时间与人力。也不利于建模师对模型的迅速迭代与研发。

ii)某些应用场景训练数据有限,数据当中涵盖的信息不足以支撑训练一个庞大的深度学习模型,严重限制深度学习模型在此类应用场景当中的应用范围。

具体到医疗行业,以上两个问题可以被具体体现为以下:

1)医疗领域维度本来就比一般应用场景要多,每一个病人的诊疗数据纷繁复杂,深度学习和数据分析模型也比一般的要庞大和复杂,训练成本非常高,传统方法对深度学习和大数据、机器学习模型进行学习和训练将耗费大量的人力与物力,大大降低该应用的经济可行性。

2)医疗领域虽然整体数据题量大,但是数据源分散在各个医院当中,缺乏整体可用的统一数据库,围绕单一应用场景的数据量(如病例数)非常有限,数据的变化量不足以支撑训练和运算庞大的深度学习和大数据模型,大大限制深度学习和大数据技术能够被使用的场景。

以上两个点都大大限制深度学习整体技术在医疗行业的发展与持续进步。

一般深度学习与大数据建模当中的训练模块,我们通过样本数据来对模型当中的各项参数进行优化运算,通过训练模块的分析与运算,深度学习和大数据模型参数将变得越来越优化,最终能够形成可以完成特定功能的优化后模型。因此通过样本训练而进行的优化流程在大数据、机器学习与深度学习各项建模当中至关重要。

在医疗行业当中进行建模,往往因为场景复杂需要建立复杂庞大的深度学习和大数据模型来对数据进行学习和训练,可是往往在不同应用场景当中样本数量有限,这为深度学习与大数据建模训练模块当中的参数优化环节带来非常大的压力,往往我们所拥有的数据量不足以支撑整个模型所需要的样本来完成优化,模型往往运算不出足够的效果,优化过程当中找不到最优点。



技术实现要素:

为克服现有技术的不足,本发明提供了一种对医疗图像进行转换学习的方法和装置,可有效解决解决以上优化问题,以提升深度学习在医疗图像领域的实用效果。

本发明的一种对医疗图像进行转换学习的方法,其包括如下步骤:

s1:读取医疗图像的原始数据信息,通过分析数据属性,对数据进行变换加工,整合成待分析模型能够接收的数据格式;

s2:通过待分析模型与已经训练好的模型进行参数比较,来选择转换方式,从而进行参数转换,并将转换学习应用在医疗图像的待分析模型的训练;

s3:当模型训练结束时,将训练好的模型参数应用到该图像类别的分析上;

在步骤s2中,所述参数包括待分析模型和已经训练好的模型的参数;所述转换方式包括:完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。

优选地,所述s2步骤中的参数转换包括如下步骤:

s21:读取已经训练好的模型中的参数,根据已经训练好的模型的格式来构建参数读取接口;

s22:建立对于已经训练好的模型的参数组的预处理功能,其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作;

s23:将预处理完成之后的已经训练好的模型的参数组导入待分析模型中,根据待分析模型的输入输出格式构建载入接口;

s24:对待分析模型的分析过程进行干预,根据待分析模型训练过程当中的相应分析、训练模块的功能参数进行调整。

优选地,所述完全转换方式包括:如果待分析模型与已经训练好的模型的整体结构完全相同,拥有同样的参数数量和参数结构,则将已经训练好的模型的参数整体直接转入待分析模型开始进行训练。

优选地,所述部分转换方式包括:如果待分析模型与已经训练好的模型整体结构不同,或者不希望将已经训练好的模型的所有参数转换到待分析模型当中,则将已经训练好的模型当中的部分参数转换到待分析模型当中;或者不希望待分析模型当中的所有参数都来自于已经训练好的模型,则将待分析模型当中的部分参数从已经训练好的模型转换,剩余参数以其他方式产生和调整。

优选地,所述混合转换方式包括:同时将多个已经训练好的模型的参数以特定方式进行合并,转入待分析模型当中。

优选地,所述参数变形方式包括:在将已经训练好的模型的参数转换进入待分析模型的过程当中,对已经训练好的模型的参数进行特定数学转换,再导入待分析模型当中。

优选地,所述时序导入方式包括:在将已经训练好的模型的参数转换进入待分析模型的过程当中,按照需求在训练过程当中逐步转换进入,而不是一次性完成。

优选地,所述自定义导入方式包括:在将已经训练好的模型的参数转换进入待分析模型的过程当中,对已经训练好的模型转换进入待分析模型的基本流程、结构、目标、方法等进行自定义调整,使得参数导入的过程更符合实际的应用场景。

本发明还涉及一种对医疗图像进行转换学习的装置,其包括:数据处理模块,其读取医疗图像的原始数据信息,通过分析数据属性,对数据进行变换加工,整合成待分析模型能够接收的数据格式;转换学习模块,其通过待分析模型与已经训练好的模型进行参数比较,来选择转换方式,从而进行参数转换,并将转换学习应用在医疗图像的待分析模型的训练;应用模块,其当模型训练结束时,将训练好的模型参数应用到该图像类别的分析上;其中,所述参数包括待分析模型和已经训练好的模型的参数;所述转换学习模块中的转换方式包括:完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。

优选地,所述转换学习模块包括:参数获取子模块,其读取已经训练好的模型中的参数,根据已经训练好的模型的格式来构建参数读取接口;参数预处理子模块:其对已经训练好的模型的参数组进行预处理,其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作;参数导入子模块:其将预处理完成之后的已经训练好的模型的参数组导入待分析模型中,根据待分析模型的输入输出格式构建载入接口;模型干预子模块:其对待分析模型的分析过程进行干预,根据待分析模型训练过程当中的相应分析、训练模块的功能参数进行调整。

本发明提供的技术方案带来的有益效果体现在:在深度学习模型或者大数据模型开始对于训练数据进行学习和优化之前,将在别的应用场景当中已经训练好的模型参数加载到现有模型当中,再开始对模型进行正常的优化运算。本发明提供的方法和装置可以帮助模型在参数空间当中一个比较理想的起点开始进行优化,有助于模型在较短的时间和较少的训练样本即能够寻找到较好的优化点,大大降低模型训练的成本与条件,让更多应用场景下的模型都可以被应用。比如我们可以利用本发明将分析股骨头的数据模型转移到分析和运算胸肺部疾病来进行进一步提升与分析:例如在不利用参数转移只用肺部疾病图片进行训练,得到模型的准确率只能达到65%,而将分析股骨头的数据模型参数转移到肺部疾病模型上后,训练得到模型的准确率可达85%以上,因此降低了肺部疾病建模分析的难度与成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的对医疗图像进行转换学习的方法的示意图;

图2是根据本发明实施例的对医疗图像进行转换学习的方法的流程图;

图3是图2中的方法的参数转换步骤的流程图;

图4是根据本发明实施例的对医疗图像进行转换学习的装置的框图;

图5是图3中的转换学习模块的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式做进一步地详细描述。

本发明提供了一种对医疗图像进行转换学习的方法,如图1所示,其为根据本发明实施例的转换学习的方法的示意图。

场景a为所期望深度学习、机器学习或大数据分析能够学习和分析的医疗场景。首先,收集与场景a相关的训练样本数据,建立训练样本数据库。在训练样本数据库的基础上再建立针对场景a的模型训练模块,而训练模块当中所用到的数学模型涵盖场景a模型的基本框架(模型层)与框架上的参数(参数层)。在训练过程当中,训练模块当中的基本框架保持不变,但是与基本框架上所涵盖的参数会随着运算流程进行一轮又一轮的持续更新,自我学习,逐步优化,让模型逐渐拥有所期望的分析和智能化的效果。

当模型非常复杂,训练样本有限的情况下,场景a的优化过程会非常艰难,很多时候模型甚至起不到想要的效果,场景a的建模和分析过程很容易因此而失败。而参数转换学习方法则可有效解决该问题,可以将场景b理解成为另外一个拥有充足数据,并且深度学习或大数据模型已经拥有非常良好效果的应用场景。

因此,通过待分析模型a与已经训练好的模型b进行参数比较,完成转换学习所需要的参数转换功能。利用参数转换学习方法,将场景b当中训练过后的参数取出,进行加工和预处理,并转移到模型a的基本模型框架当中。

因此,模型a将自己的参数优化流程建立在被转换过来的参数上,模型a的训练模块则不必从头开始对参数进行优化,而是直接在模型b的参数上进行进一步优化即可,模型b当中具有很强特征挖掘能力的参数则通过模型参数转换学习方法有效地被转换到了应用场景a的模型当中。

当参数转换完成后,对医疗图像进行深度学习模型的训练,训练结束时,将模型b的参数应用到相关医疗图像的分析上。该步骤包括将转换学习应用在特定医疗图像的深度学习模型训练,当模型训练结束时,就可以将模型b的参数应用到该图像类别的分析上。

举例说明,模型a目标是训练深度学习模型分析和挖掘肺结节在x光上的特征规律,可以辅助诊断,但是所能获取肺结节数据有限,分析得出的模型效果不好。同时另一方面,可以拥有大量的肺积液x光数据,并成功训练出针对肺积液的深度学习模型b。因此将模型b训练所获得的针对肺积液x光模型参数放入模型a针对肺结节的模型当中开始进行学习。而模型a的训练因为获得了模型b的转换而大大降低了数据量的门槛,训练效果大大提升。

如图2所示,本发明的一种对医疗图像的转换学习的方法包括如下步骤:

s1:读取医疗图像的原始数据信息,通过分析数据属性,对数据进行变换加工,整合成模型a能够接收的数据格式;

s2:通过模型a与模型b进行参数比较,来选择转换方式,从而进行参数转换,并将转换学习应用在医疗图像的模型a的训练;

s3:当模型训练结束时,将模型b参数应用到该图像类别的分析上。

在步骤s2中,所述转换方式包括:完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。

如图3所示,所述s2步骤中的参数转换包括如下步骤:

s21:读取模型b中的参数,根据模型b的格式来构建参数读取接口;

s22:建立对于模型b的参数组的预处理功能,其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作;

s23:将预处理完成之后的模型b的参数组导入模型a中,根据模型a的输入输出格式构建载入接口;

s24:对模型a的分析过程进行干预,根据模型a训练过程当中的相应分析、训练模块的功能参数进行调整。

在模型a训练的过程当中也可以对模型a的训练过程进行干预,调整模型a训练过程当中的一系列控制参数。比如,参数转换模块可以有选择性地调整模型a当中不同参数的学习速度,可以对于更底层的参数减低学习速度,对于更高层次的模型参数放更高的学习速度,让不同的参数拥有不同的学习和调整速度。

其中,模型b的参数转换至模型a的转换方式包括:完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。所述完全转换方式为如果模型a与模型b的整体结构完全相同,拥有同样的参数数量和参数结构,则可以将模型b的参数整体直接转入模型a开始进行训练;所述部分转换方式为如果模型a与模型b整体结构不同,或者不希望将模型b的所有参数转换到模型a当中,参数转换模块仍可以将模型b当中的部分参数转换到模型a当中,或者不希望让模型a当中所有参数都来自于模型b,则可以将模型a当中部分的参数转换自模型b,剩余参数以其他方式产生和调整;所述混合转换方式为参数转化模块可以同时将多个模型(模型b、模型c等)的参数以特定方式进行合并,转入模型a当中;所述参数变形方式为在参数转换模块将模型b的参数转换进入a的过程当中,可以对模型b的参数进行特定数学转换,再导入a当中;所述时序导入方式为在参数转换模块将模型b的参数导入a的过程当中,可以按照需求在训练过程当中逐步导入,不需要一次性完成;所述自定义导入为在参数转换模块将模型b的参数导入a的过程当中,可以对模型b导入a的基本流程、结构、目标、方法等进行自定义调整,使得参数导入的过程更符合实际的应用场景。

如图4所示,本发明还涉及一种对医疗图像进行转换学习的装置,所述装置包括:

数据处理模块,其读取医疗图像的原始数据信息,通过分析数据属性,对数据进行变换加工,整合成模型a能够接收的数据格式;

转换学习模块,其通过模型a与模型b进行参数比较,来选择转换方式,从而进行参数转换,并将转换学习应用在医疗图像的模型a的训练;

应用模块,其当模型训练结束时,将模型b的参数应用到该图像类别的分析上。

如图5所示,其图示了图4中的转换学习模块的框图。所述转换学习模块包括:

1)参数获取子模块,其读取模型b中的参数,根据模型b的格式来构建参数读取接口;

2)参数预处理子模块:其对模型b的参数组进行预处理,其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作;

3)参数导入子模块:其将预处理完成之后的模型b的参数组导入模型s中,根据模型a的输入输出格式构建载入接口;

4)模型干预子模块:其对模型a的分析过程进行干预,根据模型a训练过程当中的相应分析、训练模块的功能参数进行调整。

下面以示例来进行说明。

第一实施例:将智能分析胸部x光模型参数转换学习至智能分析胸部ct模型。

假设已经通过大量数据的学习与分析拥有了一个专门用于分析胸部x光模型。假设每一张x光的数据图像维度为(1,4096,4096),所使用的模型参数矩阵的维度列表为:[32,3,3,3],[64,32,3,3],[128,64,3,3],[2,4096]。

而此时希望分析胸部ct模型,假设胸部ct的每一张片子图像维度为(300,256,256),所使用的模型参数列表为:[32,300,3,3],[64,32,3,3],[128,64,3,3],[1000,4096]。

胸部x光模型数据量充足,训练充分,因此模型效果非常好,而目标训练胸部ct模型,数据量不足,且模型庞大复杂,训练效果非常差。因此可以使用本发明提出的模型参数转换学习装置:

数据处理模块,其将胸部ct数据处理加工成模型可以输入的格式;

转换学习模块;其将胸部x光模型的参数进行转换,对模型进行训练学习;其中:

参数获取子模块,其从胸部x光模型的参数当中获取所有的参数矩阵,收入模块当中;

参数预处理子模块,由于胸部x光模型的参数维度与胸部ct模型的参数维度不同,参数预处理子模块对第一层参数使用特有转换方法进行预处理,此次转换采用的是将胸部x光模型的第一层参数在第二个轴线上重复100遍,最后一层因为不做载入,因此不做任何预处理,直接去除。其余参数不做任何预处理,直接进行转换,即通过转换将参数矩阵的维度转变成为[32,3,3,3]→[32,300,3,3],[64,32,3,3]→[64,32,3,3],[128,64,3,3]→[128,64,3,3]。

参数载入子模块,其将除胸部x光模型最后一层以外的参数载入到胸部ct模型当中,开始分析训练,因此胸部ct模型当中最后一层参数不会被转换。

模型干预子模块,其在胸部ct模型开始训练学习之后,干预模型训练过程,对于被转换了的前三层参数给予较缓慢的更新和学习,而最后一层没有被转换的参数给予更高的学习更新速度。应用模块,在胸部ct模型训练结束后,进入应用模块。

第二实施例:将智能分析股骨头x光模型参数转换学习至智能分析心肺x光模型。

假设已经通过大量数据的学习与分析拥有了一个专门用于分析股骨头x光模型。假设每一张x光的数据图像维度为(1,2000,2000),所使用的模型参数矩阵的维度列表为:[32,3,3,3],[64,32,3,3],[128,64,3,3],[2,1024]。

而此时希望分析模型,假设心肺x光的每一张片子图像维度为(1,2000,2000),所使用的模型参数列表为:[32,3,3,3],[64,32,3,3],[128,64,3,3],[2,1024]。

股骨头x光模型数据量充足,训练充分,因此模型效果非常好,而目标训练心肺x光模型,数据量不足,训练效果比较差。因此可以使用本发明提出的模型参数转换学习装置:

数据处理模块,其将心肺x光数据处理加工成模型可以输入的格式;

转换学习模块;其将股骨头x光模型的参数进行转换,对模型进行训练学习;其中:

参数获取子模块,其从股骨头x光模型的参数当中获取所有的参数矩阵,收入模块当中;

参数预处理子模块,由于股骨头x光模型的参数维度与心肺x光模型的参数维度完全一样,转换可采用参数完全转换方式。

参数载入子模块,其将除股骨头x光模型最后一层以外的参数载入到心肺x光模型当中,开始分析训练,因此心肺x光模型当中最后一层参数不会被转换。

模型干预子模块,其在心肺x光模型开始训练学习之后,干预模型训练过程,对于被转换了的前三层参数给予较缓慢的更新和学习,而最后一层没有被转换的参数给予更高的学习更新速度。

应用模块,在心肺x光模型训练结束后,进入应用模块。

第三实施例:将智能分析肺部ct模型参数转换学习至智能分析大脑mri模型。

假设已经通过大量数据的学习与分析拥有了一个专门用于分析肺部ct模型。假设ct模型输入的数据图像维度为(1,100,512,512),所使用的模型参数矩阵的维度列表为:[32,100,3,3],[64,32,3,3],[128,64,3,3],[1,1024]。

而此时希望分析模型,假设大脑mri的每一张片子图像维度为(1,100,256,256),所使用的模型参数列表为:[32,100,3,3],[64,32,3,3],[128,64,3,3],[256,128,3,3],[1,1024]。

肺部ct模型数据量充足,训练充分,因此模型效果非常好,而目标训练大脑mri模型,数据量不足,训练效果比较差。因此可以使用本发明提出的模型参数转换学习装置:

数据处理模块,其将大脑mri数据处理加工成模型可以输入的格式;

转换学习模块;其将肺部ct模型的参数进行转换,对模型进行训练学习;其中:

参数获取子模块,其从肺部ct模型的参数当中获取所有的参数矩阵,收入模块当中;

参数预处理子模块,虽然肺部ct模型的参数维度与大脑mri模型的参数维度完全一样,但参数的数目存在差异,所以此次转换采用的是参数部分转换方式。

参数载入子模块,其将除肺部ct模型最后一层以外的参数载入到大脑mri模型当中,大脑mri模型多出来的一组参数[256,128,3,3]采用服从高斯分布的随机数初始化,然后开始分析训练。

模型干预子模块,其在大脑mri模型开始训练学习之后,干预模型训练过程,对于被转换了的前三层参数给予较缓慢的更新和学习,而最后一层没有被转换的参数给予更高的学习更新速度。

应用模块,在大脑mri模型训练结束后,进入应用模块。

以上详细描述了本发明的具体实施例,但可以理解,在不脱离本发明的精神下可以对其作出修改。本发明的权利要求旨在覆盖这些修改,以保证其落入本发明的真实范围和精神内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1