数据预测的方法及装置与流程

本申请涉及医学领域，具体而言，涉及一种数据预测的方法及装置。

背景技术：

在医疗诊断问题中，诊断一个疾病往往需要进行多个方面征象进行判断。以肺结节诊断为例，医生往往通过判断结节是否有毛刺，边缘是否清晰，分叶是否明显等等征象的基础上再对良恶性进行诊断。相关的对数据预测的方法参数共享法，该方法是将不同任务(每一种征象的判定为一种任务)之间的关联表现为共享相同的低层语义信息；对于同一个病灶中肺结节，一方面不同任务之间的关联可以提升征象预测的性能，但是另一方面对于困难病灶中的肺结节，即征象之间不符合共享相同的低层语义信息，因此会使得这类病灶征象预测的性能下降。可以看到，相关的参数共享法无法对困难病灶的肺结节的征象进行高性能地预测。

技术实现要素：

本申请的主要目的在于提供一种数据预测的方法及装置，以解决相关的参数共享法无法对困难病灶的肺结节的征象进行高性能地预测的问题。

为了实现上述目的，根据本申请的第一方面，提供了一种数据预测的方法。

根据本申请的数据预测的方法包括：

获取图像数据，所述图像数据为包含病灶的医学影像数据；

基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测，得到预测结果，所述预设的多任务梯度集成神经网络模型为能迭代地学习分类错误的样本的集成算法模型。

进一步的，在所述基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测之前，所述方法还包括：

获取训练样本，所述训练样本包含预设数量的样本数据及其对应的样本标注数据，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述样本标注数据为对预设数量的样本数据进行病灶征象标注的图像数据；

基于训练样本对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型。

进一步的，在所述基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测之前，所述方法还包括：

获取训练样本，所述训练样本包含预设数量的样本数据及其对应的征象评测值，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述征象评测值为对预设数量的样本数据对应的征象进行评测的所有评测值；

基于训练样本对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型。

进一步的，对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型还包括：

基于深度神经网络训练神经网络分类器；并且，

基于梯度集成确定每一次迭代的神经网络分类器。

进一步的，所述基于梯度集成确定每一次迭代的神经网络分类器包括：

基于当前迭代次数之前得到的所有分类器的集成结果的梯度下降最快的方向确定当前迭代次数对应的神经网络分类器。

进一步的，所述深度神经网络为三维密集连接的卷积网络3ddensenet。

进一步的，所述医学影像数据为ct图像数据为电子计算机断层扫描ct图像数据或核磁共振成像mri图像数据。

为了实现上述目的，根据本申请的第二方面，提供了一种数据预测的装置。

根据本申请的数据预测的装置包括：

第一获取单元，用于获取图像数据，所述图像数据为包含病灶的医学影像数据；

预测单元，用于基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测，得到预测结果，所述预设的多任务梯度集成神经网络模型为能迭代地学习分类错误的样本的集成算法模型。

进一步的，所述装置还包括：

第二获取单元，用于在所述基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测之前，获取训练样本，所述训练样本包含预设数量的样本数据及其对应的样本标注数据，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述样本标注数据为对预设数量的样本数据进行病灶征象标注的图像数据；

训练单元，用于基于训练样本对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型。

进一步的，所述装置还包括：

第二获取单元，用于在所述基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测之前，获取训练样本，所述训练样本包含预设数量的样本数据及其对应的征象评测值，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述征象评测值为对预设数量的样本数据对应的征象进行评测的所有评测值；

训练单元，用于基于训练样本对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型。

进一步的，所述训练单元还包括：

训练模块，用于基于深度神经网络训练神经网络分类器；

训练模块，还用于基于梯度集成确定每一次迭代的神经网络分类器。

进一步的，所述训练模块还用于：

基于当前迭代次数之前得到的所有分类器的集成结果的梯度下降最快的方向确定当前迭代次数对应的神经网络分类器。

进一步的，所述深度神经网络为三维密集连接的卷积网络3ddensenet。

进一步的，所述医学影像数据为ct图像数据为电子计算机断层扫描ct图像数据或核磁共振成像mri图像数据

为了实现上述目的，根据本申请的第三方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述第一方面中任一项所述的数据预测的方法。

在本申请实施例中，数据预测的方法及装置能够获取图像数据，图像数据为包含病灶的医学影像数据；基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测，得到预测结果，所述预设的多任务梯度集成神经网络模型为能迭代地学习分类错误的样本的集成算法模型。可以看出，该预设的多任务梯度集成神经网络能够专注于每次训练的错误的样本进行不断的迭代训练，将本申请的数据预测的方法应用到肺结节征象的预测中，即能够专注于困难病灶肺结节样本进行模型的训练，因此得到的模型可以对困难病灶的肺结节的征象进行高性能的预测。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种数据预测的方法流程图；

图2是根据本申请实施例提供的另一种数据预测的方法流程图；

图3是根据本申请实施例提供的一种预设的多任务梯度集成神经网络的结构图；

图4是根据本申请实施例提供的一种数据预测的装置的组成框图；

图5是根据本申请实施例提供的另一种数据预测的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种数据预测的方法，如图1所示，该方法包括如下的步骤：

s101.获取图像数据。

其中，图像数据为包含病灶的医学影像数据。常用的医学影像数据主要包含电子计算机断层扫描ct图像数据或核磁共振成像mri图像数据。比如肺结节的ct图像数据、脑ct图像数据、脑mri图像数据等。需要说明的是，在实际的应用中，通过设备直接获取到的医学影像数据是较大范围的图像数据，为了提高后续数据预测的准确性，通常还需要在预测之前对医学影像数据进行预处理，具体的预处理为医学影像数据进行切割，选取包含病灶的小范围图像数据，具体截取的范围的大小根据实际的情况确定，本实施例中不作限制。

s102.基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测，得到预测结果。

将由步骤s101得到的经过预处理的医学影像数据输入到预设的多任务梯度集成神经网络模型，输出得到对图像数据中的肺结节的征象的预测结果。本实施例给出几种预测结果的形式，假设图像数据为包含结节的ct图像数据，则对应的预测结果可以为结节a：有毛刺、边缘清晰、分叶明显等；结节b：有毛刺、边缘不清晰、分叶不明显等。

本实施例中的预设的多任务梯度集成神经网络模型为能迭代地学习分类错误的样本的集成算法模型。即在模型训练的过程中是专专注于每次训练的错误的样本进行不断的迭代训练。将其应用到肺结节的预测过程中，即在模型训练的过程中每一次迭代都专注对困难病灶的肺结节样本进行训练，因此能够提高对困难病灶的征象预测的性能。

从以上的描述中，可以看出，本申请实施例中数据预测的方法能够能够获取图像数据，图像数据为包含病灶的医学影像数据；基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测，得到预测结果，所述预设的多任务梯度集成神经网络模型为能迭代地学习分类错误的样本的集成算法模型。可以看出，该预设的多任务梯度集成神经网络能够专注于每次训练的错误的样本进行不断的迭代训练，即能够专注于困难病灶进行模型的训练，因此得到的模型可以对困难病灶的征象进行高性能的预测。

作为上述实施例的补充和细化，本申请实施例提供了另一种数据预测的方法，如图2所示，该方法包括：

首先需要说明的是，本实施例中以最常用的两种医学影像数据ct图像数据以及mri图像数据对应的各一种具体的图像数据为例，对上述图1中的数据预测的方法进行补充和说明。

s201.获取训练样本。

训练样本是用于训练预设的多任务梯度集成神经网络算法的样本数据。本实施例中训练样本包括两种类型：

第一种，训练样本包含预设数量的样本数据及其对应的样本标注数据，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述样本标注数据为对预设数量的样本数据进行病灶征象标注的图像数据。

给出具体的示例进行说明，假设后续要获取的图像数据为包含肺结节的ct图像数据，则对应的训练样本为预设数量的包含肺结节的ct图像数据和对预设数量的包含肺结节的ct图像数据进行肺结节征象标注的图像数据。征象的标注通常是由有经验的医生进行标注的，对于肺结节的征象主要为结节是否有毛刺，边缘是否清晰，分叶是否明显等等。

在实际应用中，训练样本中的可以通过公开数据集获取，比如lidc-idri数据集。另外需要说明的是，预设数量可以根据实际的需求自定义，本实施例不做限制。

第二种，训练样本包含预设数量的样本数据及其对应的征象评测值，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述征象评测值为对预设数量的样本数据对应的征象进行评测的所有评测值。

给出具体的示例进行说明，假设后续要获取的图像数据为包含阿尔兹海默症患者对应的脑mri图像数据，对应的训练样本为预设数量的脑mri图像样本数据和预设数量的脑mri图像样本数据对应的行为评测值、精神评测值等其他评测值。

在实际应用中，训练样本中的可以通过公开数据集获取，比如adni数据集。另外需要说明的是，预设数量可以根据实际的需求自定义，本实施例不做限制。

s202.基于训练样本对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型。

基于深度神经网络(比如三维密集连接的卷积网络3ddensenet)训练神经网络分类器；基于梯度集成确定每一次迭代的神经网络分类器：基于当前迭代次数之前得到的所有分类器的集成结果的梯度下降最快的方向确定当前迭代次数对应的神经网络分类器。

具体的，本实施例给出预设的多任务梯度集成神经网络的结构图，如图3所示，图3中是采用了3ddensenet训练基分类器，adam作为学习器进行模型的训练，结合图3给出多任务梯度集成神经网络模型的训练过程。

假设训练样本为n个，表示为其中xi是样本图像，yi是对样本图像标注后的样本标注图像或者与样本图像对应的征象评测值。训练的目标是学习一系列线性组合系数αm和fm。其中αm是线性组合系数，fm是每一次迭代学习到的神经网络分类器。最终得到的分类器f的定义为：

其中，m是总体迭代次数，m的值可以根据实际需求或者经验值设定。

同时定义总体风险函数为

其中t为每一个任务，t为总的任务数，每一个任务分别对应于图3中的task1、task2、…、taskt，以肺结节图像数据为例，每一类征象对象一个任务，比如是否有毛刺为一个任务，边缘是否清晰为一个任务，分叶是否明显为一个任务等。l为损失函数，具体的表达式如下：

在每一次迭代中学习得到的最优的分类器是基于之前m个分类器的集成的预测结果的基础上梯度下降最快的方向。即

然后，利用线性搜索的方法学习得到权重系数

从而得到新的fm+1

其中，γ是为了避免过拟合的系数，γ的值可以根据经验值进行设置，优选的，本实施例中选择γ＝0.1。

给出算法的流程：

输入：t∈[t]，γ，最大迭代次数m

初始化：f1＝0

输出：f(…)

当算法未收敛或迭代未达到最大值时：

1.利用公式1更新得到

2.利用公式2更新得到

3.利用公式3更新fm+1

结束

另外，为了对预设的多任务梯度集成神经网络模型的性能进行验证。本发明实施例在公开数据集lidc-idri数据集和adni数据集上进行实验。lidc-idri数据包括1010个病人(1018次扫描)的ct数据，切片间距从0.45mm到5.0mm不等，所有结节均由2到7个放射医师独立标注。本文中，我们选取lidc-idri数据集全部2660个结节。

adni数据集是用于阿兹海默症诊断的数据集，所有数据集划分为训练集，验证集和测试集。

表1列出了本实施例的模型与其他常见多任务学习在lidc-idri数据集上的对比结果，结果从准确率acc和正样本排在负样本前面的概率auc上可以观察到本实施例模型较其他多任务学习方法上有很大提升。

表1在lidc-idri数据集上的对比结果

表2为本实施例的模型和其他方法在adni数据集上的对比结果。结果从均方根误差rmse和皮尔森相关性系数personcorrelation上都可以看出我们的方法取得更好的结果。

表2在adni数据集上的对比结果

上述对比结果，可以看到本实施例中的预设的多任务梯度集成神经网络模型在肺结节征象预测和阿兹海默症的量表预测的问题上都取得了很好的结果。

s203.获取图像数据。

本步骤的实现方式与图1步骤s101的实现方式相同，此处不再赘述。

具体的，若是对ct图像数据进行预测，则获取的是ct图像数据，若是对mri图像数据进行预测，则获取到的是mri图像数据。

s204.基于预设的多任务梯度集成神经网络模型对图像数据中肺结节的征象进行预测，得到预测结果。

本步骤的实现方式与图1步骤s102的实现方式相同，此处不再赘述。

具体的，若步骤s203获取到的是ct图像数据，则对应的本步骤中基于的预设的多任务梯度集成神经网络模型是由ct样本数据得到的模型。假设图像数据为包含肺结节的ct图像数据，则对应的预测结果可以为肺结节a：有毛刺、边缘清晰、分叶明显等；肺结节b：有毛刺、边缘不清晰、分叶不明显等。

若步骤s203获取到的是mri图像数据，则对应的本步骤中基于的预设的多任务梯度集成神经网络模型是由mri样本数据得到的模型。假设图像数据为阿尔兹海默症患者的脑mri图像数据，则对应的预测结果可以为患者a：记忆力评测值a1、语言能力评测值b1、自理能力评测值c1、精神症状评测值d1等；患者b：记忆力评测值a2、语言能力评测值b2、自理能力评测值c2、精神症状评测值d2等。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1和图2所述方法的数据预测的装置，如图4所示，该装置包括：

第一获取单元31，用于获取图像数据，所述图像数据为包含病灶的医学影像数据；

预测单元32，用于基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测，得到预测结果，所述预设的多任务梯度集成神经网络模型为能迭代地学习分类错误的样本的集成算法模型。

具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

从以上的描述中，可以看出，本申请实施例中数据预测的装置能够能够获取图像数据，图像数据为包含病灶的医学影像数据；基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测，得到预测结果，所述预设的多任务梯度集成神经网络模型为能迭代地学习分类错误的样本的集成算法模型。可以看出，该预设的多任务梯度集成神经网络能够专注于每次训练的错误的样本进行不断的迭代训练，即能够专注于困难病灶进行模型的训练，因此得到的模型可以对困难病灶的征象进行高性能的预测。

进一步的，如图5所示，所述装置还包括：

第二获取单元33，用于在所述基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测之前，获取训练样本，所述训练样本包含预设数量的样本数据及其对应的样本标注数据，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述样本标注数据为对预设数量的样本数据进行病灶征象标注的图像数据；

训练单元34，用于基于训练样本对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型。

进一步的，如图5所示，所述装置还包括：

第二获取单元33，用于在所述基于预设的多任务梯度集成神经网络模型对图像数据对应的征象进行预测之前，获取训练样本，所述训练样本包含预设数量的样本数据及其对应的征象评测值，所述预设数量的样本数据为包含病灶的医学影像样本数据，所述征象评测值为对预设数量的样本数据对应的征象进行评测的所有评测值；

训练单元34，用于基于训练样本对预设的多任务梯度集成神经网络算法进行训练得到预设的多任务梯度集成神经网络模型。

进一步的，如图5所示，所述训练单元34还包括：

训练模块341，用于基于深度神经网络训练神经网络分类器；

训练模块341，还用于基于梯度集成确定每一次迭代的神经网络分类器。

进一步的，如图5所示，所述训练模块341还用于：

基于当前迭代次数之前得到的所有分类器的集成结果的梯度下降最快的方向确定当前迭代次数对应的神经网络分类器。

进一步的，所述深度神经网络为三维密集连接的卷积网络3ddensenet。

进一步的，所述医学影像数据为ct图像数据为电子计算机断层扫描ct图像数据或核磁共振成像mri图像数据。

具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1或图2所述的数据预测的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。