深度学习模型的训练方法及装置、应用方法及装置与流程

本发明涉及深度学习技术领域，具体涉及一种深度学习模型的训练方法及装置、应用方法及装置。

背景技术：

图像分割在影像学诊断中大有用处。例如，肺叶间裂隙是肺叶间的物理边界，可以阻隔肿瘤和其他炎症的扩散。从ct图像中精确提取肺叶间裂隙并分割肺叶对新型冠状病毒肺炎的诊断和治疗具有重要应用价值，医生可以在肺叶层次评估肺功能和病变程度。

但是，肺叶间裂隙形态极不规则，不同个体、病变与正常图像间差异很大。裂纹厚度不均匀，薄裂隙与周围组织对比度低，边界模糊；图像成像缺陷、相近的气管壁、血管等组织都给裂隙检测造成很大干扰。尤其是对于新型冠状病毒肺炎的患者，肺大部分呈网格状磨玻璃影，类“白肺”表现，裂隙因病变已不完整，难以得到肺叶间的全部边界。

随着近几年深度学习的快速发展，深度学习算法在图像分割、图像配准上取得了长足的进步。但是一般的深度学习分割模型，像素之间的联系不够紧密，对于病变异常图像，容易出现空洞、孤岛等现象，泛化能力较差。

技术实现要素：

有鉴于此，本发明实施例提供了一种深度学习模型的训练方法、训练装置、应用方法及应用装置，能够保证深度学习模型分割结果的一体性，提高深度学习模型的泛化能力和鲁棒性。

根据本发明实施例的第一方面，提供一种深度学习模型的训练方法，包括：将样本影像和分割模板作为训练样本输入深度学习模型进行配准，获取分割模板的形变场；根据形变场对分割模板进行插值，获得形变分割模板；确定形变分割模板和样本影像的分割金标准之间的第一损失函数值；根据第一损失函数值，更新深度学习模型的参数。

在本发明的一个实施例中，上述确定形变分割模板和样本影像的分割金标准之间的第一损失函数值，包括：通过计算形变分割模板和样本影像的分割金标准之间的相似度，确定第一损失函数值。

在本发明的一个实施例中，上述深度学习模型的训练方法，还包括：确定形变场的第二损失函数值，其中，上述根据第一损失函数值，更新深度学习模型的参数，包括：根据第一损失函数值和第二损失函数值，更新深度学习模型的参数。

在本发明的一个实施例中，上述根据第一损失函数值和第二损失函数值，更新深度学习模型的参数，包括：根据预设权重系数，计算第一损失函数值和第二损失函数值的加权和，获得总损失函数值；根据总损失函数值，更新深度学习模型的参数。

在本发明的一个实施例中，上述获取分割模板的形变场，包括：获取分割模板的x、y两个方向的形变场；或获取1分割模板的x、y、z三个方向的形变场。

在本发明的一个实施例中，上述深度学习模型为u-net深度学习模型或全卷积fcn深度学习模型。

根据本发明实施例的第二方面，提供一种深度学习模型的应用方法，包括：将待分割影像和分割模板输入深度学习模型，其中，深度学习模型通过样本影像和分割模板作为训练样本训练得到；采用深度学习模型对待分割影像进行分割。

在本发明的一个实施例中，上述采用深度学习模型对待分割影像进行分割，包括：深度学习模型输出分割模板的第一形变场；根据第一形变场对分割模板进行插值，获得第一形变分割模板；将待分割影像和第一形变分割模板输入深度学习模型，获得第一形变分割模板的第二形变场；根据第二形变场对第一形变分割模板进行插值，获得第二形变分割模板，其中，第二形变分割模板用于表征待分割影像的分割结果。

根据本发明实施例的第三方面，提供一种深度学习模型的训练装置，包括：输入模块，用于将样本影像和分割模板作为训练样本输入深度学习模型进行配准，获取分割模板的形变场；插值模块，用于根据形变场对分割模板进行插值，获得形变分割模板；确定模块，用于确定形变分割模板和样本影像的分割金标准之间的第一损失函数值；更新模块，用于根据第一损失函数值，更新深度学习模型的参数。

根据本发明实施例的第四方面，提供一种深度学习模型的应用装置，包括：输入模块，用于将待分割影像和分割模板输入深度学习模型，其中，深度学习模型通过样本影像和分割模板作为训练样本训练得到；分割模块，用于采用深度学习模型对待分割影像进行分割。

根据本发明实施例提供的技术方案，将样本影像和分割模板作为训练样本输入深度学习模型进行配准，获取分割模板的形变场；根据形变场对分割模板进行插值，获得形变分割模板；确定形变分割模板和样本影像的分割金标准之间的第一损失函数值；根据第一损失函数值，更新深度学习模型的参数，通过将分割模板配准到样本影像中，获得分割模板的形变场，以及通过插值获得形变分割模板，可以保证分割结果的一体性，提高深度学习模型对病变影像的泛化能力和鲁棒性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明一实施例提供的深度学习模型的训练方法的流程示意图。

图2所示为本发明另一实施例提供的深度学习模型的训练方法的流程示意图。

图3所示为本发明一实施例提供的u-net深度学习模型的结构示意图。

图4所示为本发明一实施例提供的深度学习模型的应用方法的流程示意图。

图5所示为本发明另一实施例提供的深度学习模型的应用方法的流程示意图。

图6所示为本发明一实施例提供的深度学习模型的训练装置的框图。

图7所示为本发明一实施例提供的深度学习模型的应用装置的框图。

图8所示为本发明一实施例提供的分割模块的框图。

图9所示为本发明一实施例提供的电子设备的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明一实施例提供的深度学习模型的训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图1所示，该方法包括如下内容。

s110：将样本影像和分割模板作为训练样本输入深度学习模型进行配准，获取分割模板的形变场。

样本影像可以是从训练集中取出的一个batch的医学影像，例如肺部影像；分割模板，例如可以是一个体膜的某个肺叶的分割掩膜(mask)等。应当理解，样本影像还可以是心脏影像，分割模板还可以是心脏的分割掩膜等，本发明对此不作具体限定。相对于将两幅有一定相似性的影像进行配准，本发明实施例在深度学习模型的训练过程中更多考虑的是不同影像的差异，通过将分割模板配准到样本影像中，可以使深度学习模型对病变影像的泛化能力更好，鲁棒性更好。

具体地，可以将样本影像和分割模板进行拼接操作，将拼接后的样本影像和分割模板作为训练样本输入深度学习模型进行配准，即，将分割模板配准到样本影像上。不同于直接输出每个像素的分割概率，本发明实施例的深度学习模型输出的是分割模板的形变场，即像素的位移，可以保证分割结果的一体性。其中，形变场的大小与样本影像的大小一致。

深度学习模型可以是u-net深度学习模型、全卷积fcn深度学习模型等深度学习分割模型，本发明对此不作具体限定。

针对二维影像，深度学习模型的输出层可以是2通道输出，输出x，y两个方向的形变场(dx，dy)；针对三维影像，深度学习模型的输出层可以是3通道输出，输出x，y，z三个方向的形变场(dx，dy，dz)，本发明对此不作具体限定。

s120：根据形变场对分割模板进行插值，获得形变分割模板。

形变分割模板也可以称为形变后的分割模板或配准后的分割模板。例如，对于形变分割模板上某一点，如(10，20，30)，其三通道的值分别为dx＝-2，dy＝3，dz＝4，则代表从样本图像中的坐标为(8，23，34)的点取值，填入配准后的形变分割模板坐标(10，20，30)中。

s130：确定形变分割模板和样本影像的分割金标准之间的第一损失函数值。

例如，可以通过计算形变分割模板和样本影像的分割金标准之间的相似度，确定第一损失函数值。具体地，可以采用均方差(mse)损失函数、归一化互相关函数等函数计算形变分割模板和分割金标准之间的相似度损失，得到第一损失函数值，本发明对采用的损失函数不作具体限定。

应当理解，分割金标准也可以是人工标注的分割结果，本发明对此不作限定。

s140：根据第一损失函数值，更新深度学习模型的参数。

具体地，可以将第一损失函数值进行梯度反传，以更新该深度学习模型的参数，例如权重，偏值等，本发明对此不做限定。通过根据第一损失函数值更新深度学习模型的参数，可以优化深度学习模型。

根据本发明实施例提供的技术方案，将样本影像和分割模板作为训练样本输入深度学习模型进行配准，获取分割模板的形变场；根据形变场对分割模板进行插值，获得形变分割模板；确定形变分割模板和样本影像的分割金标准之间的第一损失函数值；根据第一损失函数值，更新深度学习模型的参数，通过将分割模板配准到样本影像中，获得分割模板的形变场，以及通过插值获得形变分割模板，可以保证分割结果的一体性，提高深度学习模型对病变影像的泛化能力和鲁棒性。

在本发明的一个实施例中，上述深度学习模型的训练方法，还包括：确定形变场的第二损失函数值，其中，上述根据第一损失函数值，更新深度学习模型的参数，包括：根据第一损失函数值和第二损失函数值，更新深度学习模型的参数。

具体地，可以通过计算形变场的梯度的l1或l2范数，来获得形变场的平滑损失函数值，即，第二损失函数值。应当理解，本发明对采用的损失函数不作具体限定。

在本发明的一个实施例中，上述根据第一损失函数值和第二损失函数值，更新深度学习模型的参数，包括：根据预设权重系数，计算第一损失函数值和第二损失函数值的加权和，获得总损失函数值；根据总损失函数值，更新深度学习模型的参数。

相较于只根据第一损失函数值更新深度学习模型的参数，通过计算第一损失函数值和第二损失函数值加权和得到总损失函数值，将总损失函数值进行梯度反传，更新深度学习模型的参数，可以使深度学习模型达到更好的优化效果。

应当理解，也可以根据需要直接将第一损失函数值和第二损失函数值相加得到总损失函数值，本发明对此不作限定。

图2所示为本发明另一实施例提供的深度学习模型的训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图2所示，该方法包括如下内容。

s210：选取肺叶模板f。

s220：从训练集中选取肺部影像r及其分割的金标准。

s230：将肺部影像r和肺叶模板f进行拼接操作后输入u-net深度学习模型进行配准。

s240：u-net深度学习模型输出肺叶模板f的形变场φ。

u-net深度学习模型的结构如图3所示，输入层为肺部影像r和肺叶模板f拼接后的影像；u-net深度学习模型的左边为特征提取部分，右边为上采样部分。特征提取部分，通过卷积(conv)层和池化(maxpooling)层得到不同尺度，包括原图尺度一共有4个尺度。上采样部分，每上采样(upsamping)一次，就和特征提取部分对应的通道数相同尺度进行拼接(concatenation)。最后，u-net深度学习模型输出为三通道图像，分别代表x，y，z三个方向的形变场。

s250：根据形变场对肺叶模板f进行插值，获得形变分割模板f(φ)。

s260：计算形变分割模板f(φ)和肺部影像r分割的金标准之间的相似度损失函数值(similarityloss)，即

s270：计算形变场的平滑损失函数值(smoothloss)。

具体地，可以是计算x，y，z每个方向形变场的梯度的l1或l2范数，即：

s280：计算相似度损失函数值和平滑损失函数值的加权和，获得总损失函数值。

具体地，可以采用公式：

lt(r,f,φ)＝lsim(r,f(φ))+αlsmooth(φ)

s290：将总损失函数值进行梯度反传，更新深度学习模型的参数。

根据本发明实施例提供的技术方案，通过将肺部影像和肺叶模板拼接后输入u-net深度学习模型进行配准，获取肺叶模板的形变场；根据形变场对肺叶模板进行插值，获得形变分割模板；计算形变分割模板和肺部影像r分割的金标准之间的相似度损失函数值；计算形变场的平滑损失函数值；计算相似度损失函数值和平滑损失函数值的加权和，获得总损失函数值；将总损失函数值进行梯度反传，更新深度学习模型的参数，可以保证u-net深度学习模型的分割结果的一体性，提高u-net深度学习模型对病变影像的泛化能力和鲁棒性。

图4所示为本发明一实施例提供的深度学习模型的应用方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图4所示，该方法包括如下内容。

s410：将待分割影像和分割模板输入深度学习模型，其中，深度学习模型通过样本影像和分割模板作为训练样本训练得到。

本发明的一个实施例中，深度学习模型可以是通过上述任一深度学习模型的训练方法得到的深度学习模型。

应当理解，通过样本影像和分割模板作为训练样本训练得到的深度学习模型均包含在本发明的保护范围之内，本发明对深度学习模型的具体训练过程不作具体限定。

s420：采用深度学习模型对待分割影像进行分割。

根据本发明实施例提供的技术方案，将待分割影像和分割模板输入深度学习模型，其中，深度学习模型通过样本影像和分割模板作为训练样本训练得到；采用深度学习模型对待分割影像进行分割，可以保证分割结果的一体性，针对病变影像也能取得较好的分割效果。

图5所示为本发明另一实施例提供的深度学习模型的应用方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图5所示，该方法包括如下内容。

s510：将待分割影像r和分割模板f输入深度学习模型，其中，深度学习模型通过样本影像和分割模板作为训练样本训练得到。

具体地，将待分割影像r和分割模板进行拼接操作后输入深度学习模型进行配准。

s520：深度学习模型输出分割模板的第一形变场。

s530：根据第一形变场对分割模板进行插值，获得第一形变分割模板f(φ)。

s540：将待分割影像r和第一形变分割模板f(φ)输入深度学习模型，获得第一形变分割模板的第二形变场。

s550：根据第二形变场对第一形变分割模板f(φ)进行插值，获得第二形变分割模板f’(φ)，其中，第二形变分割模板用于表征待分割影像的分割结果。

第二形变分割模板f’(φ)相对于第一形变分割模板f(φ)的分割细节更好。应当理解，还可以继续将待分割影像r和第二形变分割模板f’(φ)输入深度学习模型，获得第二形变分割模板的第三形变场；根据第三形变场对第二形变分割模板f’(φ)进行插值，获得第三形变分割模板f”(φ)，此时，第三形变分割模板f”(φ)相对于第二形变分割模板f’(φ)的分割细节会更好。应当理解，上述过程可以进行多次迭代，直到达到目标精度，本发明对迭代次数不作具体限定。

根据本发明实施例提供的技术方案，将待分割影像和分割模板输入深度学习模型；深度学习模型输出分割模板的形变场；根据形变场对分割模板进行插值，获得形变分割模板；将形变分割模板和待分割影像继续输入深度学习模型，以重复上述过程，可以使得获得的分割结果更好，分割细节更好。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图6所示为本发明一实施例提供的深度学习模型的训练装置的框图。如图6所示，深度学习模型的训练装置600包括获取模块610、插值模块620、确定模块630和更新模块640。

获取模块610，用于将样本影像和分割模板作为训练样本输入深度学习模型进行配准，获取分割模板的形变场。

插值模块620，用于根据形变场对分割模板进行插值，获得形变分割模板。

第一确定模块630，用于确定形变分割模板和样本影像的分割金标准之间的第一损失函数值。

更新模块640，用于根据第一损失函数值，更新深度学习模型的参数。

根据本发明实施例提供的技术方案，将样本影像和分割模板作为训练样本输入深度学习模型进行配准，获取分割模板的形变场；根据形变场对分割模板进行插值，获得形变分割模板；确定形变分割模板和样本影像的分割金标准之间的第一损失函数值；根据第一损失函数值，更新深度学习模型的参数，通过将分割模板配准到样本影像中，获得分割模板的形变场，以及通过插值获得形变分割模板，可以保证分割结果的一体性，提高深度学习模型对病变影像的泛化能力和鲁棒性。

在本发明的一个实施例中，第一确定模块630还用于通过计算形变分割模板和样本影像的分割金标准之间的相似度，确定第一损失函数值。

在本发明的一个实施例中，上述深度学习模型的训练装置还包括第二确定模块650，用于确定形变场的第二损失函数值，其中，上述更新模块640还用于根据第一损失函数值和第二损失函数值，更新深度学习模型的参数。

在本发明的一个实施例中，上述更新模块640还用于根据预设权重系数，计算第一损失函数值和第二损失函数值的加权和，获得总损失函数值；根据总损失函数值，更新深度学习模型的参数。

在本发明的一个实施例中，上述获取模块610还用于获取分割模板的x、y两个方向的形变场；或获取1分割模板的x、y、z三个方向的形变场。

在本发明的一个实施例中，上述深度学习模型为u-net深度学习模型或全卷积fcn深度学习模型。

图7所示为本发明一实施例提供的深度学习模型的应用装置的框图。如图7所示，深度学习模型的应用装置700包括输入模块710和分割模块720。

输入模块710，用于将待分割影像和分割模板输入深度学习模型，其中，深度学习模型通过样本影像和分割模板作为训练样本训练得到。

分割模块720，用于采用深度学习模型对待分割影像进行分割。

根据本发明实施例提供的技术方案，将待分割影像和分割模板输入深度学习模型，其中，深度学习模型通过样本影像和分割模板作为训练样本训练得到；采用深度学习模型对待分割影像进行分割，可以保证分割结果的一体性，针对病变影像也能取得较好的分割效果。

在本发明的另一个实施例中，如图8所示，分割模块720包括第一输出单元7210、第一插值单元7220、第二输出单元7230和第二插值单元7240。

第一输出单元7210，用于所述深度学习模型输出所述分割模板的第一形变场。

第一插值单元7220，用于根据所述第一形变场对所述分割模板进行插值，获得第一形变分割模板。

第二输出单元7230，用于将所述待分割影像和所述第一形变分割模板输入所述深度学习模型，获得所述第一形变分割模板的第二形变场。

第二插值单元7240，用于根据所述第二形变场对所述第一形变分割模板进行插值，获得第二形变分割模板，其中，所述第二形变分割模板用于表征所述待分割影像的分割结果。

根据本发明实施例提供的技术方案，将待分割影像和分割模板输入深度学习模型；深度学习模型输出分割模板的形变场；根据形变场对分割模板进行插值，获得形变分割模板；将形变分割模板和待分割影像继续输入深度学习模型，以重复上述过程，可以使得获得的分割结果更好，分割细节更好。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

图9所示为本发明一实施例提供的电子设备900的框图。

参照图9，电子设备900包括处理组件910，其进一步包括一个或多个处理器，以及由存储器920所代表的存储器资源，用于存储可由处理组件910的执行的指令，例如应用程序。存储器920中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件910被配置为执行指令，以执行上述深度学习模型的训练方法和应用方法。

电子设备900还可以包括一个电源组件被配置为执行电子设备900的电源管理，一个有线或无线网络接口被配置为将电子设备900连接到网络，和一个输入输出(i/o)接口。电子设备900可以操作基于存储在存储器920的操作系统，例如windowsserver^tm，macosx^tm，unix^tm，linux^tm，freebsd^tm或类似。

一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备900的处理器执行时，使得上述电子设备900能够执行上述深度学习模型的训练方法和应用方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序校验码的介质。

另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。

需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。

应当理解，本发明实施例中提到的第一、第二、第三和第四等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。