一种基于先验交互强化学习的胎儿超声图像脑部分割方法

1.本发明涉及医学图像分割和深度学习领域，尤其涉及一种基于先验交互强化学习的胎儿超声图像脑部分割方法。


背景技术：

2.医学图像分割是图像分析处理中的一项关键技术，根据图像内区域的相似性以及特异性将感兴趣的有关组织分离出来，对于临床诊断和治疗过程具有重要意义，是一切后续工作的主要前提，分割效果的好坏程度会直接影响到信息处理工作的顺利进行。
3.胼胝体位于大脑半球纵裂的底部，是大脑半球中最大的连合纤维。胼胝体发育不良(agenesis of corpus callosum，acc)是胎儿中枢神经系统畸形中的一种先天性发育异常，指在发育过程中胼胝体部分或完全缺失，利用影像学检查在胎儿期诊断胼胝体发育状况具有重要作用。产前超声是目前临床诊断较常用的检查方法。深度学习技术已在医学影像分析领域得到广泛应用，为胎儿超声和超声影像的高精度分析和acc智能识别提供了有力的技术途径
4.脑部超声图像自动分割是医学上的一个典型任务，但目前尚无产前胎儿脑部超声图像分割的相关工作，本项目为了便于后续临床试验，首次提出一种基于先验交互强化学习的胎儿超声图像脑部分割方法，实现自动提取超声图像的胎儿脑部区域。此分割技术为胎儿胼胝体发育状态识别的智能分析提供有利的数据基础以及性能保障，对未来的智能医疗相关研究有深远意义。


技术实现要素：

5.针对现有技术中存在的问题，本发明提供一种基于先验交互强化学习的胎儿超声图像脑部分割方法，其目的在于：为胎儿胼胝体发育状态识别的智能分析提供有利的数据基础以及性能保障。
6.本发明采用的技术方案如下：
7.1.一种基于先验交互强化学习的胎儿超声图像脑部分割方法，包括以下步骤：
8.步骤1：采集胎儿超声图像，根据胎儿胼胝体超声图像的边缘特征和空间特征对采集到的胎儿超声图像进行人工标注得到标签图像，对胎儿超声图像和标签图像进行预处理，并根据预处理后的胎儿超声图像和标签图像构建多模态胎儿胼胝体结构的影像数据库，对影像数据库中的数据进行数据增强，得到训练图像数据集、验证图像数据集和测试图像数据集；
9.步骤2：构建基于深度神经网络模型的胎儿超声图像脑部分割模型，所述胎儿超声图像脑部分割模型由环境状态转换模块、环境奖励转换模块和提示图更新模块组成；所述环境状态转换模块用于对动作概率进行预测并评估当前状态组合,输出当前预测图；所述环境奖励转换模块用于根据上一次预测图、标签图像和当前预测图来计算环境奖励值，再通过环境奖励值反向传播训练环境状态转换模块；所述提示图更新模块用于对当前预测图
提供新的提示图来细化下一次分割的结果；
10.步骤3：设置胎儿超声图像脑部分割模型的参数；
11.步骤4：将训练图像数据集导入胎儿超声图像脑部分割模型中，并通过环境奖励转换模块进行训练，更新胎儿超声图像脑部分割模型的参数，将验证图像数据集导入训练后的胎儿超声图像脑部分割模型中验证模型的分割结果，并使用相应的评价指标对分割结果进行评价，得到胎儿超声图像脑部分割最终模型；
12.步骤5：将测试图像数据集导入已训练好的胎儿超声图像脑部分割最终模型中，进行前向传播，不断更新状态值直到输出结果满意，构建出胎儿超声图像脑部分割图。
13.采用该技术方案后，本发明将胎儿超声图像脑部分割转化为环境状态转换模块、环境奖励转换模块和提示图更新模块三个部分，环境奖励转换模块通过标签图像和预测数据计算环境奖励值；提示图更新模块使用提示图更新网络对当前的结果提供新的提示图来细化下一次分割的结果；环境状态转换模块对动作概率进行预测并评估当前状态组合，不断迭代更新当前状态值直至分割结果满意为止。本发明可以实现对胎儿脑部结构端到端的分割，拥有较高胎儿超声图像分割脑部的准确率，为胎儿胼胝体发育状态识别的智能分析提供有利的数据基础以及性能保障，对未来的智能医疗相关研究有深远意义。
14.优选的，所述对胎儿超声图像和标签图像进行预处理包括对胎儿超声图像和标签图像进行平移转换、扭曲增强以及弹性形变。
15.优选的，所述环境状态转换模块包括动作网络和判断网络，所述动作网络用于在已知当前状态下预测下一个动作的概率分布，并对状态中的分割概率图进行更新；所述判断网络用于预测当前状态估计值。
16.优选的，所述提示图更新模块根据当前迭代次数采用不同方式对当前的分割结果提供新的提示图来细化下一次分割的结果，在迭代次数小于阈值时新的提示图由提示图网络提供，当迭代次数到达阈值时新的提示图由专业医生提供。
17.优选的，环境奖励转换模块根据上一次预测图、标签图像和当前预测图来计算环境奖励值，再通过环境奖励值反向传播训练环境状态转换模块的具体步骤如下：
18.步骤2.1：所述环境奖励转换模块使用上一次预测图、标注图和当前预测图来计算延时奖励，延时奖励计算公式如下：
19.r＝x
(t-1)-x
(t)
；
20.其中：
[0021][0022]
步骤2.2：通过延时奖励计算价值函数，价值函数的计算公式如下：
[0023][0024]
其中：t为迭代总数，t为迭代次数，γ为衰减因子，取值范围为0到1,n为样本类别总数，y
′i表示第i个类别的预测值，yi是one-hot向量,r
t
为迭代步数为t的全局的奖励值；
[0025]
步骤2.3：利用价值函数反向传播训练环境状态转换模块中的动作分支和判断分支的深度神经网络模型；
[0026]
通过动作分支网络预测动作概率分布的损失loss
action
为：
[0027]
loss
action
＝-π(a
(t)
|s
(t)
)a(a
(t)
,s
(t)
)；
[0028][0029]
其中：π(a
(t)
|s
(t)
)为在状态s时采取行为a的概率，为在迭代步数k时，所有像素的平均价值函数,γ为衰减因子，v(s
(t)
)为输出当前状态的估计值；
[0030]
通过判断分支网络预测当前状态估计值的损失loss
deter
为：
[0031]
loss
deter
＝-a(s
(t)
,a
(t)
)2。
[0032]
进一步优选的，对深度神经网络的训练过程具体包括：
[0033]
步骤4.1：网络初始化：权值被设置成一个零均值高斯分布，标准差为这里k
l
是第l层卷积核的边长大小，d
l-1
是第l-1层滤波器的数量；深度神经网络的卷积层由标准高斯分布进行参数初始化；
[0034]
步骤4.2：训练：以状态估计值损失和动作概率分布的损失作为损失函数，使用随机梯度下降法为优化方法，采用多项式学习策略，学习率由初始学习率乘以(1-iter/max_iter)
power
得到,max_iter为总的迭代次数，iter为当前迭代次数，power为指数衰减的常数。
[0035]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0036]
1.本发明将胎儿超声图像脑部分割转化为环境状态转换模块、环境奖励转换模块和提示图更新模块三个部分，环境奖励转换模块通过标签图像和预测数据计算环境奖励值；提示图更新模块使用提示图更新网络对当前的结果提供新的提示图来细化下一次分割的结果；环境状态转换模块对动作概率进行预测并评估当前状态组合，不断迭代更新当前状态值直至分割结果满意为止。本发明可以实现对胎儿脑部结构端到端的分割，拥有较高胎儿超声图像分割脑部的准确率。
[0037]
2.本发明为胎儿胼胝体发育状态识别的智能分析提供有利的数据基础以及性能保障，对未来的智能医疗相关研究有深远意义。
附图说明
[0038]
本发明将通过例子并参照附图的方式说明，其中：
[0039]
图1是本发明训练阶段的流程图；
[0040]
图2是本发明测试阶段的流程图；
[0041]
图3是本发明的框架结构图。
具体实施方式
[0042]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0043]
在本技术实施例的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0044]
下面结合图1-图3对本发明作详细说明。
[0045]
图1和图2示出了本发明的训练和测试流程。训练流程中采集胎儿超声图像数据，对图像数据进行预处理，通过数据统计得到初始预测图，构建基于先验交互强化学习的胎儿超声图像脑部分割深度神经网络框架，深度神经网络框架包括环境状态转换模块、环境奖励转换模块和提示图更新模块三个部分，将状态值输入环境状态转换模块，环境状态转换模块对动作概率进行预测并评估当前状态组合，通过环境奖励转换模块和提示图更新模块不断迭代更新当前状态值。环境奖励转换模块通过标签数据(即标签图像)和预测数据(第一次迭代的时候采用的是初始预测图，之后迭代采用的是上一轮预测出的预测图)计算环境奖励值；提示图更新模块使用提示图更新网络对当前的结果提供新的提示图来细化下一次分割的结果；测试流程将胎儿超声测试集图像输入到模型中生成初始状态值，将状态值(即图1中的提示图、超声图像和当前预测图)输入环境状态转换模块，环境状态转换模块对动作概率进行预测并评估当前状态组合,在迭代次数较少时新的提示图由提示图网络提供，当迭代次数到达阈值时由专业医生交互式提供新的提示图。生成的当前预测图即可构建出胎儿超声图像脑部分割图。
[0046]
本发明的具体步骤如下：
[0047]
步骤1：采集胎儿超声图像，根据胎儿胼胝体超声图像的边缘特征和空间特征对采集到的胎儿超声图像进行人工标注得到标签图像，对胎儿超声图像和标签图像进行预处理，并根据预处理后的胎儿超声图像和标签图像构建多模态胎儿胼胝体结构的影像数据库，对影像数据库中的数据进行数据增强，得到训练图像数据集、验证图像数据集和测试图像数据集；
[0048]
由于刚性组织存在相对固定结构，不同组织成分构成不同，回声反应不同，具体反应在边缘处的回声强度和内部的灰度纹理不同，因此由超声医生根据组织的相对位置关系(空间特征)和边缘处的回声强度和内部的灰度纹理(边缘特征)对胎儿超声图像进行人工标注。
[0049]
步骤2：构建基于深度神经网络模型的胎儿超声图像脑部分割模型，所述胎儿超声图像脑部分割模型由环境状态转换模块、环境奖励转换模块和提示图更新模块组成；所述环境状态转换模块用于对动作概率进行预测并评估当前状态组合,输出当前预测图；所述环境奖励转换模块用于根据上一次预测图、标签图像和当前预测图来计算环境奖励值，再通过环境奖励值反向传播训练环境状态转换模块；所述提示图更新模块用于对当前预测图提供新的提示图来细化下一次分割的结果；
[0050]
本实施例中，环境状态转换模块使用下采样的方式提取当前状态的特征，对提取到的特征图分两个支路，一路用于在已知当前状态下预测下一个动作的概率分布，即动作分支网络；另一支路用于预测当前状态估计值，即判断分支网络。通过动作分支网络预测动作的概率分布，从而对状态中的分割概率图进行更新；通过判断分支网络预测当前状态估
计值，从而实现在测试阶段提供有效的状态组合好坏估计值以提供环境奖励。
[0051]
所述提示图更新模块根据当前迭代次数采用不同方式对当前的分割结果提供新的提示图来细化下一次分割的结果，在迭代次数小于阈值时新的提示图由提示图网络提供，当迭代次数到达阈值时新的提示图由专业医生交互式提供。
[0052]
环境奖励转换模块根据上一次预测图、标签图像和当前预测图来计算环境奖励值，再通过环境奖励值反向传播训练环境状态转换模块的具体步骤如下：
[0053]
步骤2.1：所述环境奖励转换模块使用上一次预测图、标注图和当前预测图来计算延时奖励，延时奖励计算公式如下：
[0054]
r＝x
(t-1)-x
(t)
；
[0055]
其中：
[0056][0057]
步骤2.2：通过延时奖励计算价值函数，价值函数的计算公式如下：
[0058][0059]
其中：t为迭代总数，t为迭代次数，γ为衰减因子，取值范围为0到1,n为样本类别总数，y
′i表示第i个类别的预测值，yi是one-hot向量,r
t
为迭代步数为t的全局的奖励值；
[0060]
步骤2.3：利用价值函数反向传播训练环境状态转换模块中的动作分支和判断分支的深度神经网络模型；
[0061]
通过动作分支网络预测动作概率分布的损失loss
action
为：
[0062]
loss
action
＝-π(a
(t)
|s
(t)
)a(a
(t)
,s
(t)
)；
[0063][0064]
其中：π(a
(t)
|s
(t)
)为在状态s时采取行为a的概率，为在迭代步数k时，所有像素的平均价值函数,γ为衰减因子，v(s
(t)
)为输出当前状态的估计值；
[0065]
通过判断分支网络预测当前状态估计值的损失loss
deter
为：
[0066]
loss
deter
＝-a(s
(t)
,a
(t)
)2。
[0067]
步骤3：设置胎儿超声图像脑部分割模型的参数；所述的参数包括参数初始化、训练批次、阈值参数、学习率、优化方法和迭代次数；
[0068]
步骤4：将训练图像数据集导入胎儿超声图像脑部分割模型中，并通过环境奖励转换模块进行训练，更新胎儿超声图像脑部分割模型的参数，将验证图像数据集导入训练后的胎儿超声图像脑部分割模型中验证模型的分割结果，并使用相应的评价指标对分割结果进行评价，得到胎儿超声图像脑部分割最终模型；
[0069]
对深度神经网络的训练过程具体包括：
[0070]
步骤4.1：网络初始化：权值被设置成一个零均值高斯分布，标准差为这里k
l
是第l层卷积核的边长大小，d
l-1
是第l-1层滤波器的数量；深度神经网络的卷积层由标准高斯分布进行参数初始化；
[0071]
步骤4.2：训练：以状态估计值损失和动作概率分布的损失作为损失函数，使用随机梯度下降法为优化方法，采用多项式学习策略，学习率由初始学习率乘以(1-iter/max_
iter)
power
得到,max_iter为总的迭代次数，iter为当前迭代次数，power为指数衰减的常数。本实施例中，初始学习率设置为0.001，power设置为0.9。
[0072]
步骤5：将测试图像数据集导入已训练好的胎儿超声图像脑部分割最终模型中，进行前向传播，不断更新状态值直到输出结果满意，构建出胎儿超声图像脑部分割图。
[0073]
以上所述实施例仅表达了本技术的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。