基于跨模型相互教学半监督的房颤辅助分析方法

1.本发明属于房颤辅助分析技术领域，特别是涉及一种基于跨模型相互教学半监督的房颤辅助分析方法。


背景技术：

2.房颤作为最常见的心脏疾病，通常表现为持续性心率失常和左心房增大，因此左心房的解剖结构能够为房颤病理分析提供重要信息，而左心房的直径、体积、体积指数和球形度这四个指标可以为房颤评估和分析提供重要依据，故准确计算这些指标值对房颤评估具有重要作用。然而，准确计算指标值依赖于左心房轮廓的准确描绘，目前在临床诊断上医生主要通过从心脏核磁共振图像手动分割左心房区域，不仅耗费时间，而且分割准确度较低。
3.随着深度学习技术的发展，基于深度学习的图像分割方法取得了良好的效果。目前大多数可用的临床数据库规模较小，因此很难使用全监督学习方式训练模型。对于医学影像来说获取大量的标签数据是一个费时费力的过程，标签结果受到医生主观影像较大。相较于标签数据，无标签数据是容易获得且能够大量提供，如何利用有限的标签数据和大量的无标签数据进行半监督学习已经成为很多研究者关注的重点。目前，在半监督学习中主要面临两大难点：1)一致性正则化约束问题。一致性正则化约束通过添加扰动加强模型在预测过程或者中间特征提取过程中的一致性。对于同一个无标签数据通过在扰动过程中随机扩充图像，使得模型在前向传播中获得两个不同的预测结果，并在增强图像的预测之间加入一致性约束，从而使模型更加关注低密度区域，以提高分割性能。一般来说，大多数教师-学生模型训练框架中使用的是基于指数移动平均(ema)方法更新教师参数。然而，指数移动平均更侧重于在训练过程中的每个阶段对学生模型的参数进行加权，并没有评估模型生成的伪标签的质量。随着训练次数的增加，教师模型会累积学习到学生模型的参数，同时也会累积参数中的错误知识，这样不能够保证教师模型能够提供更好的伪标签进行监督。2)模型空间信息获取能力不足。在已有的大多数研究中采用的是基于纯卷积神经网络(cnn)的医学影像分割方法，其中大部分模型都是基于u-net/v-net模型及其变体衍化而来的，虽然在各种任务中取得了不错的结果，但是由于卷积运算有一定的局限性，基于cnn的方法对于全局信息和长依赖信息的建模能力有限，而且大多数医学影像都是基于3d结构的，每张图像之间都有很多空间信息，这些空间信息在cnn模型中无法很好地被获取。


技术实现要素：

4.针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于跨模型相互教学半监督的房颤辅助分析方法。
5.本发明解决所述技术问题采用的技术方案如下：
6.一种基于跨模型相互教学半监督的房颤辅助分析方法，包括以下步骤：
7.s1、在训练阶段采用包含随机翻转、对比度增强以及随机裁剪在内的方式进行数
据增强，在推理阶段采用中心裁剪进行数据增强，将待分割的3d心脏核磁共振图像裁剪为规定大小；
8.s2、引入可变形的transformer，构建左心房分割模型；左心房分割模型包括基于卷积神经网络的编码器、3d可变形的transformer编码器和基于卷积神经网络的解码器；
9.基于卷积神经网络的编码器包括多个级联的编码器层，每个编码器层均包含卷积层、归一化层、激活层和下采样层，待分割的3d心脏核磁共振图像通过基于卷积神经网络的编码器进行特征提取，得到多尺度空间特征图；
10.3d可变形的transformer编码器由多个3d可变形的transformer编码器层堆叠而成，每个3d可变形的transformerr编码器层均包括级联的自注意力层、归一化层、前向反馈层和归一化层，自注意力层和前向反馈层采用残差连接；
11.基于卷积神经网络的编码器提取的空间特征图输入到3d可变形的transformer编码器中，通过3d位置编码器对输入的空间特征图进行扁平化，同时将空间特征图中左心房区域的像素点作为关键点；将扁平化后的空间特征图和关键点输入到自注意力层中，自注意力层利用3d可变形的多头自注意力机制使3d可变形的transformerr编码器只关注空间特征图的部分像素点，3d可变形的自注意力机制是将注意力机制在z轴方向拓展得到，表达式为：
[0012][0013]
式中，表示3d可变形的多头注意力机制，zq表示像素点的坐标，表示zq的归一化坐标，表示多尺度空间特征图，m表示多头注意力机制的自注意力头索引编号，m表示自注意力头数，l表示空间特征图数量，wm、w
′m均表示单位矩阵，k表示像素点的数量，δp
mlqk
和a
mlqk
分别表示第m个注意力头第l个空间特征图第k个像素点的采样偏移量和注意力权重；表示将归一化坐标转换为对应的第l个空间特征图；
[0014]
基于卷积神经网络的解码器包括与编码器层数量相同的解码器层，除最后一个解码器层为上采样层外，其余解码器层均为转置卷积；
[0015]
s3、搭建基于跨模型相互教学的半监督训练框架；将左心房分割模型作为教师模型，v-net模型作为学生模型，监督损失l
sup
的表达式为：
[0016]
l
sup
＝0.5
×
(l
ce
(yi,pi)+l
dice
(yi,pi))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0017]
式中，l
ce
(yi,pi)、l
dice
(yi,pi)分别表示左心房分割预测图pi与真实标签yi之间的交叉熵损失和骰子系数损失；
[0018]
对于未标签数据，使用跨模型相互教学的半监督训练，3d心脏核磁共振图像分别输入到教师模型和学生模型中产生两个伪标签，利用教师模型为学生模型提供伪标签，利用学生模型为教师模型提供伪标签；对生成的伪标签进行过滤，将左心房分割预测图中像素点的置信度作为过滤指标，分别对左心房分割预测图的前景和背景设置阈值，对于左心房分割预测图的前景选择置信度高于前景阈值的像素点，左心房分割预测图的背景选择置信度小于背景阈值的像素点，将左心房分割预测图中的其余像素点删除，得到过滤后的左心房分割预测图；利用过滤后的左心房分割预测图和伪标签计算模型训练的二交叉熵损失为：
[0019][0020]
其中，分别表示左心房分割预测图的前景和背景，γ和β分别表示前景阈值和背景阈值；表示伪标签，包括教师模型为学生模型提供的伪标签和学生模型为教师模型提供的伪标签左心房分割预测图pi包括教师模型和学生模型的预测结果；
[0021]
跨模型相互教学的策略损失函数l
cmt
定义为：
[0022][0023]
式中，表示教师模型的预测结果与伪标签的二交叉熵损失，表示学生模型的预测结果与伪标签的二交叉熵损失；
[0024]
模型训练总的损失函数表示为：
[0025]
l
total
＝l
sup
+αl
cmt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0026]
其中，l
sup
表示监督损失，l
cmt
表示跨模型相互教学的策略损失，α表示平衡因子；
[0027]
平衡因子α的表达式为：
[0028][0029]
式中，t表示模型当前的训练步数，t
max
表示模型的最大训练步数；
[0030]
s4、对同一张3d心脏核磁共振图像生成的多张左心房分割预测图按照原来的位置进行3d重建，得到重建后的左心房分割预测图；基于重建后的左心房分割预测图，计算左心房的直径、体积、体积指数和左心房球形度四种临床指标，医生将这些临床指标与正常参考值范围进行比较，并结合临床经验判断患者是否有房颤，实现房颤的辅助分析。
[0031]
与现有技术相比，本发明的有益效果为：
[0032]
1、3d心脏核磁共振图像中含有丰富的空间信息，有利于左心房的准确分割。为了对3d心脏核磁共振图像进行分割，本发明在卷积神经网络中引入可变形的transformer构建左心房分割模型，充分利用cnn提取局部特征和transformer可以对远程长依赖信息进行建模，以提取空间信息的优势。与传统的transformer模块相比，本发明的3d可变形的transformer编码器将左心房区域的像素点作为关键点，使得3d可变形的transformer编码器只关注左心房区域所在的关键点，而不管特征图的空间大小。通过为每个查询只分配少量固定数量的键，可以缓解收敛和特征空间分辨率的问题，减少计算量的同时加快了收敛速度。
[0033]
2、在左心房分割模型与v-net模型之间搭建跨模型相互教学的半监督机制，能够兼顾不同模型在同一数据上的信息类别，同时对预测结果设置了前景阈值和背景阈值，利用像素点的置信度对生成的伪标签进行过滤，进而提供准确稳定的伪标签，使两个模型预测逐渐达到一致性，从而提高左心房分割模型的分割精度。同时解决了现有的教师-学生模型半监督训练框架中，随着训练次数的增加，教师模型会累积错误的知识，而不能提供更好的伪标签进行监督的问题。在分割过程中充分利用了大量未标签数据，很大程度上缓解了模型对标签数据的依赖，减少了医生对3d mri数据的标注时间和精力，减少人力成本。
[0034]
3、本发明通过左心房分割模型获取左心房区域的图像，并通过3d重建左心房分割结果得到左心房直径、体积、体积指数和左心房球形度四种临床指标，能够帮助医生在房颤
症状和心脏疾病方面的诊断，在临床实践中具有重要意义，有利于医学自动诊断技术从实验室到临床应用。
附图说明
[0035]
图1为本发明的整体流程图；
[0036]
图2为本发明的左心房分割模型的结构图；
[0037]
图3为本发明的编码器的结构图；
[0038]
图4为本发明的3d可变形的transformerr编码器层的结构图。
具体实施方式
[0039]
下面结合附图和具体实施方式对本发明的技术方案进行详细描述，但并不以此限定本技术的保护范围。
[0040]
本发明提供一种基于跨模型相互教学半监督的房颤辅助分析方法(简称方法，参见图1～4)，具体包括以下步骤：
[0041]
s1、定义数据集：遵循标准的半监督学习数据集设置，将数据集记为d，将标签数据集表示为d
l
＝{x
l
,y
l
}，未标签数据集表示为du＝{xu}，其中x表示3d心脏核磁共振图像，y
l
表示真实标签；选取20％的标签数据和80％的未标签数据用于模型训练，达到利用少量的标签数据和大量的未标签数据组成的样本训练模型的目的；
[0042]
对数据集进行增强：目前医学影像的数据集与动辄几千、几万张的自然图像的数据集相比十分稀少，为了使模型的稳健性更强，在训练阶段采用组合方式进行数据增强，包含随机翻转15
°
、对比度增强以及随机裁剪等方式；在推理阶段使用中心裁剪的方式进行数据增强，将待分割的3d心脏核磁共振图像裁剪为240*240*80像素；
[0043]
s2、引入可变形的transformer，构建左心房分割模型；左心房分割模型包括基于卷积神经网络的编码器、3d可变形的transformer编码器和基于卷积神经网络的解码器，参见图2；
[0044]
s21、基于卷积神经网络的编码器包括四个级联的编码器层，每个编码器层均包含级联的卷积层、归一化层、激活层和下采样层；卷积层的卷积核大小为2*2*2，步长为2；激活层采用prelu激活函数，归一化层采用batchnorm层归一化函数；经过卷积层和下采样层后，特征图的通道数会增加一倍，分辨率减少一半；将待分割的3d心脏核磁共振图像输入到基于卷积神经网络的编码器中进行特征提取，得到多尺度空间特征图，多尺度空间特征图表示为：
[0045][0046]
式中，表示第l个编码器层提取的空间特征图，c表示通道数，h
l
表示空间特征图f
l
的高度，w
l
表示空间特征图f
l
的宽度，d
l
表示空间特征图f
l
的深度；l表示编码器层数量，f
cnn
(.)表示基于卷积神经网络的编码器，θ为基于卷积神经网络的编码器参数；
[0047]
s22、3d可变形的transformer编码器由多个3d可变形的transformer编码器层堆叠而成(本实施例为8个)，每个3d可变形的transformerr编码器层均包括级联的自注意力
层、归一化层、前向反馈层和归一化层，自注意力层和前向反馈层均采用残差连接，参见图3；将基于卷积神经网络的编码器的第二～四个编码器层提取的空间特征图输入到3d可变形的transformer编码器中，得到transformer编码器提取的空间特征图，进而提取到3d心脏核磁共振图像之间的长依赖信息；
[0048]
transformer是一种基于多头注意机制的网络架构，主要应用于自然语言处理，由于其在长依赖信息中的优势，在处理视觉任务中也取得了不错的效果；在transformer模块中，给定一个查询元素(例如分割区域的一个像素点)和一组关键元素(例如待分割图像中的像素点)，多头注意力机制根据注意力权重自适应地聚合关键元素查询的匹配程度；为了让模型关注来自不同表示子空间和不同位置的内容，多头注意力机制将不同注意力头的输出与可学习的注意力权重进行线性聚合；本技术在传统transformer模块的基础上进行改进，得到3d可变形的transformer模块，一方面为了解决传统transformer模块在收敛之前需要很长训练时间，而且transformer模块比cnn收敛速度慢，需要更多数据集的问题；另一方面为了解决传统transformer模块计算的是图像所有数据的权重，多头注意力的计算和记忆复杂度很高，如果有许多查询和关键元素，会使得计算量非常大难以适用于3d医学影像的问题；
[0049]
因此，3d可变形的transformer编码器首先通过3d位置编码器对输入的空间特征图进行扁平化，同时将空间特征图中左心房区域的像素点作为关键点；3d位置编码器的表达式为：
[0050][0051]
式中，pe(.)表示3d位置编码器，pos表示像素点，v表示像素点的位置权重，k表示像素点的索引编号；
[0052]
然后，将扁平化后的空间特征图和关键点输入到自注意力层中，自注意力层通过3d可变形的多头自注意力机制使3d可变形的transformerr编码器只关注空间特征图的部分像素点；3d可变形的自注意力机制是将注意力机制在z轴方向(即增加一个通道)拓展得到，以适应3d环境；3d可变形的自注意力机制的表达式为：
[0053][0054]
式中，表示3d可变形的多头注意力机制，zq表示像素点的坐标，表示zq的归一化坐标，表示多尺度空间特征图，m表示多头注意力机制的自注意力头索引编号，m表示自注意力头数，l表示空间特征图数量，wm、w
′m均表示单位矩阵，k表示像素点的数量，δp
mlqk
和a
mlqk
分别表示第m个注意力头第l个空间特征图第k个像素点的采样偏移量和注意力权重；表示将归一化坐标转换为对应的第l个空间特征图；
[0055]
s23、基于卷积神经网络的解码器包括四个级联的解码器层，前三个解码器层均采用卷积核大小为2*2*2，步长为2的转置卷积，将transformer编码器提取的空间特征图返回到输入分辨率；最后一个解码器层为上采样层，用于输出左心房分割预测图；为了保留更多的底层细节，基于卷积神经网络的编码器和解码器之间采用跳跃连接。
[0056]
s3、搭建基于跨模型相互教学的半监督训练框架，为了充分利用卷积神经网络在局部信息的处理优势以及transformer模块在长依赖信息中的优势，将步骤s2构建的左心房分割模型作为教师模型，v-net模型作为学生模型，这样能够在训练过程中提供更加准确的伪标签，进而可以在标签数据稀少的情况下更好地分割左心房区域；
[0057]
为了保证跨模型相互教学中的教师模型和学生模型都可以学习标签数据的特征，对标签数据建立监督约束；将标签数据集分别输入到教师模型和学生模型中进行训练，采用交叉熵(ce)和骰子系数(dice)计算左心房分割预测图与真实标签之间的监督损失，监督损失的表达式为：
[0058]
l
sup
＝0.5
×
(l
ce
(yi,pi)+l
dice
(yi,pi))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0059]
式中，l
ce
(yi,pi)、l
dice
(yi,pi)分别表示左心房分割预测图pi与真实标签yi之间的交叉熵损失和骰子系数损失；
[0060]
对于未标签数据，使用跨模型相互教学的半监督训练策略；具体来说，将未标签数据集中的任意一张3d心脏核磁共振图像分别输入到教师模型和学生模型中，产生两个预测结果；
[0061][0062][0063]
其中，f
t
(.)表示教师模型，fs(.)表示学生模型，表示教师模型的预测结果，表示学生模型的预测结果；
[0064]
在半监督方法中，伪标签是一种提倡利用模型本身为未标签数据生成人工标签的方式；对于未标签数据，利用教师模型为学生模型提供伪标签，利用学生模型为教师模型提供伪标签，令分别表示教师模型为学生模型提供的伪标签和学生模型为教师模型提供的伪标签，则有：
[0065][0066][0067]
虽然伪标签与图像的模态无关，但是在训练过程中可能会存在大量错误的伪标签，因此对生成的伪标签进行过滤，以减少训练中存在的噪声，提高整体性能；将左心房分割预测图中像素点的置信度作为过滤指标，分别对左心房分割预测图的前景和背景设置阈值，对于左心房分割预测图的前景选择置信度高于前景阈值的像素点，左心房分割预测图的背景选择置信度小于背景阈值的像素点，将左心房分割预测图中的其余像素点删除，得到过滤后的左心房分割预测图；利用过滤后的左心房分割预测图和伪标签计算模型训练的二交叉熵损失为：
[0068][0069]
其中，分别表示左心房分割预测图的前景和背景，γ和β分别表示前景阈值和背景阈值；表示伪标签，包括教师模型为学生模型提供的伪标签和学生模型为教师模型提供的伪标签式(9)中的左心房分割预测图pi包括教师模型的预测结果
和学生模型的预测结果
[0070]
跨模型相互教学的策略损失l
cmt
定义为：
[0071][0072]
式中，表示教师模型的预测结果与伪标签的二交叉熵损失，表示学生模型的预测结果与伪标签的二交叉熵损失；
[0073]
跨模型相互教学的策略损失函数结合了教师模型和学生模型对同一个未标签数据产生的不同预测结果，有利于提升左心房分割模型的预测精度；
[0074]
综上，模型训练总的损失函数表示为：
[0075]
l
total
＝l
sup
+αl
cmt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0076]
其中，α表示监督学习与半监督学习的平衡因子，用于确保总的损失函数开始时以全监督为主导，避免模型在训练过程中退化，α的表达式为：
[0077][0078]
式中，t表示模型当前的训练步数，t
max
表示模型的最大训练步数。
[0079]
s4、左心房分割预测模型采用滑动窗口的方式对3d心脏核磁共振图像进行分割预测，因此同一张3d心脏核磁共振图像生成多张左心房分割预测图，将所有左心房分割预测图按照原来的位置进行3d重建，得到重建后的左心房分割预测图；根据重建后的左心房分割预测图，计算左心房的直径la
dia
、体积lav、体积指数la
vi
和左心房球形度la
sp
这四种临床指标，医生将这些临床指标与正常参考值范围进行比较，并结合临床经验判断患者是否有房颤，以此达到房颤辅助分析的目的；
[0080]
在临床应用中，常常使用心房大小和形态进行对房颤患者进行评估，因此，从重建后的左心房分割预测图中获取左心房的体积lav、左心房前后径la
dap
、左心房左右径la
dml
、左心房上下径la
dsi
，选取la
dap
、la
dml
、la
dsi
中的最大值作为左心房的直径(单位：mm)，其表达式为：
[0081]
la
dia
＝max(la
dap
；la
dml
；la
dsi
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0082]
左心房的体积指数la
vi
为：
[0083]
la
vi
＝lav/b
sa
ꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0084]
其中，体积指数的单位为ml/m2，lav表示左心房的体积，b
sa
表示患者的体表面积，计算公式为：
[0085]bsa
＝0.0061
×
身高+0.0124
×
体重
–
0.0099
ꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0086]
其中，身高和体重的单位分别为cm和kg；
[0087]
左心房球形度la
sp
为：
[0088]
la
sp
(％)＝v
dia
/la
dia
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0089]
其中，v
dia
表示与左心房同容积球体的直径，单位为mm。
[0090]
本发明未述及之处适用于现有技术。