一种基于图像融合技术的甲状旁腺识别方法与流程

本发明涉及医学辅助技术领域，尤其是一种基于图像融合技术的甲状旁腺识别方法。

背景技术：

甲状旁腺是人体中重要的内分泌腺，活体甲状旁腺一般是扁椭圆形，外观呈黄色或者棕黄色，形似大豆。一般情况下每人有四个甲状旁腺，分别对称分布在左右两侧甲状腺背面的中部和下部，但有部分人群的甲状旁腺在位置和数量上存在较大差异，有文献称48％～62％的中国人具有四个甲状旁腺，15％的中国人仅有两个甲状旁腺，大约20％的上位甲状旁腺是不对称的，大约30％的下位甲状旁腺是不对称的。甲状旁腺的主要功能是分泌甲状旁腺激素(简称pth)，该激素的主要靶器官是肾脏和骨，其生理功能是调节机体内钙和磷的代谢并维持钙和磷的平衡。甲状腺等颈部手术中如果误切甲状旁腺可致使甲状旁腺激素分泌不足，血钙水平下降，而血磷水平上升，导致患者出现甲状旁腺功能减退症，症状表现为手脚及口唇麻木、四肢抽搐，严重影响患者术后的生活质量。手术中误切甲状旁腺已成为甲状腺等颈部手术产生医疗纠纷的主要原因之一。甲状旁腺被破坏引起的术后甲状旁腺功能减退一直是困扰甲状腺外科医生的一大难题，有文献称约20％～30％的甲状腺切除手术中误切了健康的甲状旁腺从而导致患者术后出现甲状旁腺功能减退症。因为甲状旁腺体积较小，位置和数量不固定，导致其不容易与异位甲状腺、异位胸腺、周围脂肪和淋巴结组织相区别，从而大大增加了误切、损伤、挫伤或血供受损的风险，尤其是下位甲状旁腺，常常与中央区淋巴结“混”在一起，在中央区淋巴结清扫手术过程中有较高的被误切或血供受损风险。

手术中准确识别甲状旁腺是保护其不被误切或损伤的前提，目前常用的术中辨别甲状旁腺方法主要有如下几种，但实际应用中，如下几种方法都各有优缺点：

1、肉眼识别：通过肉眼或者借助腔镜观察手术区域，寻找疑似甲状旁腺组织。其优点是耗时短、成本低，缺点是与医生个人水平有关，主观性强，尤其是对经验不足的医生来说有极大的风险。

2、染色识别：通过特殊染料对甲状旁腺或其周围组织进行染色标记，从而将甲状旁腺区分开来。标记所用染料分为正染色剂和负染色剂，正染色剂是直接对甲状旁腺组织进行染色标记，如美蓝。负染色剂是对甲状旁腺周围组织进行染色标记，从而反衬出甲状旁腺组织，如纳米碳注射液。染色识别的优点是相对无创，准确率较高，缺点是成本高，在染色时间、位置及剂量方面仍然存在争议，同时部分染色剂对人体有一定的副作用，如美蓝可能使患者出现恶心呕吐、发热、缺氧和尿道口刺疼等不适。

3、自荧光显影识别：研究表明，当甲状旁腺被波长785nm的光照射时，其可以产生峰值在820～830nm的近红外自荧光，自荧光是固有荧光体自身发出的荧光，区别于荧光标记染料产生的荧光，利用这一特性可以将甲状旁腺与周围其他组织相区分。自荧光显影识别甲状旁腺具有准确率高、操作简便、速度快、无创等优点，同时避免了荧光染料和造影剂可能带来的副作用。与其他识别方法相比，自荧光显影识别有着更广泛的研究和应用空间。但在实际使用过程中发现，部分淋巴结，电刀灼烧后的脂肪组织也会产生自荧光，产生干扰，导致自荧光显影识别的准确度也难以保证。

技术实现要素：

本发明人针对上述问题及技术需求，提出了一种基于图像融合技术的甲状旁腺识别方法，本发明的技术方案如下：

一种基于图像融合技术的甲状旁腺识别方法，该方法包括：

获取若干组样本图像，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像，荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的甲状腺组织图像，实景图像是使用摄像头在相同视野下获取的甲状腺组织图像；

基于各组样本图像训练得到甲状旁腺识别模型，甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，第一特征提取单元包括若干个卷积层并用于对样本图像中的荧光显影图像进行特征提取，第二特征提取单元包括若干个卷积层并用于对样本图像中的实景图像进行特征提取，特征融合模块对第一特征提取单元和第二特征提取单元提取得到的特征进行融合；

获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入甲状旁腺识别模型识别得到甲状旁腺，第一特征提取单元对目标荧光显影图像进行特征提取，第二特征提取单元对目标实景图像进行特征提取。

其进一步的技术方案为，第一特征提取单元对目标荧光显影图像进行特征提取得到具有第一图像尺寸的第一特征图和具有第二图像尺寸的第五特征图，第二特征提取单元对目标实景图像进行特征提取得到具有第一图像尺寸的第二特征图和具有第二图像尺寸的第六特征图，第二图像尺寸大于第一图像尺寸；

特征融合模块包括第一特征拼接层、第三特征提取单元、第二特征拼接层、第四特征提取单元和分割图提取层；

第一特征拼接层对第一特征图和第二特征图按通道进行拼接得到具有第一图像尺寸的第三特征图；

第三特征提取单元对第三特征图进行特征提取得到具有第二图像尺寸的第四特征图；

第二特征拼接层对第五特征图、第六特征图和第四特征图按通道进行拼接得到具有第二图像尺寸的第七特征图；

第四特征提取单元对第七特征图进行特征提取得到具有与目标荧光显影图像和目标实景图像相同图像尺寸的第八特征图；

分割图提取层从第八特征图中提取得到甲状旁腺所在区域。

其进一步的技术方案为，第三特征提取单元包括第一卷积层、第一全局池化层、第一相乘层和第一上采样层，第一卷积层对第三特征图进行卷积处理后输入到第一全局池化层和第一相乘层，第一全局池化层对第一卷积层的输出进行全局池化处理后输入到第一相乘层，第一相乘层对第一卷积层输出和第一全局池化层的输出进行相乘处理后输出到第一上采样层进行上采样得到第四特征图。

其进一步的技术方案为，第一全局池化层对第一卷积层的输出的每一通道的元素求平均值得到大小为1*1的特征图并输入到卷积核为1*1的卷积操作中，最后使用sigmoid激活函数进行激活得到第一全局池化层的输出。

其进一步的技术方案为，第四特征提取单元包括第二卷积层、第二全局池化层、第二相乘层、第三卷积层和第二上采样层，第二卷积层对第七特征图进行卷积处理后输入到第二全局池化层和第二相乘层，第二全局池化层对第二卷积层的输出进行全局池化处理后输入到第二相乘层，第二相乘层对第二卷积层输出和第二全局池化层的输出进行相乘处理后输出到第三卷积层，经第三卷积层完成卷积操作后输出到第二上采样层进行上采样得到第八特征图。

其进一步的技术方案为，第八特征图包括第一通道和第二通道，分割图提取层按通道比较第八特征图的元素值，若第一通道的元素值大于等于第二通道则将元素值置为0，否则置为1，处理完所有元素值后转换为灰度图得到分割图、提取得到甲状旁腺所在区域。

其进一步的技术方案为，对于第一特征提取单元和第二特征提取单元中的任意一个卷积层，卷积层依次执行卷积操作、批归一化操作和激活操作。

其进一步的技术方案为，该方法还包括：

对每组样本图像中的甲状旁腺所在区域进行标注，对标注后的荧光显影图像和实景图像进行二值化处理，将图像中标注为甲状旁腺的区域的像素点的灰度值置为255、其余像素点的灰度值置为0，得到样本图像对应的标签图像，在甲状旁腺识别模型的训练过程中，基于每组样本图像对应的标签图像利用损失函数更新模型参数。

其进一步的技术方案为，甲状旁腺识别模型的训练过程中使用adam优化器，损失函数采用diceloss加交叉熵损失函数。

其进一步的技术方案为，获取若干组样本图像，包括：

通过加装摄像头的近红外自体荧光显像仪拍摄甲状腺组织样本，摄像头与近红外自体荧光显像仪探头的视野一致，摄像头连接到实景成像系统；摄像头和显影仪探头同时采集图像，通过摄像头采集到实景图像，通过显影仪探头采集到荧光显影图像。

本发明的有益技术效果是：

本申请公开了一种基于图像融合技术的甲状旁腺识别方法，该方法利用在实景图像上淋巴结、脂肪等组织容易辨别的特点，采用深度学习图像融合技术对荧光显影图像和实景图像的特征进行融合用于识别甲状旁腺，可以克服使用近红外自荧光显影识别方法识别甲状旁腺所存在的误识别问题，对甲状旁腺的识别和定位精度较高，降低了甲状腺等颈部手术中破坏甲状旁腺组织的风险。

附图说明

图1是本申请中的甲状旁腺识别模型的模型结构图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于图像融合技术的甲状旁腺识别方法，包括如下步骤：

步骤s1，获取若干组样本图像，每组样本图像对应一个甲状腺组织样本，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像。

其中，荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的图像，本申请中的目标波段为波长785nm的波段。实景图像是在无影灯光线下使用摄像头在相同视野下获取的图像。

在该步骤中，采集到的荧光显影图像和实景图像是同一个甲状腺组织样本在同一时刻、相同视野下的两类图像，本申请采用加装摄像头的近红外自体荧光显像仪拍摄甲状腺组织样本，近红外自体荧光显像仪是现有成熟设备，主要包括显影仪探头和荧光成像系统两部分，显影仪探头用于采集图像，荧光成像系统用于完成对显影仪探头采集到的图像的处理和显示等操作。可以在现有的近红外自体荧光显像仪上加装摄像头，摄像头与近红外自体荧光显像仪的探头的视野一致，摄像头连接到实景成像系统，实景成像系统用于完成对摄像头采集到的图像的处理和显示等操作。在使用时，摄像头和显影仪探头同时采集图像，通过摄像头采集到实景图像，通过显影仪探头采集到荧光显影图像，将摄像头和显影仪探头在同一时刻采集到的图像作为一组样本图像。摄像头在不同时刻采集到的多个实景图像按时间顺序保存，显影仪探头在不同时刻采集到的多个荧光显影图像同样按时间顺序保存。

在采集样本图像之后，还需要处理得到对应的标签图像，也即需要对样本图像中的甲状旁腺所在区域进行标注，通常由专业医务人员进行标注，若图像中不存在甲状旁腺，则不对图像做任何标注。对标注后的荧光显影图像和实景图像进行二值化处理，将图像中标注为甲状旁腺的区域的像素点的灰度值置为255、其余像素点的灰度值置为0，得到样本图像对应的标签图像。

步骤s2，基于各组样本图像训练得到甲状旁腺识别模型，本申请中的甲状旁腺识别模型的模型结构如图1所示，本申请将在步骤s3对甲状旁腺识别模型的结构及各层的处理过程进行介绍。

本申请甲状旁腺识别模型的训练过程中，基于每组样本图像对应的标签图像利用损失函数更新模型参数。本申请甲状旁腺识别模型的训练过程中使用adam优化器，损失函数采用diceloss加交叉熵损失函数。adam优化器公式如下：

vt＝β2vt-1+(1-β2)gt²；

mt＝β1mt-1+(1-β1)gt；

其中gt表示t时刻的梯度；mt表示t时刻的梯度指数移动平均数，初始值m0＝0；vt表示t时刻的梯度平方指数移动平均数，初始值v0＝0；η表示学习率；ε＝10^-8，可以避免除数为0；θt表示t时刻的模型参数，θt-1表示t-1时刻的模型参数。

diceloss损失函数公式为交叉熵损失函数公式为loss＝-(ylogy′+(1-y)log(1-y′))，其中y′表示预测值，y表示标签值。

步骤s3，获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入甲状旁腺识别模型。获取目标荧光显影图像和目标实景图像的方法与步骤s1中获取甲状腺组织样本的荧光显影图像和实景图像的方法类似，获取到的目标荧光显影图像和目标实景图像也是待识别甲状腺组织在同一时刻、相同视野下的图像。

甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，第一特征提取单元包括若干个卷积层并用于对输入的图像进行特征提取，第二特征提取单元包括若干个卷积层并用于对输入的图像进行特征提取。在模型训练阶段，第一特征提取单元对样本图像中的标注荧光显影图像进行特征提取，第二特征提取单元对同一组样本图像中的标注实景图像进行特征提取。在模型使用阶段，第一特征提取单元对目标荧光显影图像进行特征提取，第二特征提取单元对目标实景图像进行特征提取。在模型的训练和使用阶段，每一组对应的荧光显影图像和实景图像都具有相同的图像尺寸。特征融合模块对第一特征提取单元和第二特征提取单元提取得到的特征进行融合。具体的，

1、第一特征提取单元对目标荧光显影图像进行特征提取得到具有第一图像尺寸的第一特征图f1和具有第二图像尺寸的第五特征图f5，第二图像尺寸大于第一图像尺寸。其中，第一特征提取单元通过卷积层依次对目标荧光显影图像执行卷积操作使得图像尺寸依次减小，首先可以提取得到第二图像尺寸的第五特征图f5，继续通过卷积层执行卷积操作使得图像尺寸继续减小，最终可以提取得到第一图像尺寸的第一特征图f1。

第一特征提取单元中每个卷积层依次执行卷积操作、批归一化操作和激活操作。批归一化操作具体公式为其中xi表示输入，x′i表示处理后的输出；mean(xi)表示批处理数据的均值，var(xi)表示批处理数据的方差；γ和β分别表示模型在训练过程中可学习的缩放与平移参数，初始值分别为1和0；ε是为了避免除数为零而设置的微小正数。激活操作使用leakyrelu激活函数，具体公式为其中x′i表示处理后的输出，xi表示输入。

较为常用的，目标荧光显影图像的图像尺寸为512*512，第一特征提取单元中通过步长为2的卷积操作使特征图的大小逐渐降低，可以提取得到第二图像尺寸128*128的第五特征图f5，以及第一图像尺寸32*32的第一特征图f1。

2、第二特征提取单元对目标实景图像进行特征提取得到具有第一图像尺寸的第二特征图f2和具有第二图像尺寸的第六特征图f6。第二特征提取单元的结构与第一特征提取单元类似，每个卷积层的结构和操作也与第一特征提取单元中的卷积层类似。因此在上述实例中，输入的目标实景图像的图像尺寸为512*512，通过步长为2的卷积操作使特征图的大小逐渐降低，可以提取得到第二图像尺寸128*128的第六特征图f6，以及第一图像尺寸32*32的第二特征图f2。

3、特征融合模块包括第一特征拼接层、第三特征提取单元、第二特征拼接层、第四特征提取单元和分割图提取层：

(1)第一特征拼接层对第一特征图f1和第二特征图f2按通道进行拼接得到具有第一图像尺寸的第三特征图f3。

(2)第三特征提取单元对第三特征图f3进行特征提取得到具有第二图像尺寸的第四特征图f4。具体的：第三特征提取单元包括第一卷积层、第一全局池化层、第一相乘层和第一上采样层，其中：

第一卷积层对第三特征图f3进行卷积处理后输入到第一全局池化层和第一相乘层，本申请中第一卷积层使用1*1的卷积核对第三特征图f3执行卷积操作融合各通道信息，降低通道数量，得到图像融合后的具有第一图像尺寸的特征图输入到第一全局池化层和第一相乘层。

第一全局池化层对第一卷积层的输出进行全局池化处理后输入到第一相乘层。在本申请中，第一全局池化层执行全局平均池化操作、卷积操作和激活操作，也即第一全局池化层对第一卷积层的输出的每一通道的元素求平均值得到大小为1*1的特征图并输入到卷积核为1*1的卷积操作中，最后使用sigmoid激活函数进行激活得到第一全局池化层的图像尺寸为1*1的输出。sigmoid激活函数具体公式为其中x′i表示处理后的输出，xi表示输入。

第一相乘层对第一卷积层的输出和第一全局池化层的输出进行相乘处理，也即将第一全局池化层的输出的元素值与第一卷积层的输出对应通道上每一个元素相乘后输出到第一上采样层进行上采样得到具有第二图像尺寸的第四特征图f4。在一个实例中，第一相乘层对第一卷积层的具有第一图像尺寸32*32的输出与第一全局池化层的具有图像尺寸1*1的输出进行相乘得到同样具有第一图像尺寸为32*32的特征图，第一上采样层采用双线性插值算法将32*32的特征图扩增到具有第二图像尺寸为128*128的第四特征图f4。

(3)第二特征拼接层对第五特征图f5、第六特征图f6和第四特征图f4按通道进行拼接得到具有第二图像尺寸的第七特征图f7。

(4)第四特征提取单元对第七特征图进行特征提取得到具有与目标荧光显影图像和目标实景图像相同图像尺寸的第八特征图f8。具体的：第四特征提取单元包括第二卷积层、第二全局池化层、第二相乘层、第三卷积层和第二上采样层，其中：

第二卷积层对第七特征图f7进行卷积处理后输入到第二全局池化层和第二相乘层，本申请中第二卷积层使用1*1的卷积核对第七特征图f7执行卷积操作融合各通道信息，降低通道数量，得到图像融合后的具有第二图像尺寸的特征图输入到第二全局池化层和第二相乘层。

第二全局池化层对第二卷积层的输出进行全局池化处理后输入到第二相乘层，第二全局池化层的结构以及执行的操作与第一全局池化层相同，本申请不再赘述。

第二相乘层对第二卷积层输出和第二全局池化层的输出进行相乘处理后输出到第三卷积层，第二相乘层所执行的操作与第一相乘层类似，本申请不再赘述。

第三卷积层对第二相乘层的输出执行卷积操作，得到通道数为2且具有第二图像尺寸的输出。

第三卷积层完成卷积操作后输出到第二上采样层进行上采样得到第八特征图f8，本申请中的第二上采样层也使用双线性插值算法，将具有第二图像尺寸的特征图扩增到与原始目标实景图像相同的尺寸。

(5)分割图提取层从第八特征图中提取得到甲状旁腺所在区域，如上所述，第八特征图包括两个通道分别为第一通道和第二通道，分割图提取层按通道比较第八特征图的元素值，若第一通道的元素值大于等于第二通道则将元素值置为0，否则置为1，处理完所有元素值后转换为灰度图得到分割图，也即将每个像素乘以255，最终提取得到甲状旁腺所在区域，也即识别得到待识别甲状腺组织的组织图像中的甲状旁腺，在临床应用时，可以利用分割图在目标实景图像上显示识别得到的甲状旁腺，方便临床使用。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。