基于对比学习的纤维显微内镜图像重建方法及存储介质与流程

1.本发明光纤显微内镜图像技术领域，具体涉及基于对比学习的纤维显微内镜图像重建方法及存储介质。


背景技术：

2.光纤显微内镜是采用激光扫描共聚焦成像技术和荧光标记物的新型内窥镜，它能够呈现与活检病理成像高度一致的细胞形态，从而使医生能够在给病人带来最小不适的前提下，原位准确判断癌症、癌前病变或者健康状态。光纤显微内镜具有微米级分辨率，是目前唯一一种能够进行细胞成像的内窥镜仪器。这种仪器的出现使内窥镜技术向前迈进了一大步。研究表明，光纤显微内镜在早期结肠癌病变、溃疡性结肠炎、barrett食管、胃食管反流病、非糜烂性反流病和消化道其他疾病的诊断中具有极大的临床价值和潜力。但成像过程中受到光纤影响出现网格结构，使图像存在部分信息被遮挡，且亮度不均匀，非常影响基于图像的疾病诊断、或基于图像进行的人工智能识别、诊治等方法的效果。


技术实现要素：

3.本发明提出的一种基于对比学习的纤维显微内镜图像重建方法存储介质，能够很好地适应于不同的光纤显微内镜图像，从而能够对有网格图片进行处理获取清晰的无网格图像。
4.为实现上述目的，本发明采用了以下技术方案：
5.一种基于对比学习的纤维显微内镜图像重建方法，包括以下步骤：
6.获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片；
7.基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型，并根据数据集对去网格模型进行参数优化得到优化模型；
8.通过获取待优化图像与其陷波滤波图像输入到优化模型，生成清晰图片。
9.进一步的，所述获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片，具体包括：
10.获取光纤显微内镜的图片与从有网格图片中转换来的过滤图像，其中获得过滤图像的步骤具体为：首先对有网格图像进行参数为1的高斯滤波，去除掉黑暗条件拍摄下图像包含的噪声，再对有网格图片进行置像素值大于30的像素点为0的像素过滤操作，得到近似只包含网格的图像c，过滤的步骤为：
[0011][0012]
其中pixel代表有网格图像i中的所有像素；
[0013]
再对有网格图像进行过滤范围为200-500的陷波滤波处理，得到近似无网格的图
像f，过滤的步骤为：
[0014]
f1＝fft(i)
[0015][0016]
f＝ifft(f2)
[0017]
其中fft是傅里叶变换，pixe是f1中的像素点，center是f1的中心点，根据像素点与中心点的欧几里得距离判断是否需要进行过滤。
[0018]
进一步的，所述基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型，并根据数据集对去网格模型进行参数优化得到优化模型，具体包括：
[0019]
利用获得到的特征图优化去网络模型，其中去网络模型包含用于恢复被网格遮挡部分的蜂窝特征编码器cfe和用于提取无网格特征的滤波编码器ffe，其中蜂窝特征编码器cfe的输入为像素过滤图像c和图像i，蜂窝编码器的具体步骤包含：
[0020]
fc＝gatedconv upsample(resnetblock(gatedconv downsample(c
⊙
i)))
[0021]
其中fc表示蜂窝特征编码器学习到的特征，gatedconv downsample和gatedconv upsample为用门限卷积进行的下采样和上采样，门限卷积为对同一特征图进行不同的卷积编码操作，然后对其中一个编码后的特征图进行sigmoid激活再与另一个编码的特征图进行点乘，公式化以上过程为：
[0022]fg
(i)＝conv1(i)+simoid(conv2(i))
[0023]
gatedconv downsample(i)＝conv3(fg(fg(i)))
[0024][0025]
其中conv1、conv2、conv3代表不同的卷积网络均无填充，其中conv1、conv2为卷积核大小为3*3步长为1的卷积，conv3为卷积核大小为3*3步长为4的卷积，提取到高层特征后进行残差学习，残差学习包含三个残差学习块；
[0026]
滤波编码器ffe的输入为滤波图片f，滤波编码器ffe的具体步骤包含：
[0027]
fc＝conv upsample(fablock(conv downsample(f)))
[0028]
其中conv upsample和conv downsample指用实现缩小特征图尺寸的普通上/下采样卷积编码，fablock指在普通卷积编码上添加通道注意力机制和像素注意力机制的卷积编码，具体包含：
[0029]
fablock(f)＝pixel((channel(f)+f))+(channel(f)+f)
[0030]
其channel(f)为添加的通道注意力卷积编码，pixel(f)为对f添加的像素注意力卷积编码，其用公式表示分别为：
[0031]
channel(f)＝pooling(conv6(relu(conv7(f))))
[0032]
pixel(f)＝conv7(relu(conv7(f)))
[0033]
其中pooling为平均池化层，其他两个conv为卷积核大小为3*3步长为1的普通卷积编码；
[0034]
最后将蜂窝特征编码器cfe和滤波编码器ffe提取到的特征按通道进行相加融合，通过卷积得到与原图大小、通道数一致的特征图if，并进行损失函数计算，其中损失函数为：
[0035][0036]
其中fft为傅里叶变换，在l1损失的基础上，添加基于对抗学习的傅里叶变换的对抗损失，通过权重超参数β调节学习到的特征函数与gt的相似度，并使其远离含网格的图像，在迭代训练中减少损失，在损失不再缩小时，保存当前网络权重用于进行图像去网格。
[0037]
进一步的，残差学习块具体步骤用公式表示为：
[0038]fresblock
(feature)＝conv4(feature)+conv5(relu(conv4(feature)))
[0039]
relu(x)＝max(0，z)
[0040]
其中feature为门限卷积得到的特征图，conv4和conv5为卷积核大小为3*3步长为1的卷积。
[0041]
再一方面，一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
[0042]
由上述技术方案可知，本发明的基于对比学习的纤维显微内镜图像重建方法，本发明通过使神经网络学习无网格图像和有网格图像及其经过处理的图像，通过结合有网格图像和无网格图像，在针对网格和无网格的粗糙纹理特征的学习中，在对抗学习的监督下使生成的图像更接近无网格图像且远离有网格图像，能够将有网格结构的光纤显微内镜图像转化为无网格的光纤显微内镜图像。
附图说明
[0043]
图1是本发明一种基于对比学习的纤维显微内镜图像重建方法的步骤流程图；
[0044]
图2是本发明一种基于对比学习的纤维显微内镜图像重建系统的结构框图；
[0045]
图3是本发明一种基于对比学习的纤维显微内镜图像网络模型的结构框图。
具体实施方式
[0046]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0047]
如图1所示，本发明提供了一种基于对比学习的纤维显微内镜图像重建方法，该方法包括以下步骤：
[0048]
s1、获取批量光纤显微内镜图片，按其是否有网格进行图像配对，再对网格图像进行像素过滤处理得到近似网格的图片与陷波滤波处理得到没有网格的图片；
[0049]
s2、基于卷积自动编码器、卷积自动解码器、注意力机制和门控卷积等构建去网格模型；
[0050]
s3、根据数据集对去网格模型进行参数优化得到优化模型；
[0051]
s4、通过获取待优化图像与其经过处理后得到的图像输入到优化模型，生成清晰图片。
[0052]
具体地，包括三个阶段，第一阶段为获取光纤显微内镜的图片与从有网格图片中转换来的过滤图像，第二阶段为利用获得到的特征图优化去网络模型，第三阶段为对将获得的有网格图像转化成无网格的清晰图像。
[0053]
第一阶段获取光纤显微内镜的图片与从有网格图片中转换来的过滤图像，其中获得过滤图像的步骤具体为：首先对有网格图像进行参数为1的高斯滤波，去除掉大部分黑暗条件拍摄下图像包含的大量噪声。再对有网格图片进行置像素值大于30的像素点为0的像素过滤操作，得到近似只包含网格的图像c，过滤的步骤为：
[0054][0055]
其中pixel代表有网格图像i中的所有像素；
[0056]
再对有网格图像进行过滤范围为200-500的陷波滤波处理，得到近似无网格的图像f，过滤的步骤为：
[0057]
f1＝fft(i)
[0058][0059]
f＝ifft(f2)
[0060]
其中fft是傅里叶变换，pixe是f1中的像素点，center是f1的中心点，根据像素点与中心点的欧几里得距离判断是否需要进行过滤。用手工测量的方法判定网络所属范围为200-500，通过过滤掉傅里叶空间中频率为200-500范围的信号，可以得到近似无网格的图像。
[0061]
第二阶段利用获得到的特征图优化去网络模型，其中去网络模型包含用于恢复被网格遮挡部分的蜂窝特征编码器cfe和用于提取无网格特征的滤波编码器ffe，其中蜂窝特征编码器cfe的输入为像素过滤图像c和图像i，蜂窝编码器的具体步骤包含：
[0062]
fc＝gatedconv upsample(resnetblock(gatedconv downsample(c
⊙
i)))
[0063]
其中fc表示蜂窝特征编码器学习到的特征，gatedconv downsample和gatedconv upsample为用门限卷积进行的下采样和上采样，门限卷积为对同一特征图进行不同的卷积编码操作，然后对其中一个编码后的特征图进行sigmoid激活再与另一个编码的特征图进行点乘，公式化以上过程为：
[0064]fg
(i)＝conv1(i)+simoid(conv2(i))
[0065]
gatedconv downsample(i)＝conv3(fg(fg(i)))
[0066][0067]
其中conv1、conv2、conv3代表不同的卷积网络均无填充，其中conv1、conv2为卷积核大小为3*3步长为1的卷积，conv3为卷积核大小为3*3步长为4的卷积，提取到高层特征后进行残差学习，残差学习包含三个残差学习块(residualblock)，残差学习块具体步骤用公式表示为：
[0068]fresblock
(feature)＝conv4(feature)+conv5(relu(conv4(feature)))
[0069]
relu(x)＝max(0，z)
[0070]
其中feature为门限卷积得到的特征图，conv4和conv5为卷积核大小为3*3步长为1的卷积。
[0071]
滤波编码器ffe的输入为滤波图片f，滤波编码器ffe的具体步骤包含：
[0072]
fc＝conv upsample(fablock(conv downsample(f)))
[0073]
其中conv upsample和conv downsample指用实现缩小特征图尺寸的普通上/下采样卷积编码，fablock指在普通卷积编码上添加通道注意力机制和像素注意力机制的卷积编码，具体包含：
[0074]
fablock(f)＝pixel((channel(f)+f))+(channel(f)+f)
[0075]
其channel(f)为添加的通道注意力卷积编码，pixel(f)为对f添加的像素注意力卷积编码，其用公式表示分别为：
[0076]
channel(f)＝pooling(conv6(relu(conv7(f))))
[0077]
pixel(f)＝conv7(relu(conv7(f)))
[0078]
其中pooling为平均池化层，其他两个conv为卷积核大小为3*3步长为1的普通卷积编码。
[0079]
最后将蜂窝特征编码器cfe和滤波编码器ffe提取到的特征按通道进行相加融合，通过卷积得到与原图大小、通道数一致的特征图if，并进行损失函数计算，其中损失函数为：
[0080][0081]
其中fft为傅里叶变换，在l1损失的基础上，添加基于对抗学习的傅里叶变换的对抗损失，通过权重超参数β调节学习到的特征函数与gt的相似度，并使其远离含网格的图像，在迭代训练中减少损失，在损失不再缩小时，保存当前网络权重用于进行图像去网格。
[0082]
第三阶段为对将获得的有网格图像转化成无网格的清晰图像，其具体包括：输入含网格图片，通过像素过滤和陷波滤波过滤得到近似网格图像和近似无网格图像，将三张图输入到去网络模型中，在各层卷积处理后得到无网格图像。
[0083]
另一方面，本发明实施例还公开一种基于对比学习的纤维显微内镜图像重建系统，包括：
[0084]
获取模块，用于获取光纤显微内镜的图片与从无网格图片中提取的图像特征；
[0085]
优化模块，用于利用无网格图像和有网格图像的特征图优化去网络模型；
[0086]
转化模块，用于将获得的有网格图像转化成无网格的清晰图像。
[0087]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0088]
一种基于对比学习的纤维显微内镜图像重建装置：
[0089]
至少一个处理器；
[0090]
至少一个存储器，用于存储至少一个程序；
[0091]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于对比学习的纤维显微内镜图像重建方法。
[0092]
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0093]
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0094]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
[0095]
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
[0096]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0097]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0098]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。