一种光学相干层析图像饱和伪影的图像修复方法

1.本发明属于图像处理和成像技术领域，特别是涉及一种光学相干层析图像饱和伪影的图像修复方法。


背景技术：

2.光学相干层析术(optical coherence tomography,oct)是一种通过采集样品表面或内部背向散射光而成像的技术。对于谱域oct系统，受光电探测器cmos或ccd的动态范围限制，在样品强反射点或界面处会出现信号饱和，使逆傅里叶变换得到的oct图像中产生饱和伪影。这种饱和伪影一方面会引入伪信号，另一方面可能掩盖真实的信号。饱和伪影严重影响了成像效果，尤其是在对具有复杂结构的生物组织及表面起伏大的样品成像中。
3.去除饱和伪影对于oct成像质量提升具有重要意义。典型的硬件方法是基于功率拆分的饱和信号重构方法去除饱和伪影。例如，2014年，wu等人提出一种基于“并行”采集方法，将谱域oct中的单线阵ccd替换为双线阵ccd，使用b线阵ccd检测到的不饱和信号来补偿a线阵ccd检测到的饱和信号(wu c t,tsai m t,lee c k.two-level optical coherence tomography scheme for suppressing spectral saturation artifacts.sensors.2014,14(8):13548-13555.)。但是这种信号补偿对饱和伪影的去除效果有限，实用性差。
4.随着计算能力的提高，一些基于数字图像处理的方法也被用于去除oct图像的饱和伪影。2012年，huang等人采用相邻a-scan的线性插值来减少饱和伪影，但不适用于伪影密集分布的情况(huang y,kang j u.real-time reference a-line subtraction and saturation artifact removal using graphics processing unit for high-frame-rate fourier-domain optical coherence tomography video imaging.optical engineering.2012,51(7):073203.)。2021年，liu等人提出了一种基于字典的稀疏表示方法进行oct饱和伪影图像修复(liu h,cao s,ling y,gan y.inpainting for saturation artifacts in optical coherence tomography using dictionary-based sparse representation.ieee photonics journal.2021,13(2):3900110.)。然而，这些方法会平滑图像，导致图像细节的损失，且数据集构建对样品种类数有较高的要求。


技术实现要素：

5.为了克服上述问题，本发明提供一种光学相干层析图像饱和伪影的图像修复方法。
6.本发明首先构建oct饱和伪影图像数据集，该数据集由oct饱和伪影图像和正常图像对构成；然后构建oct图像饱和伪影校正模型，利用oct饱和伪影图像数据集训练神经网络；最后基于构建的oct图像饱和伪影校正模型去除oct图像中的饱和伪影，实现图像修复。
7.为实现以上目的，本发明采用如下技术方案：
8.一种光学相干层析图像饱和伪影的图像修复方法，包括三个步骤：
9.步骤1：构建光学相干层析(optical coherence tomography,oct)饱和伪影图像
数据集：
10.所述oct饱和伪影图像数据集由oct饱和伪影图像和正常图像对构成，可以通过实验采集和数字模拟两种方法获得；
11.实验采集获得oct饱和伪影图像数据集的方法：首先采集一帧样品的未饱和二维oct图像，所述未饱和二维oct图像是正常图像；在样品同一位置调节干涉信号强度，使得光电探测器cmos或ccd采集的光谱信号出现饱和，经过逆傅里叶变换后，得到二维oct饱和伪影图像，构成一个oct饱和伪影图像和正常图像对；在样品的m个不同位置各采集一对共采集m对正常图像和饱和伪影图像对，构建成饱和伪影图像数据集，m值取大于等于20的自然数；
12.所述调节干涉信号强度的方法包括：调节oct光源的输出强度、参考臂光阑大小或移动样品台高度以改变入射光束在样品中的聚焦位置；
13.数字模拟获得oct饱和伪影图像数据集的方法：首先采集一帧样品的未饱和二维oct图像，所述未饱和二维oct图像是正常图像；在所述正常图像对应的每一条a-line光谱信号中引入阈值，经过逆傅里叶变换后，得到模拟的二维oct饱和伪影图像，构成一个oct饱和伪影图像和正常图像对；在样品的n个不同位置各采集一个共采集n个正常图像，通过数字模拟获得相应的n个模拟的二维oct饱和伪影图像，构建成由n对正常图像和模拟的饱和伪影图像对组成的饱和伪影图像数据集，n值取大于等于20的自然数；
14.所述引入阈值的方法是：对于所述正常图像每一条a-line对应的光谱信号，设定一个阈值h，将大于等于阈值h的光谱信号数值统一赋值为h。
15.所述阈值h的获得方法是：检测所述正常图像对应的光谱信号，计算光谱信号的均值i_mean和最大值i_max，在i_mean和i_max之间选取所述的阈值h。
16.步骤2：构建oct图像饱和伪影校正模型；
17.利用oct饱和伪影图像数据集训练神经网络，构建oct图像饱和伪影校正模型。
18.步骤3：基于构建的oct图像饱和伪影校正模型实现oct图像修复；
19.将oct饱和伪影图像输入到构建的oct图像饱和伪影校正模型中，得到去除饱和伪影的oct图像，实现oct图像修复。
20.本发明的有益效果：
21.1、本发明通过数字方法来实现oct饱和伪影图像的修复，无需任何机械硬件装置的改动，可以降低系统开发的硬件成本；
22.2、本发明基于oct图像饱和伪影产生的机理构建数据集，利用深度学习方法去除oct图像中的饱和伪影，图像修复效果好；
23.3、本发明的实施对构建数据集的样品种类及数目要求低，泛化能力强。
附图说明
24.图1是本发明提供的光学相干层析图像饱和伪影的图像修复方法流程图；
25.图2是本发明提供的数字模拟方法获得oct饱和伪影图像数据集构建流程图；
26.图3是本发明的生成器结构示意图；
27.图4是本发明的生成器中的残差密连接块结构示意图；
28.图5是本发明的判别器结构示意图；
29.图6是本发明实现的斑马鱼oct饱和伪影图像修复结果；其中(a)为本发明采集的斑马鱼脊背oct饱和伪影图像，(b)为本发明实现的修复后的无伪影oct图像。
30.图7是本发明提供的实验采集方法获得oct饱和伪影图像数据集构建流程图；
31.图8是本发明提供的oct图像采集示意图；
32.图9是本发明实现的斑马鱼oct饱和伪影图像修复结果；其中(a)为本发明采集的斑马鱼鳞片oct饱和伪影图像，(b)为本发明实现的修复后的无伪影oct图像。
具体实施方式
33.下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
34.实施例1
35.一种光学相干层析图像饱和伪影的图像修复方法，方法流程如附图1所示，包括：
36.步骤1：构建oct饱和伪影图像数据集：
37.本实施例通过数字模拟的方法来获得oct饱和伪影图像数据集，如附图2所示；
38.具体实施方法如下：
39.首先采集一帧样品的未饱和二维oct图像亦即正常图像，在所述正常图像对应的每一条a-line光谱信号中引入阈值，经过逆傅里叶变换后，得到模拟的二维oct饱和伪影图像；在样品的n个不同位置共采集n个正常图像，数字模拟获得相应的n个模拟的二维oct饱和伪影图像，构建n对正常图像和模拟的饱和伪影图像数据集，n值取大于等于20的自然数。
40.所述引入阈值的方法是：对于所述正常图像每一条a-line对应的光谱信号，设定一个阈值h，将大于等于阈值h的光谱信号数值统一赋值为h。
41.所述阈值h的获得方法是：检测所述正常图像对应的光谱信号，计算光谱信号的均值i_mean和最大值i_max，对于每一条a-line的光谱信号，设置h为阈值；其中，在满足i_mean《h《i_max的条件下，本实施例中h值在1.2
×
i_mean～1.5
×
i_mean之间选取，h取值越小，饱和伪影图像中的伪影越密集。
42.本实施例通过数字模拟的方法获得了由ab硅胶制成的仿体样品的oct饱和伪影图像数据集，数据集包含25对oct饱和伪影图像和正常图像对。其中，oct图像大小为1000
×
2048(像素
×
像素)，对应于3mm
×
2.3mm的视野范围。每张oct图像裁剪为64
×
64(像素
×
像素)的小图像，去除其中亮度过低的黑色背景图，并通过镜像翻转扩充数据集，生成11525对64
×
64(像素
×
像素)oct饱和伪影图像和正常图像对数据集。其中，95％的图像组成训练数据集，其余图像组成验证数据集。
43.步骤2：构建oct图像饱和伪影校正模型；
44.具体实施方法如下：
45.利用oct饱和伪影图像数据集训练神经网络，构建oct图像饱和伪影校正模型；
46.本实施例采用增强型生成对抗神经网络建立oct图像饱和伪影校正模型。增强型生成对抗神经网络由一个生成器和一个判别器组成。输入oct饱和伪影图像到上述增强型生成对抗神经网络的生成器中得到生成图像；所述生成图像和正常oct图像被输入到判别器中，判别器用于从正常oct图像中分辨出生成图像。两个网络互相对抗更新权重参数，如
此往复训练直至增强型生成对抗神经网络收敛，即判别器无法判断从正常oct图像中分辨出生成器的结果。
47.所述增强型生成对抗神经网络中生成器结构如附图3所示，包括卷积模块、特征提取模块和特征重建模块；
48.卷积模块包括一个卷积层conv；
49.特征提取模块包括23个残差密连接块rrdbblock。每个残差密连接块结构如附图4所示，由3个添加残差边的密集连接块dense block级联组成；每个密集连接块包含5个卷积层和4个lrelu层，卷积层和lrelu层之间密连接，每层的特征图之间加入了跳跃连接；
50.特征重建模块通过3个卷积层conv和一个上采样模块upsampling将学习到的特征重建为无伪影图像。
51.所述增强型生成对抗神经网络中判别器结构如附图5所示，包含5个具有3
×
3滤波器核的卷积层conv和5个具有4
×
4滤波器核的卷积层conv；层间的激活函数为leakyrelu；除了第一层之外，每个卷积层与leakyrelu层之间都有一个批处理归一化层bn。经过卷积层进行特征提取后，经过两个线性层和一个leakyrelu层后得到输出值。
52.所述增强型生成对抗神经网络中各卷积层对应的卷积核大小(k)、个数(n)、步长(s)已在图3、图4和图5中标注。
53.网络参数设置参考原网络参数，采用adam优化器，学习率初始化为10-4
，模型进行了15万次迭代训练，其中batch size为4。训练和测试均使用pytorch软件，在具有64gb ram和gpu为nvidia titan rtx的服务器上执行。
54.步骤3：基于oct图像饱和伪影校正模型实现oct图像修复；
55.将oct饱和伪影图像输入到步骤2构建的oct图像饱和伪影校正模型中，模型输出得到去除饱和伪影的oct图像。
56.如附图6所示，给出了本发明实现的oct饱和伪影图像修复结果。图6(a)为本发明采集的斑马鱼脊背oct饱和伪影图像，图6(b)为本发明建立的oct图像饱和伪影校正模型输出的无伪影oct图像。可以看到，本发明输出的图像中去除了短小竖线状饱和伪影。这表明通过本发明的方法，能以较高的视觉质量修复饱和图像中的伪影，且具有较好的泛化能力。
57.实施例2
58.一种光学相干层析图像饱和伪影的图像修复方法，方法流程如附图1所示，包括：
59.步骤1：构建oct饱和伪影图像数据集：
60.本实施例中通过实验采集的方法来获得oct饱和伪影图像数据集,如附图7所示；
61.具体实施方法如下：
62.首先采集一帧样品的未饱和二维oct图像，亦即正常图像；采集系统如附图8所示，系统包含光源101，参考臂光阑102，参考镜103，分束器104，样品台105，探测器106。可以通过调节oct光源的输出强度、参考臂光阑大小或沿轴向移动样品台高度改变入射光束在样品中的聚焦位置，从而改变干涉信号强度。本实施例采用调节参考臂光阑大小的方法，在样品同一位置增大干涉信号强度，使得光电探测器cmos或ccd采集的光谱信号出现饱和，经过逆傅里叶变换后，得到二维oct饱和伪影图像，构成一个oct饱和伪影图像和正常图像对；按照上述方法在样品的m个不同位置各采集一对共采集m对正常图像和饱和伪影图像对，构建成饱和伪影图像数据集，m值取大于等于20的自然数；
63.本实施例中通过实验采集的方法获得了由ab硅胶制成的仿体样品的oct饱和伪影图像数据集，数据集包含25个oct饱和伪影图像和正常图像对。其中，oct图像大小为1000
×
2048(像素
×
像素)，对应于3mm
×
2.3mm的视野范围。每张oct图像裁剪为64
×
64(像素
×
像素)的小图像，去除其中亮度过低的黑色背景图，并通过镜像翻转扩充数据集，生成11391对64
×
64(像素
×
像素)oct饱和伪影图像和正常图像对数据集。其中，95％的图像组成训练数据集，其余图像组成验证数据集。
64.步骤2：构建oct图像饱和伪影校正模型；
65.校正模型构建方法同实施例1。
66.步骤3：基于oct图像饱和伪影校正模型实现oct图像修复；
67.将oct饱和伪影图像输入到步骤2构建的oct图像饱和伪影校正模型中，模型输出得到去除饱和伪影的oct图像。
68.如附图9所示，给出了本发明实现的oct饱和伪影图像修复结果。图9(a)为本发明采集的斑马鱼脊背oct饱和伪影图像，图9(b)为本发明建立的oct图像饱和伪影校正模型输出的无伪影oct图像。可以看到，本发明输出的图像中去除了短小竖线状饱和伪影。这表明通过本发明的方法，能以较高的视觉质量修复饱和图像中的伪影，且具有较好的泛化能力。
69.本发明实施时，首先利用实验采集或数字模拟方法获得oct饱和伪影图像和正常图像对，构建oct饱和伪影图像数据集；然后构建oct图像饱和伪影校正模型，利用oct饱和伪影图像数据集训练神经网络；最后将oct饱和伪影图像输入到构建的oct图像饱和伪影校正模型中，得到去除饱和伪影的oct图像。本发明可以在不对硬件系统进行改动的情况下实现光学相干层析图像饱和伪影的图像修复，速度快、泛化能力强。
70.上述实施例为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人员能够了解本发明内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。