一种叠层成像重建方法及系统

1.本发明涉及叠层成像领域，特别是涉及一种叠层成像重建方法及系统。


背景技术：

2.在各种常规相干衍射成像方法中，叠层成像由于其高分辨率和大视野的优势，成为人们关注的焦点。除可见光外，它还被证明在x射线、极紫外线和电子束具有很好的应用前景。相干衍射成像所涉及的问题可以概括为从衍射图样中恢复缺失的相位，这通常被视为病态的逆问题。传统的相位检索算法通常是基于替代投影方案，通过应用实验和先验信息的约束来更新猜测。
3.在叠层成像中，扩展的叠层迭代引擎(epie)是一种通过替代投影进行重建的有效方法，它可以将探针和出口波分开，同时重建探针和物体的复振幅。在实验中，通过移动照亮整个样品，记录了一系列的衍射图案。由于相邻扫描区域之间的重叠而产生的冗余数据，可以解决模糊性的问题，并实现快速收敛。许多算法被提出来以优化迭代的过程校正误差和增强分辨率。最近，深度学习为解决相位检索中的逆向问题提供了一个新的途径。
4.作为一种无透镜成像技术，叠层成像为解决空间分辨率与视场之间的冲突提供了一种新途径。但是，由于传感器的像素大小限制，空间分辨率和信号噪声比之间将达成折衷。理论上，使用像素尺寸较小的传感器可以减少混叠问题并提高分辨率。然而，像素尺寸的物理减少将牺牲信噪比和动态范围，这会给重建过程带来额外的困难。


技术实现要素：

5.基于此，本发明实施例提供一种叠层成像重建方法及系统，以在使用较大像素尺寸的传感器的情况下，提高分辨率。
6.为实现上述目的，本发明提供了如下方案：
7.一种叠层成像重建方法，包括：
8.获取样品的多张衍射图；多张所述衍射图是采用叠层成像装置对样品进行多次扫描得到的；
9.根据多张所述衍射图确定最优衍射距离以及在所述最优衍射距离处每张衍射图的扫描位置；所述最优衍射距离为衍射图轮廓最清晰时对应的样品与传感器之间的距离；
10.采用所述扫描位置对样品在当前迭代次数下的复振幅分布进行裁剪，并根据裁剪后的复振幅分布与探针在当前迭代次数下的复振幅分布确定当前迭代次数下的衍射预测图；所述探针为照射到样品的复振幅波前；
11.采用平均池化法对当前迭代次数下的衍射预测图进行设定倍数的下采样，得到采样后的衍射预测图；
12.计算所述采样后的衍射预测图和相应的衍射图之间的损失；
13.若所述损失小于设定值，则将样品在当前迭代次数下的复振幅分布确定为样品最终的复振幅分布，将探针在当前迭代次数下的复振幅分布确定为探针最终的复振幅分布；
14.若所述损失不小于设定值，则基于所述损失的梯度值更新样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布后，进入下次迭代。
15.可选的，所述根据多张所述衍射图确定最优衍射距离以及在所述最优衍射距离处每张衍射图的扫描位置，具体包括：
16.根据多张所述衍射图，采用基于锐度的自动聚焦算法，确定最优衍射距离；
17.根据多张所述衍射图，采用基于互相关的位置配准算法，确定在所述衍射距离处每张衍射图的扫描位置。
18.可选的，所述基于所述损失的梯度值更新样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布后，进入下次迭代，具体包括：
19.采用反向传播法计算所述损失的梯度值；
20.基于所述梯度值采用adam优化器对样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布进行更新，并在更新后进入下次迭代。
21.可选的，所述根据多张所述衍射图，采用基于锐度的自动聚焦算法，确定最优衍射距离，具体包括：
22.计算各所述衍射图在不同衍射距离处的锐度，并将锐度最大的衍射距离确定为最优衍射距离。
23.可选的，所述根据多张所述衍射图，采用基于互相关的位置配准算法，确定在所述衍射距离处每张衍射图的扫描位置，具体包括：
24.计算在所述衍射距离处每相邻两张衍射图的互相关谱，并将所述互相关谱的峰值作为相邻两张衍射图的偏移距离；
25.根据所有的偏移距离确定在所述衍射距离处每张衍射图的扫描位置。
26.本发明还提供了一种叠层成像重建系统，包括：
27.衍射图获取模块，用于获取样品的多张衍射图；多张所述衍射图是采用叠层成像装置对样品进行多次扫描得到的；
28.距离及位置确定模块，用于根据多张所述衍射图确定最优衍射距离以及在所述最优衍射距离处每张衍射图的扫描位置；所述最优衍射距离为衍射图轮廓最清晰时对应的样品与传感器之间的距离；
29.衍射预测图确定模块，用于采用所述扫描位置对样品在当前迭代次数下的复振幅分布进行裁剪，并根据裁剪后的复振幅分布与探针在当前迭代次数下的复振幅分布确定当前迭代次数下的衍射预测图；所述探针为照射到样品的复振幅波前；
30.采样模块，用于采用平均池化法对当前迭代次数下的衍射预测图进行设定倍数的下采样，得到采样后的衍射预测图；
31.损失计算模块，用于计算所述采样后的衍射预测图和相应的衍射图之间的损失；
32.重建模块，用于若所述损失小于设定值，则将样品在当前迭代次数下的复振幅分布确定为样品最终的复振幅分布，将探针在当前迭代次数下的复振幅分布确定为探针最终的复振幅分布；
33.复振幅分布更新模块，用于若所述损失不小于设定值，则基于所述损失的梯度值更新样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布后，进入下次迭代。
34.可选的，所述距离及位置确定模块，具体包括：
35.衍射距离确定单元，用于根据多张所述衍射图，采用基于锐度的自动聚焦算法，确定最优衍射距离；
36.扫描位置确定单元，用于根据多张所述衍射图，采用基于互相关的位置配准算法，确定在所述衍射距离处每张衍射图的扫描位置。
37.可选的，所述复振幅分布更新模块，具体包括：
38.梯度值计算单元，用于采用反向传播法计算所述损失的梯度值；
39.更新单元，用于基于所述梯度值采用adam优化器对样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布进行更新，并在更新后进入下次迭代。
40.可选的，所述衍射距离确定单元，具体包括：
41.锐度计算子单元，用于计算各所述衍射图在不同衍射距离处的锐度，并将锐度最大的衍射距离确定为最优衍射距离。
42.可选的，所述扫描位置确定单元，具体包括：
43.偏移距离计算子单元，用于计算在所述衍射距离处每相邻两张衍射图的互相关谱，并将所述互相关谱的峰值作为相邻两张衍射图的偏移距离；
44.位置确定子单元，用于根据所有的偏移距离确定在所述衍射距离处每张衍射图的扫描位置。
45.与现有技术相比，本发明的有益效果是：
46.本发明实施例提出了一种叠层成像重建方法及系统，采用平均池化法对衍射预测图进行设定倍数的下采样，使得采样后的衍射预测图与测量的衍射图的大小相匹配，从而可以通过亚像素配准实现更高的对准精度，因此，计算采样后的衍射预测图和相应的衍射图之间的损失，并根据损失确定的样品最终的复振幅分布和探针最终的复振幅分布的分辨率会得到提升。本发明不必以减少传感器的像素尺寸为代价提升分辨率，因此，实现了在使用较大像素尺寸的传感器的情况下，提高分辨率。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
48.图1为本发明实施例提供的叠层成像重建方法的流程图；
49.图2为本发明实施例提供的叠层成像装置的结构示意图；
50.图3为本发明本实施例提供的叠层成像重建方法的具体实现原理图。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
53.基于镜头的传统光学系统的最大分辨率主要由阿贝准则决定。然而，由于奈奎斯特采样定理，它也受到数字记录时的传感器像素大小的限制。在叠层这样的无透镜成像系统中，传感器像素大小的影响很大，由于空间混叠和下采样，高分辨率的信息被遗漏。理论上，使用像素尺寸较小的传感器可以减少混叠问题并提高分辨率。然而，像素尺寸的物理减少将牺牲信噪比和动态范围，这会给重建过程带来额外的困难。近些年，所谓的像素超分辨方法已经被提出来解决上述的问题，其中，较高的分辨率结果可以从一系列低分辨率数据中合成出来。为了简化实验设置，这些低分辨率数据通常来自于样品的横向或轴向移动，这不可避免地增加了原本所需的数据量。更重要的是，在迭代过程中，它经常需要调整对估计场的强度约束来收敛到最优解。
54.本实施例提出了基于物理模型和自动优化的叠层成像重建方法，以增强分辨率。叠层中的移动照明不仅可以加速收敛，还可以通过冗余数据提高分辨率。该方法通过先验的物理模型模拟实验，包括一个额外的层来模拟数字记录的下采样。估计和测量数据之间的误差提供了优化的梯度方向，而不是传统算法中的解析计算。通过验证，在平面照明下，该方法的空间分辨率提高到epie的两倍，并突破了传感器的像素尺寸。
55.图1为本发明实施例提供的叠层成像重建方法的流程图。参见图1，本实施例的叠层成像重建方法，包括：
56.步骤101：获取样品的多张衍射图；多张所述衍射图是采用叠层成像装置对样品进行多次扫描得到的。
57.叠层成像装置如图2所示。参见图2，由叠层成像装置搭建的光路图，具体的实验参数如下：从波长为637nm的半导体激光源(coherent，obis637lx)发出的激光束通过空间滤波器和准直透镜1，输出一个平面波，摄入准直透镜1中的光束为球面波s。样品6被设置在一个x/y平移台4上，样品6放在一个1毫米针孔5的下游。衍射图由传感器3(如型号为imperxigv b4020m的ccd相机)记录，其像素大小为5.5
×
5.5μm2，其中x/y平移台4由电脑控制。
58.光路实验操作过程如下：
59.1)从波长为637nm的半导体激光源发出的激光束通过空间滤波器和准直透镜1，输出一个平面波。2)平面波经过反射镜2反射后，分别通过针孔5和样品6。其中样品6被设置在一个x/y平移台4上，放在一个1毫米针孔5的上方。3)通过x/y平移台4这样的二维平移台控制样品6移动，衍射图由传感器3记录。
60.步骤102：根据多张所述衍射图确定最优衍射距离以及在所述最优衍射距离处每张衍射图的扫描位置。所述最优衍射距离为衍射图轮廓最清晰时对应的样品与传感器之间的距离，即对焦到轮廓最清楚的位置时的衍射距离。最优衍射距离即正确的衍射距离，用于后续重建清晰的结果。
61.步骤102，具体包括：
62.1)根据多张所述衍射图，采用基于锐度的自动聚焦算法，确定最优衍射距离。具体的：
63.采用roberts算子计算各所述衍射图在不同衍射距离处的锐度l，并将锐度最大的
衍射距离确定为最优衍射距离z。计算公式为：
64.l＝roberts《propagate-z
′
{ij}》；
65.propagate-z
′
{
·
}＝f-1
{f{
·
}exp{-iz
′
(u2+v2)}}。
66.其中，ij表示第j张衍射图；propagate-z
′
{ij}表示将衍射图ij从传感器位置反向传播衍射距离z
′
后的衍射图；f表示正傅里叶变换；f-1
表示逆傅里叶变换；u表示x方向的空间频率；v表示y方向的空间频率；i表示虚数单位；z
′
表示衍射距离。
67.2)根据多张所述衍射图，采用基于互相关的位置配准算法，确定在所述衍射距离处每张衍射图的扫描位置。具体的：
68.计算在所述衍射距离处每相邻两张衍射图的互相关谱f，并将所述互相关谱f的峰值作为相邻两张衍射图的偏移距离；根据所有的偏移距离确定在所述衍射距离处每张衍射图的扫描位置rj。计算公式为：
69.f＝xcorr《propagate-z
{ij},propagate-z
{i
j+1
}》；
70.其中，
71.propagate-z
{
·
}＝f-1
{f{
·
}exp{-iz(u2+v2)}}。
72.对于两个函数f(x)和g(x)，它们的互相关谱为：
73.xcorr《f(x),g(x)》＝∫f
*
(τ)g(x+τ)dτ；
74.τ表示平移量，f
*
(τ)表示对f(τ)做复数共轭，g(x+τ)表示将g(x)平移τ后的函数。
75.步骤103：采用所述扫描位置对样品在当前迭代次数下的复振幅分布进行裁剪，并根据裁剪后的复振幅分布与探针在当前迭代次数下的复振幅分布确定当前迭代次数下的衍射预测图。所述探针为照射到样品的复振幅波前。具体的：
76.初次迭代时，假设样品的初始复振幅分布o(rj)和探针的初始复振幅分布p(r)为全1分布。若样品和探针的尺寸被放大了相同的倍数γ，那么上述的扫描位置也放大相同的倍数，则可保证获得更高的分辨率结果。
77.采用扫描位置rj裁剪物体的复振幅分布的不同区域，得到裁剪后的复振幅分布oj(rj)，将oj(rj)乘以探针的复振幅分布p(r)模拟移动照明，获得出射波p(r)oj(rj)。再通过并行计算，传播到记录平面的多个通道中，可以被传感器记录的衍射图，即为衍射预测图
[0078][0079]
步骤104：采用平均池化法对当前迭代次数下的衍射预测图进行设定倍数的下采样，得到采样后的衍射预测图。
[0080]
由于传感器的采样不足，添加额外的平均池化层avgpool来匹配测量的衍射图的大小，即对采用平均池化法进行γ倍数的下采样，使采样后的衍射预测图与衍射图ij大小一致。
[0081]
步骤105：计算所述采样后的衍射预测图和相应的衍射图之间的损失。具体的：
[0082]
使用平均平方误差法计算采样后的衍射预测图和测量的衍射图ij之间的损失loss。其中，
[0083]
[0084]
d(
·
)表示距离判断算子。
[0085]
步骤106：若所述损失小于设定值，则将样品在当前迭代次数下的复振幅分布确定为样品最终的复振幅分布，将探针在当前迭代次数下的复振幅分布确定为探针最终的复振幅分布。样品最终的复振幅分布和探针最终的复振幅分布即为成像重建结果。
[0086]
步骤107：若所述损失不小于设定值，则基于所述损失的梯度值更新样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布后，进入下次迭代。具体的：
[0087]
采用反向传播法计算所述损失loss的梯度值基于所述梯度值采用adam优化器会选取合适的步长α、β对样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布进行更新，并在更新后进入下次迭代，直至采样后的衍射预测图与实际测量的衍射图的误差达到设定值。由于下采样层和更精准的位置，因此，可获得更高分辨率的重建效果。具体的更新公式为：
[0088][0089][0090]
其中，o(r)
′
为更新后的样品的复振幅分布；o(r)为更新前的样品的复振幅分布；α为adam优化器为更新样品的复振幅分布所选取的步长；p(r)
′
为更新后的探针的复振幅分布；p(r)为更新前的探针的复振幅分布；β为adam优化器为更新探针的复振幅分布所选取的步长。
[0091]
结合上述步骤，本实施例的叠层成像重建方法的具体实现原理如图3所示。图3中，将猜测的样品的复振幅分布根据扫描位置rj进行裁剪，将裁减后的不同区域均与猜测的探针的复振幅分布相乘，获得出射波e(j)；将出射波衍射最优的衍射距离z，并取模值后强度值作为衍射预测图i(j)，然后将衍射预测图通过平均池化进行下采样，获得下采样后的预测衍射图i
′
(j)；将下采样后的衍射预测图与实际拍摄的衍射图计算损失loss，通过反向传播计算梯度值并通过adam优化对样品和探针的复振幅分布进行更新。
[0092]
本实施例的叠层成像重建方法具有如下优点：
[0093]
1、由于对样品和探针的确定的衍射预测图采用平均池化法进行了下采样，从而可以通过亚像素配准实现更高的对准精度，在平面波照明下，空间分辨率会提高到epie算法的两倍，并突破了传感器的像素尺寸。因此，本实施例具有高分辨率，同时无需限制传感器的像素大小。
[0094]
2、样品和探针的复振幅分布的更新可以通过反向传播法和adam优化器完成，不需要任何解析函数，适应性高。与传统算法不同的是，该模型通过对所有衍射图案的平行计算来更新样品的整个区域，因此它也不存在顺序迭代所产生的栅格效应。
[0095]
本发明还提供了一种叠层成像重建系统，包括：
[0096]
衍射图获取模块，用于获取样品的多张衍射图；多张所述衍射图是采用叠层成像装置对样品进行多次扫描得到的。
[0097]
距离及位置确定模块，用于根据多张所述衍射图确定最优衍射距离以及在所述最优衍射距离处每张衍射图的扫描位置；所述最优衍射距离为衍射图轮廓最清晰时对应的样品与传感器之间的距离。
[0098]
衍射预测图确定模块，用于采用所述扫描位置对样品在当前迭代次数下的复振幅
分布进行裁剪，并根据裁剪后的复振幅分布与探针在当前迭代次数下的复振幅分布确定当前迭代次数下的衍射预测图；所述探针为照射到样品的复振幅波前。
[0099]
采样模块，用于采用平均池化法对当前迭代次数下的衍射预测图进行设定倍数的下采样，得到采样后的衍射预测图。
[0100]
损失计算模块，用于计算所述采样后的衍射预测图和相应的衍射图之间的损失。
[0101]
重建模块，用于若所述损失小于设定值，则将样品在当前迭代次数下的复振幅分布确定为样品最终的复振幅分布，将探针在当前迭代次数下的复振幅分布确定为探针最终的复振幅分布。
[0102]
复振幅分布更新模块，用于若所述损失不小于设定值，则基于所述损失的梯度值更新样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布后，进入下次迭代。
[0103]
在一个示例中，所述距离及位置确定模块，具体包括：
[0104]
衍射距离确定单元，用于根据多张所述衍射图，采用基于锐度的自动聚焦算法，确定最优衍射距离。
[0105]
扫描位置确定单元，用于根据多张所述衍射图，采用基于互相关的位置配准算法，确定在所述衍射距离处每张衍射图的扫描位置。
[0106]
在一个示例中，所述复振幅分布更新模块，具体包括：
[0107]
梯度值计算单元，用于采用反向传播法计算所述损失的梯度值。
[0108]
更新单元，用于基于所述梯度值采用adam优化器对样品在当前迭代次数下的复振幅分布和探针在当前迭代次数下的复振幅分布进行更新，并在更新后进入下次迭代。
[0109]
在一个示例中，所述衍射距离确定单元，具体包括：
[0110]
锐度计算子单元，用于计算各所述衍射图在不同衍射距离处的锐度，并将锐度最大的衍射距离确定为最优衍射距离。
[0111]
在一个示例中，所述扫描位置确定单元，具体包括：
[0112]
偏移距离计算子单元，用于计算在所述衍射距离处每相邻两张衍射图的互相关谱，并将所述互相关谱的峰值作为相邻两张衍射图的偏移距离。
[0113]
位置确定子单元，用于根据所有的偏移距离确定在所述衍射距离处每张衍射图的扫描位置。
[0114]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0115]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。