扫描电镜二次电子图像超分辨方法和系统

本发明涉及图像处理，尤其是指一种扫描电镜二次电子图像超分辨方法和系统。

背景技术：

1、扫描电子显微镜(sem)作为微纳结构形貌表征与微纳材料机械、电学性能原位表征的仪器设备，具有实时性、非接触性、纳米级分辨率、高真空性以及良好的扩充性等优势，在微纳结构形貌的精确表征、机械及电学性能表征和目标样品的3d形貌恢复等领域广泛使用。扫描电子显微镜的分辨率实际上是空间分辨力，其指能分辨出细节差异的的最大“能力”，即两个物体之间的最小距离。显微镜将原先的物体放大成图像便于观察，物与像的尺寸关系可通过放大倍数来衡量，放大倍数被定义为像宽度l与物宽度l的比值，即m＝l/l。对于sem而言，不仅在样品上的扫描宽度会跟图像的显示宽度存在放大倍数m的关系，样品像素l物和图像像素l像的大小也可以用式l_物＝l_像/m表示，通过增大l像或者缩小l物，放大倍数理论上可以无限大。一般l像的尺寸随显示器的大小是固定的，往往改变l物来改变放大倍数。但是考虑到样品特征和扫描电镜的分辨能力，l存在下限。随着放大率的增加，样本像素之间的间距(nm/像素)减小，在某一点上，束斑直径将大于间距，导致所谓的过采样。当这种情况发生时，从每个像素获得的信息将不再是该像素独有的，并且显示的图像将变得模糊。

2、目前提升扫描电镜图像质量的方法通常采取以下要点：1)在硬件上通过持续减小束斑直径以带来更好的分辨率，同时不过于牺牲束流；为获取更好的信噪比优势还要增加扫描时间。2)在软件上采用psf方法结合贝叶斯方法对图像进行锐化，同时不引入伪像，图像恢复降低了成像对束斑的要求，大束斑也可以形成清晰的图像。通过图像恢复，碳膜上金纳米颗粒在低加速电压非减速模式时，可以实现减速模式或者高加速电压的图像效果。结合了维纳滤波、贝叶斯方法等可以对图像进行恢复。但是上述要点1)仍面临许多限制。首先，亮度方程反映出的束流和束斑的矛盾没有得到根本解决，束流本身也难以同时兼顾衬度阈值和分辨率。其次，当面对生物样品等电子束敏感样品时，通过增加驻留时间来改善图像的信噪比可能导致样品漂移，污染和损伤。同时硬件的提升伴随着成本的巨大提升且受到物理条件的限制。且上述要点2)需要测量或估算点扩散函数(psf)。

3、综合以上技术不难发现现有的技术还存在较大的问题，通过硬件升级改造，不断提升扫描电镜束斑直径固然可以从根本上提高分辨率的问题，但是一方面受限于现有技术的限制，短时间难以进一步提高；另一方面，硬件的升级需要耗费大量的成本，难以大面积推广应用；而从软件方面来说，维纳滤波等方法估计psf函数针对某一特定设备固定成像参数下的二次电子图像有效，不具有泛化性，效率较低。因此，迫切需要提供一种扫描电镜二次电子图像超分辨方法以克服现有技术存在的上述技术缺陷。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中存在的技术缺陷，而提出一种扫描电镜二次电子图像超分辨方法和系统，其能够使得图像更加清晰的同时提高分辨率，尤其是样品边缘与内部的细节特征明显增多，图像质量有较为明显的提升。

2、为解决上述技术问题，本发明提供了一种扫描电镜二次电子图像超分辨方法，包括：

3、获取sem图像数据集；

4、构建超分辨网络模型，使用所述sem图像数据集对所述超分辨网络模型进行训练，得到训练好的最优模型参数，加载最优模型参数以供sem图像进行超分辨率处理，获得超分辨率处理后的sem图像；

5、其中，所述超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元，使用所述浅层特征提取单元对输入的sem图像进行浅层特征提取，经过所述深层特征提取单元提取深层特征，并通过所述上采样单元和图像重建单元对sem图像进行放大和重建。

6、在本发明的一个实施例中，获取sem图像数据集的方法，包括：

7、采集不同分辨率的sem图像，对所述sem图像进行数据扩增处理，并将处理后的sem图像划分为训练集和测试集。

8、在本发明的一个实施例中，在采集不同分辨率的sem图像时，扫描电镜的工作参数保持一致。

9、在本发明的一个实施例中，使用所述浅层特征提取单元对输入的sem图像进行浅层特征提取的方法，包括：

10、浅层特征提取单元从输入的sem图像中提取浅层特征为：

11、fsf＝hsf(ilr)

12、其中，hsf表示浅层特征提取的卷积运算，fsf表示卷积运算操作后提取的特征。

13、在本发明的一个实施例中，经过所述深层特征提取单元提取深层特征的方法，包括：

14、将浅层特征提取单元提取的特征作为深层特征提取单元的输入，深层特征提取单元从输入的特征中提取深层特征为：

15、fdf＝hdf(fsf)+fsf＝hcw（hrb1...，rbg(fsf))+fsf

16、其中，hdf表示高频信息提取层，hrb1...，rbg表示高频信息提取层中的g个残差组，hcm表示注意力组，其将fsf与hdf(fsf)进行拼接融合形成高频提取特征。

17、在本发明的一个实施例中，所述高频信息提取层包括残差卷积组、1x1的卷积层+relu激活函数和cbam注意力模块。

18、在本发明的一个实施例中，通过所述上采样单元和图像重建单元对sem图像进行放大和重建的方法，包括：

19、将深层特征提取单元提取的高频提取特征输入至所述上采样单元和图像重建单元，通过所述上采样单元和图像重建单元对sem图像进行放大和重建为：

20、isr＝hr(fup)＝hr(hup(fdf))

21、其中，hup表示上采样单元，fup表示经过上采样后的特征图，hr表示图像重建单元，其包括一1x1的卷积层。

22、此外，本发明还提供一种扫描电镜二次电子图像超分辨系统，包括：

23、数据获取模块，所述数据获取模块用于获取sem图像数据集；

24、超分辨网络模型训练模块，构建超分辨网络模型，所述超分辨网络模型训练模块用于使用所述sem图像数据集对所述超分辨网络模型进行训练，得到训练好的最优模型参数，加载最优模型参数以供sem图像进行超分辨率处理，获得超分辨率处理后的sem图像；

25、其中，所述超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元，使用所述浅层特征提取单元对输入的sem图像进行浅层特征提取，经过所述深层特征提取单元提取深层特征，并通过所述上采样单元和图像重建单元对sem图像进行放大和重建。

26、并且，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述方法的步骤。

27、还有，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述方法的步骤。

28、本发明的上述技术方案相比现有技术具有以下优点：

29、1、本发明所述的一种扫描电镜二次电子图像超分辨方法和系统，其能够使得图像更加清晰的同时提高分辨率，尤其是样品边缘与内部的细节特征明显增多，图像质量有较为明显的提升；该方法超分辨后的图像psnr为25.82,ssim 0.8462，明显优于bicbic(psnr24.25,ssim 0.6541)、lesrcnn(psnr 25.013,ssim 0.7859)和sr-semnet1(psnr 25.14,ssim 0.8136)效果；

30、2、本发明所述的一种扫描电镜二次电子图像超分辨方法和系统，其能够在不同的设备上进行部署使用，具有很大的灵活性与便携性，针对不同场景下的微纳目标的二次电子图像具有泛化行，使用对象广泛，能够协助纳米目标的选取，优化了微纳操作策略，提高了操作效率。

31、3、本发明所使用的方法所需时间在7毫秒左右，能够实时在线处理扫描电子二次电子图像，计算速度较快，且无需在sem仓室内放置额外物理设备或改造其成像系统，适用性较强。