基于图像特征判别的电镜样品自动重复定位方法、设备、介质及产品与流程

本发明涉及图像分析，特别涉及基于图像特征判别的电镜样品自动重复定位方法、设备、介质及产品。

背景技术：

1、如图1所示，样品拍摄图像的过程中会经常涉及到使用不同显微镜或是在同一显微镜下不同工作阶段的重复拍摄情况。在此工况下，需要根据以前获得的图像重复定位到之前的样品感兴趣区域(roi,region of interest)或者感兴趣点(poi,point ofinterest)。在使用电镜观察与分析较小特征时，需要使用极高的放大倍率，人工寻找这些细小roi或poi极为耗时，特别是对于重复性较强的半导体样品或是生物样品，几乎无法实现人工重复定位。

2、目前这种类型的重复定位技术是蔡司的自相关显微镜技术(zeiss correlativemicroscopy或shuttle and find),可实现样品感兴趣区域(roi/poi)的重复定位，但仍存在以下不足：

3、1、实现样品高放大倍率下重复定位需要使用带有专门特殊三个“l”形坐标标记点的样品台支架，如图2所示，使该功能具有局限性；

4、2、每次使用样品重复定位功能需要人工先行“l”形坐标标记点校准，在不同放大倍率下手动定位三个“l”形坐标标记点中心，重复定位精准程度受限于人工校准定位的精度。

技术实现思路

1、为了实现根据本发明的上述目的和其他优点，本发明的第一目的是提供基于图像特征判别的电镜样品自动重复定位方法，包括以下步骤：

2、获取当前样品台支架图像；

3、拟合样品台支架图像边缘缺口，将拟合后的图像与样品台实时坐标系准星模板进行位置、大小、方向映射；

4、针对获取的样品位置图像，利用高放大倍率下金属样品台支架表面特征，选择若干特征点，记录对应的图像数据；

5、使用较低放大倍率扫描若干特征点，并在被扫描的特征点内部继续提高放大倍率，选取若干新的特征点，并记录新的特征点对应坐标以及特征区域图像数据；

6、在高放大倍率下扫描拍摄感兴趣区域并保存，将感兴趣区域的当前放大倍率、样品台坐标系中的位置，以及全部特征点对应的放大倍率与样品台坐标系中的坐标信息作为电镜图像的元数据，存入图像文件中；

7、通过带有元数据信息的电镜图像进行样品感兴趣区域、感兴趣点的跨设备、跨时间的重复高精度定位。

8、进一步地，所述拟合样品台支架图像边缘缺口包括：

9、求取样品台支架图像的外边缘轮廓，选取两侧圆弧边缘信息，通过霍夫变换拟合出圆形，找到样品台支架图像中的外边缘轮廓与所拟合圆形非重叠区域，通过非重叠区域的大小、距离所拟合圆形圆心的距离，分辨出样品台支架图像的边缘缺口与样品台支架图像中的平底。

10、进一步地，所述将拟合后的图像与样品台实时坐标系准星模板进行位置、大小、方向映射的公式为：

11、

12、其中，x′,y′为样品台坐标系中的新坐标，x,y为样品台支架坐标系中的坐标，a,b,c,d,e,f为系数与常数；

13、将多个特征点在样品台坐标系和样品台支架坐标系的坐标带入映射公式，计算出对应的a、b、c、d、e、f的值，获得样品感兴趣区域及感兴趣点从样品台支架坐标系到样品台坐标系映射后的新坐标。

14、进一步地，所述针对获取的样品位置图像，利用高放大倍率下金属样品台支架表面特征，选择若干特征点，记录对应的图像数据包括以下步骤：

15、对于获取的样品位置图像,先在样品支架表面外围边缘处随机选取一处区域；

16、以等边三角形关系在样品支架上寻找样品支架外围边缘处最少三处不在同一直线上的区域，并在找到的区域邻域利用高放大倍率下金属样品支架表面特征,选择特征点，记录对应的图像数据。

17、进一步地，所述选择特征点包括：计算金属样品支架表面特征的图像熵，按照熵值从大到小的顺序选择多个特征点，图像熵计算公式为：

18、

19、其中，p(i,j)为子块图像坐标(i,j)处的像素值，h则为熵值。

20、进一步地，所述使用较低放大倍率扫描若干特征点，并在被扫描的特征点内部继续提高放大倍率，选取若干新的特征点，并记录新的特征点对应坐标以及特征区域图像数据包括以下步骤：

21、使用较低放大倍率以第一视野范围扫描至少三个特征点，并在至少三个特征点内部继续提高放大倍率，重复所述针对获取的样品位置图像，利用高放大倍率下金属样品台支架表面特征，选择若干特征点，记录对应的图像数据步骤选取至少三个新的特征点，并记录新的特征点对应坐标以及特征区域图像数据；

22、对获取的新特征点继续放大至第二视野范围，在其内部重复所述针对获取的样品位置图像，利用高放大倍率下金属样品台支架表面特征，选择若干特征点，记录对应的图像数据步骤再次选取新的特征点，并记录再次选取的新特征点对应坐标以及特征区域图像数据；

23、对再次选取的新特征点继续放大至第三视野范围，在其内部重复所述针对获取的样品位置图像，利用高放大倍率下金属样品台支架表面特征，选择若干特征点，记录对应的图像数据步骤又一次选取新的特征点，并记录又一次选取的新特征点对应坐标以及特征区域图像数据。

24、进一步地，所述通过带有元数据信息的电镜图像进行样品感兴趣区域、感兴趣点的跨设备、跨时间的重复高精度定位包括以下步骤：

25、导入包含元数据信息的电镜图像，读取记录的原始样品台坐标系统定位元数据；

26、根据图像特征点的原始样品台坐标系统定位元数据及坐标索引重新发现样品支架，确定唯一平面特征点,获得唯一平面特征点在新样品台的坐标；

27、根据原始样品台坐标系与新样品台坐标系之间的映射关系，通过特征点的当前样品台坐标，计算得到观测样品在新样品台坐标系中的实时物理坐标；

28、移动样品感兴趣区域至计算得到的新样品台坐标实时坐标位置,并读取图像后台数据存储的对应的放大倍率，将显微镜设置为对应的放大倍率，显微镜视野自动复现所存储图像的目标感兴趣特征区域，实现跨设备或跨时间周期的样品感兴趣区域重复高精度定位。

29、本发明的第二目的是提供一种电子设备，包括：存储器，其上存储有程序代码；处理器，其与所述存储器联接，并且当所述程序代码被所述处理器执行时，实现所述的基于图像特征判别的电镜样品自动重复定位方法。

30、本发明的第三目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现所述的基于图像特征判别的电镜样品自动重复定位方法。

31、本发明的第四目的是提供一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现所述的基于图像特征判别的电镜样品自动重复定位方法。

32、与现有技术相比，本发明的有益效果是：

33、本发明无需特殊的带有标记的样品支架，更为经济方便；

34、本发明无需繁琐的手动样品支架特征点校准程序，操作更为快捷；

35、本发明摒弃手动校准的过程，能够避免因操作者主观原因引入的误差，使重复定位精准性更高，重复定位一致性更强。

36、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。