电子显微镜及其图像配准方法和装置、存储介质与流程

本发明涉及电子显微镜，尤其涉及一种电子显微镜的图像配准方法、一种计算机可读存储介质、一种电子显微镜的图像配准装置和一种电子显微镜。

背景技术：

1、随着扫描电子显微镜的发展，电镜使用者可以方便地对样品做真实的微观观察，但是在成像之前，样品位置需要初步的导航信息，否则用户难以定位到所需区域，描电子显微镜一般都配有光学导航模块，该模块通过获取大视野的光学图像，获得样品在仓内样品台上的位置，移动位移台将目标放置在电子枪正下方，然后获得电子束扫描图像。

2、光学图像与电子束之间需要有对应关系，才能完成上述导航，如果样品台的光学图像能一直保持固定位置，那么该对应关系可以固化下来。但是在实际使用场景中，样品台的位置可能由于安装的偏差或者手动重新放置等原因，导致位置变化，用户难以获取到所需区域的图像。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种电子显微镜的图像配准方法，可以获取到通用的变换矩阵，进而通过变换矩阵对电子显微镜实时获取到的图像进行配准，从而使用户可以快速并准确的获取到所需图像。

2、本发明的第二个目的在于提出一种计算机可读存储介质。

3、本发明的第三目的在于提出一种电子显微镜的图像配准装置。

4、本发明的第四个目的在于提出一种电子显微镜。

5、为了达到上述目的，本发明第一方面实施例提出了一种电子显微镜的图像配准方法，其中，所述方法包括：获取所述电子显微镜中样品台的标准图像的特征信息；根据所述标准图像的特征信息确定浮动图像的调整参数并对所述浮动图像进行调整；根据所述标准图像和经过调整后的浮动图像建立所述浮动图像的透视矩阵；根据所述透视矩阵和所述调整参数确定所述浮动图像的变换矩阵；根据所述变换矩阵对所述电子显微镜实时获取到的浮动图像进行配准。

6、根据本发明实施例的电子显微镜的图像配准方法，可以获取到通用的变换矩阵，进而通过变换矩阵对电子显微镜实时获取到的图像进行配准，从而使用户可以快速并准确的获取到所需图像。

7、另外，根据本发明上述实施例的电子显微镜的图像配准方法，还可以包括如下的附加技术特征：

8、根据本发明的一个实施例，所述标准图像的特征信息包括：形状特征信息和位置信息。

9、根据本发明的一个实施例，所述浮动图像的调整参数包括：变换尺度、平移量和旋转角度。

10、根据本发明的一个实施例，根据所述标准图像的特征信息确定浮动图像的调整参数并对所述浮动图像进行调整，包括：根据所述标准图像的形状特征信息对所述浮动图像的形状进行调整，并确定所述浮动图像的变换尺度和旋转角度；根据所述标准图像的位置信息对所述浮动图像的位置进行调整，并确定所述浮动图像的平移量。

11、根据本发明的一个实施例，所述根据所述透视矩阵和所述调整参数确定所述浮动图像的变换矩阵，包括：根据所述变换尺度确定所述浮动图像的尺度矩阵、根据所述平移量确定所述浮动图像的平移矩阵、以及根据所述旋转角度确定所述浮动图像的旋转矩阵；根据所述尺度矩阵、所述平移矩阵和所述旋转矩阵确定所述浮动图像的仿射矩阵；根据所述透视矩阵和所述仿射矩阵确定所述浮动图像的变换矩阵。

12、根据本发明的一个实施例，所述根据所述标准图像和经过调整后的浮动图像建立所述浮动图像的透视矩阵，包括：获取经过调整后的浮动图像的位置信息；根据所述标准图像的位置信息和经过调整后的浮动图像的位置信息确定特征点对信息；根据所述特征点对信息建立所述浮动图像的透视矩阵。

13、根据本发明的一个实施例，所述样品台包括多个用于放置样品的孔位，所述位置信息包括孔位的位置信息。

14、根据本发明的一个实施例，所述根据所述标准图像的位置信息和经过调整后的浮动图像的位置信息确定特征点对信息，包括：获取所述标准图像中所有孔位的第一位置信息和经过调整后的浮动图像中所有孔位的第二位置信息；根据所述第一位置信息和所述第二位置信息对所述标准图像上的孔位和所述浮动图像上的孔位进行配对，以得到所述特征点对信息。

15、根据本发明的一个实施例，所述特征点对信息包括至少预设组完成配对的孔位对。

16、根据本发明的一个实施例，每组完成配对的孔位对中包括第一孔位和第二孔位，所述第一孔位的中心位置与所述第二孔位的中心位置之间的距离小于所述第一孔位的中心位置与其他孔位的中心位置之间的距离。

17、为了达到上述目的，本发明第二方面实施例还提出了一种计算机可读存储介质，其上存储有电子显微镜的图像配准程序，所述电子显微镜的图像配准程序被处理器执行时，实现前述本发明实施例的电子显微镜的图像配准方法。

18、根据本发明实施例的计算机可读存储介质，通过处理器执行电子显微镜的图像配准程序，可以获取到通用的变换矩阵，进而通过变换矩阵对电子显微镜实时获取到的图像进行配准，从而使用户可以快速并准确的获取到所需图像。

19、为了达到上述目的，本发明第三方面实施例提出了一种电子显微镜的图像配准装置，其中，所述装置包括：获取模块，用于获取所述电子显微镜中样品台的标准图像的特征信息；调整模块，用于根据所述标准图像的特征信息确定浮动图像的调整参数并对所述浮动图像进行调整；建立模块，用于根据所述标准图像和经过调整后的浮动图像建立所述浮动图像的透视矩阵；确定模块，用于根据所述透视矩阵和所述调整参数确定所述浮动图像的变换矩阵；配准模块，用于根据所述变换矩阵对所述电子显微镜实时获取到的浮动图像进行配准。

20、根据本发明实施例的电子显微镜的图像配准装置，可以获取到通用的变换矩阵，进而通过变换矩阵对电子显微镜实时获取到的图像进行配准，从而使用户可以快速并准确的获取到所需图像。

21、为了达到上述目的，本发明第四方面实施例提出了一种电子显微镜，包括前述本发明实施例的电子显微镜的图像配准装置。

22、根据本发明实施例的电子显微镜，通过采用本发明上述实施例的电子显微镜的图像配准装置，可以获取到通用的变换矩阵，进而通过变换矩阵对电子显微镜实时获取到的图像进行配准，从而使用户可以快速并准确的获取到所需图像。

23、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种电子显微镜的图像配准方法，其特征在于，所述方法包括：

2.根据权利要求1所述的电子显微镜的图像配准方法，其特征在于，所述标准图像的特征信息包括：形状特征信息和位置信息。

3.根据权利要求2所述的电子显微镜的图像配准方法，其特征在于，根据所述标准图像的特征信息确定浮动图像的调整参数并对所述浮动图像进行调整，包括：

4.根据权利要求2所述的电子显微镜的图像配准方法，其特征在于，所述根据所述标准图像和经过调整后的浮动图像建立所述浮动图像的透视矩阵，包括：

5.根据权利要求4所述的电子显微镜的图像配准方法，其特征在于，所述样品台包括多个用于放置样品的孔位，所述位置信息包括孔位的位置信息。

6.根据权利要求5所述的电子显微镜的图像配准方法，其特征在于，所述根据所述标准图像的位置信息和经过调整后的浮动图像的位置信息确定特征点对信息，包括：

7.根据权利要求6所述的电子显微镜的图像配准方法，其特征在于，所述特征点对信息包括至少预设组完成配对的孔位对。

8.根据权利要求7所述的电子显微镜的图像配准方法，其特征在于，每组完成配对的孔位对中包括第一孔位和第二孔位，所述第一孔位的中心位置与所述第二孔位的中心位置之间的距离小于所述第一孔位的中心位置与其他孔位的中心位置之间的距离。

9.一种计算机可读存储介质，其特征在于，其上存储有电子显微镜的图像配准程序，所述电子显微镜的图像配准程序被处理器执行时，实现根据权利要求1-8中任一项所述的电子显微镜的图像配准方法。

10.一种电子显微镜的图像配准装置，其特征在于，所述装置包括：

11.一种电子显微镜，其特征在于，包括权利要求10所述的电子显微镜的图像配准装置。

技术总结
本发明公开了一种电子显微镜及其图像配准方法和装置、存储介质，其中，电子显微镜的图像配准方法包括：获取电子显微镜中样品台的标准图像的特征信息；根据标准图像的特征信息确定浮动图像的调整参数并对浮动图像进行调整；根据标准图像和经过调整后的浮动图像建立浮动图像的透视矩阵；根据透视矩阵和调整参数确定浮动图像的变换矩阵；根据变换矩阵对电子显微镜实时获取到的浮动图像进行配准。由此，可以获取到通用的变换矩阵，进而通过变换矩阵对电子显微镜实时获取到的图像进行配准，从而使用户可以快速并准确的获取到所需图像。

技术研发人员：雷静,张伟,曹峰,吴亚,贺羽
受保护的技术使用者：国仪量子技术（合肥）股份有限公司
技术研发日：
技术公布日：2024/3/5