超快扫描电子显微镜数据自动采集系统及方法

1.本发明涉及超快电子显微镜领域，具体涉及一种超快扫描电子显微镜数据自动采集系统及方法。


背景技术：

2.超快扫描电子显微镜(suem，scanning ultrafast electron microscope)作为超快电子显微技术的一种，将超低时间尺度的飞秒脉冲激光与扫描电子显微镜结合到一起，同时具备了纳米级的高空间分辨率和亚皮秒级的时间分辨率。作为一种新型技术手段，suem利用光脉冲激发-电子脉冲探测的方式，对晶体半导体、半导体p-n节、低维材料、非晶半导体等材料的载流子动力学过程进行空间与时间的直接成像。在suem系统中，飞秒激光系统产生的红外脉冲激光经过倍频和分束获得两束激光脉冲，其中一束激光被引入到扫描电子显微镜(sem)的电子发射枪的尖部用来发射探测脉冲电子，这部分电子经过sem内部的一对扫描偏转线圈在样品表面的矩形区域进行扫描，另一束激光脉冲经过可编程的光学延迟线被引入到电镜的样品仓中作为材料的泵浦光源。泵浦光和探测电子到达样品的间隔时间被称为延迟时间，通过计算机控制光学延迟线即可改变泵浦光光程，进而改变延迟时间，从而实现高时空分辨的扫描二次电子图像。为了提高数据的信噪比，一般需要将特定延迟时间下的图像进行数次至数十次叠加，在目前国际上已有的数据采集条件下，需要实验人员按照约定好的延迟时间列表进行上百甚至上千次重复操作，包括对延迟线的移动操作和sem的图像采集操作，这对实验人员来说是大量的时间成本，并且在人为的重复操作中实验人员的失误也可能造成数据采集质量不佳。因此，一种能够基于超快扫描电子显微镜系统的自动化数据采集方案亟需被开发出来。


技术实现要素：

3.针对当前超快扫描电子显微镜数据人工采集的重复性高、时间成本大和易操作失误等问题，本发明提供了一种超快扫描电子显微镜数据自动采集系统及方法。在本发明中，一台指定的数据采集计算机同时与光学延迟线和sem控制计算机进行实时通讯，以起到二者的即时控制和相互触发的作用，它们与sem等实验设备及相关控制程序共同组成了suem数据自动采集系统。在数据采集计算机中，本发明通过分别调用相关接口控制光学延迟线的移动和sem的图像采集功能来实现suem的数据自动采集工作，实验人员只需要在数据采集计算机中，启动相应数据采集系统，设置好相应的数据采集参数，并连接延迟线和sem，设定好sem图像采集参数，即可进行一键式数据自动采集工作。
4.具体技术方案为：
5.超快扫描电子显微镜数据自动采集系统，包括飞秒激光系统，飞秒激光系统产生红外飞秒脉冲激光，光路上设有倍频分束光路，经过倍频分束光路得到探测光脉冲和泵浦光脉冲；
6.探测光脉冲的光路上设有扫描电子显微镜sem，探测光脉冲进入sem中并对准sem
的电子枪上，从而控制脉冲光电子的发射；
7.泵浦光脉冲的光路上设有光学延迟线，泵浦光脉冲通过光学延迟线改变光程，从而实现探测光脉冲和泵浦光脉冲之间从飞秒到纳秒尺度的延迟时间，得到不同延迟时间下的sem二次电子信号，进而获得半导体等材料的载流子超快时空动力学信息；
8.光学延迟线通过对应的光学延迟线控制器进行控制，二者通过有线连接；
9.光学延迟线控制器与数据采集计算机通过网线进行连接，数据采集计算机通过调用延迟线提供的c语言接口，进而控制光学延迟线的各项性能参数；
10.sem连接用于控制sem各项参数的sem控制计算机；
11.在sem控制计算机和数据采集计算机上分别运行sem侧提供的基于python 3.6的接口“autoscript”的服务端和客户端，且两台计算机有局域网相连。
12.本发明还提供超快扫描电子显微镜数据自动采集系统方法，包括以下步骤：
13.s1、前期准备工作
14.将待测试样品放置于电镜内部的样品台上，根据实验需求调整好光路和采集系统设备，将sem调整为suem数据采集模式，确定数据采集计算机与光学延迟线控制器和sem控制计算机的连接正常，准备进行suem数据自动采集；
15.s2、数据采集参数设置
16.开启数据自动采集系统，系统进行初始化操作，自动获取当前已连接的光学延迟线列表，获取sem端接口信息，等待实验人员进行延迟线和sem的连接；
17.参数设置包括，实验人员输入具体数据采集的保存位置、数据文件命名前缀、采集开始序号、单延迟时间采集张数n、时间零点坐标值、数据采集方式、输入的列表类型以及延迟时间或坐标列表后，系统自动生成相应图像命名格式和对应的延迟时间和延迟线坐标的“对照表”，实验人员选择保存当前数据采集参数信息于硬盘中；
[0018]“对照表”成功生成后会显示在数据采集进度表中；
[0019]
s3、延迟线配置
[0020]
通过ctypes包调用该动态数据库文件进而实现python语言对延迟线的相关控制；获取已连接到数据采集计算机的延迟线列表，并以组合框的形式显示；实验人员连接到延迟线，系统将选定的延迟线序列号以及连接操作传入延迟线控制器中，等待控制器回应连接结果；如果连接失败，系统会将错误信息显示在日志栏中，并返回上一步；
[0021]
s4、扫描电镜配置
[0022]
在数据采集系统启动时，会初始化sem接口，接口成功初始化后，连接到sem控制计算机；
[0023]
s5、准备开始数据采集
[0024]
系统判定进行数据采集，提示实验人员开始进行数据采集；
[0025]
s6、数据自动采集循环
[0026]
开始数据采集后，系统按照步骤2生成的“对照表”步入数据采集循环：对于每一张图像，设当前采集的图像序号为i：系统向光学延迟线发出信号，使其移动到指定坐标位置pxi，待延迟线移动完成后，系统向sem发出信号，sem进行二次电子扫描图像采集，待图像采集完毕后sem控制计算机与数据采集计算机进行实时通讯，传回采集图像到系统内存中，系统根据：图像存储地址、图像命名前缀、图像序号、图像格式后缀对图像进行保存，以待实验
人员后续的数据处理；
[0027]
每一张图像采集完成后，系统根据已采集的图像进行分析，将相关参数以折线图表现；
[0028]
s7、数据采集完成
[0029]
在数据采集完成后，系统发出提示代表采集完成，实验人员根据需要进行新一轮实验数据采集或是结束数据采集，suem数据采集工作全部完成，恢复实验设备到非数据采集状态。
[0030]
进一步的，s2中，所述的“对照表”指的是系统在计算机内存中保存的三列相同长度的数组，分别存储图像命名的字符串、延迟时间数值、延迟线坐标数值；在参数输入准确合法后，“对照表”根据上述输入的数据采集参数进行生成；否则，“对照表”不会生成，需要重新检查输入的参数；
[0031]“对照表”的生成方式如下：设时间零点坐标为x0，延迟时间列表长度为l，对于每一轮采集，第i个延迟时间点为ti，第i个坐标点为xi，光速为c，激光在延迟线上的折数为n；延迟线坐标点和延迟时间的关系为：
[0032][0033]
设第i行“对照表”的延迟时间为pti，坐标点为pxi。
[0034]
根据数据采集方式有两种：a.顺序采集；b.往复采集，第i行“对照表”的延迟时间为pti、坐标点为pxi对应有两种生成方式：
[0035]
a、顺序采集
[0036]
采集模式：按照坐标点的顺序，对于每一个坐标点重复采集n张图像，当所有的坐标点都采集完成后数据采集完毕；
[0037]“对照表”对应关系：
[0038]
ptn·
(i-1)+j
＝ti[0039]
pxn·
(i-1)+j
＝xi[0040]
其中，i为1到l的整数，代表第i个延迟时间，j为1到n的整数，代表第j轮采集；
[0041]
b、往复采集
[0042]
采集模式：先按照坐标点的顺序，对于每一个坐标点都采集单张图像，采集完所有的坐标点后，以上一轮采集相反的方向再对每个坐标点进行单张图像采集，以此类推进行往复的循环采集以消除回程差和实验持续时间对采集结果的影响，当对每一个坐标点都采集完成n张图像，数据采集完毕；
[0043]“对照表”对应关系：
[0044][0045][0046]
其中，i为1到l的整数，代表第i个延迟时间，j为1到n的整数，代表第j轮采集。
[0047]
优选的，s3中如果连接成功，则判定位移台的移动状态是否正常；如果不正常，进行归位操作，系统向延迟线控制器传入归位指令，直到位移台可以正常移动为止。
[0048]
s4中如果成功连接，输入sem侧图像采集参数，包括图像采集分辨率、单像素驻留时间、图像比特深度、图像线积分次数和图像叠加次数参数，系统判定上述参数正确合法后本步骤
[0049]
s6中，若采集过程中延迟线或sem返回错误值，系统根据错误情况进行再次操作、图像重复采集，或跳过该图像的方式进行处理，并将错误信息保存于日志文本中，以备实验人员后续回查。
[0050]
s6中，在每张图像采集完成后，系统根据当前已经过的时间和数据采集过程中的暂停和继续时间点估计本次数据采集所需时间和预估结束时间并显示在系统最下方，计算方式如下：设已完成扫描的张数为m，总需要采集的图像个数为n
·
l，单个图像采集所需时间为δt，采集开始时间为t
start
，采集所需时间为t
cost
，预估结束时间为t
end
，第k次暂停采集的时间为tpk，第k次继续采集的时间为tck，则根据下式进行剩余时间估计：
[0051][0052]
t
end
＝t
start
+∑k(tc
k-tpk)+t
cost
。
附图说明
[0053]
图1为本发明超快扫描电子显微镜数据采集系统示意图；
[0054]
图2为本发明超快扫描电子显微镜数据自动采集系统运行界面；
[0055]
图3为本发明超快扫描电子显微镜数据自动采集流程图。
具体实施方式
[0056]
下面结合附图对本发明的具体内容和步骤进行详细说明。
[0057]
如图1所示是超快扫描电子显微镜数据采集系统的示意图，图中表明了相关设备布置及连接情况。超快扫描电子显微镜数据自动采集系统，包括飞秒激光系统，飞秒激光系统产生红外飞秒脉冲激光，光路上设有倍频分束光路，经过倍频分束光路得到探测光脉冲和泵浦光脉冲；
[0058]
探测光脉冲的光路上设有sem，探测光脉冲进入sem中并对准sem的电子枪上，从而控制脉冲光电子的发射；
[0059]
泵浦光脉冲的光路上设有光学延迟线，泵浦光脉冲通过光学延迟线改变光程，从而实现探测光脉冲和泵浦光脉冲之间从飞秒到纳秒尺度的延迟时间，得到不同延迟时间下的sem二次电子信号，进而获得半导体等材料的载流子超快时空动力学信息；
[0060]
光学延迟线通过对应的光学延迟线控制器进行控制，二者通过有线连接；
[0061]
光学延迟线控制器与数据采集计算机通过网线进行连接，数据采集计算机通过调用延迟线提供的c语言接口，进而控制光学延迟线的各项性能参数。为了方便在同一程序语言下控制延迟线，本方案在c语言接口的基础上编写了动态链接库文件，最终通过python语言中的ctypes包调用该动态链接库文件，进而控制延迟线的移动等操作。
[0062]
sem连接用于控制sem各项参数的sem控制计算机；
[0063]
在sem控制计算机和数据采集计算机上分别运行sem侧提供的基于python 3.6的接口“autoscript”的服务端和客户端，且两台计算机有局域网相连，实验人员就可以通过
数据采集计算机对sem的图像采集参数进行设置，并进行二次电子图像的采集，在图像采集结束后，该服务端会将图像信息通过局域网发送到客户端电脑的内存中，数据采集的相应控制系统就可以对图像进行保存和分析处理。
[0064]
本方案中的数据采集系统基于python语言编写，实现了基于pyqt5的用户操作界面以及背后运行逻辑，该系统安装于数据采集计算机中，通过对已有延迟线的控制接口和sem图像扫描控制接口分别进行控制与功能整合，进而实现一键式的suem数据自动化采集，节省实验人员的大量重复操作时间，大大提升了本设备数据采集的效率，间接提高了各设备的使用次数，提高了信号质量，对超快扫描电镜领域的发展具有重要意义。
[0065]
如图2所示是本方案中数据采集系统的运行界面程序截图，其大体可分为以下几个部分：
[0066]
(1)菜单栏
[0067]
包含对系统界面中某些次要参数进行调节的设置页面，等等；
[0068]
(2)数据采集参数设定(scanning settings)
[0069]
本栏目需要实验人员根据需求进行参数输入，从上到下从左到右依次为：图像保存地址(save location)、浏览图像保存地址按钮(browse
…
)、图像命名前缀(naming prefix)、单延迟时间扫描张数(number of frames n)、时间零点坐标值(毫米)(time zero(mm))、数据采集方式(scanning method)、采集开始序号(start image)、实验人员输入列表类型(图中为可以选择为延迟时间列表(delay time list)/延迟线坐标列表(stage position list)的组合框)、延迟时间/坐标列表(图中为本栏目左下角的文本输入框)、数据采集进度表(图中为有颜色显示的有4列信息的表格组件)、读取已有参数按钮(load existing settings)和确认并保存以上参数按钮(confirm and save settings above)。其中，数据采集进度表的4列分别为某一张图像的图像名称(image name)、采集图像对应的延迟时间(delay time)、采集图像对应的延迟线坐标(stage position)以及该图像采集状态(status)，每行表格会根据实际采集的情况显示不同的颜色，绿色代表采集成功，红色代表采集失败，灰色代表跳过采集，蓝色代表正在采集，黄色代表采集过程中产生错误信息并等待系统后续处理。若实验人员单击保存按钮，系统会将上述实验人员输入信息和选择保存为.json文件，后续实验人员可以通过读取按钮读取该文件进行参数读取。
[0070]
(3)日志栏(log browser)
[0071]
本栏目包含一个不可编辑的文本显示框，系统进行的各项操作、提示信息、警告信息以及错误信息都会实时显示在日志栏中，并且包含日期时间信息，同时，系统会实时将日志栏中的信息以文本文件的格式保存到系统所在目录下的log文件夹中，以备实验人员后续检查。
[0072]
(4)图表栏(chart display)
[0073]
本栏目会显示图像采集信息或其他参数信息，并绘制为实时曲线。
[0074]
(5)延迟线状态栏(delay line status)
[0075]
光学延迟线的控制和信息都显示在本栏中，从上到下从左到右依次为：延迟线列表组合框(图中显示为延迟线的标识数)、延迟线连接按钮(connect)、延迟线归位按钮(home)，延迟线断开连接按钮(disconnect)、当前坐标值相关组件(包括实时显示坐标值、在未进行数据采集时输入目标坐标值以及移动按钮(move))、当前最大速度相关组件(包括
实时显示最大速度值、在未进行数据采集时输入目标最大速度及设置按钮(set))、当前加速度实时显示。
[0076]
(6)扫描电镜状态栏(scanning electron microscope status)
[0077]
扫描电镜的相关控制都显示在本栏中，从上到下依次为：sem服务端ip地址(ip address)、sem接口连接按钮(connect)、sem服务端端口(port)、sem接口断开连接按钮(disconnect)、采集图像分辨率(resolution)、单像素驻留时间(纳秒)(dwell time(ns))、图像比特深度(bit depth)、图像逐线积分次数(line integration)、图像交错采集分块数(scan interlacing)、图像叠加次数(image integration)。
[0078]
(7)数据采集开始暂停结束按钮
[0079]
图中显示为三个并排放置的按钮，从左到右依次为：采集开始/继续按钮(start acquisition/continue acquisition)、采集暂停按钮(pause acquisition)、采集终止按钮(stop acquisition)。上述按钮会根据数据采集的不同阶段有着不同的亮灭显示以及按钮文本显示。
[0080]
(8)进度条
[0081]
位于用户界面的相对较下端，显示当前数据采集进度。
[0082]
(9)预估时间状态栏
[0083]
位于用户界面的最下端，实时显示系统预估的剩余采集时间和结束时间点。
[0084]
如图3，是本方案中数据自动采集的具体流程图，结合该流程图，以下说明本数据采集方案行suem数据自动化采集的具体步骤：
[0085]
s1、前期准备工作
[0086]
将待测试样品放置于电镜内部的样品台上，根据实验需求调整好光路、光学延迟线等实验设备，将sem调整为suem数据采集模式，确定数据采集计算机与光学延迟线控制器和sem控制计算机的连接正常，准备进行suem数据自动采集。
[0087]
s2、数据采集参数设置
[0088]
开启数据自动采集系统，系统进行初始化操作，自动获取当前已连接的光学延迟线列表并显示在系统界面中，获取sem端接口信息，等待实验人员进行延迟线和sem的连接。在数据采集系统中的参数设置一栏，实验人员输入具体数据采集的保存位置、数据文件命名前缀、采集开始序号、单延迟时间采集张数n、时间零点坐标值、数据采集方式、输入的列表类型以及延迟时间(或坐标)列表后，本系统自动生成相应图像命名格式和对应的延迟时间和延迟线坐标的“对照表”，实验人员可以选择保存当前数据采集参数信息于硬盘中。其中，“对照表”指的是系统在计算机内存中保存的三列相同长度的数组，分别存储图像命名(image name)的字符串、延迟时间(delay time)数值、延迟线坐标(stage position)数值。在参数输入准确合法后，“对照表”根据上述输入的数据采集参数进行生成；否则，“对照表”不会生成，实验人员需要重新检查输入的参数。“对照表”的生成方式如下：设时间零点坐标为x0，延迟时间列表长度为l，对于每一轮采集，第i个延迟时间点为ti，第i个坐标点为xi，光速为c，激光在延迟线上的折数为n。因此延迟线坐标点和延迟时间的关系为
[0089][0090]
设第i行“对照表”的延迟时间为pti，坐标点为pxi，根据不同的数据采集方式(预设
有两种：a.顺序采集；b.往复采集)，有两种生成方式：
[0091]
a、顺序采集
[0092]
采集模式：按照坐标点的顺序，对于每一个坐标点重复采集n张图像，当所有的坐标点都采集完成后数据采集完毕。
[0093]“对照表”对应关系：
[0094]
ptn·
(i-1)+j
＝ti[0095]
pxn·
(i-1)+j
＝xi[0096]
其中，i为1到l的整数，代表第i个延迟时间，j为1到n的整数，代表第j轮采集。
[0097]
b、往复采集
[0098]
采集模式：先按照坐标点的顺序，对于每一个坐标点都采集单张图像，采集完所有的坐标点后，以上一轮采集相反的方向再对每个坐标点进行单张图像采集，以此类推进行往复的循环采集以消除回程差和实验持续时间对采集结果的影响，当对每一个坐标点都采集完成n张图像，数据采集完毕。
[0099]“对照表”对应关系：
[0100][0101][0102]
其中，i为1到l的整数，代表第i个延迟时间，j为1到n的整数，代表第j轮采集。
[0103]
最终，“对照表”成功生成后会显示在系统界面中的数据采集进度表中。
[0104]
s3、延迟线配置
[0105]
由于光学延迟线设备仅提供了c语言的外部接口，所以本数据采集方案中编写了基于c语言控制延迟线移动等操作的动态数据库文件(dll文件)，数据自动采集系统通过ctypes包调用该动态数据库文件进而实现python语言对延迟线的相关控制。本数据采集系统自动获取已连接到数据采集计算机的延迟线列表，并以组合框的形式显示在系统界面中。这时，实验人员可以通过系统界面中的延迟线状态栏连接到延迟线，系统将选定的延迟线序列号以及连接操作传入延迟线控制器中，等待控制器回应连接结果。如果连接失败，系统会将错误信息显示在日志栏中，并返回上一步。如果连接成功，则判定位移台的移动状态是否正常；如果不正常，实验人员可以选择进行归位(home)操作，系统向延迟线控制器传入归位指令，直到位移台可以正常移动为止，本步骤完成。
[0106]
s4、扫描电镜配置
[0107]
在数据采集系统启动时，会初始化sem接口，接口成功初始化后，实验人员通过系统界面中的扫描电镜状态栏连接到sem控制计算机。输入sem接口所支持的所在ip及端口，点击电镜连接按钮，这时，系统将尝试通过连接与局域网中sem控制计算机建立通讯。如果成功连接，输入sem侧图像采集参数，包括图像采集分辨率、单像素驻留时间、图像比特深度、图像线积分次数和图像叠加次数等参数，系统判定上述参数正确合法后本步骤结束。
[0108]
s5、准备开始数据采集
[0109]
在上述各个步骤都正确完成后，系统会判定可以进行数据采集，对应系统界面右下角的“开始扫描”按钮亮起，提示实验人员可以开始进行数据采集。
[0110]
s6、数据自动采集循环
[0111]
开始数据采集后，“暂停采集”按钮亮起，其余除数据采集进度表和日志栏保持亮起外全部熄灭，避免实验人员误触。实验人员可根据需求对采集过程进行暂停。在数据采集过程中，系统按照步骤s2生成的“对照表”步入数据采集循环：对于每一张图像，设当前采集的图像序号为i：系统向光学延迟线发出信号，使其移动到指定坐标位置pxi，待延迟线移动完成后，系统向sem发出信号，sem进行二次电子扫描图像采集，待图像采集完毕后sem控制计算机与数据采集计算机进行实时通讯，传回采集图像到系统内存中，系统根据：图像存储地址、图像命名前缀、图像序号、图像格式后缀对图像进行保存，以待实验人员后续的数据处理；若采集过程中延迟线或sem返回错误值，系统会根据错误情况进行再次操作、图像重复采集，或跳过该图像的方式进行处理，并将错误信息保存于日志文本中，以备实验人员后续回查。每一张图像采集完成后，系统会根据已采集的图像进行分析，将相关参数以折线图的形式绘制到系统界面的图表栏，以便实验人员根据需要进行具体操作。若本轮暂停，“继续采集”按钮和“停止采集”按钮亮起，提示实验人员可以根据实验情况自行决定继续数据采集或是选择提前结束本轮采集。在每张图像采集完成后，系统会根据当前已经过的时间估计本次数据采集所需时间和预估结束时间并显示在系统最下方，计算方式如下：设已完成扫描的张数为m，总需要采集的图像个数为n
·
l，单个图像采集所需时间为δt，采集开始时间为t
start
，采集所需时间为t
cost
，预估结束时间为t
end
，第k次暂停采集的时间为tpk，第k次继续采集的时间为tck，则根据下式进行剩余时间估计：
[0112][0113]
t
end
＝t
start
+∑k(tc
k-tpk)+t
cost
[0114]
s7、数据采集完成
[0115]
在数据采集完成后，系统发出提示代表采集完成，实验人员根据需要进行新一轮实验数据采集或是结束数据采集，suem数据采集工作全部完成，恢复实验设备到非数据采集状态。