一种自由运动样本的自动化搜索成像方法及系统

1.本发明属于活体显微成像领域，更具体地，涉及一种自由运动样本的自动化搜索成像方法及系统。


背景技术：

2.对各种活体生物的生命动态变化过程及其实时行为的联系探究是当前神经科学研究领域所关注的一项重要课题，如活体线虫、果蝇、斑马鱼的神经元信号的显微观测与其在自由运动状态下的行为表现的控制模式的采集分析。这些样本的结构通常分布在三维空间中且具有较高的运动速度与较大的活动范围，因此对于这些活体样本的观测必须在三维空间里对变化信息进行高分辨率以及高速率的动态捕捉并时刻保持样本在视野内，这对现今光学显微镜的时空性能提出了极大的挑战。
3.目前的相关研究中为了保证活体样本在长时间的采集时间内均位于成像视野内，方法其一是将样本通过麻醉、粘黏、腔室限制等方式固定在成像视野内，然后对其进行三维扫描；另一种是通过虚拟环境的展示使样本自身错误性地认为自身处在动态运动之中，从而产生近似真实的神经活动和相应的实时行为，然而上述两种方法由于样本个体本身并未进行实际的自由运动，因而在这些状态下的神经活动与真实自由运动状态下的神经回路动态变化存在着不可预知的影响，以至对在该状态下得出的生物学结论产生误导。目前最被普遍接受的方式是通过电动位移台及控制软件实时对样本进行跟踪，从而得到其真实的自由运动行为和相关联的神经活动动态。
4.目前主流的自由运动样本跟踪结合实时荧光显微成像的硬件设计通常设计为双路的探测通道，分别为行为探测通道和荧光探测通道。在行为探测通道中，光源通过采用近红外led照明，探测端采用低倍物镜(如4倍物镜)结合探测相机进行运动样本行为的实时捕捉。在荧光探测通道中，高功率宽谱光源以及滤色片产生激发光，用于激发特定荧光标记蛋白，探测端通过高倍显微物镜(如20倍物镜)结合高量子效率的scmos探测器采集形成样本的高分辨荧光图像，以进行后续的神经活动分析。上述光路设计中的行为探测通道采用低倍探测物镜的原因来自在进行自由运动样本的成像时，若行为探测通道和荧光探测通道采用同样高倍率的物镜探测时，由于高倍物镜本身的视野相比于低倍探测物镜会大大减小，因此运动样本极易逸出探测视野。传统的跟踪算法对行为通道探测相机采集到的图像默认其含有运动样本的轮廓信息，通过中心线提取算法进一步提取出样本的中心位置坐标以进行后续的运动控制，因此在运动样本逸出视野的情况下，传统的跟踪策略无法做出正确的反应，进而造成错误定位以致跟丢样本。考虑到上述原因，传统的跟踪算法中需要行为通道的探测相机始终探测到样本的轮廓信息，因而需要样本始终保持在成像视野中，进而在硬件设计上需要使用低倍探测物镜实现较大的成像视野。因此在这类传统的基于行为通道捕捉样本轮廓信息的自由运动样本跟踪设计中，探测端需要独立的分别由高倍探测物镜构成的荧光探测通道和低倍物镜构成的行为探测通道，这与商业显微镜的单物镜探测模式显然格格不入，因此在实际搭建成像系统的过程中引入了额外的复杂度；更重要的是，在这种探
测模式下，需手动在初始跟踪时将运动样本放置在成像视野中，以及在跟踪过程中若某一时刻样本运动过快逸出视野，则算法无法做出正确反应，需要人为的及时干预。


技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明提供了一种自由运动样本的自动化搜索成像系统，其目的在于通过利用结合运动搜索策略的自由运动样本跟踪算法，实现了在常规商业显微镜单高倍探测物镜成像模态下的自动化样本搜索和同时自由运动样本行为姿势捕捉和荧光数据采集，降低了硬件系统的整体复杂度，提升了实时跟踪算法的稳定性，更进一步减少了人为干预的成本，提高了应用的自动化特性。由此解决现有技术人工干预初始化、跟踪断点以及需要低倍物镜导致光路设计复杂的技术问题。
6.为实现上述目的，按照本发明的一个方面，提供了一种自由运动样本的自动化搜索成像方法，包括搜索线程和跟踪线程；
7.当显微镜视野图像中未检测到样本时，进入搜索线程，按照搜索算法的计算结果，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野图像中检测到样本，进入跟踪线程；
8.当显微镜视野中检测到样本时，进入跟踪线程，按照样本质心的位置，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野中未检测到样本，进入搜索线程。
9.优选地，所述自由运动样本的自动化搜索成像方法，其所述搜索线程包括以下步骤：
10.(1)确定搜索视野运动路线：根据当前时刻处于显微镜视野中心的样本平台坐标，采用运动搜索算法搜索，获取下一时刻处于显微镜视野中心的样本平台的目标坐标；
11.(2)采集搜索视野内图像：使步骤(1)获得的样本平台的目标坐标运动到显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；
12.(3)样本检测：对步骤(2)获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，计算样本当前的质心坐标用于初始化跟踪线程，跳出搜索线程，进入跟踪线程；否则重复步骤(1)。
13.优选地，所述自由运动样本的自动化搜索成像方法，其所述运动搜索算法，选自全局搜索算法、三步搜索算法、菱形搜索算法或六边形搜索算法。
14.优选地，所述自由运动样本的自动化搜索成像方法，其步骤(3)所述判断视野内是否存在样本，具体包括以下子步骤：
15.(3
‑
1)计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量大于等于1时，进入步骤(3
‑
2)；
16.(3
‑
2)差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的照明光成像图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，判断视野内存在样本；否则判断视野内不存在样本。
17.优选地，所述自由运动样本的自动化搜索成像方法，其步骤(3)所述计算当前样本质心坐标具体为：
18.(3
‑
3)计算样本质心：将照明光成像差分图像进行样本轮廓识别方法识别到的处
于照明光成像差分图像与当前视野内的图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标；
19.优选地，所述自由运动样本的自动化搜索成像方法，其所述跟踪线程包括以下步骤：
20.s1、将所述当前样本质心坐标作为下一时刻显微镜视野的中心，使得所述当前样本质心坐标运动至显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；
21.s2、样本检测：对步骤s1获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，更新样本当前的质心坐标并重复步骤s1；否则以当前样本质心坐标为下一时刻显微镜视野中心的在样本平台坐标，初始化进入搜索线程。
22.优选地，所述自由运动样本的自动化搜索成像方法，其步骤s2所述判断视野内是否存在样本，具体包括以下子步骤：
23.s2.1计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量等于1时，判断存在样本并以该识别到的轮廓进行更新当前样本质心坐标，否则及识别到的轮廓数量大于等于2，则进入步骤s2.2；
24.s2.2差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，视野内存在样本，进入步骤s2.3；否则判断视野内不存在样本
25.优选地，所述自由运动样本的自动化搜索成像方法，其步骤s2所述更新样本当前的质心坐标具体为：
26.s2.3将照明光成像差分图像进行样本轮廓识别方法识别到的处于照明光成像差分图像与当前视野内的照明光成像图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标。
27.按照本发明的另一个方面，提供了一种自动化搜索成像系统，其应用本发明提供的自由运动样本的自动化搜索成像方法。
28.优选地，所述自动化搜索成像系统，其包括：照明光光源、荧光激发光光源、行为探测通道、荧光探测通道、下位机以及带动样本平台运动的运动机构；
29.所述照明光光源、荧光激发光光源投射在显微镜工作范围；
30.所述行为探测通道、荧光探测通道分别采集照明光成像图像以及荧光图像，将图像输出到下位机；行为探测通道、荧光探测通道可共用同一高倍探测物镜，以降低整体光路的复杂性，或分别采用不同倍率探测物镜；其中荧光探测通道可以是单波长、双波长或多波长探测。
31.荧光探测通道的荧光探测器优先选用灵敏度高，量子效率高的ccd或cmos；行为探测通道的相机可采用分辨率较低的工业相机，也可选用其他足够高灵敏度的科研相机。
32.所述照明光光源发出的照明光，经行为探测通道成像，获得照明光成像图像，用于采集自由运动样本的行为图像；
33.所述荧光激发光源发出的激发光，当其中存在样本时，激发样本产生荧光，经荧光探测通道成像，获得样本荧光图像，用于采集样本的荧光图像；
34.所述下位机，用于运行本发明提供的自由运动样本的自动化搜索成像方法，获得下一时刻处于显微镜视野中心的样本平台的目标坐标，驱动所述运动机构将样本平台的目标坐标移动到显微镜视野的中心位置。
35.所述运动机构，根据样本的运动方式，可以是二维的，也可以是一维或是三维的，优选为高速二维平移台，所述高速二维平移台可采用双轴无刷直流电机，也可采用其他满足高速追踪要求的电动平移台或压电平移台。
36.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
37.本发明提供的自由运动样本的自动化搜索成像方法，基于运动搜索策略，对自由运动样本实时追踪策略，通过在搜索初始和跟踪中断时按照预先设置的搜索线程解决传统自由运动样本实时追踪策略在样本逸出视野时的采集中断问题，降低了人为干预成本，实现了高度的自动化采集成像。
38.优选方案，增加差分判别步骤，提高了搜索线程的成功率，降低了跟踪线程的误判率。同时特别根据搜索线程和跟踪线程出现伪影的不同特点以及样本出现概率的特点，针对性的做出进行差分判别的不同条件，以进一步减少判断用时，提高追踪成功的概率和延长持续追踪的时间。
39.本发明提供的自由运动样本的自动化搜索成像系统，将传统追踪时采用的复杂双路低倍探测行为
‑
高倍探测荧光系统简化为单路的高倍行为
‑
荧光集成探测系统，从而实现了与常规商业显微镜的单物镜探测模态兼容，极大地简化了光路模态，方便了系统的整体构建。
附图说明
40.图1是本发明实施例提供的自由运动样本的自动化搜索成像方法流程示意图；
41.图2是本发明实施例提供的自由运动样本的自动化搜索成像系统结构示意图；
42.图3为本发明实施例单次追踪示意图，p1至p9代表不同位置，其中p1至p6为搜索过程，p7至p9为跟踪过程；
43.图4为本发明实施例行为通道的采集图像分析反馈算法流程图；
44.在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：11是宽场照明光源，12是红外led照明光源，21是二维跟踪电动平移台，31是高放大倍率显微物镜，32是一维压电陶瓷位移台，33是二向色镜，34是套筒透镜，41是二向色镜，42是微透镜阵列(mla)，43与44是一组中继透镜系统，45是二向色镜，46和48是滤色片，47与49是scmos探测相机，51是工业相机。
具体实施方式
45.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
46.一种自由运动样本的自动化搜索成像方法，包括搜索线程和跟踪线程；
47.当显微镜视野图像中未检测到样本时，进入搜索线程，按照搜索算法的计算结果，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野图像中检测到样本，进入跟踪线程；
48.当显微镜视野中检测到样本时，进入跟踪线程，按照样本质心的位置，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野中未检测到样本，进入搜索线程。
49.其中搜索线程包括以下步骤：
50.(1)确定搜索视野运动路线：根据当前时刻处于显微镜视野中心的样本平台坐标，采用运动搜索算法搜索，获取下一时刻处于显微镜视野中心的样本平台的目标坐标；
51.所述运动搜索算法，可包括但不限于全局搜索算法、三步搜索算法、菱形搜索算法或六边形搜索算法；其中全局搜索算法是通过遍历一定搜索范围内的所有坐标，逐一计算其与搜索区域的匹配度，选取匹配度最高的坐标为最佳搜索点，该点位置和搜索范围中心点的位置矢量作为运动矢量。三步搜索法和菱形搜索法等是快速搜索类型的算法，通过按照一定的数学规则进行匹配块的搜索，进而提高搜索速度，但代价是可能会得到次最佳的匹配块。
52.(2)采集搜索视野内图像：使步骤(1)获得的样本平台的目标坐标运动到显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；优选采用高速运动平台作为样本平台，移动速度60
‑
120mm/s，样本平台的速度需要与样本运动速度相匹配。
53.(3)样本检测：对步骤(2)获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，计算样本当前的质心坐标用于初始化跟踪线程，跳出搜索线程，进入跟踪线程；否则重复步骤(1)；
54.所述判断视野内是否存在样本，具体包括以下子步骤：
55.(3
‑
1)计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量大于等于1时，进入步骤(3
‑
2)；
56.(3
‑
2)差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的照明光成像图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，判断视野内存在样本；否则判断视野内不存在样本；
57.所述计算当前样本质心坐标具体为：
58.(3
‑
3)计算样本质心：将照明光成像差分图像进行样本轮廓识别方法识别到的处于照明光成像差分图像与当前视野内的图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标；当照明光成像差分图像进行样本轮廓识别方法识别不到处于照明光成像差分图像与当前视野内的图像差异部分的轮廓时，重复步骤(1)；
59.其中跟踪线程包括以下步骤：
60.s1、将所述当前样本质心坐标作为下一时刻显微镜视野的中心，使得所述当前样本质心坐标运动至显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；
61.s2、样本检测：对步骤s1获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，更新样本当前的质心坐标并重复步骤s1；否则以当前样本质心坐标为时刻显微镜视野中心在样本平台的坐标，初始化进入搜索线程；
62.所述判断视野内是否存在样本，具体包括以下子步骤：
63.s2.1计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量等于1时，判断存在样本并以该识别到的轮廓进行更新当前样本质心坐标，否则及识别到的轮廓数量大于等于2，则进入步骤s2.2；
64.s2.2差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，视野内存在样本，进入步骤s2.3；否则判断视野内不存在样本；
65.所述更新样本当前的质心坐标具体为：
66.s2.3将照明光成像差分图像进行样本轮廓识别方法识别到的处于照明光成像差分图像与当前视野内的照明光成像图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标。
67.轮廓识别，可采用基于opencv的提取轮廓算法、中心提取算法或骨架识别算法等系列传统图像算法进行轮廓定位，亦可采用基于深度学习的轮廓识别算法进行快速的位置反馈；其中基于opencv的提取轮廓算法包括步骤：高斯模糊、二值化、腐蚀、以及轮廓提取。轮廓识别可设定多种条件以匹配不同阶段或不同类型的样本，如轮廓的面积、形状特征及轮廓内像素的强度特征等。轮廓识别算法可基于图像自适应设置二值化阈值和轮廓满足条件，也可通过手动设置阈值、曝光时间、轮廓条件等参数，以满足不同光照条件和不同样本的成像需求。
68.可选地，照明光可直接采用荧光激发光，甚至以荧光图像作为照明光成像，以进行基于荧光强度的自动化搜索及实时跟踪。
69.应用本发明提供的自由运动样本的自动化搜索成像方法的自动化搜索成像系统，包括：照明光光源、荧光激发光光源、行为探测通道、荧光探测通道、下位机以及带动样本平台运动的运动机构；
70.所述照明光光源、荧光激发光光源投射在显微镜工作范围；
71.所述行为探测通道、荧光探测通道分别采集照明光成像图像以及荧光图像，将图像输出到下位机；行为探测通道、荧光探测通道可共用同一高倍探测物镜，以降低整体光路的复杂性；或分别采用不同倍率探测物镜，可降低对跟踪平移台的响应时间及速度要求，以及保证在追踪过程中的样本尽量少溢出视野，但仍需该搜索算法以保证自动化的搜索跟踪。中荧光探测通道可以是单波长、双波长或多波长探测。
72.荧光探测通道的荧光探测器优先选用灵敏度高，量子效率高的ccd或cmos；行为探测通道的相机可采用分辨率较低的工业相机，也可选用其他足够高灵敏度的科研相机。
73.所述照明光光源发出的照明光，经行为探测通道成像，获得照明光成像图像，用于采集自由运动样本的行为图像；
74.所述荧光激发光源发出的激发光，当其中存在样本时，激发样本产生荧光，经荧光探测通道成像，获得样本荧光图像，用于采集样本的荧光图像，例如样本神经细胞荧光图像等等。
75.所述下位机，用于运行本发明提供的自由运动样本的自动化搜索成像方法，获得下一时刻处于显微镜视野中心的样本平台的目标坐标，驱动所述运动机构将样本平台的目标坐标移动到显微镜视野的中心位置。
76.所述运动机构，根据样本的运动方式，可以是二维的，也可以是一维或是三维的，优选为高速二维平移台，所述高速二维平移台可采用双轴无刷直流电机，也可采用其他满足高速追踪要求的电动平移台或压电平移台。
77.采集的自由运动样本的行为图像和样本的荧光图像，可进行同步分析，以获得样本荧光产生部位的变化与样本行为之间的关系。
78.以下为实施例：
79.本实施例提供的自动化搜索成像系统，如图2所示，硬件系统整体基于常规的商业显微镜搭建：
80.照明光光源及荧光激发光光源：在照明端采用高功率宽谱光源结合激发滤色片进行特异性荧光标记蛋白的激发，采用近红外led或经明场滤色片滤除干扰光之后的明场光源进行行为通道的照明，这两部分均属于常规商业显微镜的标准配置附件。照明光源可采用红外led光源或传统商业显微镜滤除干扰荧光通道波长后的明场光源。
81.在探测端，行为探测通道、荧光探测通道，采用单高倍探测物镜采集样本发射的特异性荧光信息及行为通道光源照明产生的轮廓信息，并通过显微镜内置的套筒透镜矫正存在的像差，将其分别通过显微镜相机端口进一步传递给荧光探测通道相机和目镜端口传递给经转接套筒安装在显微镜目镜模块上的行为通道探测相机。
82.荧光探测通道的探测模式可采用共聚焦成像、宽场探测或光场探测等荧光显微成像探测手段。
83.本实施例整体光路基于奥林巴斯常规商业显微镜ix73搭建，如图2所示照明端的荧光通道照明采用常规卤素灯光源从样本底部通过落射照明实现双通道的荧光激发，行为通道照明采用红外led光源从样本上侧进行透射照明，以方便后续样本的轮廓识别。探测端的荧光光场探测光路与行为通道探测光路分别占用ix73显微镜的相机安装端口和目镜端口，其中光场探测光路基于传统的光场探测模态实现双通道二维光场图像的采集，行为通道的探测相机通过转接套筒安装在显微镜目镜端，采集活体样本的轮廓信息。
84.样本平台包括预置的成像体系如培养基以及运动机构，上样本位于预置的成像体系如培养基中，可实现完全的自由运动；本实施例的运动机构采用高速二维平移台，整个培养基位于高速二维平移台上，通过驱动高速二维平移台进行实时位置的补偿以实现样本保持在视野中心。培养基整体放置在高速二维平移台上，采用的高速二维平移台是索雷博公司的一款适配商业奥林巴斯显微镜的二维电动平移台mls
‑
203，其在高速运动情况下的响应时间及速度满足跟踪自由运动线虫的反馈要求，此处mls
‑
203可更换为任意满足要求的二维高速电动平移台或压电位移台。
85.此实施例中通过结合传统的光场探测光路模态(将微透镜阵列置于探测光路的原始像平面)及上述结合运动搜索策略的自由样本实时追踪算法，实现了传统模式动物自由运动秀丽隐杆线虫的自动化实时三维荧光高分辨及行为成像。实验前预先将l4时期秀丽隐杆线虫挑选至培养基内以允许其自由运动，培养基整体放置在高速二维平移台上。
86.本实施例提供的自动化搜索成像系统实现自由运动样本的自动化搜索成像方法，包括以下步骤：
87.硬件初始化：
88.在该模块中首先进行系统中各硬件模块的初始化，包括二维的跟踪平移台，行为
及荧光通道探测相机等。初始化完成后进行跟踪位移台的复位及部分相机拍摄参数的预设置，以实现定制化的采集过程，随后即开启相机的采集进程。
89.首先算法进行硬件的初始化及复位，以实现后续的正常调用和稳定工作，同时设置如曝光时间等与采集图像相关参数，接着相机开始采集图像。采集到单张图像后，算法进入搜索线程。
90.进入搜索线程：
91.当显微镜视野图像中未检测到样本时，进入搜索线程，按照搜索算法的计算结果，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野图像中检测到样本，进入跟踪线程；
92.实际操作过程中，初始化时会先将样本手动移动到显微镜视野中心附近，再运行搜索线程，此时样本一般情况下仍在当前视野周边运动，同样的，从跟踪线程进入搜索线程时，样本应仍在当前视野的周边运动，使用全局搜索法可以保证较精准搜索到样本，使用其他方法虽然速度可能更快但容易搜索丢样本，导致需要手动对准。
93.启动搜索线程后，由于运动样本在所处成像体系中自由运动，且系统整体使用单高倍率探测物镜探测视野较小，因此在样本运动速度较快的情况下初始的采集图像中不会包含完整的运动样本轮廓信息，即使预先将运动样本手动调节至视野中心，也会因为程序的启动及初始化的时延导致程序进入跟踪线程时，样本已经逸出视野，因而需要在程序中跟踪线程在跟踪失败的情况下需要重新进入搜索线程，保证整个观察记录过程自动化进行。
94.使用的基于全局搜索法设置的搜素路径的不同搜索视野间可以刚好相邻，也可以有一定程度的重叠以保证搜索的完整性，防止漏搜索；使用的基于全局搜索法设置的搜素路径的搜索方向可以是螺旋式的顺时针或逆时针，也可以是其他符合逻辑的搜索方式。
95.本实施例以全局搜索法为例，步骤具体如下：
96.(1)确定搜索视野运动路线：根据当前时刻处于显微镜视野中心的样本平台坐标，采用运动搜索算法搜索，获取下一时刻处于显微镜视野中心的样本平台的目标坐标；
97.在本实施例中，由于对搜索模块占用的时间成本无过多要求，因此采用的路径搜索方法优先为全局搜索法，以确保能准确地搜索到自由运动的生物样本。
98.(2)采集搜索视野内图像：使步骤(1)获得的样本平台的目标坐标运动到显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；采用高速运动平台作为样本平台，移动速度60
‑
120mm/s
99.以当前搜索窗口的起始点作为搜索路径的中心点初始化搜索窗口，从中心点起依照顺时针或逆时针的方向向外依次搜索，具体实现是通过驱动高速二维平移台按照预先根据全局搜索法设置的搜索路径进行步进扫描；
100.(3)样本检测：对步骤(2)获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，计算样本当前的质心坐标用于初始化跟踪线程，跳出搜索线程，进入跟踪线程；否则重复步骤(1)；
101.首先对采集图像进行降采样以减小处理数据量提高成像通量，随后对图像顺序进行高斯模糊、自适应阈值二值化、图像腐蚀及轮廓提取的操作。满足预先设置的轮廓条件的轮廓被筛选出来并计算其轮廓质心，设置的轮廓条件包括轮廓面积、轮廓内像素的强度信
息等。
102.(3
‑
1)计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量大于等于1时，进入步骤(3
‑
2)；
103.在每个搜索窗口处进行图像的采集和满足条件轮廓信息的判断，以确定当前视野内部是否包含运动样本，当寻找到疑似的运动样本时，即当识别到的轮廓数量大于等于1时，则在当前位置继续采集固定时间间隔后的照明成像差分图像，通过两帧图像的差分图像进行判别。
104.(3
‑
2)差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的照明光成像图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，判断视野内存在样本；否则判断视野内不存在样本；
105.当识别到满足条件的轮廓时，为了确认其是否是静态杂质背景造成的伪轮廓，在当前视野下继续采集固定时间间隔后图像，将相邻采集帧差分操作以去除静态背景，随后对差分图像进行同样的预处理操作以从其中提取运动样本的身体位移部分轮廓信息，若存在满足条件的轮廓信息，则可以确认该搜索视野内存在运动样本，随后即进入后续的跟踪线程。此处的条件包括识别轮廓内像素的位置信息，强度信息，轮廓面积信息等，若不满足条件，则按照预先设置的搜索路径，通过移动高速二维平移台进行视野的平移后继续进行上述判断。
106.当视野内为真实的运动样本时，由于样本的运动会导致前后帧图像出现某些位置处大面积强度值的明显差异，进而确定当前搜索窗口内部包含运动样本。
107.而当视野内为静态杂质背景干扰引起的伪轮廓时，由于其在采集图像内是相对静止的，因而差分后的图像没有明显的强度值较大的区域，因此继续沿当前搜索路径进行搜索，直至寻找到当前孔板内的运动样本。通过应用上述包含图像差分算法的运动样本搜索策略，有效解决了实际存在的背景干扰，提高了跟踪进度，同时搜索
‑
跟踪
‑
搜索的控制逻辑保证了算法整体的自动化性能。
108.(3
‑
3)计算样本质心：将照明光成像差分图像进行样本轮廓识别方法识别到的处于照明光成像差分图像与当前视野内的图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标；当照明光成像差分图像进行样本轮廓识别方法识别不到处于照明光成像差分图像与当前视野内的图像差异部分的轮廓时，重复步骤(1)；
109.进行轮廓识别，首先基于传统的图像处理算法识别出单帧采集照明光成像图像内的轮廓信息并进行判定。当由于样本运动过快导致采集图像内满足条件的疑似轮廓数为0时，此时算法以当前视野为搜索路径的中心初始位置，进行上述的基于全局搜索策略的运动样本搜索以确保自动化的跟踪；当采集图像内包含的疑似轮廓数仅包含一个时，则默认此时的轮廓信息为实际运动样本所引入的轮廓信息，则基于当前的处于照明光成像差分图像与当前视野内的图像差异部分的轮廓信息计算出轮廓的中心位置坐标，并输入至跟踪线程；当采集图像内包含的疑似轮廓数包含至少两个时，则此时视野内的运动样本可能运动到杂质背景附近，导致识别出了多余的假轮廓。算法通过采集相同视野下固定时间间隔后的另一帧图，对相邻帧进行差分运算。与前述搜索模块中的差分原理类似，此时其余的静态杂质背景差分后不呈现明显的强度变化，而运动样本的头尾部分由于运动位移而产生较大
面积的明显强度差异，在差分图像上表现为局部强度值较大。
110.由于身体位移导致头部和尾部强度变化明显，因此可通过计算差分图像二值化后结果中的白色像素位置坐标均值来拟合该情况下的运动物体质心，如下公式所示。
[0111][0112][0113]
其中x
i
，y
i
表示白色像素的位置坐标，n代表白色像素总数，x0，y0即近似计算的运动物体质心坐标。
[0114]
当显微镜视野中检测到样本时，进入跟踪线程，按照样本质心的位置，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野中未检测到样本，进入搜索线程。
[0115]
其中跟踪线程包括以下步骤：
[0116]
s1、将所述当前样本质心坐标作为下一时刻显微镜视野的中心，使得所述当前样本质心坐标运动至显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；
[0117]
s2、样本检测：对步骤s1获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，更新样本当前的质心坐标并重复步骤s1；否则以当前样本质心坐标为时刻显微镜视野中心在样本平台的坐标，初始化进入搜索线程；
[0118]
所述判断视野内是否存在样本，具体包括以下子步骤：
[0119]
s2.1计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量等于1时，判断存在样本并以该识别到的轮廓进行更新当前样本质心坐标，否则及识别到的轮廓数量大于等于2，则进入步骤s2.2；
[0120]
s2.2差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，视野内存在样本，进入步骤s2.3；否则判断视野内不存在样本；
[0121]
s2.3将照明光成像差分图像进行样本轮廓识别方法识别到的处于照明光成像差分图像与当前视野内的照明光成像图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标。
[0122]
跟踪线程中，首先获取轮廓识别反馈模块中反馈的运动物体质心坐标，并根据反馈质心坐标计算与视野中心位置坐标的差异，通过位移台驱动函数接口输入并驱动高速二维平移台进行反馈运动以达到实时保持运动样本在视野中心的目的，实现长时间的跟踪成像。
[0123]
本实施例提供的自由运动样本的自动化搜索成像方法，可表示为以下伪代码：
[0124]
主程序
[0125]
语句1：程序执行初始化模块，包括硬件接口初始化、跟踪位移台的复位、搜索路径的设定、轮廓条件的设定和采集参数的设置；
[0126]
语句2：搜索线程标志位置真，跟踪线程标志位置假，进入搜索线程；
[0127]
搜索线程：
[0128]
语句1：相机在当前视野下采集单张图像；
[0129]
语句2：基于输入图像处理执行样本判断函数；
[0130]
语句3：若判断为搜索到样本：搜索线程标志位置假，跟踪线程标志位置真，进入跟踪线程；
[0131]
否则，接收到下一时刻位置后驱动位移台运动至该位置，执行语句1
[0132]
跟踪线程：
[0133]
语句1：相机在当前视野下采集单张图像；
[0134]
语句2：基于输入图像处理执行样本判断函数；
[0135]
语句3：若判断为搜索到样本，则接收到下一时刻位置后驱动位移台运动至该位置，执行语句1；否则：
[0136]
搜索线程标志位置真，跟踪线程标志位置假，进入搜索线程；
[0137]
样本判断函数：
[0138]
语句1：若搜索线程标志位为真：
[0139]
满足搜索条件轮廓数为0，此时视野中未探测到样本，返回搜索路径中下一搜索位置；若轮廓数不为0，则执行差分判别函数。
[0140]
语句2：若搜索线程标志位为假：
[0141]
满足条件轮廓数为0，则运动样本可能逃逸出视野，返回当前位置定位为搜索中心点，进入搜索线程；若满足条件轮廓数为1，则由该轮廓质心坐标计算下一时刻跟踪位移台目标位置，返回下一时刻跟踪位移台目标位置；若满足条件轮廓数大于1，则执行差分判别函数；
[0142]
差分判别函数
[0143]
语句1：保存上一帧采集图像，在当前视野下继续采集下一帧图像；
[0144]
语句2：执行相邻帧差分算法，将相邻采集到的两张图像差分，判断差分后的图像中满足差分条件的轮廓数，此时：
[0145]
若搜索标志位为真，轮廓数为0，则视野中原先探测到的轮廓为静态的杂质背景，故将搜索路径中下一搜索位置返回；轮廓数不为0，则搜索到运动样本，搜索线程标志位置假，跟踪线程标志位置真，进入跟踪线程。
[0146]
若搜索标志位为假，轮廓数为0，则确认运动样本逃逸出视野，搜索线程标志位置真，跟踪线程标志位置假，进入搜索线程；轮廓数不为0，则基于差分图像通过轮廓包络矩形框的质心坐标计算下一时刻跟踪位移台目标位置返回。
[0147]
本方法中连续采集的照明光成像图像如图3所示，对于其中一副图像进行轮廓识别以及差分判别的过程，如图4所示。
[0148]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。