一种光镊系统中的微球自动捕获方法与流程

本发明涉及一种应用于光镊测量测试系统的微球自动捕获方法。特别涉及在狭小视场与低景深成像下的微球自动识别、捕获的方法。

背景技术：

光镊技术基于光的力学效应，能够捕获操纵微米、纳米级的微粒，并对所施加的力进行测量，具有非接触、无损伤、高精度的特点，被广泛用于生物单分子、细胞等测量领域中，极大的促进了定量生物学的发展。光镊技术主要利用高度聚焦的激光光束产生三维势阱从而对微小粒子产生吸引，通过测量微球与光阱中心的距离计算相应受到的作用力。微球往往均匀分布于样品池中，传统的光镊系统在使用时缺少选择性和排他性，处于光阱附近的任何介电粒子都有可能被捕获。为防止同时捕获多个微粒而影响实验测试过程，目标样品必须以非常低的浓度分散在液体中。对于手动操作与半自动操作的光镊，往往需要花费较多时间用于微球的捕获上面，大大降低了实验效率，加重了操作者的实验负担。光镊技术的自动化因而成为研究的重点。

光镊技术的自动化技术目前已有很多成果与进展。Grover等人利用图像处理技术实现了一种自动分拣单细胞的方法，Wu等人实现了一种A*算法用于单细胞搬运的路径规划。同样，Banerjee等人实现了一种自由路径规划算法用于单细胞的搬运。Chapin等人将交通规则引入粒子的搬运，实现了粒子的排列。CHeah等人建立了包含粒子布朗运动的运动模型，实现了一种用于控制粒子运动的控制器。

以上研究多数建立在一种过度理想环境当中，如干净、稳定的液体环境。并且更多针对的是细胞等较大的粒子在具有较大视场下的运动控制算法，对于测量应用所需的算法还不多。针对用于力谱测量的光镊系统，其所需微粒直径更小，一般在1-2um左右；所需光阱的刚度更高，往往需要达到0.5pn/nm,也就意味着使用的物镜具有更高的数值孔径，从而使得观察视场和景深都变得有限，最终使得粒子重复捕获的现象更容易发生。同时由于刚度的提升也需要更高的激光功率，这样也导致了在样品池中加热效应更加明显，并导致了样品池中液体的对流。粒子除了布朗运动还要收到液体环境对流的影响，使得针对性的捕获粒子变得更加困难。

技术实现要素：

本发明针对大刚度、小视场的光镊测量测试，提供一种自动识别、捕获800nm-10um的微小粒子，同时防止微小粒子重复捕获的控制方法，能够在测量测试粒子及生物单分子等实验过程自动完成重复较多的捕球工作，有效的提高实验的效率，减轻实验者的工作量，并提升实验数据的稳定性。本发明的技术方案如下：

本发明所采用的技术方案是：

一种光镊系统中的微球自动捕获方法，包括如下步骤：

1)光镊系统初始化，设置光阱位置，设定CCD曝光时间、帧率、图像格式，设定微纳米位移台初始位置、最大移动速度、加速度参数；

2)设定图像初始背景；

3)预设路径，根据路径控制微米位移台进行搜索；

4)对每帧图像处理，当视场存在微球，输出微球位置、直径、ID特征，具体步骤包括：

(1)采用背景差分法，去除背景的干扰，背景图像需要每隔5帧对背景与当前帧进行一次平均运算作为新的背景，若当前帧存在微球，则将微球的位置除掉，再对背景进行更新，得到背景差分图像；

(2)使用全局固定阈值对背景差分图像二值化；

(3)采用形态学处理方法，对二值图像进行闭运算，得到粒子填充图案；

(4)进行粒子轮廓的提取以及轮廓外接圆的拟合，初步得到单帧图像的粒子轮廓位置信息；

(5)获得首帧含有粒子图像后，对每个粒子进行编号，每个粒子获得唯一的ID；

(6)在下一帧图像中重复粒子提取的过程，然后将两幅图像的粒子的半径与位置信息作为特征向量进行比较，计算两个特征向量的端点距离，端点距离最小的粒子取同一个ID，将未找到匹配结果的粒子取新的编号，当同一ID的粒子连续出现次数达到预设次数，则认为该粒子信息准确并对模块外输出，否则认为是图像噪声，并删除该编号以及相关信息；

5)得到视场内微球的特征后，中断搜索路径生成捕获路径，对粒子按照规划的路径进行PI闭环控制，直至粒子被成功捕获，否则重新返回搜索路径进行搜索，捕获路径的生成算法包括：

(1)在视场中以两个光阱为中心划定两个包含光阱且相邻的矩形区域，根据两个矩形区域的位置关系生成其余几个周边矩形区域，从而将视场分为八个矩形区域，然后将各个区域分别编号；

(2)以所述的几个周边矩形区域的中心为关键点，生成一个通过各个关键点的图形作为粒子的转移路径；

(3)将两个光阱所在点与粒子转移路径使用水平线与竖直线相连，并作为粒子进入光阱的连接路径；

(4)确定目标粒子位置所在的矩形区域，移动到该区域的中心点，从而进入转移路径；

(5)根据粒子要进入的光阱目标，按照就近原则以及优先上方路径的原则，选择连接路径，并通过转移路径进入连接路劲，将粒子转移至目标光阱；

6)在捕获粒子执行后需要判断粒子是否被成功捕获，判定依据通过统计光阱所在矩形区域内的粒子ID的重复出现的次数，当连续数帧某ID的粒子重复出现在光阱所在矩形区域且位置变化小于一定阈值，可认为粒子被成功捕获；

7)当粒子捕获判定成功，则中断捕获路径转入保护模式，对每帧图像进行监测；当捕获粒子附近出现其它多余粒子，需要生成躲避路径。

优选地，7)中躲避路径的生成算法包括：

(1)若多余粒子数大于一，选择与光阱距离最近的粒子作为优先躲避目标，称其为目标粒子；

(2)若目标粒子在移动路径包围区域之外，就近通过水平或垂直移动或将粒子移出视场；

(3)若目标粒子在移动路径包围区域之内，依据目标粒子所在矩形区域，将粒子就近移动至转移路径上，移动方式按照所操作粒子的次序水平移动与竖直移动交替进行；

(4)确定移动路径包围的区域内部没有粒子时，将视场内的多余粒子就近水平或竖直移动至视场外。

相对于传统的手动捕获以及半自动捕获方法能够消除手动操作带来的机械振动以及半自动操作的迟滞性，能够极大的提高微球的捕获效率，减少重复捕获对实验数据的破坏，保证实验的稳定性，对于基于光镊系统的测量具有重要意义。

附图说明

图1是粒子自动捕获控制模式流程图

图2是粒子自动识别跟踪算法的流程图

图3是粒子捕获路径规划算法示意图

图4是光镊系统结构示意图。

图中

1：1064nm固体激光 2：光束偏振分离合束系统

3：二项色镜 4：高数值孔径水浸物镜

5：压电纳米位移台 6：伺服微米位移台

7：样品池 8：力谱测量系统

9：780nmLED 10：COMS相机

具体实施方式

下面结合实施例和附图对本发明的基于光镊系统的微球自动捕获方法做出详细说明。

本方法的测试系统采用图4所示的双光镊系统进行的，包括双光镊生成模块、照明模块、图像采集模块和位移台控制模块。双光镊生成模块采用单激光(1064nm)分束使用高数值孔径物镜汇聚生成光阱；照明模块采用透射式同轴均匀照明，照明光源采用780nm波长的LED，照明光路与主光路采用二向色镜进行耦合，成像模块使用美国Thorlabs公司的DCC1545M的COMS相机，样品位移台台使用德国PI公司的压电控制器(P-517.3CL)与美国Newport公司的TRA-12CC促动器结合进行三维方向的控制。

本发明利用COMS相机采集粒子的8位灰度图像进行处理分析，得到粒子的位置、半径等信息。综合前后粒子状态的变化制定控制位移台的位移方法，实现微球的自动识别、捕获，以及捕获粒子后防止重复捕获，大大提高了测量过程的效率，减小手动操作造成的不稳定性与低效。

本发明的基于光镊系统的微球自动捕获方法，如图1所示，包括如下步骤：

1)光镊系统初始化，设置光阱位置，设定CCD曝光时间、帧率、图像格式，设定微纳米位移台初始位置、最大移动速度、加速度等参数；

2)手动设定图像初始背景或采用默认；

3)开始自动捕获，自动生成搜索路径(或手动预设路径)，根据路径控制微米位移台进行搜索，具体搜索路径的生成方法包括：

(1)自动搜索路径依靠关键点所围成的多边形作为搜索区域；

(2)在搜索区域内使用蛇形路径对搜索区域进行遍历。

4)对每帧图像处理，当视场存在微球，输出微球位置、直径、ID特征，具体处理流程如图2所示，包括：

(1)采用背景差分法，去除背景的干扰，背景图像需要每隔5帧对背景与当前帧进行一次平均运算作为新的背景，由于当前帧一般会存在微球，所以需要将微球的位置除掉，再对背景进行更新；

(2)使用全局固定阈值对背景差分图像二值化；

(3)采用形态学处理方法，对二值图像进行闭运算，得到的粒子填充图案；

(4)根据Suzuki85轮廓提取算法进行粒子轮廓的提取以及轮廓外接圆的拟合，初步得到单帧图像的粒子轮廓位置信息；

(5)获得首帧含有粒子图像后，对每个粒子进行编号，每个粒子获得唯一的ID；

(6)在下一帧图像中重复粒子提取的过程，然后将两幅图像的粒子的半径与位置信息作为特征向量进行比较，计算两个向量的端点距离，端点距离最小的粒子取同一个ID，将未找到匹配结果的粒子取新的编号。当同一ID的粒子连续出现次数达到三次，则认为该粒子信息准确并对模块外输出，否则认为是图像噪声，并删除该编号以及相关信息。

5)得到视场内微球的特征后，中断搜索路径生成捕获路径，对粒子按照规划的路径进行PI闭环控制，直至粒子被成功捕获。否则重新返回搜索路径进行搜索，捕获路径的生成算法包括：

(1)在视场中以两个光阱为中心划定两个包含光阱且相邻的矩形区域，按照两个矩形区域的上、下、左(右)生成其余六个周边矩形区域，从而将视场分为八个矩形区域，然后将各个区域分别编号。

(2)以周边六个区域的中心为关键点，生成一个通过六个关键点的矩形作为粒子的转移路径。

(3)将两个光阱所在点与粒子转移路径使用水平线与竖直线相连，并作为粒子进入光阱的连接路径。

(4)确定目标粒子位置所在的矩形区域，移动到该区域的中心点，从而进入转移路径。

(5)根据粒子要进入的光阱目标，按照就近原则以及优先上方路径的原则，选择连接路径，并通过转移路径进入连接路劲，将粒子转移至目标光阱。

6)在捕获粒子执行后需要判断粒子是否被成功捕获，判定依据通过统计光阱所在矩形区域内的粒子ID的重复出现的次数，当某ID的粒子重复出现在光阱所在矩形区域且位置变化小于一定阈值，连续5帧之后可认为粒子被成功捕获。

7)当粒子捕获判定成功，则中断捕获路径转入保护模式，对每帧图像进行监测。当捕获粒子附近出现其它粒子，需要生成躲避路径。躲避路径的生成算法包括：

(1)若多余粒子数大于一，选择与光阱距离最近的粒子作为优先躲避目标。

(2)若目标粒子在移动路径包围区域之外，就近通过水平或垂直移动或将粒子移出视场.

(3)若目标粒子在移动路径包围区域之内，依据目标粒子所在矩形区域，将粒子就近移动至转移路径上，移动方式按照所操作粒子的次序水平移动与竖直移动交替进行。

(4)确定移动路径包围的区域内部没有粒子时，将视场内的多余粒子就近水平或竖直移动至视场外。