一种自动化柔性位姿调整微操作系统及方法

本发明涉及显微视觉与微纳操作领域，具体是一种自动化柔性位姿调整微操作系统及方法。

背景技术：

1、随着生物医学领域的发展，对微观尺度物体进行微操作的需求应运而生。微操作技术是一种利用具备微纳米运动精度的执行器，通过视觉、力等反馈方式来操作生物、材料、化学分子等受控对象，以完成特定实验任务的方法。传统的微操作技术通常由经过长期专业培训、拥有丰富经验的实验人员手工完成，如细胞注射、细胞核移植等。在常见的设备配置中，包含显微镜、微动操作机械手和载物台。实验人员坐在显微镜前，通过显微镜目镜或者显示器观察工作空间的情况，并依靠个人经验来操作微动操作手进行工作。然而，这一过程耗时且费力，同时也高度依赖于操作人员的个人经验，难以保证所有操作过程及结果的一致性。所以，开发一种自动化的微操作工具，对生物医学领域发展提供助力是十分必要的。

2、近年来，微流控技术被广泛应用于细胞分析、dna测序、蛋白质筛选、药物筛选等方面。而机器视觉技术也取得不错的应用价值，例如人脸识别、自动驾驶等。例如，申请号为202010156073.5的文献公开了一种基于机器视觉的智能显微操作系统，其主要功能在于完成自动化显微注射，其主要原理在基于图像处理的机械臂控制。但是对于生物目标的夹持方法是真空吸附，这将会使生物目标与吸持针刚性接触。对于活体生物样本来说，存在着潜在的伤害。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种自动化柔性位姿调整微操作系统及方法。

2、本发明解决所述系统技术问题的技术方案是，提供一种自动化柔性位姿调整微操作系统，其特征在于，该系统包括显示器、上位机、纳米马达、毛细管、显微镜载物台、显微镜物镜、培养皿、换能器、照明光源、气压控制器、信号发生器和ccd相机；

3、换能器与信号发生器通讯连接，用于接收信号发生器产生的正弦电信号并振动产生正弦声波；培养皿放置在显微镜载物台上；培养皿与换能器固定连接，换能器振动产生的正弦声波传递给培养皿；纳米马达的壳体置于显微镜载物台上，以纳米马达摆放的位置定义笛卡尔坐标系；毛细管的始端与气压控制器连通，末端置于培养皿中；毛细管固定在纳米马达的输出端上，纳米马达带动毛细管实现xyz轴三个方向的移动；显微镜物镜置于显微镜载物台的下方，用于放大培养皿中的生物样本；ccd相机实时拍摄经过显微镜物镜放大后的显微镜视野区域图像；照明光源置于显微镜载物台的上方，用于对培养皿进行视场照明；

4、显示器、纳米马达、气压控制器、信号发生器和ccd相机均与上位机通讯连接；上位机控制ccd相机实时拍摄经显微镜物镜放大后的显微镜视野区域图像并传输至上位机，上位机控制显示器显示该图像；上位机控制信号发生器的启停以及信号发生器产生的正弦电信号的电压和频率；上位机控制气压控制器生成气泡并控制气泡的尺寸；上位机控制纳米马达的xyz轴三个方向的移动。

5、本发明解决所述方法技术问题的技术方案是，提供一种基于所述自动化柔性位姿调整微操作系统的位姿调整微操作方法，其特征在于，该方法包括以下步骤：

6、步骤1、搭建所述自动化柔性位姿调整微操作系统；

7、步骤2、启动系统：在培养皿中加入培养液，将生物样本置于培养皿中；将毛细管的末端置于培养液中；然后系统上电，调节显微镜载物台的位置，使毛细管的末端和生物样本同时出现在显微镜视野区域内；最后沿z轴调节显微镜物镜，使生物样本处于焦平面内；

8、步骤3、图像预处理：首先将ccd相机拍摄的实时显微镜视野区域图像传递至上位机，上位机控制该图像在显示器上实时显示；然后对显示器上显示的显微镜视野区域图像进行实时截图，得到rgb图像；然后在rgb图像中定义图像坐标系；

9、步骤4、自动对焦：在rgb图像中，对生物样本和毛细管的末端分别划定roi区域，再分别计算两个roi区域的清晰度，同时设定阈值；当两个roi区域的清晰度之差小于等于阈值时，完成自动对焦，进入步骤5；当两个roi区域的清晰度之差大于阈值时，纳米马达的z轴持续在笛卡尔坐标系下移动，直至两个roi区域的清晰度之差小于等于阈值时停止移动，完成自动对焦，进入步骤5；

10、步骤5、微气泡尺寸控制：气压控制器向毛细管输出气压，毛细管的末端生成气泡；在rgb图像中，实时监测毛细管的末端生成的气泡的曲率半径，直至气泡曲率半径达到设定范围，此时气压控制器输出的压力值不再变化并持续输出气压；

11、步骤6、系统标定：在rgb图像中，实时检测气泡圆心在图像坐标系中的位置；然后纳米马达在笛卡尔坐标系的xy平面内向任意方向移动且保证气泡处于显微镜视野区域内；然后记录纳米马达移动前后的气泡圆心在图像坐标系中像素坐标值的变化，进而得到在xy平面内图像坐标系中的像素与笛卡尔坐标系中的微观物理尺寸的换算系数；

12、步骤7、生物样本抓取：在rgb图像中，首先识别生物样本，并用识别框标记生物样本的轮廓；然后计算气泡圆心与识别框的几何中心的像素坐标差值，再将像素坐标差值按照步骤6得到的换算系数换算为微观物理尺寸，再将该微观物理尺寸输入至纳米马达，使纳米马达带动毛细管的末端生成的气泡移动至与识别框相接触的位置；此时上位机对信号发生器发送启动命令，并调节信号发生器的电压和频率至预设值，将生物样本吸附到气泡表面；

13、步骤8、生物样本重定位：在rgb图像中，计算步骤7中识别框的几何中心与显微镜视野区域的中心的像素坐标差值，将像素坐标差值按照步骤6得到的换算系数换算为微观物理尺寸，再将该微观物理尺寸输入至纳米马达，使纳米马达带动气泡及吸附在气泡表面的生物样本移动，直至生物样本位于显示器上显示的显微镜视野区域的中心；

14、步骤9、生物样本姿态调整：生物样本重定位后，进行图像分割，得到掩膜图像，然后计算掩膜图像中的白色区域的面积；如果白色区域的面积大于等于生物样本的目标结构对应的设定阈值，则认为直接识别到生物样本的目标结构，直接使信号发生器输出频率f2，使生物样本绕z轴做平面内旋转，调整目标结构的方向；

15、如果白色区域的面积小于生物样本的目标结构对应的设定阈值，则使信号发生器输出频率f1，使生物样本绕x轴做平面外旋转并实时计算掩膜图像中的白色区域的面积，直至白色区域的面积大于等于生物样本的目标结构对应的设定阈值时，改变信号发生器的频率，使信号发生器输出频率f2，使生物样本绕z轴做平面内旋转，调整目标结构的方向，使目标结构更利于观察或达到其他微操作的预设角度；

16、步骤10、生物样本释放：上位机发出指令，先关闭信号发生器，毛细管的末端生成的气泡解除对生物样本的吸附；然后关闭气压控制器，毛细管的末端生成的气泡逐渐消失；然后纳米马达带动毛细管移动，使毛细管的末端移出显微镜视野区域，便于后续观察生物样本或对生物样本进行其他微操作。

17、与现有技术相比，本发明的有益效果在于：

18、(1)本发明结合微流控技术与机器视觉，设计了一种智能显微操作系统，能够快速、精确、柔性地进行显微操作。本发明系统利用声辐射力抓取目标，并精确控制目标在视野域内的位置，精度达到微米级。同时，对涡流的有效利用能够使目标二自由度旋转，从而实现目标的姿态调整，这为目标的多角度观察、三维重构、显微注射等工作提供了先决条件。

19、(2)本发明通过自动生成可控尺寸气泡作为执行末端，利用声流耦合场对活体生物样本进行抓取和旋转操作，对生物样本的活性几乎没有影响，声波也不存在潜在伤害，同时增加了两个自由度，使微纳颗粒能够可控旋转，实现了微纳颗粒的四自由度运动，即在xy平面内的移动和绕xz轴的旋转，且兼顾柔性和自动化。

20、(3)本发明系统精度在微米级，选用的基于压电陶瓷材料的黏滑驱动纳米马达的行程在毫米级，这使得系统具备跨尺度微操作能力，在保证高精度的同时能够对更大区域的目标物体进行微操作。

21、(4)本发明结构简洁，工作空间为开放式培养皿，无需设计特殊结构、流道等，减轻了操作者的负担。被操作对象可以处在培养皿中的任何位置，无需受制于特殊布局或空间限制，提供了更大的操作空间。同时本发明能够灵活适应不同尺寸的微纳颗粒。这使得本发明能够处理多样性实验或应用场景。被操作的微纳颗粒从几十微米到几百微米，本系统都能够胜任，体现出了通用性。

22、(5)本发明基于视觉伺服协同控制各个部件，完成微操作过程的自动化闭环控制，整个过程无需人工操作，具有较高的自动化程度，大大提高了精度、速度和效率，节约了人力成本。