基于ROS的智能液滴生成系统

本发明属于液滴生成技术领域，具体涉及基于ros操作系统的智能液滴生成系统。

背景技术：

微流控技术被广泛应用于液滴生成系统。其原理是通过扰动两相之间的界面张力使其相界面失稳，令一相突破界面张力以液滴形式进入到另一相当中。影响液滴尺寸的因素包括流体粘度、界面张力、两相流速等等。在常规操作当中，一般通过手动调节注射泵的转速间接控制液体流速来实现对液滴尺寸的调节。然而，通过肉眼观察和手动控制难以达到理想的调控精度，且液滴生成效果依赖于使用者的经验和仪器操作水平。除此以外，随着时间的推移，微流控管道产生的形变与阻塞会改变流体的实际流速，导致生成的液滴发生相应变化，使得最终获得的产品尺寸不一。而通过对液滴图像的实时捕获与处理，可以将粒径观察分辨率提高到微米级别；把流速修正因子反馈给注射泵则可以实现液滴尺寸的在线自动调节，从而有效对冲因管道形变或阻塞产生的偏差，提高液滴生成的稳定性。

ros（robotoperatingsystem）是用于编写机器人软件的高度灵活可扩展的操作系统。它不仅提供了硬件的底层抽象和驱动接口，还自带大量工具包与库文件方便开发者进行调试。ros系统将各个硬件抽象为节点，节点间通过话题-消息方式进行通讯。通过ros构建的智能液滴生成系统可以方便地实现感知层和控制层之间的信息交互。同时系统具有高度可扩展性，能够适配包括注射泵、恒压泵在内的各种流体驱动装置以及各类传感器件，而不必对软件进行大规模改动。

技术实现要素：

本发明的目的在于针对上述问题的一个或多个，提供一种基于ros的智能液滴生成系统。用户仅需要输入目标液滴大小即可生成液滴，而无需对流速进行手动调节。

本发明提供的基于ros的智能液滴生成系统，包括主控计算机、流体驱动单元、流体传感器件、液滴芯片和图像感知单元；其中：

所述流体驱动单元，用于驱动生成液滴的油相和水相；流体驱动单元包括控制器与流体驱动执行机构；其中，控制器与主控计算机通过串口连接，实时向主控计算机传输流体驱动状态，接收来自主控计算机运行指令并向执行机构发送驱动信号；流体驱动执行机构接受控制器发送的指令，对流体进行驱动；

所述流体传感器件，用于实时监控流体流量与液路压力等信息；

所述微流控液滴芯片，用于生成液滴并提供观察场所；

所述图像感知单元，包括显微镜和用于采集显微图像的高速照相机，用于对芯片中的液滴进行成像并采集，并将采集的信息传输给主控计算机；主控计算机中配置的ros将图像信息抽象为图像感知节点，获取相机帧并传输给ros图像处理节点；

所述主控计算机配置有ros系统、图像处理程序以及反馈调节算法；主控计算机通过ros的话题-消息方式处理各单元之间的通讯，通过图像处理程序对于图像感知单元传输的图形数据进行图像处理，并通过反馈调节算法实时调整流体参数以获取符合尺寸要求的液滴。

本发明中，所述反馈调节算法以液滴期望大小与当前液滴大小之差为优化目标，通过ros的话题-消息机制以固定的时间间隔向流体驱动单元发出指令，调节油相、水相的流速。

本发明中，所述流体驱动单元执行机构为微量注射泵、恒压泵或蠕动泵中的一种。

本发明中，所述流体传感器件包括流量计和压力传感器；流量计将液路中的流量信息通过串口传输至主控计算机；压力传感器实时检测液路压力，并将该压力信息通过串口传输至主控计算机。

本发明中，所述图像处理程序包括如下步骤：

（1）目标检测，利用训练好的深度学习模型对相机帧中的液滴进行识别，并输出包含液滴目标的候选框；

（2）对候选框中的液滴图像进行二值化处理，并对液滴进行轮廓提取和大小计算；

（3）根据显微镜的放大倍数，将轮廓大小转换为液滴的真实尺寸，以话题形式进行发布。

本发明中，所述反馈调节算法为pid控制、贝叶斯优化或强化学习中的一种。

本发明中，所述主控计算机还包括与之相连的显示设备，用于展示与用户交互的图形界面。所述图形界面包括流体参数和液滴大小的实时监控与设置、反馈调节开关以及实时显示的液滴图像。

本发明的有益效果：本发明利用ros将液滴的制备、观测与表征过程进行闭环封装，以话题-消息形式处理各单元之间的通讯，具有较强的可扩展性；对液滴的数字化监控与流速的反馈调节能有效对冲外部因素造成的偏差，提高了液滴生成的精度与稳定性；用户无需进行手动调节，仅需要输入目标直径即可获得相应的液滴，显著节约试错成本，大大降低了液滴制备的操作门槛。

附图说明

图1为本发明实施例的基于ros的智能液滴生成系统结构框图。

图2为本发明另一实施例的基于ros的智能液滴生成系统结构框图。

图3为生成的液滴照片及深度学习算法输出的候选框。

图4为候选框中图像的二值化处理结果。

具体实施方式

下面结合实施例和图1至图4所示，进一步介绍本发明的基于ros的智能液滴生成系统。其中：

主控计算机，配置有ros系统，图像处理程序以及反馈调节算法。通过ros的话题-消息机制处理与流体驱动单元及图像感知单元间的通讯，其中图像处理程序抽象为ros图像处理节点，用于接收来自图像感知单元的相机帧，并将其转化为液滴尺寸信息；反馈调节算法抽象为ros反馈调节节点，实时接受液滴尺寸信息，根据当前液滴大小提交流速修正指令。

流体驱动单元，包括控制器与流体驱动执行机构。其中控制器与主控计算机连接，通过ros抽象为流体驱动节点，接收ros反馈调节节点发出的控制参数。流体驱动执行机构接受控制器发送的指令对流体进行驱动。

液滴芯片，用于生成液滴并提供观察场所。

图像感知单元，包括显微镜和用于采集显微图像的高速照相机。与主控计算机相连，通过ros抽象为图像感知节点，获取相机帧并传输给ros图像处理节点。

作为一种可选的技术方案，流体驱动执行机构为注射泵、恒压泵或蠕动泵中的一种。

作为一种可选的技术方案，系统中可配置包括流量计、压力传感器在内的流体传感器件。流体传感器件与主控计算机相连，用于实时定量监控油、水两相的流动状况。

作为一种可选的技术方案，所述图像处理程序包括如下步骤：

（1）目标检测，利用训练好的深度学习模型对相机帧中的液滴进行识别，并输出包含液滴目标的候选框；

（2）对候选框中的液滴图像进行二值化处理，并对液滴进行轮廓提取和大小计算；

（3）根据显微镜的放大倍数，将轮廓大小转换为液滴的真实尺寸，以话题形式进行发布。

作为一种可选的技术方案，所述反馈调节算法为pid控制、贝叶斯优化或强化学习中的一种。

作为一种可选的技术方案，所述主控计算机还包括与之相连的显示设备，用于展示与用户交互的图形界面。所述图形界面包括流体参数和液滴大小的实时监控与设置、反馈调节开关以及实时显示的液滴图像。

实施例1：使用arm架构的nvidiajetsonagxxavier嵌入式开发板作为主控计算机，其配置有ros系统；使用微量注射泵作为流体驱动单元；使用训练好的yolov4算法[1]对相机帧进行目标检测，输出包含液滴图像的候选框；使用opencv[2]对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用pid算法实时调整油、水两相的流速，使得最终液滴尺寸与用户输入的目标尺寸相等。

实施例2：使用arm架构的nvidiajetsonagxxavier嵌入式开发板作为主控计算机，其配置有ros系统；使用恒压泵作为流体驱动单元；使用训练好的yolov4算法对相机帧进行目标检测，输出包含液滴图像的候选框；使用opencv对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用贝叶斯优化算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。

实施例3：使用x86架构的通用计算机作为主控计算机，其配置有ros系统；使用恒压泵作为流体驱动单元；使用训练好的fastr-cnn算法[3]对相机帧进行目标检测，输出包含液滴图像的候选框；使用opencv对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用贝叶斯优化算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。

实施例4：使用x86架构的通用计算机作为主控计算机，其配置有ros系统；使用恒压泵作为流体驱动单元；使用训练好的fastr-cnn算法对相机帧进行目标检测，输出包含液滴图像的候选框；使用opencv对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用基于深度确定性策略梯度的强化学习算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。

实施例5：使用x86架构的通用计算机作为主控计算机，其配置有ros系统；使用蠕动泵作为流体驱动单元；使用训练好的fastr-cnn算法对相机帧进行目标检测，输出包含液滴图像的候选框；使用opencv对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用基于深度确定性策略梯度的强化学习算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。

上述实施例仅代表本发明的部分实施方式，需要指出的是，本发明并不局限于上述实施方式中的具体细节，在本发明构思基础上进行的多种变换与改进，都属于本发明的保护范围。

参考文献：

[1]bochkovskiy,a.;wang,c.-y.;liao,h.-y.m.yolov4:optimalspeedandaccuracyofobjectdetection.arxiv:2004.10934[cs,eess]2020.

[2]bradski,g.theopencvlibrary.dr.dobb’sjournalofsoftwaretools2000.

[3]girshick,r.fastr-cnn.ininternationalconferenceoncomputervision(iccv);2015。