基于人眼视觉定位的自动化微操作方法与流程

本发明属于微机电系统领域，更具体地说，涉及一种基于人眼视觉定位的自动化微操作方法。

背景技术：

微操作是微机电系统(MEMS)加工与装配、光学与光电子工程、生物医学工程等诸多领域的基本作业形式，在微小尺度范围内对微尺度、中等尺度元件或物体进行控制，以及他们之间的位置和姿态关系进行控制。这类操作的目标对象极小，例如生物细胞(10～150μm)、微机电系统零件(10～100μm)、光导纤维(62.5/125μm)等，其精细程度超出了人类的操作极限。人类必须借助适合的设备才可以实现此类操作。能够进行微操作作业的设备被称为微操作机器人，它是人类感知和操控微观世界不可或缺的助手。微操作技术与设备的研究是近年来MEMS和机器人领域的研究热点，对其研究有助于人类探索微观世界奥秘、实现对微观世界的操纵和控制，具有重要的科学研究意义和广泛的应用前景。在微操作中，微操作对象尺寸微小，操作者只能依靠显微视觉系统的反馈来判断定位微操作工具和微目标，然后做出决策进行微操作作业。由于人很难通过显微视觉图像准确定位二者的位置或距离信息，往往需要先观察后操作的串行式反复作业，效率低，操作者容易疲劳。针对操作者的这种操作模式，基于视线跟踪技术的发展，为了提高微操作系统的自动化程度，让微操作者更好地发挥中心决策与控制地位，同时降低劳动强度，将视线跟踪技术引入微操作中，研究一种基于人眼视觉定位的自动化微操作硬件和软件系统显得尤为重要。

技术实现要素：

为克服现有技术存在的缺陷，本发明提供一种基于人眼视觉定位的自动化微操作方法。

本发明解决其技术问题所采用的技术方案是：

设计一种基于人眼视觉定位的自动化微操作方法，包括以下步骤：

步骤S10，定位瞳孔中心和角膜反射中心；

步骤S20，标定视觉定位系统；

步骤S30，基于人眼注视点进行自动化微操作。

在步骤S10中，结合下采样、固定阈值分割、八连通域法、扫描线法和基于对称性的圆检测方法对瞳孔进行半精确定位，再采用Hough变换对瞳孔进行精确定位；采用质心法精确定位角膜反射中心。

在步骤S20中，在电脑屏幕上等间距标记9个十字交叉点，人眼依次注视9个点，每个点注视1秒，微机电系统获取操作者注视9个十字交叉点时的角膜-瞳孔中心坐标，根据9个十字交叉点坐标和与之对应的角膜-瞳孔中心坐标，利用三阶非线性多项式拟合求得映射模型，完成视觉定位系统标定。

在步骤S30中，包括以下步骤：

步骤S30-1，定位微操作工具和微目标；

步骤S30-2，人眼注视某个点时间超过1s，微机电系统自主进行注视点区域判断，得到初步注视点；

步骤S30-3，微机电系统对初步注视点进行校正，得到理想注视点的坐标；

步骤S30-4，微机电系统进行弹窗询问确定该注视点目标，操作者确定该注视点目标是微操作工具还是微目标；

步骤S30-5，重复步骤S30-2至S30-4，完成垂直和水平两个光路中目标的定位；

步骤S30-6，重复步骤S30-2至S30-5，直至获取4个注视点坐标，完成微操作工具和微目标的三维坐标定位；

步骤S30-7，根据微操作工具和微目标的三维坐标差并结合单位像素所代表的实际长度计算出二者的实际三维距离差；

步骤S30-8，弹窗询问选择驱动左操作手还是右操作手，微操作工具向微目标运动，完成微操作作业。

在步骤S30-3中，以初步注视点为中心，在实时显微图像的当前那一帧图像上标记10个相邻间隔5个像素的同心正方形，观察判断后手动输入坐标并确认再次定位，得到比初步注视点更精确的目标点坐标以及重新定位后的图像，重复上述步骤进行多次辅助定位。

实施本发明基于人眼视觉定位的自动化微操作方法，具有以下有益效果：

本发明克服了传统操作者单纯依靠显微视觉系统反馈定位微操作工具和微目标时所存在的多次定位反复作业、效率低、耗时长、易疲劳等缺点。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明中瞳孔的半精定位过程；

图2是本发明中瞳孔的精确定位过程；

图3是本发明中角膜的反射中心定位过程；

图4是本发明中实施例压电微夹钳和圆柱型微粒的定位实验图；

图5为垂直光路(a)和水平光路(b)下压电微夹钳末端和圆柱型微粒的初始位置；

图6为垂直光路下压电微夹钳末端和圆柱型微粒的定位过程；

图7为水平光路下压电微夹钳末端和圆柱型微粒的定位过程；

图8为压电微夹钳向圆柱型微粒运动后的显微视觉图像(垂直光路(a)；水平光路(b))。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明基于人眼视觉定位的自动化微操作方法，包括以下步骤：

步骤S10，定位瞳孔中心和角膜反射中心。如图1所示，结合下采样、固定阈值分割、八连通域法、扫描线法和基于对称性的圆检测方法对瞳孔进行半精确定位。对瞳孔进行半精定位，有效提高了瞳孔的图占比，缩小了定位范围。如图2所示，再采用Hough变换对瞳孔进行精确定位。采用质心法精确定位角膜反射中心，如图3所示。

步骤S20，标定视觉定位系统。在电脑屏幕上等间距标记9个十字交叉点，人眼依次注视9个点，每个点注视1秒，微机电系统获取操作者注视9个十字交叉点时的角膜-瞳孔中心坐标，根据9个十字交叉点坐标和与之对应的角膜-瞳孔中心坐标，利用三阶非线性多项式拟合求得映射模型，完成视觉定位系统标定。下式为一次实验中求得的映射模型。

上式中，X_s表示角膜-瞳孔中心的横坐标，Y_s表示角膜-瞳孔中心的纵坐标，x_e表示某个交叉点的横坐标，y_e表示某个交叉点的纵坐标。

步骤S30，基于人眼注视点进行自动化微操作。步骤S30包括以下步骤：

步骤S30-1，定位微操作工具和微目标；

步骤S30-2，人眼注视某个点时间超过1s，微机电系统自主进行注视点区域判断，得到初步注视点；

步骤S30-3，微机电系统对初步注视点进行校正，得到理想注视点的坐标。以初步注视点为中心，在实时显微图像的当前那一帧图像上标记10个相邻间隔5个像素的同心正方形，观察判断后手动输入坐标并确认再次定位，得到比初步注视点更精确的目标点坐标以及重新定位后的图像，重复上述步骤进行多次辅助定位。

步骤S30-4，微机电系统进行弹窗询问确定该注视点目标，操作者确定该注视点目标是微操作工具还是微目标；

步骤S30-5，重复步骤S30-2至S30-4，完成垂直和水平两个光路中目标的定位；

步骤S30-6，重复步骤S30-2至S30-5，直至获取4个注视点坐标，完成微操作工具和微目标的三维坐标定位；

步骤S30-7，根据微操作工具和微目标的三维坐标差并结合单位像素所代表的实际长度计算出二者的实际三维距离差；

步骤S30-8，弹窗询问选择驱动左操作手还是右操作手，微操作工具向微目标运动，完成微操作作业。

作为本发明的一个实施例，实验中选择压电陶瓷式微夹钳作为微操作工具，微目标为圆柱型微粒。通过对压电微夹钳和圆柱型微粒定位，得到它们的实际三维坐标差，使压电微夹钳向圆柱型微粒运动，达到定位的目的。图4为操作者进行微操作工具和微目标定位实验时的实物图。图5到图8所示为在微操作机器人系统平台下，基于操作者视觉定位系统完成了压电微夹钳末端和圆柱型微粒的定位过程。图5为垂直光路和水平光路下压电微夹钳末端和圆柱型微粒的初始位置；图6为垂直光路下压电微夹钳末端和圆柱型微粒的定位过程；图7为水平光路下压电微夹钳末端和圆柱型微粒的定位过程；图8为根据视觉定位和辅助定位结果，压电微夹钳向圆柱型微粒运动后的显微视觉图像。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。