一种增强现实操作方法及系统与流程

本发明涉及显微操作和增强现实技术领域，更具体地，涉及一种增强现实操作方法及系统。

背景技术：

目前，随着纳米材料及现代制造加工技术的发展，科学研究及工业制造的对象逐渐向亚毫米级甚至纳米级转移，这一情况在集成电路、精细加工、细胞操作及显微手术领域中显得尤为突出。在上述提及的领域中，对微观场景中微小物体的操作与加工具有重大需求。由于其场景及目标物体往往是微米或纳米级的，其操作及加工的精度也要求达到相应的水平，这种精度要求直接让人手动操作是极为困难的。

传统的显微操作可以通过光学显微镜及半自动化高精度机器人实现。典型产品如用于德国徕卡应用于细胞实验的显微操作系统。在该系统中，操作者通过一个倒置显微镜观察待放大的细胞及操作场景，通过手柄或按键实现微注射器的移动操作和注射操作。这种基于光学显微镜的微操作技术只能提供二维观察视野，限制了该技术在更为复杂应用场景中的使用，如三维装配或细胞的三维移植。在某些需要复杂微操作的场景中，实现微场景的三维观察极为重要。虽然采用体视显微镜代替普通的光学显微镜可以在一定程度上解决这个问题，但是体视显微镜只能提供固定的两个视点，因此在一些复杂操作中仍然有相当的局限性。

然而，尽管上述方法在一定程度上实现了显微操作的视觉反馈，但是机器人的操作仍然需要操作人员经过视觉反馈后通过按键或其他方式控制。操作与场景的对应依赖于操作人员的想象和经验，复杂而且不直观。基于增强现实技术实现快速、准确、直观的显微操作具有巨大的应用前景。

技术实现要素：

本发明为克服上述问题或者至少部分地解决上述问题，提供一种增强现实操作方法及系统。

根据本发明的一个方面，提供一种增强现实操作方法，包括以下步骤：

步骤1，将待放大局部场景以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像；

步骤2，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息，将所述第一器械的空间位置变化信息和器械形变信息与待放大局部场景信息进行匹配，获得匹配结果信息；

步骤3，基于所述匹配结果信息，利用伺服控制机器人实现对所述待放大局部场景的操作；

步骤4，对所述待放大局部场景的空间影像进行更新。

根据本发明的一个方面，提供一种增强现实显微操作系统，

包括局部场景采集模块、空间悬浮显示装置、伺服控制机器人、第一器械操作及定位模块和局部场景伺服控制模块：

所述局部场景采集模块分别与所述空间悬浮显示装置和所述第一器械操作及定位模块相连，用于采集待放大局部场景信息，分别将所述待放大局部场景信息发送给所述空间悬浮显示装置和所述第一器械操作及定位模块；

所述空间悬浮显示装置与所述局部场景采集模块相连，包括裸眼立体显示器和光学投影设备：所述光学投影设备根据所述空间立体影像数据生成所述局部场景立体影像源；所述裸眼立体显示器基于所述局部场景立体影像源，投影所述局部场景立体影像；用于接收所述局部场景采集模块发送来的待放大局部场景信息，将所述待放大局部场景信息以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像；

所述第一器械操作及定位模块分别与所述局部场景采集模块和所述局部场景伺服控制模块相连，用于采集对于所述空间悬浮影像的器械操作形变影像，将所述器械操作形变影像与所述待放大局部场景信息进行匹配，获得匹配结果信息；将所述匹配信息发送给所述局部场景伺服控制模块；

所述局部场景伺服控制模块分别与所述第一器械操作及定位模块和所述伺服控制机器人相连，基于所述器械操作形变影像与所述空间悬浮影像匹配结果信息生成控制指令，将控制指令发送给所述伺服控制机器人；

所述伺服控制机器人，与所述局部场景伺服控制模块相连，用于接收所述局部场景伺服控制模块发送来的控制指令，执行对于待放大局部场景的伺服控制器械的操作。

本申请提出一种增强现实操作方法及系统，本申请利用精确无畸变的空间悬浮裸眼三维显示技术，基于增强现实的实时交互方式，在宏观尺度下实现对微观场景的直接、快捷、准确操作。同时，通过空间悬浮图像构建增强现实操作场景，不再依赖于传统视觉反馈显微操作系统中通过输入参数或操纵杆控制视觉伺服器械模块的操作方式，具有操作快速、准确、直观的特点。

附图说明

图1为根据本发明实施例一种增强现实操作方法的整体流程示意图；

图2为根据本发明实施例一种增强现实显微操作系统的示意图；

图3为根据本发明实施例一种增强现实操作方法中采集对于所述空间悬浮影像的第一器械形变信息，通过关键点的空间位置变化确定第一器械的形变参量；通过器械中心位置的定位确定第一器械的位移及旋转参量的示意图；

图4为根据本发明实施例一种增强现实操作方法中采集对于所述空间悬浮影像的第一器械形变信息，通过关键点的空间位置变化确定第一器械的形变参量；通过器械中心位置的定位确定第一器械的位移及旋转参量的示意图；

图5为根据本发明实施例一种增强现实显微操作系统的整体框架示意图；

图6为根据本发明实施例一种增强现实显微操作系统的光学投影设备的结构示意图；

图7为根据本发明实施例一种增强现实显微操作系统的光学投影设备的结构示意图；

图8为根据本发明实施例一种增强现实显微操作系统的光学投影设备的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1中，本发明一个具体实施例中，示出一种增强现实操作方法整体流程示意图。总的来说，包括：步骤1，将待放大局部场景以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像。

步骤2，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息，将所述第一器械的空间位置变化信息和器械形变信息与所述空间悬浮影像信息进行匹配，获得匹配结果信息。

步骤3，基于所述匹配结果信息，利用伺服控制机器人实现对所述待放大局部场景的操作。

步骤4，对所述待放大局部场景的空间影像进行更新。

本发明另一个具体实施例中，一种增强现实操作方法，所述步骤1中空间悬浮影像还包括：空间二维影像或空间三维影像。

本具体实施例中由一个空间悬浮显示装置提供通过特定光路传递后悬浮于无遮挡物的空间中的图像。选择的空间悬浮显示图像可以是二维或三维，空间悬浮显示装置能够将二维或三维图像投射到空间中的给定位置。

本发明另一个具体实施例中，一种增强现实操作方法，所述步骤2还包括：

S21，对所述空间悬浮影像进行标定：确定世界坐标系下所述空间悬浮影像的大小、所述空间悬浮影像中心的空间位置及所述空间悬浮影像的倾斜角度；对所述待放大局部场景进行标定：确定待放大局部场景中心在世界坐标系下的位置及所述待放大局部场景在实际场景下的物理尺度。所述世界坐标系：由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。

根据空间悬浮显示的光学结构和相应硬件参数，对投影的局部场景进行标定。在世界坐标系下，结合三维场景的采集装置，计算投影局部场景的大小、投影局部场景中心的空间位置及投影局部场景倾斜角度。

在显微三维场景采集前需要对被采集场景进行标定。标定工作台及物镜工作距离获得待采集场景中心在世界坐标系下的位置。记录采集到的三维数据在实际场景下的物理尺度。

S22，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息：通过空间定位对所述第一器械操作形变的关键点及中心位置进行定位。

选择一种对局部场景进行器械操作的方式及在局部场景中伺服控制的器械，设计用于操作者手持的器械。对于不同的操作场景及操作目标，需要选择不同的器械操作方式，如对目标对象的吸附、转移、释放、切割等，与此对应的操作器械包括微夹持器、微型镊子、微型刀、微注射器等。对局部场景中伺服控制的器械，通过输入参数实现器械的移动及形变。其控制精度应与整个局部场景的物理尺度相适应。

S23，将所述第一器械操作在所述空间悬浮影像坐标系下的变化参量转化到所述待放大局部场景坐标系下，获得所述第一器械的空间位置变化信息和器械形变信息与所述空间悬浮影像信息的匹配结果信息。

设计空间定位方法确定操作者第一器械的空间位置变化与器械形变，并与投影空间悬浮图像配准。空间定位方法可以选择光学定位方法，如双目定位、基于结构光的定位等，亦可以选择磁定位、机械定位等。基于选择的操作器械类型，需要对器械形变的关键点及器械中心位置进行定位。在该系统中的空间定位需要确定第一器械整体的空间平移与旋转，及在操作中的器械形变，并输出相应的参量。器械中心位置的平移旋转参量需要转换到悬浮立体显示图像的坐标系下。

定位的具体实现方式为本领域技术人员的已知知识，说明书中不作具体描述。

本发明另一个具体实施例中，一种增强现实操作方法，所述步骤1中空间悬浮方式还包括：所述空间悬浮方式为二维影像时，利用光学显微镜或荧光显微镜采集所述待放大局部场景数据；所述空间悬浮方式为三维影像时，利用光场显微镜或激光扫描显微镜采集所述待放大局部场景数据。

选择一种局部场景三维数据的采集与生成方式，采集被操作的局部场景，包括显微镜、双目相机或深度相机下的被操作物和正在操作的伺服控制器械。局部场景数据的采集方式与空间悬浮显示图像相对应。当操作者对放大倍率要求不高时，局部场景数据的采集方式选择双目相机、深度相机等；当选择的空间悬浮显示图像是二维的，局部场景数据的采集方式选择光学显微镜、荧光显微镜等；当选择的空间悬浮显示图像是三维的，局部场景数据的采集方式选择激光扫描共聚焦显微镜、原子力显微镜、光场显微镜及体式显微镜等。局部场景三维数据可以是直接通过显微镜扫描获取的三维图像，也可以是多种模态显微图像配准融合的结果，且不限于上述所提及的图像。前者通过激光扫描共聚焦显微镜、原子力显微镜、光场显微镜及体式显微镜三维数据重建获得。由于激光扫描共聚焦显微镜、原子力显微镜扫描获得显微三维场景需要一定的时间，而体式显微镜三维数据重建也需要额外时间，因此，采用上述三种方法获得三维数据会导致系统在视觉反馈环节的延迟。通过光场显微镜、双目相机或深度相机获取局部场景三维数据能够实现实时视觉反馈。

本发明另一个具体实施例中，一种增强现实操作方法，所述第一器械与所述伺服控制器械类型一致、外形一致、形变方式一致，尺寸与所述伺服控制器械在所述空间悬浮影像中的一致。

设计用于操作者手持的器械，其类型与伺服控制器械一致，外形及形变方式与伺服控制器械一致，尺寸与伺服控制器械在裸眼空间悬浮显示中的图像尺寸一致，即为伺服控制器械实际尺寸与裸眼空间悬浮显示图像对局部场景放大倍率的乘积。该器械应设计为易于被操作者手动控制。操作者通过手动控制该器械实现对应局部场景下伺服控制器械的对应操作。

本发明另一个具体实施例中，一种增强现实操作方法，所述S22还包括：采集对于所述空间悬浮影像的第一器械形变信息，通过关键点的空间位置变化确定第一器械的形变参量；通过器械中心位置的定位确定第一器械的位移及旋转参量。

如图3和图4，显示了整个定位方法的坐标变换关系。该器械控制通过光学定位方式实现。一般地，我们利用器械上的光学标志物跟踪器械位置，返回器械标志物的局部坐标系相对于视觉跟踪器坐标系的转换矩阵在测量之前，我们标定了相机坐标系到三维显示坐标系的旋转平移矩阵因此，器械到悬浮显示图像坐标的关系得以确定。根据下列公式，

另一方面，显微操作空间到悬浮三维影像空间的坐标转换关系可以预先标定，最终，我们可以将器械操作中相应关键点的坐标转换到显微操作坐标系下。公式为，

通过定位系统可以得到器械操作中关键点的空间位置变化关系，转化到显微空间下，可以得到伺服控制器械对前端微器械的相应操作轨迹。

在一个实例中，我们利用微型钳子进行显微操作。如图3、图4所示，微型钳子可以实现整体的平移旋转运动变换，钳子两部分可以在点Tip0处(Tip0点是为了计算设置的点，并没有贴标记)旋转，实现对物体的夹持。我们通过三个光学标记物(图中空心处)标定钳子的运动。钳子的运动可以划分成两个过程，一个是整体的平移和旋转，另一个是钳子前端的夹持和扩张。上图表示钳子移动和扩大过程夹角扩大的坐标表示方法。整体的运动可以通过点Marker的空间变化获得，计算公式如下：

钳子前端的夹持和扩张可以用点Tip1相对与点Tip0的三维坐标变换关系表示，其中Tip0为钳子前端的旋转轴。计算公式如下：

其中，通过定位系统测量得到，由于Marker和Tip0两点相对位置固定，其变换矩阵也是固定的。

计算局部场景中伺服控制器械的对应移动与形变参量，并实现相应操作。根据在S2步骤中得到的的第一器械整体的空间平移与旋转及器械形变参量，平移与旋转参量从空间悬浮显示的坐标系变换到局部场景坐标系；器械形变参量不变。根据计算得到的移动及形变参量，令伺服器械完成相应的操作。

本发明另一个具体实施例中，一种增强现实操作方法，所述步骤3后还包括：通过比较所述第一器械与空间悬浮影像中的伺服控制器械图像重合度进行伺服控制器械操作的完成度的判断。

在整个过程中，当第一器械出现位移及形变，伺服控制器械根据空间定位的结果实现自动反馈，观察者可以通过观察第一器械和悬浮显示局部场景中的伺服控制器械图像重合程度判断伺服控制的完成程度。

如图5，本发明一个具体实施例中，示出一种增强现实显微操作系统整体框架图。同时，图2中示出本发明一个具体实施例中一种增强现实显微操作系统整体结构图。总的来说，该系统包括：局部场景采集模块A1、空间悬浮显示装置A2、伺服控制机器人A3、第一器械操作及定位模块A4和局部场景伺服控制模块A5。

所述局部场景采集模块A1分别与所述空间悬浮显示装置A2和所述第一器械操作及定位模块A4相连，用于采集待放大局部场景信息，分别将所述待放大局部场景信息发送给所述空间悬浮显示装置A2和所述第一器械操作及定位模块A4。

所述空间悬浮显示装置A2与所述局部场景采集模块A1相连，用于接收所述局部场景采集模块A1发送来的待放大局部场景信息，将所述待放大局部场景信息以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像。

所述第一器械操作及定位模块A3分别与所述局部场景采集模块A1和所述局部场景伺服控制模块A5相连，用于采集对于所述空间悬浮影像的器械空间位置变化信息和器械形变信息，将所述第一器械的空间位置变化信息和器械形变信息与所述空间悬浮影像信息进行匹配，获得匹配结果信息，将所述匹配信息发送给所述局部场景伺服控制模块A5。

所述第一器械操作及定位模块A3其输入端与局部场景采集模块A1相连，获取空间悬浮图像在世界坐标系下的具体位置。其输出端与局部场景伺服控制操作模块A5相连，输出第一器械的移动及形变参量。

所述局部场景伺服控制模块A5分别与所述第一器械操作及定位模块A4和所述伺服控制机器人A3相连，用于基于所述经过匹配的所述器械操作形变影像与所述空间悬浮影像，将控制指令发送给所述伺服控制机器人A3。

所述伺服控制机器人A3，与所述局部场景伺服控制模块A5相连，用于接收所述局部场景伺服控制模块A5发送来的控制指令，执行对于待放大局部场景的伺服控制器械的操作。

本发明另一个具体实施例中，一种增强现实显微操作系统，所述第一器械操作及定位模块A4包括：第一器械，用于对于所述空间悬浮影像进行操作；定位模块，用于第一器械的空间定位，定位模块同时对第一器械的空间位移和机械形变进行定位。

本发明另一个具体实施例中，一种增强现实显微操作系统，所述伺服控制机器人A3还包括：系统控制主机、机械手和微操作器。

本发明另一个具体实施例中，一种增强现实显微操作系统，如图6所示，所述空间悬浮显示装置包括：裸眼立体显示器B1、凹面反射镜B2，所述凹面反射镜B2光轴的旁侧朝向所述裸眼立体显示器B1；所述凹面反射镜B2的中心位置与所述裸眼立体显示器B1的中心位置大于凹面反射镜B2的焦距；用于接收所述裸眼立体显示器B1发射来的光线，将所述光线反射并生成待放大局部场景的空间悬浮影像。将裸眼立体显示器B1放置于凹面反射镜B2光轴的旁侧，并且其中心位置与凹面反射镜B2中心位置的距离大于凹面反射镜B2焦距。通过光学计算或光学仿真使得显示器与最终显示的图像分别至于凹面反射镜B2光轴的两侧，显示图像的大小和具体位置可以通过计算和仿真获得并控制。

本发明另一个具体实施例中，一种增强现实显微操作系统，如图7所示，所述光学投影设备包括：裸眼立体显示器C1、凹面反射镜C2、半透半反镜C3和反射镜C4；所述半透半反镜C3用于接收并反射所述裸眼立体显示器C1发射来的光线，接收所述凹面反射镜C2反射来的光线并传递给所述反射镜C4；所述凹面反射镜C2用于接收所述半透半反镜C3反射来的光线并反射给所述半透半反镜C3；所述反射镜C4用于接收并反射所述凹面反射镜C2反射并经半透半反镜C3传递来的光线，生成待放大局部场景的空间悬浮影像。光学投影设备用凹面反射镜C2、半透半反镜C3和反射镜C4结合实现。裸眼立体显示器C1光线先经过半透半反镜C3，从凹面反射镜C2光轴方向反射到凹面反射镜C2上，然后光线经过凹面反射镜C2汇聚到其上方，并穿过半透半反镜C3。通过该光学关系将裸眼立体显示器C1显示图像投影到凹面镜上方位置，其观察的中心方向竖直向下。由于观察者一般情况下都是从斜下方观察，通过增加一块反射镜的方式来改变投影图像的观察方向。利用该方法，最终呈现三维图像的大小和空间位置首先取决于光学投影设备、半透半反镜C3、凹面反射镜C2的相对位置，其次三维图像的观察方向和空间位置也被反射镜C4的空间位置与倾角改变。该空间显示装置能够将裸眼立体图像以一定缩放比例投射到空间中的给定位置。此时，被投影的三维图像完全悬浮于空中，这种投影方式不需要投影屏或其他介质进行承接。但是在光学系统重新成像的过程中会额外引入凹面镜成像的畸变。为保证立体悬浮图像的空间成像精度，需要在裸眼三维图像渲染前加入预畸变过程。

本发明另一个具体实施例中，一种增强现实显微操作系统，如图8所示，所述光学投影设备包括：多个裸眼立体显示器D1、多个凹面反射镜D2和半透半反镜D3，所述半透半反镜D3用于将所述多个裸眼立体显示器D1发射来的光线反射到所述多个凹面反射镜D2上；所述多个凹面反射镜D2用于接收所述光线，将所述光线经所述半透半反镜D3，生成待放大局部场景的空间悬浮影像。在本发明的一个实施例中，光学投影设备利用多个凹面反射镜D2与裸眼立体显示器D1组实现空间中显示视角的拼接。经过光学计算或仿真给定每组凹面反射镜D2与裸眼立体显示器D1具体位置，使得所显示的空间图像汇聚于空间上的特定位置，并调控每组的显示区域大小。此时，需要利用光学隔板对裸眼立体显示器D1的显示视角进行限制。通过视角拼接在不影响图像显示质量和大小的同时增加了观察者的可观察范围，利用这种方法能够突破三维显示器的硬件限制，实现接近180度的显示视角。本发明另一个具体实施例中，一种增强现实显微操作系统，所述空间悬浮显示装置能够为：立体全像技术显示器、光场技术显示器或全息技术显示器。

根据上述实例的增强现实操作方法和系统，突破了现有的显微操作系统中视觉反馈不充分的问题。同时，通过空间悬浮图像构建增强现实操作场景，不再依赖于传统视觉反馈显微操作系统中通过输入参数或操纵杆控制视觉伺服器械模块的操作方式，具有操作快速、准确、直观的特点。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。