专利名称：一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法
技术领域：
本发明涉及一种基于显微镜的虚拟力反馈遥纳操作平台及方法，属于遥纳操作技术领域。
背景技术：
近几十年来，随着微/纳米技术的快速发展和对微系统产品的结构微型化、功能集成化的不断需求，高效、灵敏、适应性强的纳米操作系统具有广阔的应用前景。但传统的操作方式由于受到纳米尺度的尺寸效应等因素的影响使得传统操作方式难以适应纳米尺度构件操作技术的发展需求，具有虚拟现实功能的遥纳操作逐渐走上舞台。目前国内外对纳米操作的研究，基于原子力显微镜(AFM)的操作系统最为成熟，但是由于缺乏操作过程的实时图像信息使得系统具有操作效率低、灵活性差等缺点；基于SEM的操作系统具有实时的操作图像反馈信息，并且操作对象不受样品台影响等优点，因此基于SEM的纳米操作系统是功能较为完善的系统，是很有发展前途的一项技术。但在该方面的研究刚刚开始，目前还处于探索阶段。到目前为止，在纳米尺度的操作还没有找到兼顾效率、灵活性、准确性和成功率等综合性能的有效的操作方法。
发明内容
本发明的目的是针对目前国内外普遍采用的纳米操作系统对纳米粒子或构件进行操作缺乏操作过程实时的图像信息，系统的操作效率低、灵活性差的问题，提供一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法。一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台，它包括扫描电子显微镜、纳米定位器、操作探针、样品台、触觉主手、纳米定位控制器、上位机和样本腔体，所述样本腔体内设置有纳米定位器，纳米定位器位于样本腔体的底部；所述纳米定位器上设置有操作探针，操作探针的末端与样品台的台面相接触；所述样品台固定安装在样本腔体的内侧壁上；该样品台用于放置纳米线；所述扫描电子显微镜固定安装在样本腔体上方居中的位置上，该扫描电子显微镜的镜头朝向样本腔体内，该扫描电子显微镜用于采集操作探针针尖所在区域的图像；所述触觉主手通过USB接口与上位机连接，上位机通过串口与纳米定位控制器连接；纳米定位控制器通过通讯线与样本腔体内的纳米定位器连接；扫描电子显微镜的图像信息输出端连接上位机的图像信息输入端；上位机将图像信息处理后发送位置与力控制信息至触觉主手；触觉主手的主手位置信息信号输出端连接上位机的主手位置信息信号输入端；上位机的位置控制指令信号输出端连接纳米定位控制器的位置控制指令信号输入端;纳米定位控制器的位置信号输出端连接纳米定位器的位置信号输入端。
一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，该控制方法为:步骤一、在上位机上，在VC++2008环境下，利用触觉主手的配套二次开发软件Chia3d，联合3Ds MAX和OpenGL开发虚拟三维纳米操作环境；步骤二、将纳米线放置在样品台上，然后通过碰撞检测算法对虚拟环境中的操作探针的位置和其所在的虚拟环境进行碰撞检测:首先应用层次包围盒法在操作探针外设置包围盒，若操作探针的包围盒未与纳米线和样品台未发生碰撞则不做判断；若操作探针的包围盒发生碰撞，则开始进入碰撞检测循环序列当中:碰撞检测循环序列纳米操作碰撞检测分为:操作探针与样品台之间的纳米操作碰撞检测、纳米线与样品台之间的纳米操作碰撞检测及操作探针与纳米线之间的纳米操作碰撞检测三部分； 操作探针与样品台之间的纳米操作碰撞检测为:先判断操作探针的包围盒与样品台是否发生碰撞，若否，则不做任何动作；若是，则继续判断操作探针与样品台是否发生碰撞，若否，则不做任何动作；若是，则将检测到碰撞的反馈力反馈给上位机；纳米线与样品台之间的纳米操作碰撞检测为:应用层次包围球法在纳米线外设置包围球；先判断纳米线的层次包围球与样品台是否发生碰撞，若否，则不做任何动作；若是，则继续判断纳米线与样品台是否发生碰撞，若否，则不做任何动作；若是，则将检测到碰撞的反馈力反馈给上位机；操作探针与纳米线之间的纳米操作碰撞检测为:先由上位机采集通过扫描电子显微镜获得的操作探针的几何参数，建立操作探针的锥体模型，根据现有数据填充适合锥体的包围球结构，执行操作探针的包围球结构与纳米线的包围球结构之间的碰撞检测:先判断操作探针的包围盒与纳米线是否发生碰撞，若否，则不做任何动作；若是，则，采用叠前球心排列的方法对操作探针和纳米线进行骨骼球填充，执行操作探针的骨骼球与纳米线的骨骼球结构之间的碰撞检测，若否，则不做任何动作；若是则将检测到碰撞的反馈力反馈给上位机；步骤三、上位机通过力觉渲染算法和Chia3d力觉渲染引擎实现对步骤二的操作探针与样品台之间的纳米操作碰撞检测、纳米线与样品台之间的纳米操作碰撞检测及操作探针与纳米线之间的纳米操作碰撞检测所获得的反馈力的力觉渲染，并将渲染后的反馈力的数据反馈到触觉主手，实现虚拟力觉交互。本发明的优点是:本发明的目的是在SM的操作环境下，将虚拟现实技术、触觉设备与纳米操作系统相结合，使操作者通过上位机可以感受到纳米操作过程的实时力觉反馈，并且利用相关软件开发的虚拟操作环境实现纳米操作过程的三维可视化，从而确保纳米操作的实时性、灵活性和准确性。有益效果:
1.本发明基于开发的虚拟纳米操作环境，通过虚拟纳米操作，实现实际纳米操作过程的预测，在预测结果的基础上控制实际纳米操作平台进行单步随动或离线运动，同时加入了触觉反馈设备提供纳米操作过程的实时力觉反馈，增强了操者的感知能力；2.本发明所开发的虚拟纳米操作环境是三维的，通过软件开发的虚拟操作环境可实现纳米操作过程的操作环境的实时三维可视化，克服了 SEM图像是二维的缺点，从而确保了三维纳米操作过程的准确性和可视化；3.本发明首先操纵虚拟现实触觉设备主手来控制虚拟纳米操作从手的运动，操作成功后再通过串口控制实际纳米操作探针的运动，从而大大地提高了纳米操作的成功率，确保了操作平台的安全，在SEM环境下进行纳米操作，实现实际纳米操作过程图像的实时反馈；4.本发明应用具有力觉临场感的新型遥纳操作系统，虚拟环境中的纳米操作实现后通过串口控制实际纳米操作过程，实现纳米操作的远距离控制，即遥操作，可完成远程纳米操作、受力信息反馈、实验校正，操作简单，降低平台成本的同时提高了操作的成功率。
图1为一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台的结构示意图；图2为一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互方法的方法流程图
具体实施例方式具体实施方式
一:下面结合图1说明本实施方式，本实施方式所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台，它包括扫描电子显微镜1、纳米定位器2、操作探针3、样品台4、触觉主手Omega.35、纳米定位控制器6、上位机7和样本腔体8，所述样本腔体8内设置有纳米定位器2，纳米定位器2位于样本腔体8的底部；所述纳米定位器2上设置有操作探针3，操作探针3的末端与样品台4的台面相接触；所述样品台4固定安装在样本腔体8的内侧壁上；该样品台4用于放置纳米线；所述扫描电子显微镜I固定安装在样本腔体8上方居中的位置上，该扫描电子显微镜I的镜头朝向样本腔体8内，该扫描电子显微镜I用于采集操作探针3针尖所在区域的图像；所述触觉主手Omega.35通过USB接口与上位机I连接，上位机I通过串口与纳米定位控制器6连接；纳米定位控制器6通过通讯线与样本腔体8内的纳米定位器2连接；扫描电子显微镜I的图像信息输出端连接上位机7的图像信息输入端；上位机7将图像信息处理后发送位置与力控制信息至触觉主手Omega.35 ；触觉主手Omega.35的主手位置信息信号输出端连接上位机7的主手位置信息信号输入端；上位机7的位置控制指令信号输出端连接纳米定位控制器6的位置控制指令信号输入端；纳米定位控制器6的位置信号输出端连接纳米定位器2的位置信号输入端。
具体实施方式
二:下面结合图1说明本实施方式，本实施方式为对实施方式一的进一步说明，本实施方式所述的纳米定位器2是采用Attocube实现的。
具体实施方式
三:下面结合图1说明本实施方式，本实施方式为对实施方式一的进一步说明，本实施方式所述的所述纳米定位控制器6是采用ANC150实现的。
具体实施方式
四:下面结合图1说明本实施方式，本实施方式所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，其特征在于:该控制方法为:步骤一、在上位机7上，在VC++2008环境下，利用触觉主手Omega.35的配套二次开发软件Chia3d，联合3Ds MAX和OpenGL开发虚拟三维纳米操作环境；步骤二、将纳米线放置在样品台4上，然后通过碰撞检测算法对虚拟环境中的操作探针3的位置和其所在的虚拟环境进行碰撞检测:首先应用层次包围盒法在操作探针3外设置包围盒，若操作探针3的包围盒未与纳米线和样品台4未发生碰撞则不做判断；若操作探针3的包围盒发生碰撞，则开始进入碰撞检测循环序列当中:碰撞检测循环序列纳米操作碰撞检测分为:操作探针3与样品台4之间的纳米操作碰撞检测、纳米线与样品台4之间的纳米操作碰撞检测及操作探针3与纳米线之间的纳米操作碰撞检测三部分；操作探针3与样品台4之间的纳米操作碰撞检测为:先判断操作探针3的包围盒与样品台4是否发生碰撞，若否，则不做任何动作；若是，则继续判断操作探针3与样品台4是否发生碰撞，若否，则不做任何动作；若是，则将检测到碰撞的反馈力反馈给上位机7 ；纳米线与样品台4之间的纳米操作碰撞检测为:应用层次包围球法在纳米线外设置包围球；先判断纳米线的包围球与样品台4是否发生碰撞，若否，则不做任何动作；若是，则继续判断纳米线与样品台4是否发生碰撞，若否，则不做任何动作；若是，则将检测到碰撞的反馈力反馈给上位机7 ；操作探针3与纳米线之间的纳米操作碰撞检测为:先由上位机7采集通过扫描电子显微镜I获得的操作探针3的几何参数，建立操作探针3的锥体模型，根据现有数据填充适合锥体的包围球结构，执行操作探针3的包围球结构与纳米线的包围球结构之间的碰撞检测:先判断操作探针3的包围盒与纳米线是否发生碰撞，若否，则不做任何动作；若是，则，采用叠前球心排列的方法对操作探针3和纳米线进行骨骼球填充，执行操作探针3的骨骼球与纳米线的骨骼球结构之间的碰撞检测，若否，则不做任何动作；若是则将检测到碰撞的反馈力反馈给上位机7 ；步骤三、上位机7通过力觉渲染算法和Chia3d力觉渲染引擎实现对步骤二的操作探针3与样品台4之间的纳米操作碰撞检测、纳米线与样品台4之间的纳米操作碰撞检测及操作探针3与纳米线之间的纳米操作碰撞检测所获得的反馈力的力觉渲染，并将渲染后的反馈力的数据反馈到触觉主手Omega.35，实现虚拟力觉交互。
具体实施方式
五:下面结合图1说明本实施方式，本实施方式为对实施方式四的进一步说明，本实施方式所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，步骤一中，在上位机7上，在VC++2008环境下，利用触觉主手Omega.3的配套二次开发软件Chia3d，联合3Ds MAX和OpenGL开发虚拟三维纳米操作环境的具体实现方法为:在3DsMax中通过管型工具绘制三维管型模型，通过软件导出功能导出该管型模型的3ds文件待Chai3d调用；Chai3d程序调用管型模型的3ds文件，并将其属性设置为骨骼模型；用OpenGL函数直接绘制导出的3ds文件中的顶点形成网格，并生成网格模型，通过编辑实现几何的形变，得到虚拟三维纳米操作环境。
具体实施方式
六:下面结合图1说明本实施方式，本实施方式为对实施方式四的进一步说明，本实施方式所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，步骤三中的力觉渲染算法为:将操作探针3的骨骼球和纳米线的骨骼球作为原子，将样品台4看成一个无限大的平面，通过计算原子与无限大平面和原子之间的作用力来进行力觉渲染。本发明的工作原理:本发明基于扫描电子显微镜SEM和纳米定位器，通过力觉反馈主手控制所开发的三维虚拟纳米操作环境中的操作从手-纳米定位器，根据平台所提供的虚拟力觉反馈信息和三微虚拟及二维实际视觉信息进行虚拟纳米操作，在虚拟操作成功后，通过串口控制实际纳米操作平台进行相应的动作，提高了纳米操作的成功率。该平台避免了高成本、难加工、适应性差的纳米力觉传感器的使用，降低了操作成本。通过具有力觉临场感的纳米操作方法可实现高效、灵活、稳定的可视化三维纳米操作，有利于纳米操作的实用化。本发明通过以下技术方案实现:在VC++2008环境下，利用触觉设备Omega.3的配套二次开发软件Chia3d，联合3DsMAX和OpenGL实现开发虚拟纳米操作环境。虚拟纳米操作对象(以纳米线为代表)和操作探针3采用3DsMax与骨骼填充方法进行建模。在3DsMax中通过管型工具绘制三维管型模型，通过软件导出功能导出该管型模型的3ds文件待Chai3d调用。由Chai3d程序调用建好的管型3ds模型，并将其属性设置为骨骼模型。骨骼的作用在于方便计算操作点与物体各个部分的碰撞检测，并通过骨骼球之间力键的作用产生形变，为虚拟纳观力的加载提供了便利条件。用OpenGL函数直接绘制导出的3ds文件中的顶点形成网格并生成网格模型，通过编辑实现几何的形变。从而实现虚拟三维视觉的动态交互。三维视觉动态交互模型如图2所示。通过碰撞检测算法对虚拟环境中的操作探针3 (与实际平台的触觉主手Omega.3对应)的位置和虚拟环境进行碰撞检测，然后通过力觉渲染算法和Chia3d力觉渲染引擎实现力觉渲染后反馈到触觉设备Omega.3实现虚拟力觉交互。在纳米操作过程中加入力觉临场感的人机交互操作方法，增加纳米操作过程的可控性，降低平台的操作成本。针对本控制系统中的纳米线单一模型，碰撞检测算法基于虚拟的骨骼球模型，采用层次包围盒法实现。操作探针3与纳米线的碰撞检测判断一般情况下均为动态模型检测，其判断要更为复杂，使判断难度大大增加。因此将纳米操作的碰撞检测分为操作探针3与样品台4、纳米线与样品台4及操作探针3与纳米线之间三部分，分别进行碰撞检测然后进行整合。整合流程图如图3所示。首先将操作探针3加入包围盒判断，若操作探针3的包围盒未发生碰撞则无任何深入判断；若判断出与样品台4(平面)或纳米线(有向包围盒)发生碰撞，则开始进入碰撞检测循环序列当中。这时若检测到是样品台4，执行操作探针3与样品台4的碰撞检测算法；若检测到是纳米线，这时操作探针3将划分为包围球结构来与纳米线的包围球结构进行碰撞检测。由于纳米线的包围盒与样品台4的碰撞检测算法占系统资源较少，它们始终在进行包围盒与平面的碰撞检测判断，但不做任何动作，仅当操作探针3与纳米线发生了碰撞才更深入的检测纳米线的层次包围球与平面的碰撞检测。操作探针3的几何参数通过SEM下已经获得，并建好了锥体模型，根据现有的数据填充适合锥体的包围球结构可以实现操作探针3与纳米线之间的相交检测。本发明根据操作探针3的具体情况和试验比较结果，最后采用叠前球心排列的方法对操作探针3进行骨骼球填充，这种方法既不像按直径排列，遗漏很多填充空间；也不像叠后球心排列，具有较为麻烦的排列顺序和较大的运算量。力觉渲染算法将操作探针3和纳米线的骨骼球看作原子，将操作样品台4看成一个无限大的平面，通过计算原子与无限大平面和原子之间的作用力来进行力觉渲染。纳米线形变的力键表达通过将纳米线内部的力键看作弹簧，而力键的值就相当于弹簧的弹性系数与拉伸关系的乘积。当力键平衡发生变化时，力键产生恢复平衡状态的能量，球体将受到力键的反作用力。由于其它外力力键将再次达到平衡，产生形变效果。虚拟纳米操作成功后，再控制实际的纳米操作平台进行相应的动作，实现纳米操作过程的预测预演。虚拟预测预演系统可控制实际纳米操作过程的单步随动或离线运动。在SEM的真空干燥操作环境下进行纳米操作，可实现实际纳米操作过程图像的实时反馈。虚拟环境中的纳米操作实现后，通过串口控制实际纳米操作过程，实现纳米操作的远距离控制，即遥操作。本发明不局限于上述实施方式，还可以是上述各实施方式中所述技术特征的合理组合。
权利要求
1.一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台，其特征在于:它包括扫描电子显微镜(1)、纳米定位器(2)、操作探针(3)、样品台(4)、触觉主手(5)、纳米定位控制器(6)、上位机(7)和样本腔体(8)， 所述样本腔体(8)内设置有 纳米定位器(2)，纳米定位器(2)位于样本腔体(8)的底部; 所述纳米定位器(2)上设置有操作探针(3)，操作探针(3)的末端与样品台(4)的台面相接触；所述样品台(4)固定安装在样本腔体(8)的内侧壁上；该样品台(4)用于放置纳米线.所述扫描电子显微镜(I)固定安装在样本腔体(8)上方居中的位置上，该扫描电子显微镜(I)的镜头朝向样本腔体(8 )内，该扫描电子显微镜(I)用于采集操作探针(3 )针尖所在区域的图像； 所述触觉主手(5 )通过USB接口与上位机(7 )连接，上位机(7 )通过串口与纳米定位控制器(6)连接；纳米定位控制器(6)通过通讯线与样本腔体(8)内的纳米定位器(2)连接；扫描电子显微镜1)的图像信息输出端连接上位机(7)的图像信息输入端； 上位机(7)将图像信息处理后发送位置与力控制信息至触觉主手(5)； 触觉主手(5)的主手位置信息信号输出端连接上位机(7)的主手位置信息信号输入端; 上位机(7)的位置控制指令信号输出端连接纳米定位控制器(6)的位置控制指令信号输入端； 纳米定位控制器(6)的位置信号输出端连接纳米定位器(2)的位置信号输入端。
2.根据权利要求1所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台的操作方法，其特征在于:所述纳米定位器(2)是采用Attocube实现的。
3.根据权利要求1所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台的操作方法，其特征在于:所述纳米定位控制器(6)是采用ANC150实现的。
4.关于权利要求1所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，其特征在于:该控制方法为: 步骤一、在上位机(7)上，在VC++2008环境下，利用触觉主手(5)的配套二次开发软件Chia3d，联合3DsMAX和OpenGL开发虚拟三维纳米操作环境； 步骤二、将纳米线放置在样品台(4)上，然后通过碰撞检测算法对虚拟环境中的操作探针(3)的位置和其所在的虚拟环境进行碰撞检测: 首先应用层次包围盒法在操作探针(3)外设置包围盒，若操作探针(3)的包围盒未与纳米线和样品台(4)未发生碰撞则不做判断； 若操作探针(3)的包围盒发生碰撞，则开始进入碰撞检测: 碰撞检测分为:操作探针(3)与样品台(4)之间的纳米操作碰撞检测、纳米线与样品台(4)之间的纳米操作碰撞检测及操作探针(3)与纳米线之间的纳米操作碰撞检测三部分；操作探针(3)与样品台(4)之间的纳米操作碰撞检测为:先判断操作探针(3)的包围盒与样品台(4)是否发生碰撞，若否，则不做任何动作； 若是，则继续判断操作探针(3)与样品台(4)是否发生碰撞，若否，则不做任何动作； 若是，则将检测到碰撞的反馈力反馈给上位机(7);纳米线与样品台(4)之间的纳米操作碰撞检测为:应用层次包围球法在纳米线外侧设置包围球； 先判断纳米线的包围球与样品台(4)是否发生碰撞，若否，则不做任何动作； 若是，则继续判断纳米线与样品台(4)是否发生碰撞，若否，则不做任何动作； 若是，则将检测到碰撞的反馈力反馈给上位机(7); 操作探针(3)与纳米线之间的纳米操作碰撞检测为: 先由上位机(7 )采集通过扫描电子显微镜(I)获得的操作探针(3 )的几何参数，建立操作探针(3)的锥体模型，根据现有数据填充适合锥体的包围球结构，执行操作探针(3)的包围球结构与纳米线的包围球结构之间的碰撞检测:先判断操作探针(3)的包围盒与纳米线是否发生碰撞，若否，则不做任何动作； 若是，则，采用叠前球心排列的方法对操作探针(3)和纳米线进行骨骼球填充，执行操作探针(3)的骨骼球 与纳米线的骨骼球结构之间的碰撞检测，若否，则不做任何动作； 若是则将检测到碰撞的反馈力反馈给上位机(7)； 步骤三、上位机(7)通过力觉渲染算法和Chia3d力觉渲染引擎实现对步骤二的操作探针(3)与样品台(4)之间的纳米操作碰撞检测、纳米线与样品台(4)之间的纳米操作碰撞检测及操作探针(3)与纳米线之间的纳米操作碰撞检测所获得的反馈力的力觉渲染，并将渲染后的反馈力的数据反馈到触觉主手(5 )，实现虚拟力觉交互。
5.根据权利要求4所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，其特征在于，步骤一中，在上位机(7)上，在VC++2008环境下，利用触觉主手的配套二次开发软件Chia3d，联合3DsMAX和OpenGL开发虚拟三维纳米操作环境的具体实现方法为: 在3DsMax中通过管型工具绘制三维管型模型，通过软件导出功能导出该管型模型的3ds文件待Chai3d调用；Chai3d程序调用管型模型的3ds文件，并将其属性设置为骨骼模型；用OpenGL函数直接绘制导出的3ds文件中的顶点形成网格，并生成网格模型，通过编辑实现几何的形变，得到虚拟三维纳米操作环境。
6.根据权利要求4所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，其特征在于，步骤三中的力觉渲染算法为:将操作探针(3)的骨骼球和纳米线的骨骼球作为原子，将样品台(4)看成一个无限大的平面，通过计算原子与无限大平面和原子之间的作用力来进行力觉渲染。
全文摘要
一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法，涉及一种基于显微镜的虚拟力反馈遥纳操作平台及方法。它解决了目前国内外普遍采用的纳米操作系统对纳米粒子或构件进行操作缺乏操作过程实时的图像信息，系统的操作效率低、灵活性差的问题。该平台包括扫描电子显微镜、纳米定位器、操作探针、样品台、触觉主手Omega.3、纳米定位控制器、上位机和样本腔体；在VC++2008环境下，开发虚拟三维纳米操作环境；通过碰撞检测算法进行碰撞检测；上位机对所获得反馈力进行力觉渲染，并反馈到触觉主手Omega.3，实现虚拟力觉交互。本发明适用于遥纳操作技术领域。
文档编号G06F3/01GK103092346SQ201310012630
公开日2013年5月8日 申请日期2013年1月14日 优先权日2013年1月14日
发明者荣伟彬, 李东洁, 邹宇, 肖万哲, 孙立宁 申请人:哈尔滨工业大学