专利名称：机械臂/灵巧手系统遥操作任务规划和仿真方法
技术领域：
本发明涉及一种机器人遥操作任务规划和仿真方法，属于航空航天领域中的遥操 作技术领域。
背景技术：
遥操作系统可以拓展人类的感知和操作能力，代替人类在危险、恶劣以及极限环 境下完成作业任务。遥操作任务具有复杂多样，动作精确度要求高的典型特点，合理的任务 规划策略是遥操作任务顺利执行的基础，直接影响着遥操作任务能否精确、高效的完成；仿 真技术的应用则为工作人员建立起虚拟环境和现实世界的交互窗口。目前传统的遥操作作 业主要通过专业操作人员与虚拟环境进行人机交互产生运动指令，驱动机器人产生相应动 作，而任务规划由专业操作人员进行。 人工对遥操作进行任务规划存在以下显著不足首先，操作者的操作技能及熟练 程度不同，致使任务规划标准不统一，造成任务执行质量的不稳定性。第二，遥操作过程中， 操作者要时刻接受虚拟环境的视觉、听觉触觉等反馈信息，且要及时、实时的与虚拟环境进 行交互。整个的操作过程细微、繁琐，需要操作者长时间投入大量的注意力资源。随着疲劳 的积累，逐渐超过操作者的工作载荷，工作效绩随之下降，工作能力和任务质量下降，操作 者注意力涣散，操作速度变慢，发生误操作和操作事故的可能性增大。第三，当操作者是非 专业人员时，面对需要经过专业培训和实践才能掌握的遥操作系统，往往无法完成任务规 划和遥操作任务。由于空间机器人遥操作系统所处的特殊环境和其特殊任务，既要求遥操作任务执 行准确无误和高效性，又要保证遥操作系统的安全性，而传统的遥操作系统任务规划方法 存在诸多不确定因素和安全隐患，不能很好的满足需求。
发明内容
本发明针对机械臂/灵巧手系统的遥操作领域，提出一种机械臂/灵巧手系统复 杂遥操作任务规划方法，以满足遥操作精确性、安全性和高效性的要求。本发明是通过以下技术方案实现的—种机械臂/灵巧手系统遥操作任务规划和仿真方法，包括作业、动作与动素分 析，任务三阶段划分，任务六元组结构描述，遥操作任务仿真的双层规划和任务层仿真规划 优化五个阶段，首先，接受遥操作任务输入，再利用所述的作业、动作与动素分析，任务三阶段划 分和六元组结构描述对任务进行划分与描述，然后通过遥操作任务仿真的双层规划将任务 分为任务层和动作层，在此基础上，进行任务层仿真规划优化，即面向任务层，应用Petri 网理论进行任务规划和任务建模，并采用Petri网仿真工具进行任务过程仿真，随之产生 相应的动素指令序列，至此任务层的工作结束，动作层则负责将动素指令序列输入虚拟环 境，通过指令映射，产生相应的动素仿真；从仿真结果可判断任务规划是否正确，正确则输出相应的操作指令，否则返回至Petri网任务规划和任务建模阶段，从而对其进行修改，直 至输出正确的操作指令。进一步地，利用所述的作业、动作与动素分析对任务进行划分，即将遥操作任务进 行如下划分以作业单元为基础的划分，以动作单元为基础的划分和以动作要素为基础的 划分；所述的任务三阶段划分，即将遥操作任务划分为接近、操作和离开三阶段；所述的任务六元组结构描述，即对任务结构、参数及其之间相互关系进行描述，包 括操作对象集、任务目标集、任务所处的环境及约束条件集、变量集、变量间关系集和变量 的状态集六个集合；所述的遥操作任务仿真的双层规划，即根据任务级别和作用不同，将遥操作任务 划分为任务层和动作层两部分；所述任务层仿真规划优化，即面向任务层，采用Petri网对任务层遥操作建立 Petri网模型，包括对作业单元粒度和动作单元粒度建立上层任务模型和下层子任务模型， 实现遥操作任务的自动划分、建模和优化。
进一步地，所述任务层是指完成给定的一套任务的输入、规划和控制的集成与协 调，完成任务输入、任务划分与描述、任务规划与建模、任务过程仿真，产生动素指令序列， 指导动作仿真层功能的实现。进一步地，所述的动作层是所述任务层的任务规划在虚拟环境中的具体体现和验 证，其负责接受任务层指令，完成指令的映射、动素仿真和仿真反馈，通过仿真反馈实现任 务规划的改正与优化，并输出相应的操作指令，最终实现对遥操作任务的控制。本发明克服了传统遥操作作业主要通过动作指令，必须是专业操作人员，效率低， 操作时间长，容易疲劳，易发生误操作和操作事故等缺点。在一定程度上为解决复杂遥操作 的安全、精确控制问题提供了一条有效的途径和方法。
图1为本发明的遥操作任务规划和仿真示意2为本发明的取物任务分解示意3为本发明的遥操作任务层次划分示意4为本发明的Petri网总体模型示意5为本发明的作业单元粒度Petri网模型图6为本发明的进入作业空间子系统Petri网模型图7为本发明的进入操作空间子系统Petri网模型图8为本发明的离开作业空间子系统Petri网模型图9为本发明的虚拟环境仿真和基于Petri网仿真间的数据调用关系示意
具体实施例方式以下结合附图和具体实施例对本发明做进一步说明本发明包括作业、动作与动素分析方法，任务三阶段划分方法，任务六元组结构描 述法、，遥操作任务仿真的双层规划方法和任务层仿真规划优化五个阶段，通过以上过程实现了复杂遥操作任务的合理规划和优化仿真，达到预测和指导实际遥操作的目的。所述的作业、动作和动素分析，针对任务的不同层次，利用工作研究理论，按照粒度的不同对任务进行划分，上层任务由粗粒度划分组成，随着任务层次降低逐渐细化为细 的粒度。每级任务由下层更细粒度的任务(或操作元素)组合而成。父任务与子任务所组 成的划分在结构上大体是同构的。由同构的这种任务划分连接或嵌套组成整个遥操作的任 务结构。按照该原则遥操作任务可依据如下粒度划分以作业单元为基础的划分(操作划 分)；以动作单元为基础的划分(动作划分)；以动作要素为基础的划分(动素划分)。动 素(Therbligs)是指完成一件工作所需的基本动作，共计17动素，但遥操作并未涉及所有 动素。本发明将遥操作所涉及动素进行归纳和重新定义，形成基于遥操作的动素表。基于 以上动素表，本发明将复杂的遥操作划分到机械臂/灵巧手系统可直接执行的动素级别， 通过任务规划可获得优化后的动素执行序列，对此序列从左至右的遍历，完成机械臂/灵 巧手系统遥操作任务。所述的任务三阶段划分法，根据遥操作任务执行的先后顺序，将遥操作任务划分 为接近、操作和离开三阶段，作业单元划分、动作单元划分与动素单元划分均可依据此原则 进行划分，各级划分存在粒度差异。所述的复杂遥操作任务的六元组结构描述方法，对任务结构、参数及其之间相互 关系进行了描述。六元组结构由六个集合组成，每个集合作为遥操作任务描述的一个元素， 分别定义和描述了操作对象集、任务目标集、任务所处的环境及约束条件集、变量集、变量 间关系集和变量的状态集六个集合。六元组结构从不同的角度对任务进行了详细的描述， 完整而清晰的表述了任务的特性。所述的遥操作任务双层规划方法，在遥操作任务仿真规划中，根据任务级别和作 用不同，将遥操作任务划分为任务层和动作层两部分。所述的仿真规划优化法，采用基于Petri网仿真工具描述任务过程和实现任务仿 真，其输出数据驱动动作层虚拟环境动作仿真，从而来驱动场景动画，从任务层和动作层两 方面对遥操作进行全面而准确的任务规划和仿真，从而实现对遥操作的准确预测和控制。所述的任务层仿真规划优化方法，面向任务层，采用Petri网对任务层遥操作建 立Petri网模型，即对作业单元粒度和动作单元粒度建立上层任务模型和下层子任务模 型，实现遥操作任务的自动划分、优化和建模。如图1所示，本发明提出的复杂遥操作任务规划和仿真方法首先接受复杂遥操 作任务输入，采用本发明提出的作业、动作与动素分析方法、任务三阶段划分方法和六元组 结构描述法进行任务划分与描述，具体为根据作业、动作与动素分析方法将遥操作任务划 分为作业单元、动作单元和动素单元三个层次；根据任务三阶段划分方法，将遥操作任务划 分为接近、操作和离开三阶段，所述的作业单元、动作单元与动素单元均可依据此原则进行 划分，各级划分存在粒度差异；根据任务六元组结构描述法，对任务结构、参数及其之间相 互关系进行描述。在任务划分和描述的基础之上，应用Petri网理论进行任务规划和任务 建模，并采用Petri网仿真工具进行任务过程仿真，随之产生相应的动素指令序列，至此任 务层的工作结束。动作层则负责将动素指令序列输入虚拟环境，通过指令映射，产生相应的 动素仿真；从仿真结果可判断任务规划是否正确，正确则输出相应的操作指令，否则返回至 Petri网任务规划和任务建模阶段，从而对其进行修改，直至输出正确的动素仿真为止。
此方案从任务层和动作层两方面对遥操作进行全面而准确的任务规划和仿真，充 分发挥了任务层整体规划、协调和与用户交互的功能，指导动作层具体遥操作动作按照任 务规划策略进行；任务层和动作层的积极反馈，指导任务规划的优化和调整，最终准确、高 效地完成遥操作任务，简化了工作人员的操作工作。一、复杂遥操作任务的作业、动作与动素分析及三阶段划分首先，将遥操作根据粒度不同进行划分，上层任务由粗粒度划分组成，随着任务层 次降低，粒度逐渐细化。每级任务可由下层更细粒度的任务(或操作元素)通过参数组合 而成。父任务与子任务所组成的划分在结构上大体是同构的。由这种同构的这种任务划分 连接或嵌套组成整个遥操作的任务结构。遥操作的粒度划分原则·以作业单元为基础的划分(操作划分)；·以动作单元为基础的划分(动作划分)； ·以动作要素为基础的划分(动素划分)；在粒度划分的基础上，将遥操作任务划分为接近一操作一离开三阶段，作业单元 划分、动作单元划分与动素单元划分均可依据此原则进行划分，各级划分存在粒度差异。动素(Therbligs)是指完成一件工作所需的基本动作，共计17动素，但遥操作并 未涉及所有动素。本发明将遥操作所涉及动素进行归纳和重新定义，形成基于遥操作的动 素分析表，如表1所示。表1遥操作动素分析表
基于以上动素表，本发明将复杂的遥操作分解到机械臂/灵巧手系统可直接执行的动素级别，通过任务规划可获得优化后的动素执行序列，对此序列从左至右的遍历，完成 机械臂/灵巧手系统遥操作任务。在遥操作系统中，作业单元、动作单元和动素单元关系如表2所示。表2遥操作作业、动作与动素分析表
动素单元
作业单元动作单元 --
机械臂灵巧手
1.进入作业空间1.初始状态 1.关节角度调整 1.握取
2.进行遥操作作业2.机械臂展开2.调整状态 2.放手
3离开作业空间 3.快速接近物体3.持住物体4.缓慢接近目标4.移动物体
5.抓取物体5.伸手
6.缓慢离开目标6.定位
7.快速离开目标
8.机械臂复位
9.机械臂折叠按照本发明的任务规划原则，对取物任务进行分解，如图2所示。任务逐级分解到 基本动素后，任务的执行就由一组动素序列构成。因为任务分解的时候就是按照一系列逻 辑顺序关系划分的，若将每一个作业单元、动作单元、动素单元等看成是一个节点，则任务 的完成也就是所有节点遍历的过程，可以按照从上到下、从左至右的顺序，父节点会影响子 节点，左节点会影响右节点。取物子任务动素序列可规划为IE —P0— —P —P0— —P —P0—0—H—P0—TL—P —P0—PL—P0—P0—IE —PO —P0。二、机械臂/灵巧手遥操作任务六元组结构描述每个复杂的遥操作任务的都可以表示为如下六元组T = {0，G, C, V, R, S}其中0表示任务模型T的操作对象集(如空间机械臂的末端操作工具等)；G表示任务T的目标集(如被操作目标物等)；C表示当前任务T所处的环境及约束条件集(如作业空间限制限制、运动学约束及 障碍物等)；V表示任务T所包含的变量集(如各自由度角度值以及空间坐标系内的位移等)；R表示任务T中变量之间的关系集(如各自由度之间的转换关系等)；S表示变量的状态集(如传感器返回的当前系统状态等)。根据本发明的六元组结构，以机械臂/灵巧手系统抓取物体任务为例，该任务的六元组结构描述如下Tffl = {0m，Gffl, Cffl, Vffl, Rffl, Sj集合Om {机械臂/灵巧手}集合Gm {物体}集合Cm {物体放置位置坐标与目标位置坐标相符}集合Vm{物体的坐标位置与尺寸，目标位置的坐标位置，机械臂的位置与姿态，灵 巧手的位置与姿态等}集合Rm {物体坐标位置与最终放置位置的坐标关系}集合Sm{当前各传感器所返回的系统状态信息}对机械臂/灵巧手系统抓取物体任务进行任务三阶段划分如下A.接近物体；B.抓取任务遥操作；C.离开作业空间；机械臂/灵巧手系统抓取物体任务的执行顺序为A — B — C。基于该任务的六元 组结构描述，由于机械臂/灵巧手各任务阶段所完成的工作不同，A、B、C三阶段分别包含六 元组结构描述中的不同参数组合。任务阶段A包含任务参数为机械臂/灵巧手、物体、物 体的坐标位置和尺寸。任务阶段B和任务阶段C根据其工作内容，包含各自不同的参数，在 此不——列出。三、遥操作任务仿真的双层规划如图3所示，本发明提出了遥操作任务仿真的双层规划方法，即针对遥操作任务 仿真将其划分为任务层和动作层两个层次。任务层是指完成给定的一套任务的输入、规划 和控制的集成与协调，主要完成任务输入、任务划分与描述、任务规划与建模、任务过程仿 真等工作，产生动素指令序列，指导动作仿真层功能的实现。动作层是任务层任务规划在虚 拟环境中的具体体现和验证，主要负责接受任务层指令，完成指令的映射、动素仿真和仿真 反馈等工作，以及通过仿真反馈实现任务规划的改正与优化，最终实现遥操作任务的精确、 最优控制。在“任务层-动作层”结构中，任务层特指高层任务规划，动作层特指低层的具体 动作执行。四、任务层仿真规划的优化基于本发明的任务规划策略，面向任务层，采用Petri网对任务层遥操作建立 Petri网模型，即对作业单元粒度和动作单元粒度建立上层任务模型和下层子任务模型，实 现遥操作任务的自动划分、优化和建模。以取物任务为研究对象，根据图2取物任务分解示意图，采用结构化建模的方法， 建立Petri网层次模型图，如图4。上层任务模型在作业单元粒度层面上将任务分解为进入 作业空间、进入操作空间和离开作业空间三个子系统，下层子任务模型则在动作单元粒度 上对上层模型进一步细分。上层任务模型如图5所示，该模型的库所和变迁的含义如表3、表4。表3任务模型库所表
表4任务模型变迁表 下层子任务模型在动作单元粒度层面又分为进入作业空间、进入操作空间和离开 作业空间三个流程单元。进入作业空间子系统Petri网模型如图6所示，该模型的库所和变迁含义如表5、 表6。表5进入作业空间子系统Petri网模型库所表 表6进入作业空间子系统Petri网模型变迁表 进入操作空间子系统Petri网模型如图7所示，该模型的库所和变迁含义如表7、表8。表7进入操作空间子系统Petri网模型库所表
表8进入操作空间子系统Petri网模型变迁表
离开作业空间子系统Petri网模型如图8所示，该模型的库所和变迁含义如表9、 表10。表9离开作业空间子系统Petri网模型库所表
Ci10从端机械臂坐标数据指令表10离开作业空间子系统Petri网模型变迁表
在上述Petri网模型的基础上，采用基于Petri网仿真工具描述任务过程和实现 任务仿真，其输出数据驱动动作层虚拟环境动作仿真，从而来驱动场景动画，从任务层和动 作层两方面对遥操作进行全面而准确的任务规划和仿真，从而实现对遥操作的准确预测和 控制。虚拟环境仿真和基于Petri网仿真间的数据调用关系如图9所示，虚拟环境场景 依次读取基于Petri网仿真的仿真输出数据，完成操作动作，此过程是对任务规划中动作 单元层数据从左至右的遍历，遍历完成，任务随之完成。从虚拟环境场景运动仿真过程来看，动作的执行顺序与Petri网的任务规划相一 致，动作的执行幅度与基于Petri网仿真的仿真输出参数相一致。通过虚拟环境场景运动仿真，可以直观观察到，机械臂/灵巧手系统按照任务规 划的运动顺序，逐个完成每个动作，抓取物体、移动物体、放置物体等，任务的执行准确无 误，且机械臂/灵巧手系统未与物体发生不安全的碰撞，任务的完成效果比较理想。
权利要求
一种机械臂/灵巧手系统遥操作任务规划和仿真方法，包括作业、动作与动素分析，任务三阶段划分，任务六元组结构描述，遥操作任务仿真的双层规划和任务层仿真规划优化五个阶段，首先，接受遥操作任务输入，再利用所述的作业、动作与动素分析，任务三阶段划分和六元组结构描述对接受的任务进行划分与描述，然后通过遥操作任务仿真的双层规划将任务分为任务层和动作层，在此基础上，进行任务层仿真规划优化，即面向任务层，应用Petri网理论进行任务规划和任务建模，并采用Petri网仿真工具进行任务过程仿真，随之产生相应的动素指令序列，至此任务层的工作结束，动作层则负责将动素指令序列输入虚拟环境，通过指令映射，产生相应的动素仿真；从仿真结果判断任务规划是否正确，正确则输出相应的操作指令，否则返回至Petri网任务规划和任务建模阶段，从而对其进行修改，直至输出正确的操作指令。
2.根据权利要求1所述的方法，其特征在于，利用所述的作业、动作与动素分析对任务进行划分，即将遥操作任务进行如下划分以 作业单元为基础的划分，以动作单元为基础的划分和以动作要素为基础的划分；所述的任务三阶段划分，即将遥操作任务划分为接近、操作和离开三阶段；所述的任务六元组结构描述，即对任务结构、参数及其之间相互关系进行描述，包括操 作对象集、任务目标集、任务所处的环境及约束条件集、变量集、变量间关系集和变量的状 态集六个集合；所述的遥操作任务仿真的双层规划，即根据任务级别和作用不同，将遥操作任务划分 为任务层和动作层两部分；所述任务层仿真规划优化，即面向任务层，采用Petri网对任务层遥操作建立Petri网 模型，包括对作业单元粒度和动作单元粒度建立上层任务模型和下层子任务模型，实现遥 操作任务的自动划分、建模和优化。
3.根据权利要求1或2所述的方法，其特征在于，所述任务层是指完成给定的一套任务 的输入、规划和控制的集成与协调，完成任务输入、任务划分与描述、任务规划与建模、任务 过程仿真，产生动素指令序列，指导动作仿真层功能的实现。
4.根据权利要求1-3之一所述的方法，其特征在于，所述的动作层是所述任务层的任 务规划在虚拟环境中的具体体现和验证，其负责接受任务层指令，完成指令的映射、动素仿 真和仿真反馈，通过仿真反馈实现任务规划的改正与优化，并输出相应的操作指令，最终实 现对遥操作任务的控制。
全文摘要
一种机械臂/灵巧手系统遥操作任务规划和仿真方法，属于航空航天领域中的遥操作技术范畴。本发明为解决复杂遥操作的任务规划难、任务执行质量、效率难以保证和非专业人员无法进行操作等问题，充分融合工作研究理论和Petri网技术各自的优势，提出了一种机器人遥操作任务规划和仿真方法。该方法由作业、动作与动素分析方法、任务三阶段划分方法、任务六元组结构描述法、遥操作任务仿真的双层规划方法和任务层仿真规划优化方法五部分组成。本发明在一定程度上为解决复杂遥操作的安全、精确控制问题提供了一条有效的途径和方法。
文档编号B25J13/00GK101844353SQ20101014582
公开日2010年9月29日 申请日期2010年4月14日 优先权日2010年4月14日
发明者张青, 朱文革, 李世其, 王明明, 赵迪 申请人:华中科技大学