一种基于手臂姿态的非接触式挖机臂操控系统及操控方法与流程

本发明属于工程机械领域，涉及一种基于手臂姿态的非接触式挖机臂操控系统。

背景技术：

挖掘机是一种常用的工程机械装置，被应用在各种工程领域，但一些实际的生产场合及施工环境越来越不适合操作者在车上手控操作挖机，如抢险救灾、危房拆除、垃圾清理等危险及环境恶劣的场合。此外，传统挖掘机操作模式需要操作者接受较长时间的培训及实践，培训成本高、周期长。

传统的挖掘机操控方式要求操作者在挖掘机驾驶室内的固定的位置上，通过操纵左右手柄操纵挖掘机臂作业。操作过程中操纵者不能移动自身位置，操纵灵活性有限，同时感知挖机周围工况存在一定的盲区。为了实现铲斗的特定位姿，操纵者还需要同时考虑动臂、斗杆、铲斗和回转机构的复合运动，熟练的操作往往需要较长时间的培训及实践，不能马上上手，操控易用性有待提高。

手臂姿态需要专门的设备进行手臂姿态捕捉，现有的运动捕捉设备按照实现原理分为两类，一类是光学运功捕捉设备，另一类是惯性运动捕捉设备。目前运动捕捉设备多应用于动画及游戏制作、模拟训练、人体工程学研究等非工程机械领域。其中，专利cn107214679a描述了一种通过kinect硬件，基于光学图像的感知方法控制一个机械臂，其缺点是：只适用于光线比较好的场景，而工程场景几乎在室外且光线环境复杂，并且有夜间操纵的需求。对于实际挖掘工程场景的应用欠缺考虑。专利cn107336233a提出了一种基于惯性动捕的人-机器人虚实交互控制系统来实现机械臂的控制，其缺点是：采用了大量惯性测量单元，在每个传感器相同故障率前提下，传感器越多整个系统故障概率越大，所以，维护不便；并且节点之间通过有线连接，便携性不佳，影响操纵者使用体验，对于实际挖掘工程场景的应用欠缺考虑。

另外，这些专利大多面向普适的机械臂设计，对于工程机械领域尤其对挖掘机及其作业需求欠缺针对性考虑，挖掘机作业的核心是对铲斗位姿的控制，另外，有各个机构单独运动的需求，这些专利没有在这些运动方式上进行针对性的设计。

技术实现要素：

本发明所要解决的技术问题：

本发明的目的是公开一种基于手臂姿态的非接触式挖机臂操控系统及操控方法，在实际操作过程中，通过操作者手臂姿态非接触式的控制挖掘机操作，保障操作者人身安全，降低挖掘机操作难度。

本发明采用的技术方案：

一种基于手臂姿态的非接触式挖机臂操控系统，其特征在于，包括感知模块、通讯模块、解析模块以及控制模块；

所述的感知模块，包括设置在操作者手臂上的可穿戴传感器，用于采集操作者手臂部位空间位姿角信息；

所述通讯模块，用于操作者身上的可穿戴传感器与挖掘机上解析模块间的无线通信；

所述解析模块，用于接收并解析由通讯模块发送过来的可穿戴传感器的信息，对手臂的姿态实现系统功能模式解析及跟踪姿态的操纵解析；

所述控制模块，接收解析模块发送来的各执行机构当前实际角度及目标运动角度，跟踪控制挖掘机臂作相应的动作。

进一步地，所述解析模块包含两个子模块，分别为模式解析模块和操纵解析模块；

所述模式解析模块，对操作者手臂姿态进行识别，判断当前的系统功能模式；

所述操纵解析模块，根据模式解析模块判断出的系统功能模式，作出对应的操纵解析，计算出挖掘机臂各执行机构的目标运动角度。

进一步地，所述系统功能模式根据操作者其中一只手臂的对应的三种不同姿态角进行判断确定，分别为跟踪控制模式、分别控制模式和停止模式。

进一步地，在所述跟踪控制模式下，挖掘机铲斗位姿直接跟踪操作者另一只手部的位姿运动。

进一步地，在所述分别控制模式下，操作者手臂的不同位姿单独控制各个执行机构分别运动。

进一步地，在所述停止模式下，冻结当前的挖掘机臂运动状态。

进一步地，所述可穿戴传感器采用惯性可穿戴设备，该设备由贴附在操作者人体的惯性测量节点构成，每一个节点独立地测量其贴附处的姿态角，独立供电，独立和挖掘机上的所述解析模块通信。

进一步地，操作者一只手臂佩戴一个惯性测量节点，采集的信息用于解析系统功能模式；另一只手臂不同位置佩戴三个惯性测量节点，采集的信息被操纵解析模块以对应于当前的系统功能模式的方式处理。

进一步地，在跟踪控制模式下，通过操作者一只手臂的动作限制执行机构最大运动率，使跟踪另一只手部的挖掘机臂的动作趋于不动的趋势。在跟踪控制模式下，可控制挖掘机臂的微动，实现了对挖机臂的精细控制的功能。

一种基于手臂姿态的非接触式挖机臂操控方法，其特征在于，包括以下步骤：

步骤1.感知模块通过操作者手臂上的穿戴传感器采集手臂姿态信息；

步骤2.通讯模块将感知模块采集的信息，通过无线的方式发送给解析模块；

步骤3.解析模块中的模式解析模块对操作者手臂姿态进行识别，判断当前的系统功能模式为跟踪控制模式、分别控制模式还是停止模式；

步骤4.确定了系统功能模式后，解析模块中的操纵解析模块作出对应的操纵解析，计算出挖掘机臂各执行机构的目标运动角度；

步骤5.控制模块接收解析模块发送来的各执行机构当前实际角度及目标运动角度，解算出对应各执行结构的控制量；

步骤6.控制模块将控制信号发送给各执行结构，各执行机构配合完成挖掘机臂跟踪手臂动作。

本发明所达到的有益效果：

本发明公开了一种基于手臂姿态的非接触式挖机臂操控系统及操控方法，通过可穿戴设备自行采集操作者手臂姿态并据其运动姿态完成对挖掘机臂的跟踪控制，最终对挖机臂实现非接触式手臂仿形控制。针对于挖掘机的作业特点，在实际操作过程中，通过操作者手臂姿态非接触式的控制挖掘机操作，保障了操作者人身安全，降低了挖掘机操作难度。操作者不受场地限制，在操作过程中可静止站在一处或自由移动。

附图说明

图1为本发明基于手臂姿态的非接触式挖掘机臂控制系统框图。

图2为本发明的一个实施样例中的系统原理框图。

图3-1至图3-6为本发明的一个实施样例中左臂姿态动作模式切换示意图。

图4为本发明的一个实施样例中左臂姿态动作对应的定量分析图。

图5为本发明的手臂姿态到挖机臂姿态的映射关系示意图。

图6为本发明的一个实施样例中手势姿态非接触式挖掘机臂操控系统的工作流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明主要包括感知模块、通讯模块、解析模块与控制模块。

所述感知模块，它通过操作者手臂上的可穿戴传感器，采集操作者手臂部位空间位姿角信息。

所述可穿戴传感器，它为带有无线通信功能的imu传感器节点，安装在操作者的左右手臂上，在系统中，每个可穿戴传感器称为一个节点，每一个节点都能独立测量所在手臂的空间姿态角，独立通过通讯模块发给解析模块。每个节点独立供电，节点之间没有线路连接。

所述通讯模块，它是连接感知模块与解析模块之间的物理链路，即实现可穿戴传感器与挖掘机上解析模块的无线通信。本专利不指定具体通信设备。实际中具体采用哪种设备作为通讯模块取决于工程具体需求。

所述解析模块，用于接收并解析由通讯模块发送过来的可穿戴传感器的信息，手臂的姿态可以定义为不同的系统功能模式及对应的挖掘机臂跟踪姿态。该模块包含两个子模块，分别为模式解析模块和操纵解析模块。所述模式解析模块，对操作者手臂姿态进行识别，判断当前的系统功能模式。所述操纵解析模块，对模式解析模块判断出的系统功能模式，该模块作出对应的操纵解析，计算出挖机臂各执行机构的期望运动角度。操作者的一只手臂姿态角用于切换系统功能模式，以及在一些功能下提供一些辅助信息。一共有三种功能模式，“跟踪控制”，“分别控制”，“停止”。不同模式下，另一只手臂姿态信息将会被以对应的方式处理。处理的结果为目标控制信号，输出给控制模块。

所述控制模块，它在挖掘机上，接收解析模块发送来的各执行机构当前实际角度及目标运动角度，控制模块采取相应的闭环控制策略，进而控制挖机臂作相应的动作，实现对挖机臂的闭环控制。

如图2所示为本发明的一个实施样例中的系统原理框图。设定左手臂传感器信息被用来进行模式解析，模式解析模块输出的模式信息在图中用虚线标注，它控制对应于当前模式信息的开关闭合。在操纵解析模块中，当控制模式为t（跟踪控制模式）时，操纵模块中最上面一条通路左右两端开关闭合，该通路激活；当模式为i（分别控制模式），中间通路两侧开关闭合；当模式为s（停止模式），最下面通路连通被激活。最后，操纵模式目的是输出各个执行机构的目标运动量，它们被传递到控制模块中，对执行机构进行闭环控制。

所述可穿戴传感器采用惯性可穿戴设备，该设备由贴附在人体的惯性测量节点构成，每一个节点都能独立地测量其贴附处的姿态角，独立供电，独立和挖掘机上的解析模块通信，彼此间没有线路连接。左手只佩戴小臂处一个节点，右臂佩戴三个，分别为大臂，小臂，手背。左右手佩戴传感器部分的姿态角信息通过无线传输发送给解析模块进一步处理。其中，左臂传感器信息被用于判断系统当前系统功能模式，根据系统功能模式，一部分或者全部右手传感器信息将被操纵解析模块以对应于系统功能模式的方式处理。

所述可穿戴传感器和挖掘机之间采用无线通信，本专利不指定具体通信设备。实际中具体采用哪种设备取决于工程具体需求。

所述模式解析模块，它根据左臂姿态决定哪一种功能模式被激活。

所述跟踪控制模式，左臂处于该模式相应姿态下，铲斗跟踪右手的位置和姿态角运动，该模式下，配合左臂姿态信息，还能实现“精细控制”。具体而言，挖机臂铲斗位姿跟踪人右手位姿运动。右手位姿指右手手腕的空间位置以及手背俯仰角。然后，这个信息会被进行尺度变换，计算对应铲斗的位姿。

所述的铲斗的位姿指铲斗和斗杆交接处的空间位置以及该位置和齿尖连线相对于地面的夹角，如图5所示。

通过可穿戴传感器可以测得右臂大小臂和手臂姿态角，另外，操作者大、小臂以及手背长度l1、l2、l3是易于获得的，基于这些可以用运动学正解算法计算手腕的空间位置p。

该位置p要进行尺度变换，利用如下公式，转化成真实挖机要跟踪的点的位置（也即铲斗和斗杆交接点位置q），

q=kp，其中，k=（l1+l2+l3）/（l1+l2+l3）；

其中，l1，l2，l3分别对应为挖机动臂，斗杆，以及铲斗和斗杆交接处到铲齿的长度；l1，l2，l3分别表示操纵者大臂、小臂及手背的长度；

所以，铲斗的目标位姿为q点空间位置，是挖机臂铲斗的位置和姿态角需要进行跟踪的依据。最后，基于铲斗目标姿态和挖机臂各个执行机构的长度l1，l2，l3，利用运动学逆解算法，计算出挖机各个执行机构的期望运动角度。

所述精细控制，在跟踪控制模式下，左臂姿态能够提供一些辅助信息，对运动机构的最大跟踪速度进行限制。限制越大，机构的最大运动速度越小。这样能够实现“精细控制”。

所述分别控制模式：该模式下，根据左臂姿态，可以进一步细分四种子模式，分别对应动臂，斗杆，铲斗，回转机构的单独控制；该模式下，根据右手小臂的姿态角对被选中挖机机构进行单独控制。

所述控制模块在挖机上，它接受控制信号，和挖机臂通信，实现对挖机臂的闭环控制。为了让挖掘机机械臂各个执行机构从当前实际角度达到目标运动角度，并且保证这个过程的稳定快速准确，控制模块采用了闭环控制，可以选用的算法有pid，mfc（模型预测控制）等，目标量即从上一个模块传递过来的各个执行机构的目标角度。执行机构为挖机的回转机构，动臂，斗杆，铲斗。

如图3所示，在本发明的一个实施样例中左臂姿态动作模式切换示意图。左臂主要有两个作用，切换功能模式，在跟踪控制模式下，辅助“精细控制”的实现。

所述系统功能模式，它是模式解析模块根据操作者一只手臂姿态角判断系统现在应该处于的功能模式，该功能模式有三种，包括“跟踪控制”模式，“分别控制”模式，“停止”模式。在一个实施样例中，操作者左小臂佩戴一个可穿戴传感器节点，它能够测量小臂的姿态角并通过通讯模块发送给解析模块，该模块根据左小臂姿态角判断系统现在应该处于的功能模式。结合图3-1至3-6所示，系统功能模式分别为跟踪控制模式（图3-1），停止模式（图3-2），分别控制模式（图3-3至图3-6）。

其特点为：跟踪控制模式动作，手部处于肘关节下方；停止模式动作，手部和肘关节大致水平；分别控制模式动作（图3-3到左数子图3-6），手部处于肘关节上方且放在锁骨位置（图3-3）为单独控制回转机构子模式，手部处于肘关节上方且垂直与前胸（图3-4）为单独控制动臂子模式，手部处于肘关节上方且放在身体左前位置（图3-5）为单独控制斗杆子模式，手部处于肘关节上方且放在肩关节外侧（图3-6）为单独控制铲斗子模式。另外，在跟踪控制模式下，左臂姿态还能提供辅助信息，实现“精细控制”。具体为，左手在该模式范围内向停止模式的运动过程中，小臂抬起越高，铲斗位置和姿态角运动速度上限越小，挖机臂的跟踪过程越慢，这能够屏蔽操作者手部抖动带来的影响，同时能够让操作者及时调整手部姿态。

如图4所示，在本发明的一个实施样例中左臂姿态动作的定量分析图。

对于基于左手动作的功能模式切换，定义左小臂方向向量为由肘部指向手腕的单位向量。它被用作特征信号进行模式识别。图中标注了相应于不同模式的同名方向向量：t，s，i，i1，i2，i3，i4，分别对应“跟踪控制”，“停止”，“分别控制”，“单独控制回转机构”，“单独控制动臂”，“单独控制斗杆”，“单独控制铲斗”；并且将肘关节处定义为圆点o，标注了坐标轴x-y-z。定义δ为方向向量和x-y平面的夹角，那么，整个空间被δ=-10（度）和δ=20（度）分成上中下三个部分，分别对应模式i，s，t。上部对应模式i的区域，子模式为i1，i2，i3，i4，在x-y平面投影的角度，分别为{-90，0，45，90}；如图4中所示t被定义为他们在x-y平面投影的角度模式选择变量，当t在对应的子模式角度值的±15°内，则激活对应的子模式。

另外，在“跟踪控制”模式下，可以实现“精细控制”的功能。具体为，左手小臂方向向量在t模式的运动范围内，越靠近x-y平面，铲斗运动速度上限越小，直到进入s模式的区域，该上限角速度变成0。具体计算方法采用公式：

vm=－(δ+10)*vm0/80

其中，vm是系统最终实际采用的上限角速度；vm0是体统默认上限角速度。

如图5所示，本发明的手臂姿态到挖机臂姿态的映射关系示意图。

如图6所示，本发明的一个实施样例中手势姿态非接触式挖掘机臂操控系统的工作流程：

1.完成各模块的初始化；

2.感知模块通过操作者手臂上的穿戴传感器采集手臂姿态信息；

3.通讯模块将感知模块中的信息，通过无线的方式发给挖掘机上的解析模块；

4.解析模块中的模式解析模块对操作者手臂姿态进行识别，判断当前的系统功能模式，具体包括跟踪控制模式、分别控制模式以及停止模式；

5.确定了系统功能模式后，操纵解析模块作出对应的操纵解析，计算出挖机臂各执行机构的期望运动角度；

6.接收解析模块发送来的各执行机构当前实际角度及目标运动角度，解算出对应各执行结构的控制量；

7.将控制模块的控制信号发送给执行结构，完成挖机臂跟踪手臂动作；

8.判断操控过程结束，则停止对挖掘机臂的运动控制，否则，返回第2步。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。