一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置与流程

本发明涉及喷涂机器人领域，具体涉及一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置。

背景技术：

目前，生产所用的喷涂机器人，大多数是由专业编程人员在使用前将运动轨迹编写程序输入系统，完成后才可投入生产使用，但是这种固定式运动轨迹在使用中局限性较大，无法随着环境或工件的变化而变化，必须重新在系统中输入程序，此类机器人在使用期间对操作员工要求高，普通员工很难上手使用，环境适应性低，无法达到自动化、智能化的要求，所以直接示教技术在该领域是被迫切需要的。然而传统的示教方法也有其缺点：第一，由于喷涂机器人示教的特殊性，操作人员需要在喷涂房里直接与有害气体接触，对身体健康是有一定的危害，第二，在示教过程中，操作人员需要手动去移动喷头来完成整条运动轨迹，整个过程是比较费时且费力的。

技术实现要素：

本发明的目的在于提供一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法，该示教方法可以实现快速省力的精确示教，且可使操作人员在没有涂料伤害的环境下省时省力地完成整个示教过程。

为实现上述目的，本发明采用了以下技术方案，包括以下步骤：

步骤1：开启示教系统，进行系统初始化，将光学动作捕捉相机摆放到初始位置；

步骤2：检测系统以及各个设备之间的通讯状态是否正常；

步骤3：在操作人员手臂上的特定区域粘贴表面肌电电极，在操作人员手臂的关节处粘贴marker标识点，并检测信号传输是否正常；

步骤4：将喷涂机器人虚拟模型、喷涂机器人以及操作人员的手臂调整成位置相对应的初始姿态；

步骤5：操作人员根据待喷涂件的喷涂轨迹需要，开始手臂运动进行主动示教；

步骤6：表面肌电电极将采集到的肌电信号通过八通道无线肌电仪传递给计算机；

步骤7：步骤6的同时，光学动作捕捉相机对marker标识点进行追踪与检测，并将捕捉到的动作捕捉信号传递给计算机；

步骤8：计算机对采集到的肌电信号和动作捕捉信号进行处理，形成基于肌电信号的轨迹模式一及基于动作捕捉信号的轨迹模式二，并在喷涂机器人虚拟模型上生成轨迹模式一及轨迹模式二的示教轨迹；

步骤9：经过多次示教后，计算机内通过机器学习将步骤8中两种轨迹模式下的多条示教轨迹融合为一条最优运动轨迹，并将此最优运动轨迹保存；

步骤10：将最优运动轨迹加载到喷涂机器人的控制系统，并在现实场景中验证该最优运动轨迹是否符合现实喷涂要求；

步骤11：如最优运动轨迹满足现实喷涂效果，则保存此条最优轨迹，并用于大批量的喷涂任务；否则返回步骤4重新示教，直至得到一条满足现实喷涂要求的最优运动轨迹；

步骤12：完成示教，摘除操作人员的表面肌电电极与marker标识点，关闭示教系统。

步骤3中，所述的表面肌电电极共设置八块，分别粘贴于操作人员手臂的二头肌、三头肌、前三角肌、后三角肌、尺侧腕屈肌、尺侧腕伸肌、桡侧腕屈机及桡侧腕伸肌处。

步骤3中，所述的marker标识点共设置四处，分别粘贴在操作人员手臂的肩关节、肘关节、腕关节以及手指的任意一个指尖上。

步骤3中，所述的marker标识点为表面覆盖有反光材质的反光球或标记物。

步骤3中，表面肌电电极及marker标识点可采集操作人员手臂的七个转动自由度，具体为肩关节的俯仰角、肩关节的偏航角、上臂绕其自身轴线的横滚角、肘关节的俯仰角、小臂绕其轴线的横滚角、腕关节的俯仰角和腕关节的偏航角。

步骤5中，所述的喷涂轨迹是指根据待喷涂件的类型形状所构思出的喷涂机器人所需要喷涂的轨迹。

步骤1中，光学动作捕捉相机为optitrack一体式三目运动捕捉摄像机。

由上述技术方案可知，本方法主要采用主从臂异构控制的方法，通过计算机采集人体手臂的肌电信号及动作捕捉信号，经过在喷涂机器人虚拟模型上的多次示教后，生成一条最优的运动轨迹发送给喷涂机器人。

本发明的另一目的在于提供一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教装置。

为实现上述目的，本发明采用了以下技术方案：包括计算机、光学动作捕捉相机、八通道无线肌电仪、表面肌电电极、marker标识点、喷涂机器人虚拟模型以及喷涂机器人，其中：表面肌电电极及marker标识点分别与八通道无线肌电仪及光学动作捕捉相机相连，八通道无线肌电仪及光学动作捕捉相机均与计算机的输入端相连，喷涂机器人虚拟模型与计算机的输出端相连，喷涂机器人与喷涂机器人虚拟模型的输出端相连。

由上述技术方案可知，该装置可采集人体手臂的肌电信号及动作捕捉信号，并由计算机生成一条最优运动轨迹传递给现实场景中的喷涂机器人。

附图说明

图1是本发明示教装置的结构示意图；

图2是本发明人体手臂的初始姿势图；

图3是本发明喷涂机器人的结构示意图；

图4是本发明人手主臂的结构图；

图5是本发明机械从臂的关节分组图；

图6是本发明肌电信号的控制流程图；

图7是本发明动作捕捉信号的控制流程图；

图8是本发明示教装置的原理框图；

图9是本发明示教方法的流程图。

上述附图中的附图标记为：计算机1、光学动作捕捉相机2、八通道无线肌电仪3、表面肌电电极4、marker标识点5、喷涂机器人虚拟模型6、喷涂机器人7。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1、图8所示，一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教装置，包括计算机1、光学动作捕捉相机2、八通道无线肌电仪3、表面肌电电极4、marker标识点5、喷涂机器人虚拟模型6以及喷涂机器人7，其中：表面肌电电极4及marker标识点5分别与八通道无线肌电仪3及光学动作捕捉相机2相连，八通道无线肌电仪3及光学动作捕捉相机2均与计算机1的输入端相连，喷涂机器人虚拟模型6与计算机1的输出端相连，喷涂机器人7与喷涂机器人虚拟模型6的输出端相连。

具体的：喷涂机器人虚拟模型6是利用计算机1建立的可以完全反映现实喷涂特征的虚拟模型，也就是喷涂机器人虚拟模型6是利用计算技术根据现实模拟出来的与现实相同的虚拟模型，其可以根据待喷涂件的不同添加新建立的待喷涂件，以适应不同的待喷涂件。喷涂机器人虚拟模型6可以随着人体手臂的运动而运动，并将轨迹显示在计算机1上，可以使操作人员直观地观测到喷涂机器人虚拟模型6的位姿状态。

喷涂机器人虚拟模型6具有跟现实喷涂机器人7一样的尺寸、自由度和工作空间，从而喷涂机器人虚拟模型6可以通过主从臂异构映射算法随手臂运动执行相对应的空间运动，也可以完成所有现实喷涂机器人7的所有位姿和轨迹运动，实现喷涂机器人7示教的功能。在虚拟模型中，可以很方便的做大量的喷涂示教，并结合这些示教进行各种优化计算。

进一步的，如图3所示，喷涂机器人7则是在现实场景中进行作业的喷涂机器人，总体包括喷涂机器人、待喷涂件和一系列辅助设备，喷涂机器人7的具体结构可参照现有技术。喷涂机器人7接受计算机1在喷涂机器人虚拟模型6上计算出的最终轨迹，并在实际操作中检测该轨迹的可行性，即根据喷涂机器人虚拟模型6传来的最终喷涂轨迹，来验证待喷涂件的喷涂是否达到喷涂要求，如达到要求则将该轨迹保存至机器人系统，随后再完成对待喷涂件的喷涂；否则将重新设计示教轨迹。现实场景是密闭的封闭空间，操作人员工作时不处于喷涂场景内，这可以使操作人员不受有毒喷涂涂料的侵害，保护操作人员的身体健康。

进一步的，计算机1是喷涂机器人虚拟模型6的载体，也是实现人体手臂和喷涂机器人虚拟模型6通讯的纽带，其是利用计算技术根据现实在计算机上建立的虚拟模型。光学动作捕捉相机2和八通道肌电仪3采集的动作捕捉信号和肌电信号信号发送到计算机1，并在计算机中对这些信号进行处理，随后通过异构控制算法再将不同的动作信号发送给喷涂机器人虚拟模型6，计算机在进行多次示教学习后，可以将多次示教的轨迹融合优化，在喷涂机器人虚拟模型6中得到一条最优的示教轨迹。

进一步的，八通道无线肌电仪3和表面肌电电极4是在示教过程中检测采集操作人员手臂的肌电信号并处理信号的设备，是对虚拟模型运动控制的信号源之一。表面肌电电极4粘贴在操作人员手臂上八块确定的肌肉区域内，具体是粘贴在手臂的二头肌、三头肌、前三角肌、后三角肌、尺侧腕屈肌、尺侧腕伸肌、桡侧腕屈机及桡侧腕伸肌上。如图6所示，八通道无线肌电仪3在手臂运动时通过表面肌电电极4检测并采集所需的肌电信号，随后传递给计算机对这些肌电信号进行模式识别，主要包括预处理、特征提取和模式识别，主要作用是将我们采集到的肌电信号进行放大、滤波，并从过滤后的肌电信号中提取特征，再通过主从臂异构映射来控制喷涂机器人7。

更为具体的，八通道无线肌电仪3处理信号的原理是通过表面肌电电极4将采集到的肌电信号送入差模放大器中进行初级放大，然后因为表面肌电信号中存在直流分量，需要对信号做隔直处理，再对信号进行二次放大，最终利用滤波器对信号进行滤波处理，得到相应的处理信号。表面肌电电极4对人体手臂的肌电信号的检测和采集中起到换能的作用，即将人体手臂产生的离子形式电流通过电极及金属导线以自由电子的形式进行电传导。在示教过程中操作人员在手臂上粘贴表面肌电电极4，并利用手臂运动产生肌电信号，表面肌电电极4检测并采集该信号传输给八通道无线肌电仪3，经过处理后来对喷涂机器人虚拟模型6进行示教，经过位置和姿态的映射，喷涂机器人虚拟模型6可以得到相应的位置和姿态，以达到直观省力的快速示教。

进一步的，光学动作捕捉相机2及marker标识点5是在示教过程中检测采集操作人员手臂的动作捕捉信号并处理信号的设备。光学动作捕捉相机2是通过高感度摄像机对运动目标上贴有的标识点进行监控和追踪来实现运动捕捉的。本实施例中，光学动作捕捉相机2采用的是optitrack一体式三目运动捕捉摄像机，可以获取高精度的6dof数据。marker标识点5是在运动数据采集过程中粘贴在手臂各关节处的反光球或标记物。本实施例中，如图2所示，marker标识点5共设置四处，分别在手臂的肩关节a、肘关节b、腕关节c以及手指的任意一个指尖d上。如图7所示，启动光学动作捕捉相机2后，可对这些marker标识点5进行追踪与检测，并将捕捉到的数据传输到计算机上，由计算机对捕捉的运动数据进行分析与处理，并保存三维运动数据，通过这些数据可以推算出手臂在每一时刻的空间位置，从而获得手臂的活动轨迹。

更为具体的，在用光学动作捕捉相机2采集手臂运动数据时，操作人员身穿单一颜色的紧身上衣，于手臂各关节部位粘贴marker标识点5，启动实时高精度三维运动数据捕捉软件，设定摄像时间、摄像频率，然后准备摄像。开始摄像时，操作人员在规定范围内完成所需动作，拍摄停止后，切换到三维数据界面，显示计算的三维运动数据，包括追踪半径、焦点距离以及标识点总数，并指定标识点间的连接关系，指定标识点序号，按顺序依次连接。手臂的运动是个复杂的过程，在不考虑肌肉、神经系统等条件作用下，可以将手臂运动抽象为简单的由部分刚体连接的链系统运动。手臂为不封闭区间，自动追踪后切换到轨迹显示模式，可以查看操作者手臂的运动轨迹。随后对这些运动数据进行处理，可以对无效数据进行插值计算，对标识点数据进行滤波处理，然后保存三维运动数据，再通过主从臂异构控制用手臂的三维运动数据来控制喷涂机器人虚拟模型6的轨迹运动。

进一步的，在该示教装置中采用了主从臂异构控制技术来实现喷涂机器人7的示教，即主臂为人的手臂，从臂为喷涂机器人7。因主、从臂的结构与运动轨迹不同，所以我们采取了主从臂异构控制，通过算法克服主、从臂之间的运动学差异，将主臂的控制指令映射为从臂的相应运动，来实现主从臂位置和姿态的一一对应。异构主从臂运动映射最常用的算法是正逆运动学方法，即先跟据主臂的正运动学模型计算出主手在其笛卡尔坐标系中的位置，然后采用线性映射计算出从手在其作业空间笛卡尔坐标系中对应的位置，最后根据从臂的逆运动学模型计算出从臂实现相应姿态的各关节构型，从而实现从臂在其作业空间中对应的姿态和方位。

本实施例中，如图1、图2、图4所示，主臂通过表面肌电电极4及marker标识点5可采集手臂七个转动自由度的数据，七个转动自由度具体为肩关节的偏航角q1、肩关节的俯仰角q2、上臂绕其自身轴线的横滚角q3、肘关节的俯仰角q4、小臂绕其轴线的横滚角q5、腕关节的俯仰角q6和腕关节的偏航角q7。如图3所示，从臂为六自由度的喷涂机器人7，喷涂机器人7只能采集六个转动自由度的数据，即图3中所示的轴1～轴6。为了操作的方便，如图5所示，我们把从臂视为主臂的某种变形，通过类比把从臂的运动关节分为“肩”、“肘”和“腕”三组，在对应关节组的层面上研究从人手主臂到机械从臂的运动映射，在功能上较好地实现异构主从臂之间的运动对应，从而实现符合人体手臂运动习惯的主从臂异构喷涂机器人7示教装置的控制。也就是将从臂分解成六个关节组，六个关节组的转动分别对应主臂中的七个转动自由度，六个关节组的转动分别与主臂中肩关节的偏航角q1、肩关节的俯仰角q2、肘关节的俯仰角q4、小臂绕其轴线的横滚角q5、腕关节的俯仰角q6和腕关节的偏航角q7相对应。这时将主臂的操作指令信息通过运动映射算法转换为异构机械从臂在各关节空间中的运动控制指令，就可以控制机械从臂执行示教任务。

由于该喷涂机器人示教系统需要使用主从异构控制方法，相比于同构控制，控制问题更为复杂，主臂与从臂必须通过运动学正、逆运算即笛卡尔空间控制才能建立起联系，将主臂各个增量以笛卡尔空间控制和关节控制的方式与从臂建立联系。该装置中的控制方案将采用基于逆雅可比法主从实时控制算法，主要流程为由主臂模型得到主臂末端位姿增量，通过主臂空间映射得到从臂末端位姿目标增量，再通过从臂逆运动学求解得到从臂各关节相应的目标角度，关节目标角度发送给底层硬件，从而控制关节电机向目标角度运动。该控制方案中运动学的求解方法将采用基于denavit—hartenberg(d—h)参数建模的方法，该方法是一种比较直观的通用方法，它以矩阵代数来描述和表达主臂关节相对于固定参考系的空间几何关系，把运动学正问题简化为寻求把手部坐标系与参考坐标系联系起来的4×4等价齐次变换矩阵。其中一方面通过对机器人正运动学的研究可以准确地给出机器人末端点的位姿，为机器人的主从控制提供分析的手段和方法。另一方面运用逆雅克比方法，利用微小时间段内的位移代替瞬时速度，这种方法进行逆运动学求解能得到惟一解，计算简单，同时可以提高主从响应速度。所产生的误差也可以通过误差反馈环节来消除，即将逆运动学求解得到的关节角度进行正运动学计算，得到从臂末端点在基坐标中的实际位置，将此实际位置与从臂末端点在基坐标中的目标位置做差，得到逆雅克比法主从控制的误差，然后将这个误差补偿到下一次从臂末端点相对于基坐标系位置增量中，即本次主从控制产生的误差将在下一次计算中得到消除。这种基于逆雅克比法的主从实时控制算法不仅提高了主从响应的速度，同时误差反馈环节也保证了主从跟随的精度，可以满足该喷涂机器人示教装置控制方案所需要求。

具体的运动学分析如下：

1、正运动学：

按照d—h方法对喷涂机器人进行分析，得到喷涂机器人正运动学表达式为：

其中：t和a为齐次变换矩阵；

表示末端点的位置矢量；分别为相互垂直的单位向量。

2、逆运动学：

喷涂机器人机械从臂的运动方程表示为：

x＝x(q)

其中：q为关节角度；

x为从臂末端在笛卡尔空间的坐标。

笛卡尔空间速度与关节空间速度映射为：

其中：为末端在操作空间的广义速度；

为关节速度；

j(q)为雅可比矩阵。

笛卡尔空间的位置坐标δx和关节空间的角度增量δq之间的关系为：

其中：e为高阶误差，可以忽略高阶误差。

根据上述δx的公式可得喷涂机器人逆运动学求解公式为：δq＝j^-1(q)δx

根据上式可以计算出工具坐标系发生差分变化所需要机械臂关节的差分变化。

根据上述δx的公式也可得误差的表达式为：

如图9所示，本发明还提供了一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法，包括以下步骤：

步骤1：开启示教系统，进行系统初始化，将光学动作捕捉相机摆放到初始位置；

步骤2：检测系统以及各个设备之间的通讯状态是否正常；

步骤3：在操作人员手臂上的特定区域粘贴表面肌电电极，在操作人员手臂的关节处粘贴marker标识点，并检测信号传输是否正常；

步骤4：将喷涂机器人虚拟模型、喷涂机器人以及操作人员的手臂调整成位置相对应的初始姿态；

步骤5：操作人员根据待喷涂件的喷涂轨迹需要，开始手臂运动进行主动示教；

步骤6：表面肌电电极将采集到的肌电信号通过八通道无线肌电仪传递给计算机；

步骤7：步骤6的同时，光学动作捕捉相机对marker标识点进行追踪与检测，并将捕捉到的动作捕捉信号传递给计算机；

步骤8：计算机对采集到的肌电信号和动作捕捉信号进行处理，形成基于肌电信号的轨迹模式一及基于动作捕捉信号的轨迹模式二，并在喷涂机器人虚拟模型上生成轨迹模式一及轨迹模式二的示教轨迹；

步骤9：经过多次示教后，计算机内通过机器学习将步骤8中两种轨迹模式下的多条示教轨迹融合为一条最优运动轨迹，并将此最优运动轨迹保存；

步骤10：将最优运动轨迹加载到喷涂机器人的控制系统，并在现实场景中验证该最优运动轨迹是否符合现实喷涂要求；

步骤11：如最优运动轨迹满足现实喷涂效果，则保存此条最优轨迹，并用于大批量的喷涂任务；否则返回步骤4重新示教，直至得到一条满足现实喷涂要求的最优运动轨迹；

步骤12：完成示教，摘除操作人员的表面肌电电极与marker标识点，关闭示教系统。

进一步的，步骤3中，所述的表面肌电电极共设置八块，分别粘贴于操作人员手臂的二头肌、三头肌、前三角肌、后三角肌、尺侧腕屈肌、尺侧腕伸肌、桡侧腕屈机及桡侧腕伸肌处。

进一步的，步骤3中，所述的marker标识点共设置四处，分别粘贴在操作人员手臂的肩关节、肘关节、腕关节以及手指的任意一个指尖上。

进一步的，步骤3中，所述的marker标识点为表面覆盖有反光材质的反光球或标记物。

进一步的，步骤3中，表面肌电电极及marker标识点可采集操作人员手臂的七个转动自由度，具体为肩关节的俯仰角、肩关节的偏航角、上臂绕其自身轴线的横滚角、肘关节的俯仰角、小臂绕其轴线的横滚角、腕关节的俯仰角和腕关节的偏航角。

进一步的，步骤5中，所述的喷涂轨迹是指根据待喷涂件的类型形状所构思出的喷涂机器人所需要喷涂的轨迹。

进一步的，步骤1中，光学动作捕捉相机为optitrack一体式三目运动捕捉摄像机。

本发明的有益效果在于：1)本发明手臂运动的位姿与喷涂机器人的位姿一一对应，示教方式更简单，操作人员只需要有相关喷涂工艺知识，不用具备示教编程等专业知识，具有更高的示教效率；2)本发明的示教为主动示教，操作者只需很小的力就可完成示教过程；3)本发明的最优运动轨迹由两种采集模式下多条示教的轨迹融合优化得来，可以将示教过程的人为误差过滤；4)本发明的操作人员不处于现实喷涂空间，有毒气体不会伤害操作人员的健康。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。