人机协作机器人抓取系统及其工作方法与流程

本发明涉及机器人技术领域，尤其涉及一种人机协作机器人抓取系统及其工作方法。

背景技术：

在工业生产和日常生活中，机器人越来越多的代替人类执行各种操作任务，例如焊接、切割、冲压、喷漆、材料处理、精密材料加工，机器人在上述任务中具有显着的优势。在机器人抓取作业时，目标物体的位姿经常发生变化，机器人需要根据物体的位姿信息调整自身的运动实现抓取的适应性。

在某些机器人应用的新兴行业中，例如手机、平板、可穿戴设备等主流产品的更新换代速度非常快，短的只有几个月。传统的机器人方案大量时间资源要被投入到生产线上，这不符合现在的生产模式，这些新兴行业中的特点是产品种类很多、体积普遍不大。人类负责对柔性、触觉、灵活性要求比较高的工序，机器人则利用其快速、准确的特点负责重复性的工作。

目前更多的研究都放在与视觉的结合上进行抓取，但是为了得到相机中的观测变量到机器人的关节坐标，需要对视觉系统进行标定，传统的视觉标定方法对操作者的专业性要求较高，而且需要浪费大量的时间才能完成。

技术实现要素：

为解决现有技术存在的局限和缺陷，本发明提供一种人机协作机器人抓取系统，包括数据获取部分、数据处理部分、工业机器人部分，所述数据获取部分包括佩戴式惯性传感器模块、相机定距模块，所述数据处理部分包括高斯模型em算法训练模块、高斯模型处理模块，所述工业机器人部分包括适应性机器人关节坐标提取模块；

所述佩戴式惯性传感器模块设置在操作者的手上，用于提取所述操作者抓取物体的姿态变量；

所述相机定距模块提取物体边缘点坐标，获取坐标的平均值作为目标物体中心点的坐标(x，y)；

所述高斯模型em算法训练模块使用示教数据估算高斯模型的参数，形成物体观测变量与机器人关节变量之间的映射关系；

所述高斯模型处理模块对所述机器人关节变量与所述物体观测变量进行关联，通过预先训练得到的映射关系，根据新的物体观测变量预测对应的机器人关节变量；

所述适应性机器人关节坐标提取模块提取所述高斯模型处理模块获得的机器人关节变量。

可选的，所述佩戴式惯性传感器模块包括传感器节点和汇聚控制节点，所述传感器节点设置在掌心处，所述汇聚控制节点设置在手背处；

所述传感器节点用于采集操作者手掌在抓取物体过程中的姿态信息；

所述汇聚控制节点用于收集所述传感器节点的数据，通过无线传输方式将收集的数据发送给数据处理部分。

可选的，所述传感器节点为三轴陀螺仪，用于获取手掌的三轴旋转角速度(gx，gy，gz)；

所述三轴陀螺仪还用于根据三轴旋转角速度和采样时间进行积分运算，获得传感器节点的姿态信息，通过欧拉角的形式对所述姿态信息进行表示。

可选的，所述工业机器人部分还包括机器人本体和底层控制器，

所述适应性机器人关节坐标提取模块将机器人关节变量发送给所述机器人本体和底层控制器，所述底层控制器控制所述机器人本体完成物体的抓取动作。

本发明还提供一种人机协作机器人抓取系统的工作方法，所述人机协作机器人抓取系统包括数据获取部分、数据处理部分、工业机器人部分，所述数据获取部分包括佩戴式惯性传感器模块、相机定距模块，所述数据处理部分包括高斯模型em算法训练模块、高斯模型处理模块，所述工业机器人部分包括适应性机器人关节坐标提取模块；

所述人机协作机器人抓取系统的工作方法包括：

所述佩戴式惯性传感器模块提取所述操作者抓取物体的姿态变量；

所述相机定距模块提取物体边缘点坐标，获取坐标的平均值作为目标物体中心点的坐标(x，y)；

所述高斯模型em算法训练模块使用示教数据估算高斯模型的参数，形成物体观测变量与机器人关节变量之间的映射关系；

所述高斯模型处理模块对所述机器人关节变量与所述物体观测变量进行关联，通过预先训练得到的映射关系，根据新的物体观测变量预测对应的机器人关节变量；

所述适应性机器人关节坐标提取模块提取所述高斯模型处理模块获得的机器人关节变量。

可选的，所述高斯模型处理模块对所述机器人关节变量与所述物体观测变量进行关联，通过预先训练得到的映射关系，根据新的物体观测变量预测对应的机器人关节变量的步骤包括：

在高斯混合模型的概率分布下，样本x°的出现概率为：

其中，m代表高斯分布的总个数，p(k)-α(k)代表样本x^o来源于第k个高斯分布的概率，p(x^o|k)＝n(x^o；μk；∑k)代表第k个高斯分布生成样本x^o的概率，μk和∑k分别代表第k个高斯分布的均值向量和协方差矩阵；

新的观测变量o^new来自第k个高斯分布的后验概率为：

p(k|o^new)∝p(k)p(o^new|k)

k^*＝argmaxp(k|o^new)

将第k个高斯分布的均值向量μk和协方差矩阵∑k进行分块：

其中，μr为训练样本集之中由机器人关节坐标构成的关节变量的均值，μo为训练样本集之中由物体的中心点坐标和传感器的姿态信息构成的观测变量的均值，krr为关节变量的协方差，koo为观测变量的协方差，kor为观测变量与关节变量的协方差，kro为关节变量与观测变量的协方差，

机器人获得物体的新的观测变量o^new与机器人的关节角度r^new相适应的条件概率分布为：

其中，为与新的观测变量相适应的关节角度分布的均值，为高斯分布的协方差矩阵。

可选的，所述佩戴式惯性传感器模块包括传感器节点和汇聚控制节点，所述传感器节点设置在掌心处，所述汇聚控制节点设置在手背处；

所述佩戴式惯性传感器模块提取所述操作者抓取物体的姿态变量的步骤包括：

所述传感器节点采集操作者手掌在抓取物体过程中的姿态信息；

所述汇聚控制节点收集所述传感器节点的数据，通过无线传输方式将收集的数据发送给数据处理部分。

本发明具有下述有益效果：

本发明提供的人机协作机器人抓取系统及其工作方法之中，所述人机协作机器人抓取系统包括佩戴式惯性传感器模块、相机定距模块、高斯模型em算法训练模块、高斯模型处理模块、适应性机器人关节坐标提取模块，佩戴式惯性传感器模块提取操作者抓取物体的姿态变量，相机定距模块提取物体边缘点坐标，获取坐标的平均值作为目标物体中心点的坐标(x，y)，高斯模型em算法训练模块使用示教数据估算高斯模型的参数，形成物体观测变量与机器人关节变量之间的映射关系，高斯模型处理模块对机器人关节变量与物体观测变量进行关联，通过预先训练得到的映射关系，根据新的物体观测变量预测对应的机器人关节变量，适应性机器人关节坐标提取模块提取高斯模型处理模块获得的机器人关节变量。本发明提供的人机协作机器人抓取系统在人机协作的应用场景中，无须进行机器人视觉系统的标定以及运动学求逆，降低了操作人员的专业技能要求。另外，本发明提供的人机协作机器人抓取系统无须大量的样本即可实现映射，使得机器人轨迹平滑柔顺。

附图说明

图1为本发明实施例一提供的人机协作机器人抓取系统的结构示意图。

图2为本发明实施例一提供的人机协作机器人抓取系统的流程图。

图3为本发明实施例一提供的人机协作机器人抓取系统获得物体中心点的像素坐标示意图。

图4为本发明实施例一提供的人机协作机器人抓取系统根据物体观测变量预测对应的机器人关节变量。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的人机协作机器人抓取系统及其工作方法进行详细描述。

实施例一

图1为本发明实施例一提供的人机协作机器人抓取系统的结构示意图。如图1所示，本实施例提供的人机协作机器人抓取系统包括佩戴式惯性传感器模块、相机定距模块、高斯模型em算法训练模块、高斯模型处理模块、适应性机器人关节坐标提取模块，佩戴式惯性传感器模块提取操作者抓取物体的姿态变量，相机定距模块提取物体边缘点坐标，获取坐标的平均值作为目标物体中心点的坐标(x，y)，高斯模型em算法训练模块使用示教数据估算高斯模型的参数，形成物体观测变量与机器人关节变量之间的映射关系，高斯模型处理模块对机器人关节变量与物体观测变量进行关联，通过预先训练得到的映射关系，根据新的物体观测变量预测对应的机器人关节变量，适应性机器人关节坐标提取模块提取高斯模型处理模块获得的机器人关节变量。本实施例提供的人机协作机器人抓取系统在人机协作的应用场景中，无须进行机器人视觉系统的标定以及运动学求逆，降低了操作人员的专业技能要求。另外，本实施例提供的人机协作机器人抓取系统无须大量的样本即可实现映射，使得机器人轨迹平滑柔顺。

图2为本发明实施例一提供的人机协作机器人抓取系统的流程图。如图2所示，所述人机协作机器人抓取系统包括佩戴式惯性传感器模块、相机定距模块、高斯模型处理模块、适应性机器人关节坐标提取模块，主要分为数据获取部分、数据处理部分以及工业机器人部分。数据获取部分包括佩戴式惯性传感器模块和相机定距模块，数据处理部分包括数据接收、高斯过程处理、示教数据样本，工业机器人包括机器人关节提取模块和工业机器人本体及其底层控制器。

本实施例提供的佩戴式惯性传感器模块包括1个传感器节点和1个汇聚控制节点。传感器节点用于采集操作者手掌在抓取物块过程中的姿态信息。传感器节点主要是三轴陀螺仪，用于采集手掌的三轴旋转角速度(gx，gy，gz)。汇聚控制节点用于汇聚传感器节点的数据，对上述的数据进行处理，通过无线传输方式将其发送给数据处理部分。

所述传感器节点设置在手掌掌心处，每个传感器节点由1个三轴陀螺仪组成。三轴陀螺仪用于采集各个关节处的三轴旋转角速度(gx，gy，gz)。汇聚控制节点分布设置在手背上，用于汇集角速度数据。陀螺仪传感器分别测量载体沿x、y和z坐标系方向的角速度，再结合采样时间进行积分，算出传感器的姿态信息，并使用欧拉角的形式进行表示，最后将数据打包通过无线传输给数据处理部分。

图3为本发明实施例一提供的人机协作机器人抓取系统获得物体中心点的像素坐标示意图。如图3所示，工作区域是工作台中央400mm×350mm的矩形区域。本实施例使用像素(pixel)表示，一个像素代表实际距离约为0.4mm，其中x像素坐标从200到1200，y像素坐标从200到1075。抓取的物块是一个黄色小立方块，本实施例通过对色块边缘点的坐标进行平均运算获取平均值，可以获得物体中心点的像素坐标x和y。

本实施例提供的数据处理部分包括数据接收部分、高斯模型em算法训练模块和高斯模型处理模块。数据接收部分负责接收相机定距与传感器发送的数据，再将其传递给高斯处理模块。示教数据是通过人将物块放置在工作区域内，通过拖动机器人使其到达抓取位置，记录此时抓手位姿以及机器人各个关节的值。

本实施例随机执行20次取得的数据作为样本集合。采用高斯混合模型的em算法对样本进行训练，同时将样本归类，每类样本对应着不同的工作区域。本实施例构建物体的观测变量与机器人关节变量之间的映射。在初始化模型参数之后，通过e-step和m-step的迭代，不断更新模型的参数，直到收敛。本实施例提供的人机协作机器人抓取系统在人机协作的应用场景中，无须进行机器人视觉系统的标定以及运动学求逆，降低了操作人员的专业技能要求。另外，本实施例提供的人机协作机器人抓取系统无须大量的样本即可实现映射，使得机器人轨迹平滑柔顺。

e-step：计算第i个样本(xi)来自第k个高斯分布的权重rik。

m-step：更新每个聚类的参数。

本实施例在用em算法训练模型的过程中，将训练样本归为m类，每一类样本服从一个高斯分布，对应工作空间的一个区域。假设各类样本分别服从以μ1μ2…μm为均值，以∑1∑2，…∑m为协方差矩阵的多个高斯分布：

其中，hk(k＝1，2…，m)代表服从第k个高斯分布的训练样本，是训练样本集x的一个子集。

其中，代表隶属于第k个高斯分布的第i个样本，nk代表第k个高斯分布(对应第k个小区域)的样本数量。

本实施例中，机器人执行任务时需要调整自己去适应物体的位姿：f：o→r

其中，o为物体的观测变量，以下oi与之相同；r为与观测变量对应的机器人关节变量，以下ri与之相同；f为从观测变量到关节变量的映射。

本实施例中，假设x＝{x1,x2,…,xn}为通过示教获得的训练样本集，其中xi＝[ri，oi]^t为关节变量与观测变量组成的单个训练样本(向量)。机器人工作时，首先从训练样本集x中学习，获得映射函数f，当得到新的观测变量o^new时，通过映射函数f获得与之对应的关节变量r^new。

图4为本发明实施例一提供的人机协作机器人抓取系统根据物体观测变量预测对应的机器人关节变量。如图4所示，选择合适的模型描述映射函数f，对机器人适应性抓取的学习非常重要。本实施例采用高斯混合模型进行建模，构建物体的观测变量与机器人关节变量之间的映射。本实施例采用em算法训练模型，将训练样本划分为几类，每一类样本服从一个高斯分布，对应一个区域。高斯混合模型是多个高斯分布的线性叠加。本实施例采用高斯混合模型建模，使用多个高斯过程描述训练样本的概率分布。在高斯混合模型的概率分布下，样本x°的出现概率为：

其中，m代表高斯分布的总个数，p(k)-α(k)代表样本x^o来源于第k个高斯分布的概率，p(x^o|k)＝n(x^o；μk；∑k)代表第k个高斯分布生成样本x^o的概率，μk和∑k分别代表第k个高斯分布的均值向量和协方差矩阵。

本实施例使用em算法进行模型训练，学习模型的参数。在用em算法学习模型参数的过程中，对训练样本进行聚类，将样本集划分为m个子集，每个样本子集服从一个高斯分布，对应工作空间内的一个区域。

机器人工作时，通过传感器和相机获取物体的观测变量o^new，计算该观测变量来自各个高斯分布的后验概率p(k|o^new)，选取最大后验概率对应的高斯过程回归求得机器人关节坐标，驱动机器人实现对物体的适应性抓取。

新的观测变量o^new来自第k个高斯分布的后验概率为：

假设第k个高斯分布对应的后验概率最大，则选取第k个高斯分布对应的高斯过程回归预测机器人关节角度。将第k个高斯分布的均值向量μk和协方差矩阵∑k进行分块：

其中，μr为训练样本集之中由机器人关节坐标构成的关节变量的均值，μo为训练样本集之中由物体的中心点坐标和传感器的姿态信息构成的观测变量的均值，krr为关节变量的协方差，koo为观测变量的协方差，kor为观测变量与关节变量的协方差，kro为关节变量与观测变量的协方差，而且

机器人获得物体的新的观测变量o^new与机器人的关节角度r^new相适应的条件概率分布为：

其中，为与新的观测变量相适应的关节角度分布的均值，对应于高斯分布的最大概率密度；为高斯分布的协方差矩阵，代表着预测结果的不确定性。通过驱动机器人各关节到达能够使机器人以最大的可能性完成抓取操作。

在不需要进行视觉系统标定和运动学求逆的情况下，高斯混合模型直接对多个区域内的关节变量和观测变量进行了关联，使机器人能够根据新的观测变量预测与之相适应的关节变量。

本实施例提供的工业机器人部分包括关节提取模块、机器人本体和底层控制器，关节提取模块将高斯处理后的关节坐标提取出来发送给机器人本体和控制器，机器人就可以顺利完成物块的抓取。

本实施例提供的人机协作机器人抓取系统包括佩戴式惯性传感器模块、相机定距模块、高斯模型em算法训练模块、高斯模型处理模块、适应性机器人关节坐标提取模块，佩戴式惯性传感器模块提取操作者抓取物体的姿态变量，相机定距模块提取物体边缘点坐标，获取坐标的平均值作为目标物体中心点的坐标(x，y)，高斯模型em算法训练模块使用示教数据估算高斯模型的参数，形成物体观测变量与机器人关节变量之间的映射关系，高斯模型处理模块对机器人关节变量与物体观测变量进行关联，通过预先训练得到的映射关系，根据新的物体观测变量预测对应的机器人关节变量，适应性机器人关节坐标提取模块提取高斯模型处理模块获得的机器人关节变量。本实施例提供的人机协作机器人抓取系统在人机协作的应用场景中，无须进行机器人视觉系统的标定以及运动学求逆，降低了操作人员的专业技能要求。另外，本实施例提供的人机协作机器人抓取系统无须大量的样本即可实现映射，使得机器人轨迹平滑柔顺。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。