一种人机协作机器人系统的制作方法

本发明属于计算机视觉与工业机器人的交叉领域，具体地，本发明涉及一种人机协作机器人系统。

背景技术：

机器人工业自动化在大规模制造中取得了显着的成功，因为它在诸如焊接，切割，冲压，喷漆，重材料处理，精密材料加工等任务中具有显着的优势。机器人自动化在大规模制造中的成功已导致将机器人自动化的使用扩展到中小型制造企业(“中小型企业”)的长期愿望。然而，与大规模制造相比，中小型企业的生产方法通常特征在于小批量、定制化、短周期，没有太多的资金对生产线进行大规模改造，并且对产品的投资回报率更为敏感。这要求机器人具有较低的综合成本、快速部署、简单上手的使用方法，而这些，传统机器人很难满足。

此外，在某些机器人应用的新兴行业中，即使是大企业也面临与中小企业同样的问题，3c产业是这个方面的典型代表。3c市场中如手机、平板、可穿戴设备等主流产品的更新换代速度非常快，基本上生命周期只有1～2年，短的甚至只有几个月。如果采用传统机器人方案，建设相应的生产线需要投入大量资源、大量时间，并且有可能连成本都没收回来，所生产的产品就该从市场退出了。而如果对生产线再进行改造，又要投入巨大的资源，这是企业不能接受的。除了资金投入，3c行业很多时候更关心时间，常见机器人自动化改造方案耗时1个月到数个月不等，但3c产品无法在每一次换代都等待这么久。

这些新兴行业中的特点是产品种类很多、体积普遍不大、对操作人员的灵活度/柔性要求高。现有的机器人很难在成本可控的情况下给出性能满意的解决方案，因此需要提供灵活、有效的人机交互协作系统。由人类负责对柔性，触觉，灵活性要求比较高的工序，机器人则利用其快速、准确的特点来负责重复性的工作。

技术实现要素：

为了解决以上现有技术中存在的问题，本发明提供了一种人机协作机器人系统，涉及监视机器人操作者注视模式，预测操作者任务意图，并根据预测的操作者意图主动控制机器人执行任务，作为使用直接、明确的操作者输入的反应控制方法的替代。对于机器人，这个方法使他们主动推断操作者的需求以及在正确的时间自动采取相应的动作，以实现更无缝协作。

一种人机协作机器人系统，包括：通过通信链路连接的凝视跟踪组件、目标识别定位组件、意图预测组件和预期运动规划组件，其中：

所述凝视跟踪组件捕获跟踪眼睛的凝视数据；

所述目标识别定位组件分析凝视数据，确定机器人操作者所注视的区域，并对所述机器人操作者所关注区域内的目标进行检测和识别；

所述意图预测组件推断机器人操作者意图并且提供置信度；

所述预期运动规划组件基于所述意图预测组件提供的置信度对机器人进行运动规划，完成协作任务。

进一步的，所述凝视跟踪组件包括眼动仪，用于执行双目瞳孔跟踪、三维重建环境和与其它组件进行交互通信，机器人操作者的凝视位置以红点体现在所述三维重建环境和中，通过雅可比矩阵方法和预定义的aruco标记实现三维重建环境和物理任务空间中的位置与环境项目之间的映射关联。

进一步的，所述目标识别定位组件包括视觉行为分类器、注意力提取部分和目标识别部分。

进一步的，所述视觉行为分类器区分意图注视行为和无意识注视行为。

进一步的，所述注意力提取部分从所述意图注视行为的凝视数据提取注意力信息，通过反向最小生成树将关注范围内的目标点聚类，使用自适应滑动窗口过滤器过滤原始凝视点，以消除叠加的扫视和非有意的眼睛运动的影响，用圆形将注意力群集等效表示出来，凝视目标完全或部分地在圆形区域中，且具有最大值的凝视点的群集作为机器人操作者所注视的区域。

进一步的，所述目标识别部分将所述机器人操作者所注视的区域与场景图像重叠，并且通过深度学习网络算法识别机器人操作者的有意注视目标。

进一步的，所述意图预测组件包括分别由语义知识和行为知识构成的两个意图知识库，均通过朴素贝叶斯图形概率模型建立；通过朴素贝叶斯分类器，基于所述目标识别定位组件发送来的有意注视目标，计算每个可能意图的条件概率，将最大概率作为置信度发送给所述预期运动规划组件。

进一步的，所述预期运动规划组件通过将所述置信度与阈值进行比较，通过进行主动规划和执行朝向预测目标的运动；所述预期运动规划组件包括由候选运动规划任务构成的规划库。

进一步的，当置信度高于0.36时，所述预期运动规划组件规划朝预测目标方向的运动；当置信度高于0.43时，机器人执行规划运动。

进一步的，所述预期运动规划组件包括运动规划线程和执行运动规划的执行线程，其中，运动规划线程将运动请求放入计划队列中，执行线程定期检查计划队列并执行。

本发明的优点在于机器人系统可以监测其用户的注视，根据观察到的注视模式预测他或她的任务意图，并根据其预测值即置信度，并相应地规划自己的行动执行预期任务，实现用户与机器人的无缝和高效的团队合作。

附图说明

图1为本发明中的人机协作机器人系统的连接关系图。

图2为本发明的人机协作机器人系统的硬件结构示意图。

图3为本发明的人机协作机器人系统的控制方法流程框图。

图4为本发明的人机协作机器人系统的支持向量机分类过程。

图5为本发明的人机协作机器人系统的用于表示对象意图知识数据库的朴素贝叶斯模型。

具体实施方式

下面结合实施例及其附图详细叙述本发明。实施例是以本发明所述技术方案为前提进行的具体实施，给出了详细的实施方式，但本申请的权利要求保护范围不限于下属实施例的描述。

下面将结合附图对本发明做进一步的详细说明。

图1提供了本发明的实施方式的用于执行协作任务的人机协作机器人系统的示意图。该人机协作机器人系统包括：眼动仪101负责凝视跟踪；目标识别定位组件102，其适于与所述凝视跟踪组件101通信；意图预测组件106，其适于与所述目标识别定位组件102通信；以及预期运动规划组件107，其适于与所述意图预测组件106通信；其中，所述凝视跟踪组件101确定用户所注视的区域；然后，所述目标识别定位组件102对所述用户所关注区域内的目标进行检测和识别；最后，所述预期运动规划组件107基于所述意图预测组件106提供的意图预测值对机器人进行运动规划，完成协作任务中的一部分。

图2提供了本发明所涉及机器人系统硬件结构图。实验所采用的控制系统由smi公司的眼睛式眼动仪202和一台笔记本电脑203搭建而成。该眼动仪202以30hz的采样速率和0.5°的凝视位置精度执行双目瞳孔跟踪。眼镜都包含一个前向高清(hd)摄像头，用于以24fps录制音频和视频。操作者201通过佩戴眼动仪202查看三维重建环境可以与本地物理布置交互。为了使眼睛跟踪功能正常，需要对眼动仪执行5点校准。在该过程之后，当操作者待着眼动仪朝任何方向上观看时，表示他或她的注视的红点将出现在环境中。该信息是以3d获取的，用于不同的交互。为了提供直接反馈，眼镜里的场景中的目标工件的颜色随着用户观看它们而改变。该眼动仪收集到数据之后，通过千兆网卡传输到电脑里进行注意力的提取、目标工件的识别，操作者意图的推测；然后根据得到的置信度，确定了目标工件，使用雅可比矩阵方法执行投影变换以将相机视图空间中的凝视位置映射到物理任务空间中的位置，最后使用相关机器人控制平台来控制机器人204抓取操作者想要的工件205并把他们放置在期望的位置上。

图3本发明涉及机器人系统控制方法流程框图。人机协作场景中，在用户开始表达意图之前，将按下按钮通知系统。眼动仪开始捕获追踪操作者的凝视，系统也开始分析眼睛注视数据，判断用户是否是有意凝视，还是无意凝视。在判断操作者是有意凝视后，提取视觉注意力，进行目标工件的检测。提取到注视的目标工件，系统开始从它们推测出用户的意图，得到预测值即置信度。然后根据当前的置信度与给定的阈值进行比较，判断预测是否准确，最后作出相应的运动规划。

机器人操作者201佩戴的一对眼睛跟踪眼镜101捕获凝视位置。该眼动仪101以30hz的采样率和0.5°的凝视位置精度进行双目瞳孔跟踪。眼镜都包含一个前向高清(hd)摄像头，用于以24fps录制音频和视频。然后，它使用雅可比矩阵方法执行投影变换以将相机视图空间中的凝视位置映射到物理任务空间中的位置。这些点随后用于推断与什么目标工件被注视。相机视图空间和物理之间的映射通过定位一组预定义的aruco标记来实现空间和物理空间中的位置与环境项目之间的关联。

目标识别定位组件102：当人的眼睛聚焦在物体上时，视觉注意可以表现为该对象上的凝视点簇。为了检测视觉注意力，设计基于视觉行为的分类器，区分来自自然视觉行为的视觉注意力的特定眼睛注视模式。这个具体眼睛注视模式被命名为“意图注视”，这意味着机器人操作者正在看着具有操纵意图的视觉目标，而其余的被称为“无意识注视”(例如，搜索、探索或看着没有操纵意图的对象)。与常见的长时间注视方式和故意眨眼相比，使用自然视觉行为的注意力检测不需要操作者学习和记住特殊指令或执行人为动作，因此减少了操作者所做的刻意努力。在检测到每个注意力之后，使用反向最小生成树(mst)方法将目标工件上的凝视点聚类，并且计算等效圆以表示注视点的聚类。最后，从操作者注意力区域(由等效圆表示)与场景图像的重叠，可以检测和识别出目标工件。

注意力提取103：机器人操作者的注意力可以从分析他/她的凝视中提取。凝视是操作者从他/她的眼睛运动中观察一个瞬时时间点的地方的估计。用于检测意图注视的视觉行为的分类器是基于支持向量机(svm)分类器，并且分类过程在图4中示出。该分类器使用从自然可视化提取的眼睛注视特征，其不强迫操作者表现任何不自然的视觉行为，例如长时间的注视或有意的眨眼。用于该分类器的特征包括凝视停留时间，瞳孔大小及梯度变化，凝视速度和凝视次数。这些特征是基于实验观察选择的。分类器在其可以区分有意注视和无意识注视之前被训练。在使用期间，所提取的眼睛注视特征被输入到分类器中，并且输出是其对操作者所处的可视化状态的最佳猜测。仅当检测到有意注视时才检测到视觉注意。

在检测到视觉注意力之后，使用反向最新生成树(mst)方法来聚集凝视点。mst使用从一个凝视点到一个聚类的所有其他点的最小空间距离作为判断注视点是否属于聚类的标准。聚类过程从凝视点开始反向完成，在该凝视点处检测到有意的凝视。使用自适应滑动窗口过滤器过滤原始凝视点，以消除叠加的扫视和非有意的眼睛运动(例如滚动，眼球震颤，漂移或微倾斜)的影响。而在大多数现有应用中，视觉注意被认为是单个点，没有尺寸。而本发明计算可以覆盖群集中的注视点的圆来表示该群集，使用圆来表示虚拟注意力的主要优点是它可以减少心理负担因为它不需要操作者有意地将他/她的注视集中在一个单个点上，使得操作者可以自然地感知外部信息。其次，由于环境中的所有对象具有尺寸，圆形区域更适合于指示对象。理想地，凝视目标应完全或部分地在圆形区域中，且具有最大值的凝视点的群集将被认为是注意力位置。

目标识别102：通过将注视圈与场景图像重叠，可以检测并识别用户有意注视的对象。由于深度学习算法的通用性很强，对于目标工件检测识别，在传统算法里面，针对不同的物体需要定制化不同的算法。而基于深度学习的算法更加通用，比如fasterrcnn在人脸、行人、一般物体检测任务上都可以取得非常好的效果。同时深度学习获得的特征(feature)有很强的迁移能力。所谓特征迁移能力，指的是在a任务上学习到一些特征，在b任务上使用也可以获得非常好的效果。例如在imagenet(物体为主)上学习到的特征在场景分类任务上也能取得非常好的效果。因此本发明采用深度学习网络算法来识别不同类型的工件。

意图知识库105：从用户特别注意的对象，可以推断出与内部意图有关的许多信息，因为人的意图的完成明显地取决于基本对象。这是一种非常自然的行为，当人/她有一个意图时，人首先看相关对象。这样，通过监视用户观看的对象，可以推断他/她的意图。以拿取螺丝刀为例，如果机器人操作者看着螺丝刀，我们可以直接得出结论，用户想用这个工具。为了执行意图推断，需要创建一个推理机并且提供意图知识。用于分类的先进机器学习算法可以用于创建引擎。向推理机提供现有知识的过程称为推理机的训练。之后，推理机准备推断人的意图。对象注视的对象将被发送到推理引擎，并且结果将是系统对用户意图的最佳猜测。本发明为了能够从操作者有意地注视的对象识别人类意图，系统需要关于目标对象和意图之间的相关性的知识。这种知识是目标对象如何与某种类型的意图或如何用目标对象实现某种类型的意图相关的表示。该知识被建模为朴素贝叶斯图形概率模型，如图5所示。对象(oj，j＝1～m，其中m是目标工件的数量)与具有不同相关强度(pj|i，oj与ii之间的相关强度)的各种类型的人类意图(ii，i＝1～n，其中n是可能的意图类型的总数)相连，pj|i其表示当ii发生时oj出现的可能性。在朴素贝叶斯模型演示中(见图5)，用短连接显示强相关，而用较长连接显示弱相关。没有连接意味着无关。相关性的强度pj|i由使用(1)这种相关的出现确定，其中ai,j是ii与oj之间的相关性的表征，ai是ii的表征。

图5用于表示对象意图知识数据库的朴素贝叶斯模型，其中，oj是第j个对象，ii是第i个意图。每个链接指示对象对一种类型的意图的条件表征概率(pj|i)。较长的链接意味着较低的概率，反之亦然。

分别使用调查和实验观察来建立两个意图知识库。在调查中，向每位操作者提供一系列对象和一系列各种类型的意图，并且操作者选择目标对象的子集以完成一种类型的意图。由调查构建的知识被称为语义知识vs，其表示工件如何在逻辑上/字面上与一种意图类型相关。实验观察方法用于实验观察操作者如何通过注视目标工件来表达某种意图，并且其建立行为知识vb。在这两种方法中，实验者自由选择任何数量的对象。报告的意图和对应的目标对象在意图-对象对中被格式化为：{ii：o1，o2，o3，...，oj}，表示一个意图实例ii已经与对象o1，o2和o3等发生联系。

知识库vb和vs是某种类型的意图如何与对象相关的两个表达形式。这两个表达形式vb和vs在使用阶段用如(2)-(4)所示的不同融合策略进行融合。在线性求和融合策略(2)中，α是融合系数，从0到1变化。在(3)和(4)中，最终条件概率分别取最大值或最小值，

v＝αvb+(1-α)vs(2)

v＝min(vb,vs)(3)

v＝max(vb,vs)(4)

意图预测组件106：在使用阶段，使用来自可视化目标的朴素贝叶斯分类器来推断人类意图。使用可视化对象，可以计算每个可能的意图的条件概率，并且具有最大概率的那个被认为是最可能的意图，最大概率也称为置信度。分类器以公式(5)表示，其中{1，...，k}是在用户已注视的目标对象。

预期运动规划组件107：使用相关机器人控制平台，预期运动计划器利用意图预测组件提供的预测值即置信度，进行主动规划和执行朝向预测目标工件的运动。如果预测的置信度高于planthreshold，其值为0.36，则运动计划器规划朝预测工件方向的运动。如果置信度高于execthreshold，其值为0.43，则它仅根据其当前置信度执行规划运动的一部分(请参阅下面对splitplan方法的描述)。从我们大量的实验可以得知，这些阈值表明，如果预测的置信度高于0.36，预测可能是正确的，如果它超过0.43，预测是正确的。

不是直接使用意图预测组件当前的预测值和置信度分别表示为currpred和currprob，而是预期运动计划器保持包括当前预测及15个最新预测的历史。注视跟踪组件提供大约30hz的读数，因此预测历史的长度选择为大约500毫秒。然后使用预测历史来计算加权预测值p′i，其使用在等式6中定义的指数衰减函数对过去的预测进行衰减。

p′i＝pi×(1-decayrate)ⁱ(6)

在该函数中，pi表示第i个预测的概率。设置为0.25的decayrate表示预测权重衰减的速率，并且所得到的预测(weightedpred，即p′i)是预测历史上的权重最高的预测值。

预期运动规划器维护着一个存储一系列候选运动规划任务的规划库，当机器人预测出用户请求时，就从所述规划库中选择相应的运动。变量currmotiontarget表示与最近规划相关联的运动目标。makeplan函数使用rrt-connect算法创建朝向weightedpred项目的运动计划。splitplan函数采取一个运动计划，并根据预测的置信度weightedprob，按比例将其分割成两个连续的子计划。更高的置信度值使机器人越来越接近预测的目标。

预测运动规划组件的实现包括两个线程：实现算法1的规划线程，执行运动规划的执行线程。计划线程使用requestexec函数将运动请求放入计划队列中。执行线程定期检查计划队列并执行它们。

可以理解的是，以上是为了阐述本发明的原理和可实施性的示例，本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。