一种基于双目视觉的助理机器人及其控制方法与流程

本发明涉及助理机器人技术领域，尤其是涉及一种基于双目视觉的助理机器人及其控制方法。

背景技术：

助理机器人越来越多的进入到与人合作的各种场合。助理机器人的认知能力决定了其环境友好程度。现有的具有较好环境识别能力的助理机器人，其均采用了高级的环境识别系统，例如采用高速度处理能力的处理器或采用多个视觉传感器等，导致助理机器人的成本较高。

技术实现要素：

本发明主要解决的技术问题是提供一种基于双目视觉的助理机器人及其控制方法，能够在较低成本的情况下完成助理机器人的物体识别和抓取的操作。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于双目视觉的助理机器人，该助理机器人包括：双目视觉传感器，用于获取目标物体的图像信息；视觉处理器，用于对目标物体的图像信息进行处理，以获得目标物体的位置信息；机器人控制器，用于根据目标物体的位置信息规划出运动的路径，并控制助理机器人的末端执行器根据路径进行运动，以获取目标物体。

其中，双目视觉传感器具体为分别对含有目标物体的场景成像，以获取两个场景图像，然后根据两个场景图像分别提取目标物体的两个图像特征，并分别在两个场景图像中进行图像特征的匹配和提纯，以识别出两个场景图像中的目标物体的图像信息；

视觉处理器进一步匹配两个目标物体的图像信息上的特征点，经三角测量获得目标物体的位置信息。

其中，双目视觉传感器进一步用于获取末端执行器的图像信息；

视觉处理器进一步根据末端执行器的图像信息获得末端执行器的位置信息；

机器人控制器进一步根据末端执行器的位置信息与目标物体的位置信息去修改路径。

其中，双目视觉传感器具体为获取含有末端执行器的两幅场景图像，然后经过二值化、边缘提取、轮廓外接矩形检测、椭圆检测、椭圆相似度计算、椭圆重心计算后，获得两幅场景图像中的所述末端执行器的视差，以获得末端执行器的图像信息。

视觉处理器经过三角测量获得末端执行器在双目视觉传感器的坐标系下的位置坐标，经过坐标变换，计算出末端执行器在机器人的坐标系下的位置坐标。

其中，末端执行器为机械手。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于双目视觉的助理机器人控制方法，该控制方法包括以下步骤：

获取目标物体的图像信息；

对目标物体的图像信息进行处理，以获得目标物体的位置信息；

根据目标物体的位置信息规划出运动的路径，并控制助理机器人的末端执行器根据路径进行运动，以获取目标物体。

其中，获取目标物体的图像信息的步骤包括：

分别对含有目标物体的场景成像，以获取两个场景图像，然后根据两个场景图像分别提取目标物体的两个图像特征，并分别在两个场景图像中进行图像特征的匹配和提纯，以识别出两个场景图像中的目标物体的图像信息；

对目标物体的图像信息进行处理，以获得目标物体的位置信息的步骤包括：

匹配两个目标物体的图像信息上的特征点，经三角测量获得目标物体的位置信息。

其中，方法包括：

获取末端执行器的图像信息；

根据末端执行器的图像信息获得末端执行器的位置信息；

根据末端执行器的位置信息与目标物体的位置信息去修改路径。

其中，获取末端执行器的图像信息的步骤包括：

获取含有末端执行器的两幅场景图像，然后经过二值化、边缘提取、轮廓外接矩形检测、椭圆检测、椭圆相似度计算、椭圆重心计算后，获得两幅场景图像中的末端执行器的视差，以获得末端执行器的图像信息；

根据末端执行器的图像信息获得末端执行器的位置信息的步骤包括：

经过三角测量和坐标变换计算出末端执行器在机器人的坐标系下的位置坐标。

其中，末端执行器为机械手。

本发明的有益效果是：区别于现有技术的情况，本发明的基于双目视觉的助理机器人包括双目视觉传感器、视觉处理器以及机器人控制器。其中，双目视觉传感器用于获取目标物体的图像信息，视觉处理器用于对目标物体的图像信息进行处理，以获得目标物体的位置信息，机器人控制器用于根据目标物体的位置信息规划出运动的路径，并控制助理机器人的末端执行器根据路径进行运动，以获取目标物体。因此，本发明只需一个双目视觉传感器作为助理机器人的视觉传感器，即可协助助理机器人完成目标物体识别和抓取操作，成本较低。

附图说明

图1是本发明实施例提供的一种基于双目视觉的助理机器人的结构示意图；

图2是本发明实施例提供的一种基于双目视觉的助理机器人控制方法的流程图；

图3是本发明实施例提供的另一种基于双目视觉的助理机器人控制方法的流程图。

具体实施方式

请参阅图1，图1是本发明实施例提供的一种基于双目视觉的助理机器人。如图1所示，本发明的基于双目视觉的助理机器人10包括双目视觉传感器11、视觉处理器12以及机器人控制器13。其中，双目视觉传感器11与视觉处理器12的通信接口为USB2.0，视觉处理器12与机器人控制器13的通信接口为RJ45接口。

其中，双目视觉传感器11用于获取目标物体的图像信息。具体为分别对含有目标物体的场景成像，以获取两个场景图像，然后根据两个场景图像分别提取目标物体的两个图像特征，并分别在两个场景图像中进行图像特征的匹配和提纯，以识别出两个场景图像中的目标物体的图像信息。其中，特征匹配具体为通过KNN(K Nearest Neighbors，K-近邻分类算法)距离约束、对称性约束以及投影单应约束进行。

视觉处理器12用于对目标物体的图像信息进行处理，以获得目标物体的位置信息。具体为视觉处理器12匹配两个目标物体的图像信息上的特征点，经三角测量获得目标物体的位置信息。具体为获得目标物体在助理机器人10的坐标系下的位置和姿态，以作为助理机器人的末端执行器14的参考输入。

机器人控制器13用于根据目标物体的位置信息规划出运动的路径，并控制助理机器人的末端执行器14根据路径进行运动，以获取目标物体。

因此，本发明只需一个双目视觉传感器11作为助理机器人10的视觉传感器，即可协助助理机器人10完成目标物体识别和抓取操作，成本较低。

进一步的，双目视觉传感器11进一步获取末端执行器14的图像信息。具体为双目视觉传感器11获取含有末端执行器14的两幅场景图像，然后经过二值化、边缘提取、轮廓外接矩形检测、椭圆检测、椭圆相似度计算，椭圆重心计算后，获得两幅场景图像中的末端执行器14的视差，以获得末端执行器14的图像信息。

视觉处理器12进一步根据末端执行器14的图像信息获得末端执行器的位置信息。具体的，经过三角测量获得末端执行器14在双目视觉 传感器11的坐标系下的位置坐标，进一步经过坐标变换，以计算出末端执行器14在机器人的坐标系下的位置坐标，即末端执行器14在机器人的坐标系下的位置和姿态。

机器人控制器13进一步根据末端执行器14的位置信息与目标物体的位置信息去修改路径。

本实施例中，末端执行器14为机械手。在其他实施例中，末端执行器还可以为其他抓取元件。本发明不对末端执行器的具体形态作限制。

本发明实施例还提供了一种基于双目视觉的助理机器人控制方法，该控制方法应用于前文所述的控制系统中，具体请参阅图2，图2是本发明实施例提供的一种基于双目视觉的助理机器人的控制方法的流程图。

如图2所示，本实施例的控制方法包括以下步骤：

步骤S1：获取目标物体的图像信息。

本步骤具体为分别对含有目标物体的场景成像，以获取两个场景图像，然后根据两个场景图像分别提取目标物体的两个图像特征，并分别在两个场景图像中进行图像特征的匹配和提纯，以识别出两个场景图像中的目标物体的图像信息。

步骤S2：对目标物体的图像信息进行处理，以获得目标物体的位置信息。

本步骤具体为匹配两个目标物体的图像信息上的特征点，经三角测量获得目标物体的位置信息。其中，具体为获得目标物体在助理机器人的坐标系下的位置和姿态，以作为助理机器人的末端执行器的参考输入。

步骤S3：根据目标物体的位置信息规划出运动的路径，并控制助理机器人的末端执行器根据路径进行运动，以获取目标物体。

可选的，请参阅图3，本实施例的方法还包括：

步骤S21：获取末端执行器的图像信息。

本步骤中，具体为获取含有末端执行器的两幅场景图像，然后经过 二值化、边缘提取、轮廓外接矩形检测、椭圆检测、椭圆相似度计算，椭圆重心计算后，获得所述两幅场景图像中的所述末端执行器的视差，以获得末端执行器的图像信息。

步骤S22：根据末端执行器的图像信息获得末端执行器的位置信息。

本步骤具体为经过三角测量和坐标变换计算出末端执行器在机器人的坐标系下的位置坐标。更具体的，经过三角测量获得末端执行器在双目视觉传感器的坐标系下的位置坐标，进一步经过坐标变换，以计算出末端执行器在机器人的坐标系下的位置坐标，即末端执行器在机器人的坐标系下的位置和姿态。

步骤S23：根据末端执行器的位置信息与目标物体的位置信息去修改路径。

其中，前文所述末端执行器为助理机器人的机械手。在其他实施例中，也可以为其他的抓取元件，在此不作限制。

因此，本发明只需一个双目视觉传感器作为助理机器人的视觉传感器，即可协助助理机器人完成目标物体识别和抓取操作，成本较低。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。