机器人的天花板图像定位系统和机器人的制作方法

本实用新型涉及机器人技术领域，尤其是涉及机器人的天花板图像定位系统和机器人。

背景技术：

目前，对室内移动机器人的定位系统在解决图像特征跟踪的情况下，只有在图像相对运动较小时效果较好，这样就要求机器人移动速度不能过快，或者相机的采集速率要足够高。

现有的室内移动机器人的定位系统不能实时显示室内移动机器人在运动过程中的轨迹，以及不能对室内移动机器人进行有效的定位。

技术实现要素：

有鉴于此，本实用新型的目的在于提供机器人的天花板图像定位系统和机器人，可以实时显示机器人在运动过程中的轨迹，并对机器人进行有效地定位。

第一方面，本实用新型实施例提供机器人的天花板图像定位系统，所述系统包括相机、终端、超声避障模块和电机驱动模块；

所述相机，与所述终端相连接，用于采集天花板图像，并将所述天花板图像发送给所述终端；

超声避障模块，通过串口通信模块与所述终端相连接，用于发射超声波，并通过所述超声波检测是否存在障碍物，如果存在所述障碍物，则向所述终端发送反馈信息；

所述终端，与所述串口通信模块相连接，用于接收所述相机发送的所述天花板图像，将所述天花板图像通过图像匹配定位方法得到位姿偏差信号，并将所述位姿偏差信号发送给所述电机驱动模块；

所述电机驱动模块，与所述串口通信模块相连接，用于接收所述终端发送的所述位姿偏差信号，将所述位姿偏差信号转换成转速信号，并通过所述转速信号驱动直流电机的转动。

结合第一方面，本实用新型实施例提供了第一方面的第一种可能的实施方式，其中，所述终端还用于接收所述超声避障模块发送的所述反馈信息，并将所述反馈信息通过所述串口通信模块发送给所述电机驱动模块。

结合第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第二种可能的实施方式，其中，所述电机驱动模块还用于控制所述直流电机停止运动。

结合第一方面，本实用新型实施例提供了第一方面的第三种可能的实施方式，其中，所述系统还包括传动装置，与所述直流电机相连接，用于驱动所述机器人移动。

结合第一方面，本实用新型实施例提供了第一方面的第四种可能的实施方式，其中，所述串口通信模块还用于将通用串行总线USB信号和串口信号进行转换。

结合第一方面，本实用新型实施例提供了第一方面的第五种可能的实施方式，其中，所述终端还用于保存所述天花板图像。

结合第一方面的第五种可能的实施方式，本实用新型实施例提供了第一方面的第六种可能的实施方式，其中，所述终端为计算机。

结合第一方面，本实用新型实施例提供了第一方面的第七种可能的实施方式，其中，所述图像匹配定位方法包括光流法和特征匹配法，所述终端还用于将所述天花板图像通过所述光流法和所述特征匹配法得到所述位姿偏差信号。

结合第一方面，本实用新型实施例提供了第一方面的第八种可能的实施方式，其中，所述相机为工业相机。

第二方面，本实用新型实施例提供机器人，包括如上任一项所述的机器人的天花板图像定位系统。

本实用新型提供一种机器人的天花板图像定位系统和机器人，通过相机采集天花板图像，超声避障模块发射超声波，并通过超声波检测是否存在障碍物，如果存在障碍物，则向终端发送反馈信息，终端将天花板图像通过图像匹配定位方法得到位姿偏差信号，电机驱动模块将位姿偏差信号转换成转速信号，并通过转速信号驱动直流电机的转动，可以实时显示机器人在运动过程中的轨迹，并对机器人进行有效地定位。

本实用新型的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本实用新型而了解。本实用新型的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本实用新型的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本实用新型具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型实施例一提供的机器人的天花板图像定位系统示意图；

图2为本实用新型实施例二提供的机器人的天花板图像定位方法流程图；

图3为本实用新型实施例二提供的机器人的天花板图像定位方法中步骤S101的流程图；

图4为本实用新型实施例二提供的另一种机器人的天花板图像定位方法中步骤S101的流程图；

图5为本实用新型实施例二提供的机器人的天花板图像定位方法中步骤S105的流程图；

图6为本实用新型实施例二提供的机器人的天花板图像定位方法中步骤S106的流程图。

图标：

10-相机； 20-终端； 30-串口通信模块；

40-电机驱动模块； 50-超声避障模块； 60-直流电机；

70-传动装置。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

实施例一：

图1为本实用新型实施例二提供的机器人的天花板图像定位系统示意图。

参照图1，该系统包括相机10、终端20、超声避障模块50和电机驱动模块40。

相机10，与终端20相连接，用于采集天花板图像，并将天花板图像发送给终端20；

超声避障模块50，通过串口通信模块30与终端20相连接，用于发射超声波，并通过超声波检测是否存在障碍物，如果存在障碍物，则向终端20发送反馈信息；

终端20，与串口通信模块30相连接，用于接收相机发送的天花板图像，将天花板图像通过图像匹配定位方法得到位姿偏差信号，并将位姿偏差信号发送给电机驱动模块40；

电机驱动模块40，与串口通信模块30相连接，用于接收终端20发送的位姿偏差信号，将位姿偏差信号转换成转速信号，并通过转速信号驱动直流电机60的转动。

进一步的，终端20还用于接收超声避障模块50发送的反馈信息，并将反馈信息通过串口通信模块30发送给电机驱动模块40。

进一步的，所述电机驱动模块40还用于控制所述直流电机停止运动。

进一步的，所述系统还包括传动装置70，与所述直流电机60相连接，用于驱动所述机器人移动。

进一步的，所述串口通信模块30还用于将通用串行总线USB信号和串口信号进行转换。

这里，串口通信模块30还用于将USB(Universal Serial Bus，通用串行总线)信号和串口信号进行转换。

进一步的，终端20还用于保存天花板图像。

进一步的，终端20为计算机。

进一步的，图像匹配定位方法包括光流法和特征匹配法，终端20还用于将天花板图像通过光流法和特征匹配法得到位姿偏差信号。

进一步的，相机10为工业相机。

具体地，机器人还包括如上所述的机器人的天花板图像定位系统。

实施例二：

图2为本实用新型实施例提供的机器人的天花板图像定位方法流程图。

参照图2，该方法包括以下步骤：

该方法包括以下步骤：

步骤S101，采集天花板图像，将第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动；

这里，第一关键帧为最近关键帧。

步骤S102，对相对运动进行优化得到优化的相对运动，其中，优化的相对运动包括旋转矩阵和平移向量；

步骤S103，根据相对运动的计算结果选择第二关键帧；

步骤S104，根据旋转矩阵和平移向量得到第二关键帧对应的机器人的全局位姿；

步骤S105，根据全局位姿构造局部姿态图，并对局部姿态图进行优化得到机器人的移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿；

步骤S106，机器人根据移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿进行移动。

进一步的，步骤S103可采用如下步骤实现，包括：

步骤S201，如果相对运动量超过预设的相对运动量，则作为所述第二关键帧。

这里，由于采用的相机帧率较高，机器人在相邻两帧之间的运动较小，如果将拍摄到的所有照片都进行保存会增大存储负担，也会增大后面自主定位的计算量，因此这里选择相对运动较大的图像，即第二关键帧，并将第二关键帧进行保存。第二关键帧为选择的新的关键帧。

进一步的，如图3所示，上述实施例机器人的天花板图像定位方法中，步骤S101可采用如下步骤实现，包括：

步骤S301，从第一关键帧中提取FAST特征点，通过光流法将FAST特征点跟踪到当前帧得到第一特征点对；

步骤S302，根据第一特征点对、相机内参数和相机到天花板的距离构造PnP；

这里，根据第一特征点对、相机内参数和相机到天花板的距离构造PnP问题，由于并不是所有的FAST特征点都会被正确跟踪，可能会存在错误匹配的点，从而对位姿解算造成较大影响，因此，求解PnP问题需要通过随机采样一致性(Ransac)方法。

具体地，PnP(Perspective-n-Point Problem)，它描述了当n个点的3D空间坐标以及它们在图像中的图像坐标时，如何估计相机的位姿。

步骤S303，通过随机采样一致性方法获取第一关键帧和当前帧之间的机器人的相对运动、内点和外点。

这里，内点即为正确匹配的点对，外点即为错误匹配的点对。

进一步的，通过随机采样一致性方法获取内点和外点，可通过以下步骤实现：

步骤S401，随机采样部分样本解算相对位姿，将除部分样本外的样本作为剩余样本；

步骤S402，判断剩余样本中的点是否符合相对位姿，如果符合，则执行步骤S403；如果不符合，则执行步骤S404；

步骤S403，将符合相对位姿的点作为内点；

步骤S404，将不符合相对位姿的点作为外点。

进一步的，如图4所示，上述实施例机器人的天花板图像定位方法中，步骤S101还可采用如下步骤实现，包括：

步骤S501，如果连续三帧的内点数低于预设的点数阈值，则切换成特征匹配法；

步骤S502，从第一关键帧和当前帧中分别提取特征匹配ORB特征；

步骤S503，根据ORB特征计算描述子，并利用描述子进行特征匹配得到第二特征点对；

步骤S504，根据第二特征点对构造PnP；

步骤S505，通过随机采样一致性方法获取第一关键帧和当前帧之间的机器人的相对运动。

这里，第二特征点对构造PnP问题，解决PnP问题可通过随机采样一致性方法，从而得到第一关键帧和当前帧之间的机器人的相对运动。

进一步的，步骤S102可采用如下步骤实现，包括：

步骤S601，将相对运动作为初值，以内点为约束条件，并通过通用图优化库进行优化得到优化的相对运动。

这里，通过Ransac方法求解PnP问题时，利用OpenCV(Open Source Computer Vision Library)中的solvePnPRansac函数，可以得到关键帧和当前帧之间的机器人的相对运动和内点。

可以将solvePnPRansac函数求解的相对运动作为初值，以内点作为约束条件，并通过通用图优化库(g2o)进行优化得到优化的相对运动。

其中，OpenCV是一个基于BSD许可发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。

具体地，优化的相对运动包括旋转矩阵和平移向量，根据旋转矩阵和平移向量得到关键帧对应的机器人的全局位姿。

计算关键帧对应的机器人的全局位姿，具体过程为：将关键帧之前的所有图像序列依次进行两两匹配得到多个匹配序列；通过光流法、特征匹配法和优化得到多个优化的相对运动，将各个优化的相对运动中包括的旋转矩阵和平移向量分别构成多个齐次变换矩阵，将多个齐次变换矩阵依次相乘即得到全局位姿。

进一步的，计算第二关键帧对应的机器人的全局位姿，会存在累积误差，因此，需要进一步修正，具体如图5所示，上述实施例机器人的天花板图像定位方法中，步骤S105还可采用如下步骤实现，包括：

步骤S701，将当前关键帧和在当前关键帧之前的多个关键帧进行提取，并从中选取两个关键帧；

这里，将当前关键帧和在当前关键帧之前的6个关键帧进行提取，其中，当前关键帧和在当前关键帧之前的6个关键帧构成7个关键帧，从7个关键帧中任意选取两个关键帧。

步骤S702，将选取的两个关键帧通过光流法、特征匹配法以及优化得到两个关键帧的相对运动；

步骤S703，以两个关键帧的相对运动为约束条件，并以关键帧对应的全局位姿为顶点，构造局部姿态图；

这里，局部姿态图只是对最近的一部分关键帧进行优化，并不是对所有的关键帧进行优化。

步骤S704，将局部姿态图通过通用图优化库进行优化得到机器人的移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿。

进一步的，如图6所示，上述实施例机器人的天花板图像定位方法中，步骤S106还可采用如下步骤实现，包括：

步骤S801，拍摄第一图像，将第一图像与第一个关键帧进行匹配，得到第一位姿偏差ΔT₁；

步骤S802，机器人根据第一位姿偏差ΔT₁调整自身位姿，并开始移动；

这里，机器人调整自身位姿，是为了使自身位姿与之前出发时的位姿相同。

步骤S803，如果运动到第二个关键帧，则拍摄第二天花板图像，将第二天花板图像与第二个关键帧进行匹配，得到第二位姿偏差ΔT_i；

这里，第二个关键帧相当于第i个关键帧。

步骤S804，根据第二个关键帧和第三个关键帧对应的全局位姿计算第二个关键帧和第三个关键帧之间的第三位姿偏差ΔT_i,i+1；

这里，第三个关键帧相当于第i+1关键帧。

步骤S805，根据第二位姿偏差ΔT_i和第三位姿偏差ΔT_i,i+1得到机器人的运动控制量，以使机器人根据运动控制量向第三关键帧的位置移动。

这里，机器人的运动控制量为第二位姿偏差ΔT_i和第三位姿偏差ΔT_i,i+1的乘积。

本实用新型实施例所提供的方法、装置以及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本实用新型实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实用新型的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本实用新型各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本实用新型的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本实用新型的具体实施方式，用以说明本实用新型的技术方案，而非对其限制，本实用新型的保护范围并不局限于此，尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本实用新型实施例技术方案的精神和范围，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应所述以权利要求的保护范围为准。