扫地机器人及扫地机器人的控制方法与流程

本发明涉及机器人技术领域，具体而言，涉及一种扫地机器人及扫地机器人的控制方法。

背景技术：

当今技术发展日新月异，科技的进步也给人类的生产生活带来了极大的便利。在都市生活中，格式各样的科技产品也越来越普遍的出现的千家万户中，而扫地机器人作为其中具有代表性的产品之一，它可以出现在家庭的任意可行区域帮助清扫灰尘垃圾。

然而它也有一个较大的缺陷，它无法自主的识别物品，从而无法判断出物品的种类，以及无法清除体积较大的物品。

技术实现要素：

本发明的主要目的在于提供一种扫地机器人及扫地机器人的控制方法，以解决现有技术中扫地机器人存在的无法清除体积较大的垃圾的技术问题。

为了实现上述目的，根据本发明的一个方面，提供了一种扫地机器人，包括：移动底盘；深度摄像头，安装在移动底盘上，用于采集图像信息；机械手，安装在移动底盘上，用于拾取垃圾；控制器，与摄像头和移动底盘分别电连接，控制器储存有深度学习模型，控制器将图像信息导入深度学习模型中识别出垃圾，并得出垃圾的三维信息，控制器还根据垃圾的三维信息控制移动底盘移动至垃圾处以及控制机械手拾取垃圾。

在一个实施方式中，扫地机器人还包括：激光雷达，激光雷达用于检测环境信息，控制器还与激光雷达电连接，控制器根据环境信息构建二维栅格地图，并根据二维栅格地图控制移动底盘移动。

在一个实施方式中，控制器还根据垃圾的三维信息计算出位置信息，再根据位置信息控制移动底盘和机械手。

在一个实施方式中，机械手包括机械臂和夹爪，机械臂安装在移动底盘上，夹爪安装在机械臂的末端。

在一个实施方式中，机械臂为五轴机械臂。

在一个实施方式中，夹爪为柔性夹爪。

在一个实施方式中，控制器与深度摄像头和/或激光雷达和/或移动底盘分别通过串口通讯电连接。

在一个实施方式中，控制器与机械手通过can总线电连接。

为了实现上述目的，根据本发明的一个方面，提供了一种扫地机器人的控制方法，控制方法用于控制上述的扫地机器人，控制方法包括：采集图像信息；将图像信息导入到深度学习模型中；识别出垃圾并得出垃圾的三维信息；根据三维信息计算出位置信息；根据位置信息控制移动底盘移动以及控制机械手拾取垃圾。

应用本发明的技术方案，通过控制器中提前储存可以识别出垃圾的深度学习模型，当深度摄像头采集图像信息后，控制器就将图像信息导入深度学习模型中识别出垃圾，并得出垃圾的三维信息，从而就可以根据三维信息控制移动底盘移动至垃圾处以及控制机械手拾取垃圾，这样就可以实现体积较大的垃圾的自动清除，方便用户使用。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明的扫地机器人的实施例的整体结构示意图；

图2示出了图1的扫地机器人的电控部件的连接示意图；

图3示出了根据本发明的扫地机器人的控制方法的流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

为了解决现有技术中扫地机器人存在的无法清除体积较大的垃圾的技术问题，如图1所示，本发明提供了一种扫地机器人，如图1所示，本实施例的扫地机器人包括移动底盘10、深度摄像头30、机械手和控制器。深度摄像头30和机械手分别安装在移动底盘10上，深度摄像头30用于采集图像信息，机械手用于拾取垃圾。控制器与摄像头和移动底盘10分别电连接，控制器储存有深度学习模型，控制器将图像信息导入深度学习模型中识别出垃圾，并得出垃圾的三维信息，控制器还根据垃圾的三维信息控制移动底盘10移动至垃圾处以及控制机械手拾取垃圾。

应用本发明的技术方案，通过控制器中提前储存可以识别出垃圾的深度学习模型，当深度摄像头30采集图像信息后，控制器就将图像信息导入深度学习模型中识别出垃圾，并得出垃圾的三维信息，从而就可以根据三维信息控制移动底盘10移动至垃圾处以及控制机械手拾取垃圾，这样就可以实现体积较大的垃圾的自动清除，方便用户使用。

需要说明的是，可以识别出垃圾的深度学习模型需要提前搭建深度学习模型，并采用标记过的数据样本对深度学习模型进行训练，使得深度学习模型在输入图像信息后，就可以识别出垃圾。一旦识别出垃圾后，控制器就可以方便地得出垃圾的三维信息，从而控制移动底盘10和机械手拾取垃圾。

进一步地，在本发明的技术方案中，控制器还根据垃圾的三维信息计算出位置信息，再根据位置信息控制移动底盘10和机械手。需要说明的是，从得到垃圾的三维信息到具体的控制移动底盘10和机械手之间是需要对垃圾的三维信息进行计算的，通过对垃圾的三维信息进行计算可以获取具体的位置信息，从而就控制移动底盘10和机械手执行位置信息就可以实现垃圾的拾取了。

更为优选的，如图1所示，在本实施例的技术方案中，扫地机器人还包括：激光雷达20，激光雷达20用于检测环境信息，控制器还与激光雷达20电连接，控制器根据环境信息构建二维栅格地图，并根据二维栅格地图控制移动底盘10移动。通过激光雷达20检测环境信息，可以让控制器根据环境信息构建二维栅格地图，二维栅格地图可以用于室内的自主导航，移动底盘10可在室内环境下无障碍的自主移动，从而便于控制器根据二维栅格地图更好地控制移动底盘10移动。

需要说明的是，本发明的扫地机器人的技术方案尤其适用于室内，利用激光雷达20可以对周围环境进行轮廓扫描，构建出室内的二维栅格地图，也可以依据激光雷达20的数据信息进行特征点的匹配，推算出扫地机器人的位置信息，进行更好的定位。

如图1所示，可选的，在本实施例的技术方案中，机械手包括机械臂50和夹爪60，机械臂50安装在移动底盘10上，夹爪60安装在机械臂50的末端。在拾取垃圾的动作中，机械臂50实现夹爪60到垃圾所在位置的运动，夹爪60实现对垃圾最后的拾取动作。更为优选的，在本发明的技术方案中，机械臂50为五轴机械臂，五轴机械臂的运行更加灵活，以便于让夹爪60可以更顺利的到达垃圾所在位置。更为优选的，夹爪60为柔性夹爪，可以防止在抓取过程中损伤物品表面。具体的，通过控制柔性夹爪的气动马达进行吸取空气，从而带动柔性夹爪弯曲包裹住物品表面，实现垃圾抓取。

需要说明的是，机械手的详细运作过程可以如下：

对机械手进行研发，建立三维模型，根据机械手运动学关系建立简化，然后转化为moveit!可用的urdf文件，为后续运动规划提供模型文件。在urdf文件中，可以定义：连杆、关节名称、运动学参数、动力学参数、可视化模型、碰撞检测等内容。需要说明的是，urdf文件是一种xml语言形式。

使用moveit!初始化工具包（moveitsetupassistant），根据urdf文件创建其运动学求解器以及运动算法规划库。

为机械手设置运动规划关节组，在本发明中关节组分为机械臂50和夹爪60。

当接收到摄像头发的目标位置后，调用moveit！进行路径规划，生成一系列的路径点，进行三次样条函数的插值，将路径点变得更加的稠密，将规划信息发布出去。

当总线上接收到上位机传来的数据后，根据协议进行解析，控制步进电机转动到目标位置，执行抓取物品动作。

当底层单片机接收到抓取命令后，控制夹爪60拾取垃圾。

机械手的控制基于ros操作系统的moveit！模块开发，当接收到图像处理后得到目标点位置，moveit！模块会在笛卡尔空间中规划出相应的路径，然后根据规划出来的一组路径点，进行三次样条函数的插值，可以将路径点变得更加的稠密，这样可以使得机械臂50的运动没有较大的跳跃、更加平滑，最后根据路径点控制机械臂50进行运动，到达最终的目标位置。机械臂50的末端采用的是柔性的柔性夹爪，可以抓取柔软物品过程中不会造成损伤。

如图2所示，在本实施例的技术方案中，控制器与深度摄像头30和/或激光雷达20和/或移动底盘10分别通过串口通讯电连接。作为其他的可选的实施方式，控制器也可以与深度摄像头30和/或激光雷达20和/或移动底盘10分别通过其他的方式进行数据交互。更为优选的，在本实施例的技术方案中，控制器与机械手通过can总线电连接。由于机械手的操作是较为复杂的，因此采用can总线进行控制器与机械手的数据传输，可以实现对机械手运动的复杂控制。

优选的，在本实施例的技术方案中，控制器可以采用nvidiajetsontx2，控制器与移动底盘10的串口通讯的形式可以为stm32通讯，而控制器与深度摄像头30和/或激光雷达20则可以tx2串口通讯传输信息。

如图3所示，本发明还提供了一种针对于上述扫地机器人的控制方法，该控制方法包括：

采集图像信息；

将图像信息导入到深度学习模型中；

识别出垃圾并得出垃圾的三维信息；

根据三维信息计算出位置信息；

根据位置信息控制移动底盘10移动以及控制机械手拾取垃圾。

采用本发明的技术方案，可以自动识别出垃圾，并得到垃圾的三维信息，从而计算出位置信息精确地控制移动底盘10移动以及控制机械手拾取垃圾，实现体积较大的垃圾的自动清除，方便用户使用。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位（旋转90度或处于其他方位），并且对这里所使用的空间相对描述作出相应解释。

在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。