生成机器人控制规划的制作方法

背景技术：

1、本说明书涉及机器人，尤其涉及规划机器人移动。

2、机器人规划是指对机器人组件(component)的物理移动进行排序，以便执行任务。例如，建造汽车的工业机器人可以被编程为首先拾起汽车部件(part)，然后将汽车部件焊接到汽车的框架上。这些动作中的每一个自身可以包括通过机器人马达和致动器的几十个或几百个单独的移动。

3、机器人规划传统上要求大量的手动编程，以便细致地指示机器人组件应该如何移动，以完成特定的任务。手动编程枯燥、耗时且容易出错。此外，针对一个机器人操作环境手动生成的规划通常不能用于其他机器人操作环境。在本说明书中，机器人操作环境是机器人组件将在其中操作的物理环境。机器人操作环境具有例如物理尺寸的特定的物理属性，特定的物理属性对机器人组件可以如何在机器人操作环境内移动施加了限制。因此，针对一个机器人操作环境的手动编程的规划可能与具有不同物理尺寸的机器人操作环境不兼容。

4、机器人操作环境通常包含多于一个机器人。例如，机器人操作环境可以具有多个机器人组件，每个机器人组件同时将不同的汽车部件焊接到汽车的框架上。在这些情况下，规划过程可以包括将任务分配给特定的机器人组件，并规划每个机器人组件的所有移动。以避免机器人组件之间的碰撞同时最小化完成任务的时间的方式手动编程这些移动是困难的，因为6d坐标系中的搜索空间非常大，并且不能在合理的时间量内穷尽地搜索。

技术实现思路

1、本说明书总体上描述了系统可以如何获得指令数据，该指令数据表征用于组装(assemble)多个组装组件的任务的指令，例如用于一件家具的组装指令。然后，系统可以根据指令数据为一个或多个机器人组件生成机器人控制规划，以在机器人操作环境中完成组装任务。在一些实施方式中，系统可以使用表示组装任务的说明手册的数据(例如，使用说明手册的图像)，来生成指令数据。在一些其他实施方式中，系统可以识别(identify)由外部系统提供的指令数据，例如由组装组件的制造商提供的指令数据。

2、可以实现本说明书中描述的主题的特定实施例，以便实现一个或多个以下优点。

3、使用本说明书中描述的技术，系统可以自动生成机器人控制规划，以完成系统以前从未针对其生成过机器人控制规划的新组装任务。例如，系统可以自动生成机器人控制规划来组装机器人组件以前从未组装过的一件家具。在一些实施方式中，用户可以提供描绘该件家具的说明手册的图像作为机器学习模型的输入，该机器学习模型已经使用用于组装其他件家具的说明手册进行了训练。机器学习模型可以自动解析新的说明手册，以生成系统可以用来生成机器人控制规划的指令数据。因此，用户可以简单地捕获任何件新家具的说明手册的图像，并且系统可以提供用于组装该件新家具的机器人控制规划。

4、使用本说明书中描述的技术，系统可以生成专用于“临时”机器人操作环境的机器人控制规划，“临时”机器人操作环境即机器人组件将仅完成一个或几个任务和/或机器人组件将在较短时间(例如，一天或一周)后被拆卸或移除的环境。例如，机器人操作环境可以在用户家中，例如在车库中，并且机器人组件可以被递送到用户家中以完成特定任务，例如组装家具。因此，本说明书中描述的技术能够以全自动的方式并且在临时的机器人操作环境中实现复杂物品的鲁棒和可靠的组装。

5、作为特定的示例，用户可以从商店购买一件未组装的家具，例如桌子。当商店将包装的桌子组装组件发送到用户家中时，商店还可以发送一个或多个机器人组件。

6、使用本说明书中描述的技术，用户可以在家内设置机器人组件，以创建用于组装桌子的临时机器人操作环境，例如在用户家的车库中。在用户设置机器人操作环境之后，机器人规划系统可以自动生成用于组装桌子的机器人控制规划。机器人规划系统可以向机器人控制系统提供机器人控制规划，机器人控制系统可以指示机器人组件组装桌子。组装完成之后，用户可以将机器人组件发送回商店。以这种方式，商店可以使得顾客能够在新环境中以省时、低成本的方式自动组装购买的家具。

7、本说明书主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得清晰。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，生成机器人控制规划包括：

3.根据权利要求2所述的方法，其中，获得特定组装组件的组装组件数据包括：

4.根据权利要求2或3中任一项所述的方法，其中，获得特定组装组件的组装组件数据包括：

5.根据权利要求2-4中任一项所述的方法，其中，所述组装组件数据包括针对多个组装组件中的一个或多个标识以下中的一个或多个的数据：

6.根据权利要求1-5中任一项所述的方法，其中，所述多个组装组件已经由特定制造商制造，并且其中，所述机器学习模型已经使用对应于特定制造商的训练示例来训练。

7.根据权利要求6所述的方法，其中，所述指令数据使用计算机语言来表示，该计算机语言能够用于表示由多个不同制造商生产的说明手册。

8.根据权利要求1-7中任一项所述的方法，其中，所述一个或多个机器人组件在临时机器人操作环境中执行机器人控制规划。

9.根据权利要求1-8中任一项所述的方法，其中：

10.一种系统，包括一个或多个计算机和存储可操作的指令的一个或多个存储设备，当由一个或多个计算机执行时，该指令使得一个或多个计算机执行权利要求1至9中任一项所述的方法。

11.一个或多个存储指令的非暂时性计算机存储介质，当由一个或多个计算机执行时，该指令使得一个或多个计算机执行权利要求1至9中任一项所述的方法。

技术总结
用于生成机器人控制规划的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。方法之一包括从用户设备获得图像数据，该图像数据描绘用于组装多个组装组件的说明手册；使用机器学习模型处理图像数据，以生成表示用于组装多个组装组件的指令序列的指令数据，其中，该机器学习模型已经通过训练被配置为处理描绘说明手册的图像，并生成表征在说明手册中标识的指令序列的指令数据；处理指令数据以生成机器人控制规划，该机器人控制规划将由一个或多个机器人组件执行以用于组装多个组装组件；以及向机器人控制系统提供机器人控制规划以用于使用一个或多个机器人组件执行机器人控制规划。

技术研发人员：R·巴特福斯,A·N·鲁克斯顿
受保护的技术使用者：因思创新有限责任公司
技术研发日：
技术公布日：2024/1/15