用于夹持和保持物体的机器人多爪夹持器总成和方法与流程

用于夹持和保持物体的机器人多爪夹持器总成和方法
1.相关申请的交叉引用
2.本申请要求于2019年8月21日提交的美国临时专利申请号62/889,562的权益，所述美国专利申请通过引用全部并入本文。
3.本申请包含与2020年4月22日提交的题为“用于夹持和保持物体的机器人多爪夹持器总成和方法(robotic multi
‑
gripper assemblies and methods for gripping and holding objects)”的美国专利申请号16/855,751有关的主题，所述美国专利申请通过引用全部并入本文。
技术领域
4.本技术总体上是针对机器人系统，并且更具体地是针对被配置为选择性地夹持和保持物体的机器人多爪夹持器总成。


背景技术：

5.机器人(例如，被配置为自动/自主执行物理动作的机器)现在许多领域中得到广泛使用。例如，机器人可以用于在制造、包装、运输和/或运送等方面执行各种任务(例如，操纵或搬运物体)。在执行任务时，机器人可以复制人类动作，由此代替或减少执行危险或重复性任务原本所需的人类参与。机器人通常缺乏复制执行更复杂任务所需的人类灵敏性和/或适应性所必需的复杂程度。例如，机器人通常难以从具有紧邻物体以及不规则形状/大小的物体等的一组物体中选择性地夹持物体。因此，仍然需要改进用于控制和管理机器人的各个方面的机器人系统和技术。
附图说明
6.图1示出了根据本技术的一个或多个实施方案的其中机器人系统运输物体的示例性环境。
7.图2是示出根据本技术的一个或多个实施方案的机器人系统的框图。
8.图3示出了根据本技术的一个或多个实施方案的多部件搬运总成。
9.图4是根据本技术的一个或多个实施方案的耦接到运输机器人的机器人臂的端部执行器的前视图。
10.图5是图4的端部执行器的仰视图。
11.图6是根据本技术的一个或多个实施方案的机器人搬运总成的功能框图。
12.图7是根据本技术的一个或多个实施方案的具有多爪夹持器总成的端部执行器的前视等距俯视图。
13.图8是图7的端部执行器的前视等距仰视图。
14.图9是根据本技术的一个或多个实施方案的真空夹持器总成的部件的分解等距前视图。
15.图10是根据本技术的一个或多个实施方案的真空夹持器的总成的等距视图。
16.图11是图10的总成的俯视平面视图。
17.图12是根据本技术的一个或多个实施方案的真空夹持器的总成的等距视图。
18.图13是根据本技术的另一个实施方案的多爪夹持器总成的等距视图。
19.图14是图13的多爪夹持器总成的分解等距视图。
20.图15是根据本技术的一个或多个实施方案的多爪夹持器总成的一部分的局部横截面视图。
21.图16是根据本技术的一些实施方案的用于操作机器人系统的流程图。
22.图17是根据本技术的一个或多个实施方案的用于操作机器人系统的另一个流程图。
23.图18至图21示出了根据本技术的一个或多个实施方案的以机器人方式夹持和运输物体的阶段。
24.图22示出了根据本技术的一个或多个实施方案的抓取集合(grasp set)的示例性方面。
25.图23a至图23f示出了根据本技术的一个或多个实施方案的用于同时搬运多个物体的示例性场景。
26.图24示出了根据本技术的一个或多个实施方案的示例性夹持器放置状况。
27.图25示出了根据本技术的一个或多个实施方案的示例性任务位置。
28.图26是根据本技术的一个或多个实施方案的用于操作机器人系统的另一个流程图。
具体实施方式
29.本文描述了用于夹持选定物体的系统和方法。所述系统可以包括具有多爪夹持器总成的运输机器人，所述多爪夹持器总成被配置为独立地或结合地操作以夹持/释放单个或多个物体。例如，所述系统可以同时或按顺序拾取多个物体。所述系统可以基于例如多爪夹持器总成的载运能力、运输计划或者它们的组合来选择要载运的物体。多爪夹持器总成可以可靠地夹持一组物体、不规则物体、具有各种形状/尺寸的物体等中的物体。例如，多爪夹持器总成可以包括可寻址真空区域或排，每个真空区域或排都被配置为吸入空气使得经由真空夹持力仅保持选定物体。可以机器人方式移动多爪夹持器总成以将保持的物体运输到期望位置，然后可以释放物体。所述系统还可以同时或按顺序释放被夹持物体。可以重复该过程以在不同位置之间运输任意数量的物体。
30.至少一些实施方案是针对一种用于操作具有带可寻址拾取区域的多爪夹持器总成的运输机器人的方法。拾取区域可以被配置为独立地提供真空夹持。基于捕获的图像数据标识目标物体。拾取区域可以吸入空气以夹持所标识的目标物体。在一些实施方案中，运输机器人可以以机器人方式移动多爪夹持器总成，所述多爪夹持器总成载运所标识的目标物体。
31.在一些实施方案中，机器人运输系统包括机器人设备、目标物体检测器和真空夹持器装置。真空夹持器装置包括多个可寻址区域和歧管总成。歧管总成可以流体地耦接到可寻址区域中的每一者和至少一个真空管线，使得每个可寻址区域能够经由抽吸元件阵列独立地提供负压。当机器人设备在不同位置之间移动真空夹持器装置时，负压可足以将至
少一个目标物体保持在真空夹持器装置上。
32.一种用于操作运输机器人的方法包括接收表示一组物体(例如，一堆或一批物体)的图像数据。基于所述接收到的图像数据标识所述组中的一个或多个目标物体。基于所述标识的一个或多个目标物体来选择可寻址真空区域。命令运输机器人使选定的真空区域保持和运输所标识的一个或多个目标物体。运输机器人包括具有真空区域的阵列的多爪夹持器总成，每个真空区域被配置为独立地提供真空夹持。视觉传感器装置可以捕获图像数据，所述图像数据代表与真空夹持器装置相邻或由所述真空夹持器装置保持的目标物体。
33.在下文中，阐述众多具体细节以提供对当前公开技术的彻底理解。在其他实施方案中，此处所引入的技术可在没有这些具体细节的情况下实践。在其他情况下，不详细描述诸如具体函数或例程的公知特征，以便避免不必要地使本公开晦涩难懂。此说明中对“实施方案”或“一个实施方案”或类似用语的引用意指所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，本说明书中此类短语的出现不一定都指代同一实施方案。另一方面，此类引用也不一定相互排斥。此外，特定特征、结构、材料或特性可以任何合适的方式在一个或多个实施方案中加以组合。应当理解，图中所示的多种实施方案仅是说明性代表并且不一定按比例绘制。
34.出于简洁的目的，在以下描述中年未阐述描述公知且往往与机器人系统和子系统相关联并且可能不必要地使所公开技术的一些重要方面晦涩难懂的结构或过程的若干细节。此外，尽管以下公开内容阐述本技术的不同方面的若干实施方案，但若干其他实施方案可具有不同于此章节中所述的那些的配置或组成部分。因此，所公开的技术可具有带有附加元件或没有下文所述元件中的若干的其他实施方案。
35.下文所述的本公开的许多实施方案或方面可呈计算机或控制器可执行指令(包括由可编程计算机或控制器执行的例程)的形式。相关领域技术人员应当理解，所公开的技术可在下文所示和所述的那些之外的计算机或控制器系统上实践。本文所述的技术可在专门编程、配置或构造为执行下文所述的计算机可执行指令中的一者或多者的专用计算机或数据处理器中体现。因此，如本文一般所用的术语“计算机”和“控制器”指代任何数据处理器并且可以包括互联网用具和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程消费者电子器件、网络计算机、迷你计算机等)。由这些计算机和控制器处理的信息可在任何合适的显示介质(包括液晶显示器(lcd))处呈现。用于执行计算机或控制器可执行的任务的指令可以存储在任何合适的计算机可读介质中或上面，所述计算机可读介质包括硬件、固件或硬件与固件的组合。指令可以包含在任何合适的存储器装置中，所述存储器装置包括例如闪存盘、usb装置和/或其他合适的介质，包括有形、非暂时性计算机可读介质。
36.术语“耦接”和“连接”以及它们的派生词可在本文中用来描述组成部分之间的结构关系。应当理解，这些术语并不意图作为彼此的同义词。而是，在特定实施方案中，“连接”可用于表示两个或更多个元件彼此直接接触。除非在情境中另外阐明，否则术语“耦接”可用于表示两个或更多个元件彼此直接或间接(在其间具有其他干预元件)接触，或者两个或更多个元件彼此配合或交互(例如，如呈因果关系，诸如用于信号传输/接收或用于函数调用)，或两者。
37.合适的环境
38.图1是其中机器人系统100运输物体的示例性环境的图示。机器人系统100可以包括位于仓库或配送/运送枢纽中的卸载单元102、搬运单元或总成104(例如，“搬运总成104”)、运输单元106、装载单元108或者它们的组合。机器人系统100的单元中的每一者可以被配置为执行一个或多个任务。可以按顺序组合任务以执行实现目标的操作，诸如从卡车或货车上卸载物体以将其存储在仓库中，或者从存储位置卸载物体并将它们装载到卡车或货车上以便运送。再如，所述任务可以包括将物体从一个容器移动到另一个容器。单元中的每一者可以被配置为执行一系列动作(例如，操作其中的一个或多个部件)以执行任务。
39.在一些实施方案中，所述任务可以包括目标物体或包裹112(例如，盒、箱、笼、货盘等)从起始位置114到任务位置116的操纵(例如，移动和/或重新取向)。例如，卸载单元102(例如，拆箱机器人)可以被配置为将目标包裹112从运载工具(例如，卡车)中的位置搬运到输送带上的位置。搬运总成104(例如，堆垛机器人总成)可以被配置为将包裹112装载到运输单元106或输送机120上。再如，搬运总成104可以被配置为将一个或多个目标包裹112从一个容器搬运到另一个容器。搬运总成104可以包括带真空夹持器(或真空区域)的机器人端部执行器140(“端部执行器140”)，每个真空夹持器单独操作以拾取并载运物体112。当将端部执行器140放置在物体附近时，空气可以进入与目标包裹112相邻的夹持器中，由此产生足以保持目标物体的压力差。可以拾取和运输目标物体，而不会损坏或毁坏物体表面。可以基于在拾取位置处物体的堆叠布置、在投放位置的可用空间、在拾取位置与投放位置之间的运输路径、优化例程(例如，用于优化单元使用率、机器人使用率等的例程)、它们的组合等来选择一次载运的包裹112的数量。端部执行器140可以具有一个或多个传感器，所述一个或多个传感器被配置为输出指示关于保持的物体(例如，保持的物体的数量和配置)、任何保持的物体之间的相对位置等信息的读数。
40.成像系统160可以提供用于监视部件操作、标识目标物体、跟踪物体或以其他方式执行任务的图像数据。可以对图像数据进行分析以评估例如包裹堆叠布置(例如，堆叠的包裹，诸如纸盒、包装容器等)、物体的位置信息、可用的运输路径(例如，拾取区与投放区之间的运输路径)、关于夹持总成的位置信息，或者它们的组合。控制器109可以与成像系统160和机器人系统100的其他部件进行通信。控制器109可以生成运输计划，所述运输计划包括用于拾取和投放物体(例如，被示为稳定容器)的顺序、定位信息、用于拾取物体的次序信息、用于投放物体的顺序信息、堆叠计划(例如，用于在投放区堆叠物体的计划)、重新堆叠计划(例如，用于在拾取区重新堆叠至少一些容器的计划)或者它们的组合。可以基于容器的布置、容器的内容物或者它们的组合来选择由运输计划提供的信息和指令。在一些实施方案中，控制器109可以包括电子/电气装置，诸如一个或多个处理单元、处理器、存储装置(例如，外部或内部存储装置、存储器等)、通信装置(例如，用于无线或有线连接的通信装置)以及输入
‑
输出装置(例如，屏幕、触摸屏显示器、键盘、小键盘等)。结合图2和图6讨论了示例性电子/电气装置和控制器部件。
41.运输单元106可以将目标包裹112(或多个目标包裹112)从与搬运总成104相关联的区域搬运到与装载单元108相关联的区域，并且装载单元108可以将目标包裹112搬运(通过例如移动载运目标包裹112的货盘)到存储位置。在一些实施方案中，控制器109可以协调搬运总成104和运输单元106的操作以有效地将物体装载到存储架上。
42.机器人系统100可包括图1未示出的其他单元，诸如操纵器、服务机器人、模块化机
器人等。例如，在一些实施方案中，机器人系统100可包括用于将物体从笼车或货盘搬运到输送机或其他货盘上的去码垛单元、用于将物体从一个容器搬运到另一个的容器交换单元、用于包裹物体的包装单元、用于根据物体的一个或多个特性对它们进行分组的分类单元、用于根据物体的一个或多个特性以不同方式对物体进行操纵(例如，分类、分组和/或搬运)的拾件单元，或它们的组合。系统100的部件和子系统可以包括不同类型的端部执行器。例如，机器人系统100的卸载单元102、运输单元106、装载单元108和其他部件也可以包括机器人多爪夹持器总成。可以基于期望的载运能力来选择机器人夹持器总成的配置。出于说明性目的，在运送中心的情景中描述了机器人系统100；然而，应当理解，机器人系统100可以被配置为在其他环境中/出于其他目的(诸如用于制造、组装、包装、医疗保健和/或其他类型的自动化)执行任务。下文描述关于任务和相关联动作的细节。
43.机器人系统
44.图2是示出根据本技术的一个或多个实施方案的机器人系统100的部件的框图。在一些实施方案中，例如，机器人系统100(例如，在上文所述的单元或总成和/或机器人中的一者或多者处)可包括电子/电气装置，诸如一个或多个处理器202、一个或多个存储装置204、一个或多个通信装置206、一个或多个输入
‑
输出装置208、一个或多个致动装置212、一个或多个运输马达214、一个或多个传感器216，或它们的组合。多种装置可通过有线连接和/或无线连接彼此耦接。例如，机器人系统100可包括总线，诸如系统总线、外围组成部分互连(pci)总线或pci快速总线、超传输或工业标准架构(isa)总线、小型计算机系统接口(scsi)总线、通用串行总线(usb)、iic(i2c)总线，或电子电器工程师协会(ieee)标准1394总线(也称为“火线”)。另外，例如，机器人系统100可包括桥接器、适配器、控制器，或用于在装置之间提供有线连接的其他信号相关的装置。无线连接可基于例如蜂窝通信协议(例如，3g、4g、lte、5g等)、无线局域网(lan)协议(例如，无线保真(wifi))、对等或装置间通信协议(例如，蓝牙、近场通信(nfc)等)、物联网(iot)协议(例如，nb
‑
iot、zigbee、z
‑
wave、lte
‑
m等)和/或其他无线通信协议。
45.处理器202可包括被配置为执行存储在存储装置204(例如，计算机存储器)上的指令(例如，软件指令)的数据处理器(例如，中央处理单元(cpu)、专用计算机和/或板载服务器)。处理器202可以实施程序指令以控制其他装置/与其他装置对接，由此使机器人系统100执行动作、任务和/或操作。
46.存储装置204可包括其上存储有程序指令(例如，软件)的非暂时性计算机可读介质。存储装置204的一些示例可包括易失性存储器(例如，高速缓存和/或随机存取存储器(ram))和/或非易失性存储器(例如，闪速存储器和/或磁盘驱动器)。存储装置204的其他示例可包括便携式存储器驱动器和/或云存储装置。
47.在一些实施方案中，存储装置204可以用于进一步存储主数据、处理结果和/或预定数据/阈值并提供对其的访问。例如，存储装置204可以存储主数据，所述主数据包括对可以由机器人系统100操纵的物体(例如，盒、箱、容器和/或产品)的描述。在一个或多个实施方案中，主数据可以包括预期将由机器人系统100操纵的物体的尺寸、形状(例如，用于潜在姿势的模板和/或用于识别处于不同姿势的物体的计算机生成的模型)、质量/重量信息、配色方案、图像、标识信息(例如，条形码、快速响应(qr)代码、标志等，和/或它们的预期位置)、预期质量或重量或者它们的组合。在一些实施方案中，主数据可以包括关于物体的操
纵相关信息，诸如物体中的每一者的质心位置、与一个或多个动作/操纵相对应的预期的传感器测量值(例如，力、扭矩、压力和/或接触测量值)，或者它们的组合。机器人系统可以查找压力水平(例如，真空水平、抽吸水平等)、夹持/拾取区域(例如，要激活的真空抓取器的区域或排)以及用于控制搬运机器人的其他存储的主数据。存储装置204还可以存储物体跟踪数据。在一些实施方案中，物体跟踪数据可以包括被扫描或操纵的物体的日志。在一些实施方案中，物体跟踪数据可以包括在一个或多个位置(例如，指定的拾取或投放位置和/或输送带)处的物体的图像数据(例如，图片、点云、实时视频馈送等)。在一些实施方案中，物体跟踪数据可以包括物体在一个或多个位置处的位置和/或取向。
48.通信装置206可包括被配置来通过网络与外部或远程装置通信的电路。例如，通信装置206可包括接收器、发射器、调制器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信装置206可被配置来根据一种或多种通信协议(例如，互联网协议(ip)、无线通信协议等)发送、接收和/或处理电信号。在一些实施方案中，机器人系统100可使用通信装置206来在机器人系统100的单元之间交换信息和/或与在机器人系统100外部的系统或装置交换信息(例如，出于报告、数据采集、分析和/或故障排除目的)。
49.输入
‑
输出装置208可包括被配置来将信息传达给人类操作员和/或从人类操作员接收信息的用户接口装置。例如，输入
‑
输出装置208可包括显示器210和/或用于将信息传达给人类操作员的其他输出装置(例如，扬声器、触觉电路、或触觉反馈装置等)。另外，输入
‑
输出装置208可包括控制或接收装置，诸如键盘、鼠标、触摸屏、传声器、用户接口(ui)传感器(例如，用于接收运动命令的摄像机)、可穿戴输入装置等。在一些实施方案中，机器人系统100可使用输入
‑
输出装置208来在执行动作、任务、操作或它们的组合时与人类操作员交互。
50.在一些实施方案中，控制器(例如，图1的控制器109)可以包括处理器202、存储装置204、通信装置206和/或输入
‑
输出装置208。控制器可以是独立的部件或单元/总成的一部分。例如，系统100的每个卸载单元、搬运总成、运输单元和装载单元可以包括一个或多个控制器。在一些实施方案中，单个控制器可以控制多个单元或独立部件。
51.机器人系统100可包括在关节处连接以用于运动(例如，旋转和/或平移移位)的物理或结构构件(例如，机器人操纵器臂)。结构构件和关节可形成被配置来操纵端部执行器(例如，夹持器)的动力链，所述端部执行器被配置来根据机器人系统100的用途/操作来执行一个或多个任务(例如，夹持、自旋、焊接等)。机器人系统100可包括被配置来关于对应关节或在对应关节处对结构构件进行驱动或操纵(例如，移位和/或重新定向)的致动装置212(例如，马达、致动器、线材、人工肌肉、电活性聚合物等)。在一些实施方案中，机器人系统100可包括被配置来到处运输对应单元/底架的运输马达214。例如，致动装置212和运输马达可以连接到机器人臂、线性滑块或其他机器人部件或作为其一部分。
52.传感器216可以被配置为获得用于实施任务的信息，诸如用于操纵结构构件和/或用于运输机器人单元的信息。传感器216可以包括被配置为检测或测量机器人系统100的一个或多个物理属性(例如，一个或多个结构构件/其关节的状态、状况和/或位置)和/或周围环境的一个或多个物理属性的装置。传感器216的一些示例可以包括接触传感器、接近传感器、加速度计、陀螺仪、力传感器、应变仪、扭矩传感器、位置编码器、压力传感器、真空传感器等。
53.在一些实施方案中，例如，传感器216可以包括被配置为检测周围环境的一个或多个成像装置222(例如，2维和/或3维成像装置)。成像装置可以包括摄像头(包括视觉和/或红外摄像头)、激光雷达装置、雷达装置和/或其他测距或检测装置。成像装置222可以生成检测到的环境的代表，诸如数字图像和/或点云，所述代表用于实施机器/计算机视觉(例如，用于自动检查、机器人导引或其他机器人应用)。
54.现在参考图1和图2，机器人系统100(例如，经由处理器202)可以处理图像数据和/或点云以标识图1的目标包裹112、图1的起始位置114、图1的任务位置116、图1的目标包裹112的姿势，或者它们的组合。机器人系统100可以使用图像数据来确定如何触及和拾取物体。可以分析物体的图像以确定用于定位真空夹持器总成以夹持目标物体的拾取计划，即使相邻物体也可能紧邻夹持器总成。可以单独利用或组合利用来自板载传感器216(例如，激光雷达装置)的成像输出和来自远程装置(例如，图1的成像系统160)的图像数据。机器人系统100(例如，经由各个单元)可以捕获和分析指定区域(例如，卡车内部、容器内部或输送带上物体的拾取位置)的图像以标识目标包裹112及其起始位置114。类似地，机器人系统100可以捕获并分析另一个指定区域(例如，用于将物体放置在输送带上的投放位置、用于将物体放置在容器内部的位置或用于堆叠目的的货盘上的位置)的图像以标识任务位置116。
55.而且，例如，图2的传感器216可以包括图2的位置传感器224(例如，位置编码器、电位差计等)，所述位置传感器被配置为检测结构构件(例如，机器人臂和/或端部执行器)和/或机器人系统100的对应关节的位置。机器人系统100可使用位置传感器224来在任务的执行期间跟踪结构构件和/或关节的位置和/或取向。本文公开的卸载单元、搬运单元、运输单元/总成和装载单元可以包括传感器216。
56.在一些实施方案中，传感器216可以包括接触传感器226(例如，力传感器、应变仪、压阻/压电传感器、电容传感器、弹性电阻传感器和/或其他触觉传感器)，所述接触传感器被配置为测量与多个物理结构或表面之间的直接接触相关联的特性。接触传感器226可以测量与端部执行器(例如，夹持器)在目标包裹112上的夹持力相对应的特性。因此，接触传感器226可以输出代表与物理接触、夹持器与目标包裹112之间的接触或附接的程度或其他接触特性相对应的量化测量值(例如，测量的力、扭矩、位置等)的接触测量值。例如，接触测量值可以包括与和通过端部执行器夹持目标包裹112相关联的力相关联的一个或多个力、压力或扭矩读数。在一些实施方案中，接触测量值可以包括(1)与真空夹持相关联的压力读数和(2)与载运物体相关联的力读数(例如，力矩读数)。下文描述关于接触测量值的细节。
57.如下面进一步详细描述的，机器人系统100(经由例如处理器202)可以基于接触测量值、图像数据、它们的组合等来实施不同的动作以便完成任务。例如，如果初始接触测量值低于阈值(诸如真空夹持力为低(例如，抽吸水平低于真空阈值))或者它们的组合，则机器人系统100可以重新夹持目标包裹112。而且，机器人系统100可以基于一个或多个运输规则(例如，如果接触量度或抽吸水平在任务执行期间下降到阈值以下)以及接触测量值、图像数据和/或其他数据读数来有意地投放目标包裹112，调整任务位置116，调整动作的速度或加速度，或者它们的组合。
58.机器人搬运总成
59.图3示出了根据本技术的一个或多个实施方案的搬运总成104。搬运总成104可以
包括成像系统160和机器人臂系统132。成像系统160可以向去码垛平台110提供从目标环境捕获的图像数据。机器人臂系统132可以包括机器人臂总成139和端部执行器140，所述端部执行器包括视觉传感器装置143和多爪夹持器总成141(“夹持器总成141”)。机器人臂总成139可以将端部执行器140定位在位于拾取环境163的堆叠165中的一组物体上方。视觉传感器装置143可以检测附近物体而不会接触、移动或移开堆叠165中的物体。
60.可以将目标物体抵靠端部执行器140的底部固定。在一些实施方案中，夹持器总成141可以具有可寻址区域，每个可寻址区域选择性地能够吸入空气以提供真空夹持力。在一些操作模式中，仅靠近目标物体的可寻址区域吸入空气以直接在真空夹持器装置与目标物体之间提供压力差。即使夹持器总成141的其他夹持部分邻近或接触其他包裹，这也仅允许将选定包裹(即，目标包裹)拉向夹持器总成141或以其他方式抵靠夹持器总成固定。
61.图3示出了夹持器总成141，所述夹持器总成载运定位在输送机120上方的单个物体或包裹112(“包裹112”)。夹持器总成141可以将包裹112释放到输送带120上，然后机器人臂系统132可以通过将卸载的夹持器总成141定位在两个包裹112a、112b的正上方来取回包裹112a、112b。然后，夹持器总成141可以经由真空夹持力保持两个包裹112a、112b，并且机器人臂系统132可以将保持的包裹112a、112b载运到输送机120正上方的位置。然后，夹持器总成141可以将包裹112a、112b释放(例如，同时或按顺序释放)到输送机120上。可以重复该过程任意次数以将物体从堆叠165载运到输送机120。
62.视觉传感器装置143可以包括一个或多个光学传感器，所述光学传感器被配置为检测保持在夹持器总成141下方的包裹。视觉传感器装置143可以被定位在夹持器总成141的侧面以避免干扰包裹拾取/投放。在一些实施方案中，视觉传感器装置143可移动地耦接到端部执行器140或机器人臂139，使得视觉传感器装置143可以移动到夹持器总成141的不同侧，以避免在检测到由夹持器总成141保持的一个或多个物体(如果有的话)的存在时撞击物体。可以基于夹持器总成141的配置选择视觉传感器装置143的位置、数量和配置。
63.继续参考图3，去码垛平台110可以包括可以在上面堆叠和/或堆放并准备运输多个物体或包裹112(简称为“包裹112”)的任何平台、表面和/或结构。成像系统160可以包括一个或多个成像装置161，所述成像装置被配置为捕获去码垛平台110上的包裹112的图像数据。成像装置161可以在拾取环境或区域163处捕获距离数据、位置数据、视频、静态图像、激光雷达数据、雷达数据和/或运动。应当注意，虽然本文使用了术语“物体”和“包裹”，但是所述术语包括能够被夹持、提起、运输和交付的任何其他物品，诸如但不限于“箱”、“盒”、“纸箱”或者它们的任何组合。此外，虽然在本文公开的附图中示出了多边形盒(例如，矩形盒)，但是盒的形状不限于这种形状，而是包括如下文详细地讨论那样能够被夹持、提起、运输和交付的任何规则或不规则形状。
64.如同去码垛平台110，接收输送机120可以包括被指定为接收包裹112以用于进一步的任务/操作的任何平台、表面和/或结构。在一些实施方案中，接收输送机120可以包括用于将包裹112从一个位置(例如，释放点)运输到另一个位置以进行进一步的操作(例如，分拣和/或存储)的输送机系统。
65.图4是根据本技术的一些实施方案的耦接到机器人臂139的端部执行器140的前视图。图5是图4的端部执行器140的仰视图。视觉传感器装置143可以包括一个或多个传感器145，所述传感器被配置为检测包裹；以及校准板147，所述校准板用于例如相对于视觉传感
器装置143校准夹持器总成141的位置。在一些实施方案中，校准板147可以是具有用于校准或限定端部执行器140或夹持器总成141在操作环境中的位置、机器人臂139的位置或者它们的组合的样式或设计的标牌。夹持器总成141可以包括限定夹持区125的可寻址真空区或区域117a、117b、117c(统称为“真空区域117”)。除非另外指出，否则对一个真空区域117的描述适用于另一真空区域117。在一些实施方案中，每个真空区域117可以是抽吸通道排，所述抽吸通道排包括连接到端部执行器140外部的真空源的部件。真空区域117可以包括夹持接口121(在图4中标识出一个)，物体可以抵靠所述夹持接口被保持。
66.现在参考图4，真空区域117a可以吸入空气以保持包裹112，并且可以减少或停止吸入空气以释放包裹112。真空区域117b、117c(被示为未保持包裹)可以独立地吸入空气(由箭头指示)以将包裹保持在对应位置113a、113b(图4中的虚线所示)处。现在参考图5，真空区域117可以包括一组或一排抽吸元件151(在图5中标识出一个)，通过所述抽吸元件抽吸空气。抽吸元件151可以彼此均匀地/一致地或不一致地间隔开，并且可以期望样式(例如，不规则或规则样式)布置。真空区域117可以具有相同或不同数量、配置和/或样式的抽吸元件151。为了载运与真空区域117的几何形状匹配的包裹，可以通过真空区域117的每个抽吸元件151抽吸空气。为了载运较小的包裹，可以通过与包裹的几何形状匹配的抽吸元件151的子组(例如，位于包裹的边界或周界内的抽吸元件151)抽吸空气。例如，可以通过用于真空区域117中的一者的抽吸元件的子组(诸如仅紧邻或覆盖要被夹持的目标表面的抽吸元件151)抽吸空气。如图5中所示，例如，边界119(以虚线示出)内的抽吸元件151可以用于夹持包裹的对应圆形表面。
67.当所有真空区域117都处于活动状态时，端部执行器140可以沿着夹持接口121中的每一者或整个底表面223提供大致均匀夹持力。在一些实施方案中，底表面223是大致连续且基本上不间断表面，并且相邻真空区域117的抽吸元件151之间的距离或间距可以小于、等于或大于相同的真空区域117的抽吸元件151之间的间距(例如，2x、3x、4x等)。端部执行器140可以被配置为经由吸引力来保持或固定物体，诸如通过在真空区域117与物体之间形成和保持真空状态来实现。例如，端部执行器140可以包括一个或多个真空区域117，所述真空区域被配置为接触目标物体的表面并在真空区域117与表面之间的空间中形成/保持真空状态。当经由机器人臂139降低端部执行器140，由此将真空区域117压靠在目标物体的表面上并挤出或以其他方式去除相对表面之间的气体时，可以形成真空状态。当机器人臂139提起端部执行器140时，真空区域117内部的空间与周围环境之间的压力差可以使目标物体保持附接到真空区域117。在一些实施方案中，通过端部执行器140的真空区域117的气流速率可以被动态地调整，或者基于目标物体与真空区域117的接触或夹持表面之间的接触面积以确保实现足够的夹持力以牢固地夹持目标物体。类似地，可以动态地调整通过真空区域117的气流速率以适应目标物体的重量，诸如针对较重物体增大气流，以确保实现足够的夹持力以牢固地夹持目标物体。结合图15讨论示例性抽吸元件。
68.图6是根据本技术的一个或多个实施方案的搬运总成104的功能框图。处理单元150(pu)可以控制机器人臂系统132的移动和/或其他动作。pu 150可以从传感器(例如，图3的成像系统160的传感器161)、视觉传感器装置143的传感器145或能够收集包括图像数据(包括视频、静态图像)、激光雷达数据、雷达数据或者它们的组合的其他传感器或检测器接收图像数据。在一些实施方案中，图像数据可以指示或代表包裹112的表面图像(si)。
69.pu 150可以包括执行可以永久地或临时地存储在存储器152、数字存储器存储装置或非暂时性计算机可读介质(包括但不限于随机存取存储器(ram)、磁盘驱动器、磁存储器、只读存储器(rom)、光盘(cd)、固态存储器、安全数字卡和/或闪存卡)中的软件或计算机指令代码的任何电子数据处理单元。可以通过执行软件或计算机指令代码来驱动pu 150，所述软件或计算机指令代码包含针对本文所体现的特定功能而开发的算法。在一些实施方案中，pu 150可以是针对本文公开的实施方案定制的专用集成电路(asic)。在一些实施方案中，pu 150可以包括微处理器、数字信号处理器(dsp)、可编程逻辑装置(pld)、可编程门阵列(pga)和信号发生器中的一者或多者；然而，对于本文的实施方案，术语“处理器”不限于此类示例性处理单元，并且其含义不旨在被狭义地解释。例如，pu 150还可以包括一个以上的电子数据处理单元。在一些实施方案中，pu 150可以是由机器人系统100的任何其他系统使用或与其结合的处理器，所述任何其他系统包括但不限于机器人臂系统130、端部执行器140和/或成像系统160。图6的pu 150和图2的处理器202可以是相同部件或不同部件。
70.pu 150可以电子耦接(例如，经由电线、总线和/或无线连接)到系统和/或源以促进输入数据的接收。在一些实施方案中，可操作地耦接可以被认为可与电子耦接互换。无需直接连接；相反，可以通过总线、通过无线网络或者作为由pu 150经由物理或虚拟计算机端口接收和/或传输的信号来提供输入数据的这种接收和输出数据的提供。pu 150可以被编程或被配置为执行本文讨论的方法。在一些实施方案中，pu 150可以被编程或被配置为从包括但不限于成像系统160、端部执行器140等的各种系统和/或单元接收数据。在一些实施方案中，pu 150可以被编程或被配置为向各种系统和/或单元提供输出数据。
71.成像系统160可以包括一个或多个传感器161，所述传感器被配置为捕获代表包裹(例如，位于图3的去码垛平台110上的包裹112)的图像数据。在一些实施方案中，图像数据可以代表出现在包裹的一个或多个表面上的视觉设计和/或标记，可以从所述视觉设计和/或标记确定包裹的登记状态。在一些实施方案中，传感器161是被配置为在目标(例如，可见和/或红外)电磁频谱带宽内工作并且用于检测对应频谱内的光/能量的摄像头。在一些摄像头实施方案中，图像数据是形成从一个或多个三维(3
‑
d)摄像头和/或一个或多个二维(2
‑
d)摄像头捕获的点云、深度图或者它们的组合的一组数据点。根据这些摄像头，可以确定成像系统160与包裹112的一个或多个暴露(例如，相对于成像系统160的视线)表面之间的距离或深度。在一些实施方案中，可以通过使用图像识别算法来确定距离或深度，所述图像识别算法诸如语义图像分类算法和/或边缘检测算法。一旦确定，距离/深度值就可以用于经由机器人臂系统操纵包裹。例如，pu 150和/或机器人臂系统可以使用距离/深度值来计算可以从中提起和/或夹持包裹的位置。应当注意，本文描述的数据(诸如图像数据)可以包括离散或连续的任何模拟或数字信号，所述信号可以包含信息或指示信息。
72.成像系统160可以包括至少一个显示单元164，所述显示单元被配置为呈现操作信息(例如，状态信息、设置等)、由传感器162捕获的包裹112的图像，或可以由机器人系统100的一个或多个操作员查看的其他信息/输出，如下文详细地讨论。另外，显示单元164可以被配置为呈现其他信息，诸如但不限于代表目标包裹、非目标包裹、登记包裹和/或未登记包裹实例的符号学。
73.视觉传感器装置143可以经由有线和/或无线连接与pu 150通信。视觉传感器145可以是视频传感器、ccd传感器、激光雷达传感器、雷达传感器、测距或检测装置等。来自视
觉传感器装置143的输出可以用于生成包裹的代表，诸如数字图像和/或点云，所述代表用于实施机器/计算机视觉(例如，用于自动检查、机器人导引或其他机器人应用)。可以基于夹持器总成141的配置选择视场(例如，30度、90度、120度、150度、180度、210度、270度的水平和/或竖直fov)和视觉传感器装置143的测距能力。(图4示出了约90度的示例性水平fov)。在一些实施方案中，视觉传感器145是具有一个或多个光源(例如，激光、红外激光器等)和光学检测器的激光雷达传感器。光学检测器可以检测光源发出的光以及包裹的表面反射的光。可以基于检测到的光来确定包裹的存在和/或距离。在一些实施方案中，传感器145可以扫描区域，诸如基本上所有的真空夹持区(例如，图4的真空夹持区125)。例如，传感器154可以包括一个或多个偏转器，所述偏转器移动以使发射的光偏转穿过检测区。在一些实施方案中，传感器154是能够竖直和/或水平扫描(诸如10
°
激光雷达扫描、30
°
激光雷达扫描、50
°
激光雷达扫描等)的基于激光扫描的激光雷达传感器。可以基于期望的检测能力来选择传感器145的配置、fov、灵敏度和输出。在一些实施方案中，传感器145可以包括存在/距离检测器(例如，雷达传感器、激光雷达传感器等)和一个或多个摄像头，诸如三维或二维摄像头。可以使用例如一种或多种图像识别算法来确定传感器与包裹的一个或多个表面之间的距离或深度。显示单元147可以用于查看图像数据，查看传感器状态，执行校准例程，查看日志和/或报告或其他信息或数据，诸如但不限于代表包裹112的目标、非目标、登记和/或未登记实例的符号学。
74.为了控制机器人系统100，pu 150可以使用来自传感器145和传感器161中的一者或两者的输出。在一些实施方案中，从传感器161输出的图像用于确定总体搬运计划，包括用于运输物体的次序。从传感器145以及传感器205(例如，力检测器总成)输出的图像可以用于相对于物体定位多爪夹持器总成，确认物体拾取并监视运输步骤。
75.继续参考图6，rds 170可以包括被配置为存储用于多个包裹112的登记记录172、用于真空夹持器的数据173的任何数据库和/或存储器存储装置(例如，非暂时性计算机可读介质)。例如，rds 170可以包括只读存储器(rom)、光盘(cd)、固态存储器、安全数字卡、闪存卡和/或数据存储服务器或远程存储装置。
76.在一些实施方案中，登记记录172可以各自包括对应包裹112的物理特性或属性。例如，每个登记记录172可以包括但不限于一个或多个模板si、视觉数据(例如，参考雷达数据、参考激光雷达数据等)、2
‑
d或3
‑
d尺寸测量值、重量和/或质心(com)信息。模板si可以代表包裹的已知或先前确定的可见特性，包括包裹的设计、标记、外观、外部形状/轮廓或者它们的组合。2
‑
d或3
‑
d尺寸测量值可以包括已知/预期包裹的长度、宽度、高度或者它们的组合。
77.在一些实施方案中，rds 170可以被配置为接收根据下文公开的实施方案形成的登记记录172的新实例(例如，对于先前未知的包裹和/或包裹的先前未知方面)。因此，机器人系统100可以通过扩展存储在rds 170中的登记记录172的数量来自动化用于登记包裹112的过程，由此使去码垛操作更加有效且包裹112的未登记实例较少。通过使用实时/操作数据动态地(例如，在操作/部署期间)更新rds 170中的登记记录172，机器人系统100可以有效地实施计算机学习过程，所述计算机学习过程可以考虑先前未知或非预期的状况(例如，照明状况、未知取向和/或堆叠不一致)和/或最近遇到的包裹。因此，机器人系统100可以减少由于“未知”状况/包裹、相关联的操作人员干预和/或相关联的任务失败(例如，包裹
丢失和/或碰撞)而导致的失败。
78.rds 170可以包括真空夹持器数据173，包括但不限于特性或属性，包括可寻址真空区域的数量、真空夹持器装置(例如，多爪夹持器总成)的载运能力、真空协议(例如，真空水平、气流速率等)或用于控制机器人臂系统130和/或端部执行器140的其他数据。操作员可以输入关于安装在机器人臂系统130中的真空夹持器的信息。然后，rds 170标识与真空夹持器装置相对应的真空夹持器数据173以便于操作。在一些实施方案中，机器人臂139自动检测真空夹持器装置(例如，图3的夹持器总成141)，并且rds 170用于标识关于检测到的真空夹持器装置的信息。所标识的信息可以用于确定真空夹持器装置的设置。因此，不同的真空夹持器装置或多爪夹持器总成可以与机器人臂系统130一起安装和使用。
79.端部执行器
80.图7是根据本技术的一个或多个实施方案的端部执行器140的一部分的前视等距俯视图。图8是图7的端部执行器140的前视等距仰视图。现在参考图7，端部执行器140可以包括安装接口或支架209(“安装支架209”)以及耦接到支架209和夹持器总成141的力检测器总成205。流体管线207可以流体地耦接到加压装置，诸如真空源221(图8中未示出)和夹持器总成141。
81.视觉传感器装置143的fov(可变或固定fov)大致指向夹持器总成141下方以提供对在夹持器总成141下方载运的任何物体的检测。视觉传感器装置143可以沿着端部执行器140的周界定位，使得视觉传感器装置143在真空区域117中的一者或多者(标识出一个)的基本水平平面、更具体地夹持接口121的夹持表面(标识出一个)的下方。术语“基本水平”通常是指与水平成约+/
‑
2度内(例如，与水平成约+/
‑
1度内，诸如与水平成约+/
‑
0.7度内)的角度。通常，端部执行器140包括多个真空区域117，所述真空区域使得机器人系统100能够夹持真空区域117的单个实例原本无法夹持的目标物体。然而，由于端部执行器140相对于具有真空区域117的单个实例的端部执行器140的较大尺寸，检测传感器将会遮挡更大区域。作为一个优点，定位在夹持接口121的水平面下方的视觉传感器装置143可以为视觉传感器装置143提供fov，所述fov在与包括目标物体在内的物体开始接触期间包括夹持接口121，对于视觉传感器装置143的其他实例(未附接到端部执行器140或定位在机器人系统100的操作环境中的不同位置)，所述fov通常被遮挡。因此，在夹持操作期间，未遮挡的fov可以为机器人系统提供实时成像传感器信息，这可以实现对端部执行器140的位置和运动的实时或即时调整。作为另一优点，定位在夹持接口121的水平面下方的视觉传感器装置143与物体(例如，图3的非目标物体112a、112b)之间的接近度提高了夹持操作期间的精度和准确度，这可以保护或防止端部执行器140例如通过压碎物体而损坏目标物体112和与目标物体相邻的非目标物体112a、112b。
82.出于说明目的，视觉传感器装置143可以沿着执行器宽度定位在端部执行器140的拐角上，然而，应当理解，视觉传感器装置143可以不同地定位。例如，视觉传感器装置143可以位于端部执行器140的宽度或长度的中心。再如，视觉传感器装置143可以沿着执行器长度定位在另一个拐角或其他位置处。
83.真空源221(图7)可以包括但不限于一个或多个加压装置、泵、阀或能够提供负压、抽吸真空(包括部分真空)或形成压力差的其他类型的装置。在一些实施方案中，可以用一个或多个调节器来控制气压，所述调节器诸如真空源221与夹持器总成141之间的调节器或
夹持器总成141中的调节器。当真空源221抽吸真空时，可以将空气抽入(由图8中的箭头指示)到夹持器总成141的底部224。可以基于要载运的物体的尺寸和重量来选择压力水平。如果真空水平太低，则夹持器总成141可能无法拾取目标物体。如果真空水平太高，则包裹的外部可能会损坏(例如，具有外部带塑料袋的包裹可能会因真空水平高而被撕裂)。根据一些实施方案，真空源221可以提供大约100mbar、500mbar、1,000mbar、2,000mbar、4,000mbar、6,000mbar、8,000mbar等的真空水平。在替代实施方案中，提供更高或更低的真空水平。在一些实施方案中，可以基于期望的夹持力来选择真空水平。在一定真空水平(例如，25％、50％或75％的最大真空水平(即，真空源221的最大真空水平))下，每个区域117的真空夹持力可以等于或大于约50n、100n、150n、200n或300n。当拾取纸板盒、塑料袋或其他适合运输的包裹时，可以实现这些夹持力。可以使用不同的真空水平，包括在运输相同或不同物体时的真空水平。例如，可以提供相对较高的真空水平以首先夹持物体。一旦已经夹持了包裹，就可以减小继续保持物体所需的夹持力(以及因此真空水平)，因此可以提供较低的真空水平。执行某些任务时，可以增大夹持力以维持牢固夹持。
84.力检测器总成205可以包括一个或多个传感器203(示出一个)，所述传感器被配置为检测指示由端部执行器140载运的载荷的力。所检测的测量值可以包括沿着坐标系的一个或多个轴的线性力测量值、力矩测量值、压力测量值或者它们的组合。在一些实施方案中，传感器203可以是f
‑
t传感器，所述f
‑
t传感器包括具有六轴力传感器的部件，所述六轴力传感器被配置为检测多达三个轴力(例如，沿着笛卡尔坐标系的x、y和z轴检测到的力)和/或三个轴矩(例如，围绕笛卡尔坐标系的x、y和z轴检测到的力矩)。在一些实施方案中，传感器203可以包括用于信号处理的内置放大器和微型计算机、进行静态和动态测量的能力和/或基于采样间隔检测即时变化的能力。在参考笛卡尔坐标系的一些实施方案中，可以经由传感器203捕获沿着一个或多个轴(即，f(x轴)、f(y轴)和/或f(z轴))的力测量值和围绕一个或多个轴(即，m(x轴)、m(y轴)和/或m(z轴))的力矩测量值。通过应用com计算算法，可以确定包裹的重量、包裹的位置和/或包裹的数量。例如，可以根据力测量值来计算包裹的重量，并且可以根据力测量值和力矩测量值来计算包裹的com。在一些实施方案中，根据力测量值、来自视觉传感器装置143的包裹位置信息和/或夹持信息(例如，实现包裹密封的位置)来计算包裹的重量。在一些实施方案中，传感器203可以经由有线和/或无线通信与处理单元(例如，图6的pu150)通信地耦接。
85.在一些实施方案中，可以使用来自力检测器总成205和视觉传感器装置143两者的输出读数。例如，可以基于来自视觉传感器装置143的输出来确定物体的相对位置。然后可以使用力检测器总成205的输出来确定关于每个物体的信息，诸如每个物体的重量/质量。力检测器总成205可以包括接触传感器、压力传感器、力传感器、应变仪、压阻/压电传感器、电容传感器、弹性电阻传感器、扭矩传感器、线性力传感器或其他触觉传感器，所述传感器被配置为测量与多个物理结构或表面之间的直接接触相关联的特性。例如，力检测器总成205可以测量与端部执行器在目标物体上的夹持力相对应的特性，或者测量目标物体的重量。因此，力检测器总成205可以输出代表量化量度的接触量度，诸如与夹持器和目标物体之间的接触或附接程度相对应的测量的力或扭矩。例如，接触量度可以包括与由端部执行器施加到目标物体上的力相关联的一个或多个力或扭矩读数。输出可以来自力检测器总成205或与端部执行器140集成或附接到端部执行器的其他检测器。例如，来自接触传感器的
传感器信息(诸如基于力扭矩传感器信息的目标物体的重量或重量分布)与成像传感器信息(诸如目标物体的尺寸)的结合可以由机器人系统使用以诸如通过自动登记或自动化物体登记系统来确定目标物体的标识。
86.图9是根据本技术的一个或多个实施方案的夹持器总成141的分解等距视图。夹持器总成141包括壳体260和内部总成263。壳体260可以围绕并保护内部部件，并且可以限定开口270，所述开口被配置为接收力检测器总成205的至少一部分。内部总成263可以包括夹持器支架总成261(“支架总成261”)、歧管总成262和多个夹持器264a、264b、264c(统称为“夹持器264”)。支架总成261可以保持真空夹持器264中的每一者，如结合图10和图11所讨论的，所述真空夹持器可以经由歧管总成262与流体管线(例如，图7的流体管线207)串联或并联地流体耦接。在一些实施方案中，支架总成261包括纵长支撑件269和将夹持器264连接到纵长支撑件269的支架267(标识出一个)。夹持器总成141可以包括抽吸元件、密封构件(例如，密封面板)以及结合图13至图15讨论的其他部件。
87.图10和图11分别是根据本技术的一个或多个实施方案的夹持器总成的部件的后视等距俯视图和平面图。歧管总成262可以包括与相应的夹持器264a、264b、264c耦接的夹持器歧管274a、274b、274c(统称为“歧管274”)。例如，歧管274a控制与夹持器264a相关联的气流。在一些实施方案中，歧管274可以并联或串联连接到加压源，诸如图7的真空源221。在其他实施方案中，每个歧管274可以流体地耦接到单独的加压装置。
88.歧管274可以被操作以将真空分配到一个、一些或全部夹持器264。例如，歧管274a可以处于打开状态以允许空气流过夹持器264a的底部。空气流过歧管274a，并经由管线(诸如图7的管线207)离开真空夹持器总成。其他歧管274b、274c可以处于关闭状态以防止在歧管274b、274c处进行抽吸。每个歧管274a可以包括但不限于与抽吸元件中的每一者连接的一个或多个管线。在其他实施方案中，夹持器264a的抽吸元件连接到内部真空室。夹持器歧管274可以包括但不限于一个或多个管线或通道、阀(例如，止回阀、截止阀、三通阀等)、气缸、调节器、孔口、传感器和/或能够控制流体流的其他部件。每个歧管274可以用于将抽吸均匀地或不均匀地分配给抽吸元件或抽吸元件组，以产生一致或不一致的真空夹持力。电子线路可以将歧管274通信地耦接到控制器以向模块的部件及其部件供电并对其进行控制。在一个实施方案中，单独的歧管274可以包括与公共接口和塞子一起使用的公共接口和塞子，这可以使得能够快速且容易地添加和移除歧管274和部件，由此促进系统重新配置、维护和/或维修。
89.可以基于可寻址真空区域的期望数量来选择夹持器的数量、布置和配置。图12是根据本技术的一个或多个实施方案的适合与图1至图2的环境和图3至图6的搬运总成141一起使用的真空夹持器总成300(壳体未示出)的内部部件的等距视图。真空夹持器总成300可以包括呈大致矩形布置的六个真空夹持器302(标识出一个)。在其他实施方案中，夹持器可以呈圆形布置、正方形布置或其他合适的布置，并且可以具有类似或不同的配置。夹持器可以具有其他形状，包括但不限于椭圆形、非多边形等。夹持器可以包括抽吸元件(例如，吸管、吸杯、密封构件等)、密封构件、阀板、夹持器机构以及用于提供夹持能力的其他流体部件。
90.结合图1至图11讨论的一个或多个传感器、视觉传感器装置和其他部件可以被结合到真空夹持器总成300中或与真空夹持器总成300一起使用。结合图13至图15讨论抽吸元
件、密封构件和其他部件。
91.真空夹持器可以串联布置。例如，真空夹持器可以按lx3的配置一个接一个地布置，所述配置提供两个横向夹持位置和一个中心夹持位置。然而，应当理解，端部执行器可以包括彼此具有相对不同配置的不同数量的真空夹持器、抽吸通道排或真空区域。例如，端部执行器可以包括以2x2的配置布置的四个真空夹持器或抽吸通道排。真空区域可以具有与长度尺寸相同或类似的宽度尺寸，以便具有对称的正方形形状。再如，端部执行器可以包括不同数量的真空区域，诸如彼此具有相同或不同的长度尺寸和/或宽度尺寸的两个真空区域或三个以上的真空区域。又再如，真空夹持器可以按各种配置进行布置，诸如具有四个真空区域的2x2配置、包括五个真空夹持器的1∶2∶2配置或其他几何布置和/或配置。
92.图13示出了根据本技术的一些实施方案的适用于与机器人系统(例如，图1至图2的机器人系统100)一起使用的多爪夹持器总成400(“夹持器总成400”)。图14是图13的夹持器总成400的分解视图。夹持器总成400可以是被配置为从固定位置(例如，在去码垛平台(诸如图3的平台110)上的固定位置)夹持包裹的任何夹持器或夹持器总成。夹持器总成装置400可以包括夹持器机构410和接触或密封构件412(“密封构件412”)。夹持器机构410包括主体414和多个抽吸元件416(在图14中标识出一个)，每个抽吸元件被配置为穿过构件412的开口418(在图14中标识出一个)。在组装时，抽吸元件416中的每一者可以部分地或完全地延伸穿过对应开口418。例如，抽吸元件416可以穿过第一侧419朝向密封构件412的第二侧421延伸。
93.图15是密封构件412和抽吸元件416的局部横截面视图。抽吸元件416可以经由真空室和/或内部导管430与管线(例如，图14的管线422)流体连通。阀437(例如，止回阀、安全阀等)可以沿着空气流动路径436定位。传感器434可以被定位成检测真空水平并且可以经由有线或无线连接与控制器(例如，图1的控制器109)或处理单元(例如，图6的处理单元150)进行通信。抽吸元件416的下端440可以包括但不限于吸杯或用于与物体表面形成期望密封(例如，大致气密密封或其他合适的密封)的另一种合适特征件。当下端440靠近或接触物体时，在空气被吸入到抽吸元件416的端口/入口432(“入口432”)中(如箭头所指示)时，物体可以被拉向抵靠密封构件412。空气沿着流动路径426向上流动并穿过抽吸元件416的通道433。空气可以流过阀437并进入导管430。在一些实施方案中，导管430可以连接到真空室439。例如，一些或全部抽吸元件416可以连接到真空室439。在其他实施方案中，不同组的抽吸元件416可以与不同的真空室流体连通。如所示，抽吸元件416可以具有波状或波纹状配置以允许轴向压缩而不限制其中的气流通道433。可以基于期望的可压缩量来选择抽吸元件416的配置、高度和尺寸。
94.密封构件412可以全部或部分地由可压缩材料制成，所述可压缩材料被配置为变形以容纳具有不同几何形状的表面，包括高轮廓表面。密封构件412可以全部或部分地由泡沫制成，所述泡沫包括闭孔泡沫(例如，泡沫橡胶)。密封构件412的材料可以是多孔的，以允许少量空气流动(即，空气泄漏)以避免施加高的负压，所述高的负压可能例如损坏诸如塑料袋的包裹。
95.操作流程
96.图16是根据本公开的一个或多个实施方案的用于操作机器人系统的方法490的流程图。通常，运输机器人可以接收代表拾取环境的至少一部分的图像数据。机器人系统可以
基于接收到的图像数据来标识目标物体。机器人系统可以使用真空夹持器总成保持在所标识的目标物体上。图1的机器人系统100的不同单元、总成和子总成可以执行方法490。在下面详细讨论方法490的细节。
97.在框500处，机器人系统100可以接收代表环境的至少一部分的图像数据。例如，所接收的图像数据可以代表图3的拾取环境163中的堆叠165的至少一部分。图像数据可以包括但不限于视频、静态图像、激光雷达数据、雷达数据、条形码数据或者它们的组合。在一些实施方案中，例如，图3的传感器161可以捕获(例如，经由有线或无线连接)传输到计算机或控制器(诸如图1和图6的控制器109)的视频或静态图像。
98.在框502处，计算机109(图1)可以分析图像数据以标识一组物体、堆叠物体等中的目标物体。例如，控制器109可以基于接收到的图像数据和由rds 170存储的表面图像/数据(图6)来标识单独的物体。在一些实施方案中，来自投放位置的信息用于选择目标物体。例如，可以基于投放位置处的可用空间量、优选的堆叠布置等来选择目标物体。用户可以输入选择标准来确定物体拾取的次序。在一些实施方案中，可以基于接收到的图像数据来生成拾取环境(例如，图3的拾取环境163)的映射。在一些映射协议中，边缘检测算法用于标识物体、表面等的边缘。可以分析映射以确定拾取区域中的哪些物体能够一起运输。在一些实施方案中，能够被真空夹持器同时提起和载运的一组物体被标识为目标物体。
99.图1的机器人系统100可以从源物体中选择目标包裹或物体112作为要执行的任务的目标。例如，机器人系统100可以根据预定顺序、规则集、物体轮廓的模板或者它们的组合来选择要拾取的目标物体。作为特定示例，机器人系统100可以根据代表相对于图像装置的已知位置的距离和位置的点云/深度图来选择目标包裹作为端部执行器140可触及的源包裹的实例，诸如位于源包裹的堆叠的顶部上的源包裹112的实例。在另一个特定示例中，机器人系统100可以选择目标物体作为位于拐角或边缘处的源包裹112并且具有暴露于端部执行器140或端部执行器可触及的两个或更多个表面的实例。在另一特定示例中，机器人系统100可以根据预定样式来选择目标物体，诸如相对于参考位置从左至右或从最接近至最远，而不会或最低程度地干扰或移动源包裹的其他实例。
100.在框504处，控制器109可以选择用于夹持目标物体的真空夹持器或区域。例如，控制器109(图1)可以选择真空区域117a(图4)以夹持包裹112，如图3中所示，这是因为基本上整个包裹112(即，目标物体)在真空区域117a的正下方。可以通过图4的真空区域117a的基本上所有抽吸元件151(例如，抽吸元件151的至少90％、95％、98％)抽吸真空。
101.在框506处，控制器109生成用于控制机器人系统100的一个或多个命令。在一些操作模式下，所述命令可以使机器人系统在已标识或选定的可寻址真空区域处吸入空气。例如，控制器109可以生成一个或多个拾取命令以使真空源(例如，图7的真空源221)提供处于选定真空水平的真空。可以基于目标物体的重量或质量、要执行的任务等来选择真空水平。可以将命令发送到夹持器总成141以使歧管262进行操作以在选定区域或夹持器处提供抽吸。来自视觉传感器装置143(图7)的反馈可以用于监视拾取和搬运过程。
102.在框508处，视觉传感器装置143可以用于验证端部执行器140相对于物体(包括源或目标包裹，诸如图1的包裹112)的位置。视觉传感器装置143可以用于在物体拾取之前和期间、物体运输期间和/或物体投放期间和之后连续或周期性地监视端部执行器140相对于物体的相对位置。视觉传感器装置143的输出还可以用于对物体进行计数(例如，对目标物
体或源物体的数量进行计数)或以其他方式分析物体，包括分析物体的堆叠。视觉传感器装置143还可以用于获得用于导航机器人系统100的环境信息。
103.在框510处，控制器109生成命令以使致动装置(例如，致动装置212)、马达、伺服器、致动器以及机器人臂139的其他部件移动夹持器总成141。可以由机器人系统生成搬运命令以使机器人运输臂以机器人方式在各位置之间移动载运物体的夹持器总成141。可以基于包括运输路径的运输计划来生成运输命令以将物体交付给投放位置而不会引起物体撞击另一个物体。视觉传感器装置143(图7)可以用于避免碰撞。
104.可以执行方法490以夹持多个目标物体。端部执行器140可以被配置为夹持源包裹或物体中的目标包裹或物体的多个实例。例如，机器人系统100可以生成用于使端部执行器140接合真空区域117的多个实例以执行夹持操作以同时夹持目标物体的多个实例的指令。作为特定示例，端部执行器140可以用于执行用于单独地并按顺序一个接一个地夹持目标物体的多个实例的夹持操作的指令。例如，所述指令可以包括使用真空区域117中的一者来执行夹持操作以夹持处于一个姿势或一个取向的目标物体112的第一实例，然后，如果需要，将端部执行器140重新定位以接合真空区域117的第二或不同实例以夹持目标物体的第二实例。在另一个特定示例中，端部执行器140可以用于执行用于同时夹持目标物体的单独实例的夹持操作的指令。例如，端部执行器140可以被定位成同时接触目标物体的两个或更多个实例，并且接合真空区域117的对应实例中的每一者以对目标物体的多个实例中的每一者执行夹持操作。在以上实施方案中，真空区域117中的每一者可以根据需要独立地操作以执行不同的夹持操作。
105.图17是根据本技术的一个或多个实施方案的用于根据基本计划操作图1的机器人系统100的方法700的流程图。方法700包括可以被结合到图16的方法490中并且可以基于用图2的处理器202中的一者或多者或图6的控制器109执行在图2的存储装置204中的一者或多者上存储的指令来实施的步骤。由视觉传感器装置捕获的数据以及传感器输出可以在如下文详细描述的方法700的各个步骤处使用。
106.在框702处，机器人系统100可以询问(例如，扫描)一个或多个指定区域，诸如拾取区域和/或投放区域(例如，源投放区域、目的地投放区域和/或运输投放区域)。在一些实施方案中，机器人系统100可以使用(经由，例如，由图2的处理器202发送的命令/提示)图2的成像装置222、图6的传感器161和/或145或其他传感器中的一者或多者以生成一个或多个指定区域的成像结果。成像结果可以包括但不限于捕获的数字图像和/或点云、物体位置数据等。
107.在框704处，机器人系统100可以标识图1的目标包裹112以及相关联位置(例如，图1的起始位置114和/或图1的任务位置116)。在一些实施方案中，例如，机器人系统100(经由例如处理器202)可以根据样式识别机制和/或规则集标识物体轮廓(例如，周边边缘或表面)来分析成像结果。机器人系统100可以进一步将物体轮廓的分组标识为(例如，根据预定规则和/或姿势模板)与物体的每个独特实例相对应。例如，机器人系统100可以标识在轮廓线(object line)中与颜色、亮度、深度/位置或者它们的组合中的样式相对应(例如，相同的值或以已知速率/样式变化)的物体轮廓的分组。而且，例如，机器人系统100可以根据在主数据中定义的预定形状/姿势模板来标识物体轮廓的分组。
108.机器人系统100可以从拾取位置中的所识别的物体中(例如，根据预定序列或规则
集和/或物体轮廓的模板)选择一个物体作为目标包裹112。例如，机器人系统100可以诸如根据代表相对于传感器的已知位置的距离/位置的点云选择目标包裹112作为位于顶部的物体。而且，例如，机器人系统100可以选择目标包裹112作为位于拐角/边缘处并且具有在成像结果中暴露/示出的两个或更多个表面的物体。可用的真空夹持器和/或区域也可以用于选择目标包裹。此外，机器人系统100可以根据预定样式(例如，相对于参考位置从左至右、从最接近至最远等)选择目标包裹112。
109.在一些实施方案中，端部执行器140可以被配置为夹持源包裹中的目标包裹112的多个实例。例如，机器人系统100可以生成用于使端部执行器140接合真空区域117的多个实例以执行夹持操作以同时夹持目标包裹112的多个实例的指令。作为特定示例，端部执行器140可以用于执行用于单独地并按顺序一个接一个地夹持目标包裹112的多个实例的夹持操作的指令。例如，所述指令可以包括使用真空区域117中的一者来执行夹持操作以夹持处于一个姿势或一个取向的目标包裹112的第一实例，然后，如果需要，将端部执行器140重新定位以接合真空区域117的第二或不同实例以夹持目标包裹112的第二实例。在另一个特定示例中，端部执行器140可以用于执行用于同时夹持目标包裹112的单独实例的夹持操作的指令。例如，端部执行器140可以被定位成同时接触目标包裹112的两个或更多个实例，并且接合真空区域117的对应实例中的每一者以对目标包裹112的多个实例中的每一者执行夹持操作。在以上实施方案中，真空区域117中的每一者可以根据需要独立地操作以执行不同的夹持操作。
110.对于选定的目标包裹112，机器人系统100可以进一步处理成像结果以确定起始位置114和/或初始姿势。例如，机器人系统100可以基于从多个预定姿势模板(例如，根据物体的对应取向的物体轮廓的不同潜在布置)中选择在与物体轮廓的分组相比时与最低差异量度相对应的一个预定姿势模板来确定目标包裹112的初始姿势。而且，机器人系统100可以通过将目标包裹112在成像结果中的位置(例如，用于确定姿势的预定参考点)转换为机器人系统100所使用的网格中的位置来确定起始位置114。机器人系统100可以根据预定校准图来转换位置。
111.在一些实施方案中，机器人系统100可以处理投放区域的成像结果以确定物体之间的开放空间。机器人系统100可以基于根据预定校准图来映射轮廓线来确定开放空间，所述预定校准图将图像位置转换成系统使用的真实位置和/或坐标。机器人系统100可以将开放空间确定为属于不同分组/物体的轮廓线(由此物体表面)之间的空间。在一些实施方案中，机器人系统100可以基于测量开放空间的一个或多个尺寸并将测量的尺寸与目标包裹112的一个或多个尺寸(例如，存储在主数据中)进行比较来确定适合于目标包裹112的开放空间。机器人系统100可以根据预定样式(例如，相对于参考位置从左至右、从最接近至最远、从下至上等)选择合适的/开放空间中的一者作为任务位置116。
112.在一些实施方案中，机器人系统100可以在不处理成像结果的情况下或者除了处理成像结果之外还确定任务位置116。例如，机器人系统100可以根据预定动作和位置序列将物体放置在放置区域，而无需对所述区域进行成像。另外，附接到真空夹持器总成141的传感器(例如，视觉传感器装置143)可以输出用于周期性地对所述区域进行成像的图像数据。可以基于附加图像数据来更新成像结果。而且，例如，机器人系统100可以处理成像结果以执行多个任务(例如，搬运多个物体，诸如位于堆叠的公共层/层级上的物体)。
113.在框706处，机器人系统100可以计算目标包裹112的基本计划。例如，机器人系统100可以基于计算图2的致动装置212的命令或设置序列或者它们的组合来计算基本运动计划，所述致动装置会操作图3的机器人系统132和/或端部执行器(例如，图3至图5的端部执行器140)。对于一些任务，机器人系统100可以计算会操纵机器人系统132和/或端部执行器140以将目标包裹112从起始位置114搬运到任务位置116的序列和设置值。机器人系统100可以实施运动计划机制(例如，过程、函数、方程式、算法、计算机生成的/可读模型或者它们的组合)，所述运动计划机制被配置为根据一个或多个约束、目标和/或规则来计算空间中的路径。例如，机器人系统100可以使用预定算法和/或其他基于网格的搜索来计算通过空间以将目标包裹112从起始位置114移动到任务位置116的路径。运动计划机制可以使用另外的过程、函数或方程式和/或转换表以将路径转换为致动装置212的命令或设置序列或者它们的组合。在使用运动计划机制时，机器人系统100可以计算会操作机器人臂206(图3)和/或端部执行器140(图3)并使目标包裹112沿循所计算路径的序列。视觉传感器装置143可以用于标识任何障碍物并重新计算路径并完善基本计划。
114.在框708处，机器人系统100可以开始执行基本计划。机器人系统100可以基于根据命令或设置序列或者它们的组合操作致动装置212来开始执行基本运动计划。机器人系统100可以执行基本运动计划中的第一组动作。例如，机器人系统100可以操作致动装置212以将端部执行器140以计算出的位置和/或取向放置在起始位置114周围以夹持目标包裹112，如框752中所示。
115.在框754处，机器人系统100可以使用在夹持操作之前和/或期间获得的传感器信息(例如，来自视觉传感器装置143、传感器216、力检测器总成205的信息)来分析物体的位置，所述传感器信息诸如目标包裹112的重量、目标包裹112的质心、目标包裹112相对于真空区域的相对位置或者它们的组合。机器人系统100可以操作致动装置212和真空源221(图7)以使端部执行器140接合并夹持目标包裹112。来自视觉传感器装置143的图像数据和/或来自力传感器总成205的数据可以用于分析目标包裹112的位置和数量。在框755处，视觉传感器装置143可以用于验证端部执行器140相对于目标包裹112或其他物体的位置。在一些实施方案中，如在框756处所示，机器人系统100可以通过将端部执行器向上移动预定距离来执行初始提起。在一些实施方案中，机器人系统100可以重置或初始化用于跟踪夹持动作的数量的迭代计数器
‘
i’。
116.在框710处，机器人系统100可以测量建立的夹持力。机器人系统100可以基于来自图7的力检测器总成205、视觉传感器装置143或其他传感器(诸如压力传感器434(图15))的读数来测量建立的夹持力。例如，机器人系统100可以通过使用图3的力检测器总成205中的一者或多者测量机器人臂139上的一个或多个位置、端部执行器140上的一个或多个位置或者它们的组合上的力、扭矩、压力或者它们的组合来确定夹持特性。在一些实施方案中，诸如对于由总成141建立的夹持力，接触或力测量值可以对应于接触目标包裹112的表面并保持其中的真空状态的抽吸元件(例如，图14的抽吸元件416)的数量、位置或者它们的组合。另外或替代地，可以基于来自视觉传感器装置143的输出来确定夹持特性。例如，来自传感器检测器143的图像数据可以用于确定物体在运输期间是否相对于端部执行器140移动。
117.在判定框712处，机器人系统100可以将测量的夹持力与阈值(例如，初始夹持力阈值)进行比较。例如，机器人系统100可以将接触或力测量值与预定阈值进行比较。机器人系
统100还可以将来自检测器143的图像数据与参考图像数据(例如，在初始物体拾取时捕获的图像数据)进行比较，以确定被夹持的物体是否例如相对于彼此或相对于夹持器总成141发生了移动。因此，机器人系统100可以确定接触/夹持力是否足以继续操纵(例如，提起、搬运和/或重新取向)目标包裹112。
118.如判定框714处所示，当所测量的夹持力未能满足阈值时，机器人系统100可以评估用于重新夹持目标包裹112的迭代计数是否已达到迭代阈值。当迭代计数小于迭代阈值时，在接触或力测量值未能满足(例如，低于)阈值的情况下，机器人系统100可以偏离基本运动计划。因此，在框720处，机器人系统100可以操作机器人臂139和/或端部执行器140以执行基本运动计划中不包括的重新夹持动作。例如，重新夹持动作可以包括用于致动装置212的预定命令或设置序列或者它们的组合，这将导致机器人臂139降低端部执行器140(例如，在反转初始提起时)并且/或导致端部执行器140释放目标包裹112并重新夹持目标包裹112。在一些实施方案中，预定序列可以进一步在释放目标物体之后并且在重新夹持目标物体或改变抽吸真空的区域之前，操纵机器人臂139以调整夹持器的位置。在执行重新夹持动作时，机器人系统100可以暂停基本运动计划的执行。在执行重新夹持动作之后，机器人系统100可以将迭代计数递增。
119.在重新夹持物体之后，机器人系统100可以如以上针对框710所述那样测量建立的夹持力，并且如以上针对框712所述那样评估建立的夹持力。机器人系统100可以如上所述尝试重新夹持目标包裹112，直到迭代计数达到迭代阈值为止。当迭代计数达到迭代阈值时，机器人系统100可以停止执行基本运动计划，如框716处所示。在一些实施方案中，机器人系统100可以请求操作员输入，如框718处所示。例如，机器人系统100可以经由图2的通信装置206和/或图2的输入
‑
输出装置208生成操作员通知栏(例如，预定消息)。在一些实施方案中，机器人系统100可以取消或删除基本运动计划，记录用于对应任务的预定状态(例如，错误代码)，或者执行它们的组合。在一些实施方案中，如上所述，机器人系统100可以通过对拾取/任务区域进行成像(702)和/或将拾取区域中的另一个物品标识为目标物体(框704)来重新发起所述过程。
120.当测量的夹持力(例如，针对每个被保持包裹的测量的夹持力)满足阈值时，机器人系统100可以继续执行基本运动计划的其余部分/动作，如框722处所示。类似地，当在重新夹持目标包裹112之后接触量度满足阈值时，机器人系统100可以恢复暂停的基本运动计划的执行。因此，机器人系统100可以通过根据其余命令和/或设置序列操作图2的致动装置212和/或运输马达214来继续执行基本运动计划中的顺序动作(即，遵循夹持和/或初始提起)。例如，机器人系统100可以根据基本运动计划来(例如，竖直和/或水平)搬运和/或重新取向目标包裹112。
121.在执行基本运动计划时，机器人系统100可以跟踪目标包裹112的当前位置和/或当前取向。机器人系统100可以根据来自图2的位置传感器224的输出来跟踪当前位置以定位机器人臂和/或端部执行器的一个或多个部分。在一些实施方案中，机器人系统100可以通过用计算机生成的模型、过程、方程式、位置图或者它们的组合处理位置传感器224的输出来跟踪当前位置。因此，机器人系统100可以结合关节和结构构件的位置或取向，并且进一步将位置映射到网格以计算和跟踪当前位置424。在一些实施方案中，机器人系统100可以包括多个信标源。机器人系统100可以在机器人臂和/或端部执行器中的一个或多个位置
处测量信标信号，并使用测量值(例如，信号强度、时间戳或传播延迟和/或相移)来计算信号源与测量位置之间的间隔距离。机器人系统100可以将间隔距离映射到信号源的已知位置，并且将信号接收位置的当前位置计算为映射的间隔距离重叠的位置。
122.在判定框724处，机器人系统100可以确定基本计划是否已经被完全执行到最后。例如，机器人系统100可以确定基本运动计划422中的所有动作(例如，命令和/或设置)是否已经完成。而且，在当前位置与任务位置116匹配时，机器人系统100可以确定基本运动计划已完成。当机器人系统100已完成执行基本计划时，机器人系统100可以通过对拾取/任务区域进行成像(框702)和/或将拾取区域中的另一个物品标识为目标物体(框704)来重新发起所述过程。
123.否则，在框726处，机器人系统100可以在目标包裹112的搬运期间测量夹持力(即，通过确定接触/力测量值)。换句话说，机器人系统100可以在执行基本运动计划时确定接触/力测量值。在一些实施方案中，机器人系统100可以根据采样频率或在预定时间确定接触/力测量值。在一些实施方案中，机器人系统100可以在用致动装置212执行预定数量的命令或设置之前和/或之后确定接触/力测量值。例如，机器人系统100可以在特定类别的操纵(诸如用于提起或旋转)之后或期间对接触传感器226进行采样。而且，例如，当加速度计输出的方向和/或大小匹配或超过代表突然或快速运动的预定阈值时，机器人系统100可以对接触传感器226进行采样。机器人系统100可以使用上述一个或多个过程来确定接触/力测量值(例如，对于框710)。
124.在一些实施方案中，机器人系统100可以确定夹持器和/或目标包裹112的取向并相应地调整接触量度。机器人系统100可以基于取向来调整接触量度，以根据所述取向考虑接触传感器的感测方向与施加到目标物体的重力之间的方向关系。例如，机器人系统100可以根据取向来计算感测方向与参考方向(例如，“向下”或重力方向)之间的角度。机器人系统100可以根据与计算出的角度相对应的因子和/或符号来缩放或倍增接触/力测量值。
125.在判定框728处，机器人系统100可以将测量的夹持力与阈值(例如，搬运夹持力阈值)进行比较。在一些实施方案中，搬运夹持力阈值可以小于或等于与评估目标包裹112上的初始(例如，搬运之前)夹持力相关联的初始夹持力阈值。因此，机器人系统100可以在发起目标包裹112的搬运之前实施更严格的规则来评估夹持力。对夹持的阈值要求最初可能更高，这是因为足以拾取目标包裹112的接触可能足以搬运目标包裹112。
126.当所测量的夹持力满足(例如，不小于)阈值并且夹持正确的包裹(例如，基于来自视觉传感器装置143的图像数据确定的)时，机器人系统100可以如框722处所示和如上所述继续执行基本计划。当所测量的夹持力未能满足(例如，小于)阈值或未夹持正确的包裹时，机器人系统100可以偏离基本运动计划并执行一个或多个响应动作，如框730处所示。当根据阈值而言所测量的夹持力不足时，机器人系统100可以根据基本运动计划中未包括的命令和/或设置来操作机器人臂139、端部执行器或者它们的组合。在一些实施方案中，机器人系统100可以基于当前位置执行不同的命令和/或设置。
127.出于说明目的，将使用受控投放来描述响应动作。然而，应当理解，诸如通过如框716处所示停止执行基本运动计划和/或通过如框718处所示请求操作员输入，机器人系统100可以执行其他动作。
128.受控投放包括用于以受控方式(即，基于降低和/或释放目标包裹112，而不是由于
夹持完全失败)将目标包裹112放置在投放区域中的一者(例如，而非任务位置116)中的一个或多个动作。在执行受控投放时，机器人系统100可以根据当前位置动态地(即，实时地和/或在执行基本运动计划时)计算不同的位置、操纵或路径和/或致动装置命令或设置。在一些实施方案中，端部执行器140可以被配置用于针对目标包裹112的多个实例的夹持释放操作。例如，在一些实施方案中，端部执行器140可以被配置用于通过根据需要选择性地使真空区域117解除以相应地释放目标包裹112的每个实例而同时或按顺序执行夹持释放操作。机器人系统100可以基于被保持物体的位置、投放区域处的物体布置等选择是同时还是按顺序释放物体以及释放的次序。
129.在框762处，机器人系统100可以计算调整后的投放位置和/或用于放置目标包裹112的相关联姿势。在计算调整后的投放位置时，机器人系统100可以标识最接近当前位置和/或在当前位置前面(例如，在当前位置与任务位置之间)的投放区域(例如，源投放区域、目的地投放区域或运输投放区域)。而且，在当前位置介于投放区域之间(即，不在投放区域内)时，机器人系统100可以计算距投放区域的距离(例如，距投放区域的代表性参考位置的距离)。因此，机器人系统100可以标识最靠近当前位置和/或在当前位置前面的投放区域。基于所标识的投放区域，机器人系统100可以将其中的位置计算为调整后的投放位置。在一些实施方案中，机器人系统100可以基于根据预定次序(例如，相对于参考位置从左至右、从下至上和/或从前至后)选择位置来计算调整后的投放位置。
130.在一些实施方案中，机器人系统100可以计算从当前位置到投放区域内的开放空间的距离(例如，如在框704中标识和/或根据正进行的物体放置进行跟踪)。机器人系统100可以选择在当前位置前面和/或最靠近当前位置424的开放空间作为调整后的投放位置。
131.在一些实施方案中，在选择投放区域和/或开放空间之前，机器人系统100可以使用预定过程和/或方程式来将接触/力量度转换为最大搬运距离。例如，预定过程和/或方程式可以基于接触量度的各种值来估计对应的最大搬运距离和/或夹持完全失败之前的持续时间。因此，机器人系统100可以滤除比距当前位置的最大搬运距离更远的可用投放区域和/或开放空间。在一些实施方案中，当机器人系统100未能标识可用的投放区域和/或开放空间时(例如，当可触及的投放区域已满时)，机器人系统100可以停止执行基本运动计划，如框716处所示，和/或请求操作员输入，如框718处所示。
132.在框766处，机器人系统100可以计算调整后的运动计划以将目标包裹112从当前位置搬运到调整后的投放位置。机器人系统100可以通过类似于以上针对框506所述的方式来计算调整后的运动计划。
133.在框768处，除了基本运动计划和/或代替基本运动计划，机器人系统100还可以执行调整后的运动计划。例如，机器人系统100可以根据命令或设置序列或者它们的组合来操作致动装置212，由此操纵机器人臂139和/或端部执行器以使目标包裹112根据路径进行移动。
134.在一些实施方案中，机器人系统100可以暂停基本运动计划的执行并执行调整后的运动计划。在一些实施方案中，一旦基于执行调整后的运动计划将目标包裹112放置在调整后的投放位置处(即，完成受控投放的执行)，机器人系统100就可以尝试如上文针对框720所述那样重新夹持目标包裹112，然后如上文针对框710所述的那样测量建立的夹持力。在一些实施方案中，机器人系统100可以尝试重新夹持目标包裹112直至如上所述的迭代极
限为止。如果接触量度满足初始夹持力阈值，则机器人系统100可以反转调整后的运动计划(例如，返回到暂停点/位置)并继续执行暂停的基本运动计划的其余部分。在一些实施方案中，机器人系统100可以更新并重新计算从当前位置424(在重新夹持之后)到任务位置116的调整后的运动计划，并执行调整后的运动计划以完成执行任务。
135.在一些实施方案中，机器人系统100可以更新所触及的投放区域的区域日志(例如，开放空间和/或所放置物体的记录)以反映所放置的目标包裹112。例如，机器人系统100可以为对应的投放区域再生成像结果。在一些实施方案中，机器人系统100可以在执行受控投放并将目标包裹112放置在调整后的投放位置之后取消基本运动计划的其余动作。在一个或多个实施方案中，运输投放区域可以包括放置在图1的运输单元106中的一者的顶部上的货盘或仓。在指定时间(例如，当货盘/仓已满时和/或当进来的货盘/仓被延迟时)，对应的运输单元可以从投放区域进入拾取区域。因此，机器人系统100可以重新实施方法500，由此将投放物品重新标识为目标包裹112，并将它们搬运到对应的任务位置116。
136.一旦目标包裹112已经被放置在调整后的投放位置，机器人系统100就可以针对新的目标物体重复方法700。例如，机器人系统100可以将拾取区域中的下一个物体确定为目标包裹112，计算新的基本运动计划以搬运新的目标物体等。
137.在一些实施方案中，机器人系统100可以包括反馈机制，所述反馈机制基于接触量度312来更新路径计算机制。例如，随着机器人系统100实施所述动作以重新夹持具有调整后的位置的目标包裹112(例如，如上文针对框720所述)，机器人系统100可以存储产生满足阈值的接触/力测量值的端部执行器的位置(例如，如上文针对框712所述)。机器人系统100可以与目标包裹112相关联地存储位置。当夹持失败和/或成功重新夹持动作的次数达到阈值时，机器人系统100可以分析所存储的位置(例如，使用运行窗口来分析最近的一组动作)以夹持目标包裹112。当针对特定物体发生预定数量的重新夹持动作时，机器人系统100可以更新运动计划机制以将夹持器放置在相对于目标包裹112的新位置(例如，与最大成功次数相对应的位置)。
138.基于框710和/或框726中代表的操作，机器人系统100(经由，例如处理器202)可以跟踪执行基本运动计划的进度。在一些实施方案中，机器人系统100可以根据目标包裹112的水平搬运来跟踪进度。机器人系统100可以基于在发起水平搬运之前测量建立的夹持力(框710)以及基于在发起水平搬运之后的搬运期间测量夹持力(框726)来跟踪进度。因此，机器人系统100可以基于如上所述的进度来选择性地生成致动器命令、致动器设置或者它们的组合的新集合(即，与基本运动计划不同)。
139.在其他实施方案中，例如，机器人系统100可以基于跟踪已经传送给致动装置212和/或由致动装置212实施的命令、设置或者它们的组合来跟踪进度。基于进度，机器人系统100可以选择性地生成致动器命令、致动器设置或者它们的组合的新集合以执行重新夹持响应动作和/或受控的投放响应动作。例如，当进度是在目标包裹112的任何水平搬运之前时，机器人系统100可以选择初始夹持力阈值并执行框712中所代表的操作(经由例如函数调用或跳转指令)和后续框中所代表的操作。而且，当进度是在目标包裹112的水平搬运之后时，机器人系统100可以选择搬运夹持力阈值并执行框728中所代表的操作(经由例如函数调用或跳转指令)和后续框中所代表的操作。
140.经由来自视觉传感器装置143的成像数据，根据接触/力测量值和基于视觉的监视
来实施目标包裹112的粒度控制/操纵(即，选择实施基本运动计划或偏离基本运动计划)提高了搬运物体的效率、速度和准确度。例如，当接触量度低于初始夹持力阈值或者包裹112定位不当时重新夹持目标包裹112降低了在搬运期间发生夹持失败的可能性，这减少了在搬运期间丢失或无意投放的物体的数量。可以调整真空区域和真空水平以保持期望的夹持力并且进一步增强对包裹112的处理。此外，每个丢失的物体都需要人工干预以纠正后果(例如，将丢失的物体从运动路径中移出以进行后续任务，检查丢失的物体是否受到损坏，和/或完成针对丢失的物体的任务)。因此，减少丢失的物体的数量减少了实施任务和/或整个操作所需的人力。
141.图18至图21示出了根据本公开的一个或多个实施方案的根据图16的方法490或图17的方法700以机器人方式夹持并运输物体的阶段。图18示出了位于物体堆叠上方的夹持器总成141。机器人臂139可以将夹持器总成141定位在目标物体的正上方。控制器可以分析来自视觉传感器装置143的图像数据以标识例如目标物体812a、812b，如在图17的框704处所讨论的。可以基于收集的图像数据来生成计划(例如，拾取计划或基本计划)。可以基于(a)夹持器总成141的载运能力和/或(b)目标物体的配置来生成计划。
142.图19示出了夹持器总成141的下表面，所述下表面覆盖目标物体812a、812b和大的非目标物体818。可以分析来自视觉传感器装置143的输出以确认夹持器总成141相对于目标物体的位置。基于物体812a、812b的位置，标识真空区域117a、117b以抽吸真空。在一些实施方案中，来自力传感器203的读数用于确认在夹持目标物体812a、812b之前和/或之后，夹持器总成141已经接触堆叠814的上表面。
143.图20示出了如箭头所指示空气被吸入到真空区域117a、117b中以将目标物体812a、812b保持在夹持器总成141上，而没有在另一个真空区域117c处抽吸真空(或基本真空)。可以增大或减小真空水平以增大或减小顺从面板412的压缩(已标识出一个)。可以如结合图17的框710所讨论的那样评估真空夹持力。
144.图21示出了升高的夹持器总成141牢固地保持目标物体812a、812b。视觉传感器装置143可以用于监视目标物体812a、812b的位置。另外或替代地，力检测器总成205可以用于确定关于载荷的信息，诸如目标物体812a、812b的位置和重量。真空区域117a、117b可以继续吸入空气以牢固地保持目标物体812a、812b。如在图17的框726处讨论的，可以在搬运期间监视真空夹持力。可以停止或减小所施加的真空以释放物体812a、812b。可以重复该过程以搬运堆叠中的物体中的每一者。
145.抓取集合
146.图22示出了根据本技术的一个或多个实施方案的抓取集合2200的示例性方面。抓取集合2200可包括端部执行器140相对于目标包裹112的一个或多个夹持姿势(例如，位置、定位、取向等)。更具体地，当确定夹持姿势是否可用于夹持目标包裹112时，夹持姿势可代表目标包裹112与端部执行器140之间的相对位置。
147.作为夹持姿势的说明性示例，图22示出了端部执行器140相对于目标包裹112的第一姿势2202和第二姿势2204。经由代表用于抓取目标包裹112的端部执行器140的第一姿势2202的第一俯视图2212和第一侧视图2214示出第一姿势2202。目标包裹112可具有比端部执行器140更小的占位面积，并且在第一俯视图2212中被端部执行器140遮盖。因此，对于第一俯视图2212，目标包裹112经由虚线示出以指示相对于端部执行器140的姿势。与第一姿
势2202类似，经由代表用于抓取目标包裹112的端部执行器140的第二姿势的第二俯视图2222和第二侧视图2224示出第二姿势2204。
148.第一姿势2202可具有端部执行器140和目标包裹112彼此平行的长度。第一姿势2202和第二姿势2204可围绕竖直方向(例如，z轴，在图22中未示出)旋转/偏移90度。因此，第二姿势2204可具有端部执行器140的与目标包裹112的宽度平行并且与目标包裹112的长度正交的长度。
149.图1的机器人系统100可通过标识目标包裹112的夹持姿势并且相对于处于所标识的夹持姿势下的目标包裹112的模型覆盖或布置处于一个或多个夹持姿势下的端部执行器140的模型来导出抓取集合2200。机器人系统100可在布置和分析模型时遵循预定样式或例程。在一些实施方案中，抓取集合2200可包括端部执行器140的指定夹持姿势2206，所述端部执行器的一个或多个边缘/边界与目标包裹112的一个或多个对应的外围边缘对准。例如，指定夹持姿势2206可具有图4的夹持接口121的一个或多个外围边缘和/或图4的真空区域117可与目标包裹112的对应的外围边缘对准。换句话说，目标包裹112的外围边缘和真空区域117的对应外围边缘可与竖直线/平面重合。在一个或多个实施方案中，抓取集合2200可为指定抓取集合，其包括指定夹持姿势2206，而没有未对准的端部执行器夹持姿势。机器人系统100可经由预期或已知包裹的计算机模型离线(例如，在接收和/或处理实际包裹之前)导出抓取集合2200。替代地或另外，机器人系统100可诸如基于描绘旨在搬运的实际包裹的实时图像来动态地导出抓取集合2200。
150.抓取集合2200还可包括与夹持姿势相关联的运动控制参数2208。每个运动控制参数2208可各自包括指示，所述指示标识针对对应的夹持姿势抓取目标物体所需的真空区域117和/或抽吸元件151。而且，运动控制参数2208可包括代表速度、加速度、力、速率等的值，所述值用于在抓取和搬运目标包裹112时控制端部执行器140的运动。例如，运动控制参数2208可包括用于每个夹持姿势的搬运速度乘数(tsm)(例如，用于第一姿势2202的第一tsm 2218和用于第二姿势2040的第二tsm 2228)。tsm可包括范围r∈[0，1]内的值，其中
‘1’
代表全速或最大速度，而
‘0’
代表停止或不运动。
[0151]
机器人系统100可根据对应的夹持姿势(离线和/或动态地)导出或计算运动控制参数2208。机器人系统100可基于端部执行器140与目标包裹112之间的重叠、关于目标包裹112的物理方面的信息和/或来自相同类型的包裹的先前搬运的记录来导出运动控制参数2208。例如，机器人系统100可标识重叠区域以及对应的真空区域117和/或抽吸元件151。此外，机器人系统100可使用预定函数导出运动控制参数2208，所述预定函数将目标包裹112上方的重叠区域的尺寸和/或抽吸元件151的数量作为输入。预定函数还可使用重量、com信息、一个或多个尺寸、表面类型和/或主数据中关于目标包裹112的其他信息。在一些实施方案中，机器人系统100可基于搬运期间初始夹持失败和/或包裹丢失的出现(例如，用于减少参数)或长时间不存在(例如，用于增加参数)来自动调整运动控制参数2208(例如，tsm)。
[0152]
当搬运包裹时，机器人系统100可从抓取集合2200中选择具有运动控制参数2208的最大实例(例如，tsm的最大值)的夹持姿势。因此，机器人系统100可减少对应包裹的搬运持续时间。另外，机器人系统100可考虑和分析同时抓取和搬运多个包裹。机器人系统100可分析同时搬运的可行性，并且在可行时，机器人系统100可有效地将同时搬运的效率(例如，总搬运时间)与单独的单个搬运的效率进行比较。
[0153]
作为所示的示例，因为与第二姿势2204相比，第一姿势2202在端部执行器140与目标包裹112之间提供了更大的重叠，所以第一tsm 2218可大于第二tsm 2228。换句话说，第一tsm 2218可为
‘
x’，且第二tsm 2228可为
‘
y’，其中
‘
x＞y’。因此，在没有同时抓取可用性或考虑的情况下，机器人系统100可选择第一姿势2202而不是第二姿势2204。
[0154]
对于图22中所示的示例，机器人系统100可确定端部执行器140在同时抓取目标2250上方延伸。同时抓取目标2250可为与目标包裹112相邻和/或与目标包裹112位于同一层中的包裹。在一些实施方案中，当相邻包裹的顶部部分或顶表面的高度与目标包裹112的顶表面/部分高度相同或在其阈值范围内时，机器人系统100可将相邻包裹验证为同时抓取目标2250以进行进一步处理。机器人系统100可诸如通过导出或确定总体运动控制参数和/或通过分析释放顺序来分析同时抓取和搬运目标包裹112和同时抓取目标2250的可行性。当分析结果指示同时抓取/搬运的可行性时，机器人系统100可导出对应的运动计划和/或评估对应的效率。因此，当适用且有益时，机器人系统100可通过抓取和搬运多个包裹来减少包裹的层/堆叠的总搬运时间。在下面描述关于同时抓取和搬运的细节。
[0155]
多个包裹的同时抓取
[0156]
图23a至图23f示出了根据本技术的一个或多个实施方案的用于同时搬运多个物体的示例性场景。所示的示例性场景示出了端部执行器140的真空区域117的操作状态以及对目标包裹112和同时抓取目标2250的对应影响。因此，所示的示例性场景示出了与同时抓取/搬运相关联的错误状况以及对应解决方案。
[0157]
对于说明性示例，目标包裹112的尺寸可比第一真空区域117a的对应尺寸更长。对于图23a所示的指定夹持姿势，目标包裹112可延伸到第二真空区域117b中。同时抓取目标2250可与目标包裹112相邻。这两个包裹可分开一定距离。通过选定的夹持姿势，第二真空区域117b和第三真空区域117c都可与同时抓取目标2250重叠。因此，机器人系统100可激活所有三个真空区域以同时抓取并拾取同时抓取目标2250和目标包裹112。
[0158]
图23b和图23c示出了用于释放包裹的可能的错误状况。如图23b所示，仅停用第一真空区域117a可能不会完全释放目标物体112。例如，由于重叠，具有相对较轻重量、柔性结构和/或较光滑抓取表面的包裹可保持粘附到第二真空区域117b或由第二真空区域抓取。结果，目标物体112可能与另一个物体碰撞，保持被端部执行器140抓取，和/或以非预期方式落下。替代地，如图23c所示，停用第一真空区域117a和第二真空区域117b两者以释放目标物体112可能导致同时抓取目标2250的非预期释放。例如，一个真空区域可能不足以在同时抓取目标2250较重、硬和/或具有不规则或多孔的抓取表面时抓取它。
[0159]
图23d至图23f示出了用于处理目标包裹112和同时抓取目标2250的潜在解决方案。如图23d所示，机器人系统100可分析替代的释放序列。机器人系统100可考虑在目标包裹112之前释放同时抓取目标2250。因此，机器人系统100可考虑停用第二真空区域117b和第三真空区域117c以释放同时抓取目标2250。机器人系统100可分析这种停用对目标包裹112的影响。对于上面讨论的示例性状况，第一真空区域117a可能足以抓取目标包裹112，并且替代的释放顺序可为可行的解决方案。在一些实施方案中，机器人系统100可通过在维持目标包裹112在同时抓取包裹之前被释放时针对同一组包裹重新布置目标和同时抓取的指定包裹(例如，通过将图23d中的目标2指定为目标包裹112，并且将目标1指定为同时抓取包裹2250)来处理替代释放顺序。
[0160]
替代地或另外，机器人系统100可考虑其他夹持姿势，如图23e所示。例如，端部执行器140的最初分析的夹持姿势可使第一真空区域117a的外边缘与目标包裹112的第一外围边缘对准。机器人系统100可另外或替代地处理和分析替代姿势2402，所述替代姿势将第一真空区域117a的内边界与目标包裹112的与第一外围边缘相对的第二外围边缘对准。实际上，机器人系统100可考虑使端部执行器140相对于目标包裹112和/或同时抓取包裹2250沿着横向方向移位。对于上面讨论的示例性状况，目标包裹112可与第一真空区域117a重叠并被其抓取，而不会与第二真空区域117b重叠。因此，第二真空区域117b可专用于仅抓取同时抓取包裹2250。因此，可通过停用第一真空区域117a来释放目标包裹112，并且独立地，可通过停用第二真空区域117b和第三真空区域117c来释放同时抓取包裹2250。
[0161]
图23f示出了仅抓取目标包裹112的机器人系统100。例如，当针对同时抓取的分析指示违反任何规则或阈值时，机器人系统100可恢复为抓取和搬运目标包裹112，而不同时抓取其他包裹。
[0162]
接触评估
[0163]
图24示出了根据本技术的一个或多个实施方案的示例性夹持器放置状况。在一些实施方案中，机器人系统100可导出重叠量度，所述重叠量度代表包裹与对应的真空区域之间的重叠量。对于图24中所示的示例，端部执行器140可被定位成使得第二真空区域117b与目标包裹112完全重叠。因此，机器人系统100可将第二真空区域117b的重叠量度确定为
‘
全部(all)’。当真空区域不与目标包裹112重叠时(图24中未示出)，机器人系统100可将重叠量度确定为
‘
无(none)’。
[0164]
机器人系统100可具有一个或多个值来描述真空区域与目标包裹112之间的部分重叠。在一些实施方案中，机器人系统100可根据诸如来自真空传感器(即，传感器216)的传感器读数来确定真空区域(即，第一真空区域117a、第二真空区域117b或第三真空区域117c)中的一者或多者与目标物体112之间的部分重叠量度。例如，如果即使用于夹持的抓取姿势指示目标物体112与真空区域的重叠或其间的接触，真空传感器不能通过改变真空压力而检测到目标物体112与真空区域中的一者(即，第一真空区域117a)接触，则机器人系统100仍可将重叠分类为“触摸(touch)”，如图24所示。在一些实施方案中，机器人系统100可根据阈值的对应集合或范围来确定部分重叠量度。对于图24所示的示例，机器人系统100可使用50％的重叠作为
‘
触摸’分类与
‘
一些(some)’分类之间的划分阈值。因此，机器人系统100可将第一真空区域117a的重叠量度确定为
‘
触摸’，这是因为少于50％的区域与目标包裹112重叠。此外，机器人系统100可将第三真空区域117c的重叠量度确定为
‘
一些’，因为重叠量对应于大于50％且小于100％的值。在一些实施方案中，
‘
一些’分类与
‘
全部’分类之间的差异可基于50％重叠与100％重叠之间的阈值。
[0165]
对抓取包裹的实时验证
[0166]
图25示出了根据本技术的一个或多个实施方案的示例性任务位置。在一些实施方案中，一组目的地传感器2502可被配置为跟踪包裹搬运的进度。例如，目的地传感器2502可包括线传感器(例如，光学传感器)，所述线传感器传输光学信号和/或检测由搬运的包裹和/或机器人单元(例如，端部执行器140)引起的光学信号的变化。一些示例性线传感器可检测到不存在对应的激光或光学信号以指示越过(crossing)或进入事件，并且随后检测到激光/光学信号以指示离开事件。
[0167]
在一些实施方案中，目的地传感器2502可位于图1的任务位置116上方(例如，图3的输送机120)。目的地传感器2502可包括一组减速传感器2504和/或一组释放传感器2506。减速传感器2504可包括线传感器，所述线传感器被配置为在搬运的包裹下降时触发减速以准备其释放。释放传感器2506可包括线传感器，所述线传感器被配置为(例如，经由停用对应的真空区域117)触发释放抓取的包裹，以将包裹放置在对应的目标位置116上。
[0168]
目的地传感器2502可沿着一个或多个横向平面布置和取向。在一些实施方案中，例如，目的地传感器2502可沿着横向线(例如，沿着x方向)和/或根据固定的间隔距离布置。目的地传感器2502可被配置为检测沿着正交横向线(例如，沿着y方向)的越过。换句话说，目的地传感器2502可被配置为检测沿着y方向行进的光信号的改变/干扰。而且，减速传感器2504可对应于位于与释放传感器2506相对应的另一个横向平面(例如，第二水平面)上方的横向平面(例如，水平面)。
[0169]
机器人系统100可使用目的地传感器2502来确定或验证搬运的包裹的其他物理方面。例如，机器人系统100可使用越过事件来确定搬运的包裹的高度。目的地传感器2502的检测线/平面可处于已知的高度。因此，机器人系统100可通过标识在越过事件时端部执行器140的高度并计算所标识的高度与目的地传感器2502的已知高度之间的差值来确定包裹高度。而且，机器人系统100可标识线性布置的传感器的触发实例，以确定搬运的包裹的对应横向尺寸。如图25所示，机器人系统100可确定传感器d1a、d1b和d2a已检测到越过事件，而传感器d2b和后续传感器保持不受干扰。因此，机器人系统100可估计同时抓取目标2250的宽度或长度。
[0170]
机器人系统100可使用导出的信息来验证搬运的包裹和对应运动计划的其余部分。例如，机器人系统100还可根据规则来导出并实施运动计划，以首先释放最高的包裹。因此，机器人系统100可验证意图首先被释放的包裹在其他同时搬运的包裹之前越过感测线/平面。此外，机器人系统100可将基于传感器的高度和/或横向尺寸与搬运的包裹的已知尺寸或预期尺寸进行比较，以验证其标识/类别。
[0171]
对于图25所示的示例，机器人系统100可导出并实施运动计划，以同时抓取和搬运目标包裹112和同时抓取目标2250。机器人系统100可根据数据和分析结果导出运动计划，所述数据和分析结果指示目标包裹112比同时抓取目标2250更高。因此，运动计划可对应于在同时抓取目标2250之前释放目标包裹112。然而，所利用的尺寸可能是错误的，并且包裹在对应位置的实际尺寸可能不同。因此，在传感器d3a和d3b(例如，与目标包裹112相对应的传感器)指示越过事件之前，当传感器d1a至d2b(例如，与同时抓取目标2250相对应的传感器)指示越过事件时，机器人系统100可检测到错误状况。另外或替代地，机器人系统100可基于传感器d1a至d2b的触发来导出估计的横向尺寸和/或非预期的尺寸状态。换句话说，基于触发的传感器的位置，机器人系统100可确定搬运的物体的横向尺寸不是所期望的。如以下详细讨论的，机器人系统100可响应于检测到的错误状况并评估运动计划的其余部分。基于评估，机器人系统100可继续进行其余部分或更新/更换其余部分。
[0172]
同时处理多个物体的操作流程
[0173]
图26是根据本技术的一个或多个实施方案的用于操作机器人系统(例如，机器人系统100)的示例性方法2600的另一个流程图。方法2600可用于评估使用多爪夹持器总成(例如，图4的端部执行器140)对两个或更多个物体的同时抓取。方法2600可用于确定同时
抓取和搬运两个或更多个物体是否可行和/或最优。基于所述确定，机器人系统100(例如，经由图2的处理器202)可实施方法2600，以导出和实施用于抓取和搬运包裹的一个或多个运动计划。可基于使用图2的处理器202中的一者或多者执行存储在图2的存储装置204中的一者或多者上的指令来实施方法2600。在实施运动计划和/或方法2600时，处理器202可将运动计划或相关联的命令/设置的集合/序列发送到图3的搬运总成104和/或图3的端部执行器140。因此，搬运总成104和/或端部执行器140可执行运动计划以抓取和搬运包裹。
[0174]
在框500处，机器人系统100(例如，图1的计算机109和/或处理器202)可接收代表如上所述的环境的至少一部分的图像数据。例如，机器人系统100可从图3的成像系统160接收代表在图3的拾取环境163下图3的堆叠165的至少一部分的图像数据。拾取环境163可包括图1的目标包裹112和图22的同时抓取目标2250。因此，图像数据可描绘目标包裹112、同时抓取目标2250和/或堆叠165中的其他包裹(例如，形成堆叠165的顶层的包裹)。
[0175]
在框502处，如上所述，机器人系统100可分析图像数据以标识一组物体中的包裹、包裹堆叠等。例如，机器人系统100可标识一组包裹，诸如暴露于成像系统160/可供成像系统查看和/或可供端部执行器140触及的包裹(例如，形成堆叠165的顶层的包裹)，包括目标包裹112和同时抓取目标2250。机器人系统100可通过估计单个包裹的边界和/或位置来标识所述一组包裹。在一些实施方案中，机器人系统100可将图像数据的部分与主数据中代表包裹的已知表面的图像进行比较。另外或替代地，机器人系统100可(经由例如sobel滤波器)执行边缘检测以检测和定位边缘。机器人系统100可分析边缘以估计图像数据中描绘的包裹的边界。
[0176]
在一些实施方案中，机器人系统100可迭代地选择所标识的包裹中的一者作为目标包裹112，以用于随后的处理/考虑。机器人系统100可经由迭代分析来处理所述组中的包裹并选择用于搬运包裹的抓取组合。替代地，机器人系统100可在每次迭代结束时单独地搬运目标包裹112或搬运目标包裹和一个或多个同时抓取包裹(例如，同时抓取目标2250)。
[0177]
在框2602处，机器人系统100可分析每个包裹的抓取集合(例如，图22的抓取集合2200)。机器人系统100可通过确定一组可用的夹持器位置来分析抓取集合2200，诸如在框2622处。抓取集合2200中的夹持姿势中的每一者可代表端部执行器140在现实世界中和/或相对于目标包裹112的位置和/或取向。机器人系统100可通过将处于各种不同的夹持姿势的端部执行器140的模型覆盖在图像数据中的目标包裹112上方来分析抓取集合2200。机器人系统100可消除违反一个或多个预定规则的夹持姿势中的任一者。例如，机器人系统100可消除与任何障碍物(诸如容器壁、预定的固定装置/结构等)重叠的夹持姿势。
[0178]
为了减少处理复杂性/负担，机器人系统100可根据一种或多种预定样式和/或规则来分析或包括抓取集合中的有限数量的夹持姿势。在一些实施方案中，诸如在框2624处所示，机器人系统100可为每个包裹确定指定抓取集合(例如，图22的一组指定夹持姿势2206)。因此，抓取集合可包括一组夹持姿势，每个夹持姿势将多爪夹持器总成的边界(例如，图4的真空区域117的外围边缘)与目标包裹112的外围边缘对准。指定抓取集合可仅包括指定夹持姿势2206。机器人系统100可对准其结构或模型，使得对应边缘相交或邻接竖直线或平面。
[0179]
在一些实施方案中，机器人系统100可在接收图像数据之后基于动态地导出并生成夹持姿势来分析抓取集合2200。替代地，机器人系统100可具有用于每个已知包裹的抓取
集合2200的预定实例。例如，每个已知或预期包裹的抓取集合2200可存储在主数据中。机器人系统100可基于从主数据访问与所标识的目标包裹相对应的夹持姿势来分析抓取集合2200。
[0180]
在框2626处，机器人系统100可标识相邻的分组目标，诸如要考虑与目标包裹112同时抓取的附加包裹(例如，第二包裹，诸如同时抓取目标2250)。机器人系统100可标识与所标识的包裹组中的另一个包裹重叠的夹持姿势。例如，机器人系统100可标识沿着横向方向并且在第二包裹上方延伸的夹持姿势。机器人系统100可将重叠的包裹标识为相邻的分组目标。机器人系统100可处理所标识的重叠夹持姿势，以同时抓取附加包裹和与目标包裹112。在一些实施方案中，机器人系统100可对重叠夹持姿势进行优先排序，诸如用于首先/在单次搬运之前评估同时搬运。
[0181]
如上所述，机器人系统100可迭代地选择和分析所标识的一组包裹(例如，堆叠165和/或其顶层)中的包裹。机器人系统100可跟踪针对所分析的包裹的抓取集合，并且组合针对每个所标识的包裹的夹持姿势。因此，机器人系统100可确定夹持姿势组合，以用于将所标识的包裹从起始位置114抓取并搬运到任务位置116。每个夹持姿势组合可代表用于抓取所述一组包裹中的物体的一组独特的夹持姿势。
[0182]
在框2604处，机器人系统100可导出针对计划的抓取的组合搬运控制设置。机器人系统100可导出针对重叠夹持姿势的组合搬运控制设置。如下面详细描述的，机器人系统100可为目标包裹112、同时抓取目标2250或任何其他重叠的包裹确定图22的运动控制参数2208。机器人系统100可将用于所述一组包裹的参数组合成与同时搬运相对应的一个参数。
[0183]
在框2632处，机器人系统100可标识端部执行器140的模型与旨在同时抓取的包裹(例如，目标包裹112与同时抓取目标2250)之间的重叠区域。对于夹持姿势中的每一者，机器人系统100可计算在端部执行器140与和夹持姿势相对应的包裹中的每一者之间的重叠量。在一些实施方案中，机器人系统100可根据一组预定阈值对诸如以上针对图24所描述的重叠进行分类(例如，全部、一些和触摸类别)。替代地或另外，机器人系统100可对与包裹重叠的抽吸元件151的数量进行计数。机器人系统100可对重叠抽吸元件151的总数和/或代表重叠区域的每个真空区域117的数量进行计数。
[0184]
在框2634处，机器人系统100可确定控制参数(例如，运动控制参数2208，诸如tsm)。可为与夹持姿势相关联的每个包裹确定控制参数。机器人系统100可基于重叠区域来确定运动控制参数2208。例如，对于端部执行器140的夹持姿势中的每一者，机器人系统100可确定代表搬运目标包裹112的力和/或相关物理方面的目标控制参数。另外，对于夹持姿势中的每一者，机器人系统100可确定代表搬运同时抓取目标2250的力和/或相关物理方面的第二控制参数。
[0185]
根据重叠区域，机器人系统100可确定代表真空设置的控制参数，所述真空设置用于控制(1)第一组抽吸元件以抓取目标包裹112，(2)第二组抽吸元件以抓取同时抓取包裹2250，和/或(3)附加组的抽吸元件以抓取另外的包裹。在一些实施方案中，机器人系统100可确定用于激活与包裹重叠的真空区域117(例如，抽吸元件151的组)的单个实例的控制参数。对于允许控制单个抽吸元件的实施方案，控制参数可标识位于重叠区域的边界内的抽吸元件151的组。
[0186]
另外或替代地，机器人系统100可确定代表夹持强度的量度的控制参数(例如，真
空力或抓取抽吸元件的数量)。机器人系统100可进一步确定控制参数以代表与夹持强度的量度相关联的搬运的一个或多个方面，诸如最大速度/加速度和/或估计的搬运时间。在一些实施方案中，机器人系统100可基于所标识的重叠区域来动态地(例如，在接收到图像数据之后)计算夹持强度量度和/或搬运方面(例如，tsm)。替代地，机器人系统100可离线计算控制参数以及对应的夹持姿势。抓取集合2200可包括运动控制参数2208以及对应的夹持姿势，并且机器人系统100可基于访问预定数据来确定参数。
[0187]
在框2636处，机器人系统100可针对被配置为同时抓取多个包裹的每个夹持姿势来生成分组的搬运参数(例如，组合运动控制参数)。例如，机器人系统100可基于将与重叠包裹相对应的不同组的抽吸元件151组合到一个数据参数中来生成组合运动控制参数。在一些实施方案中，组合数据参数可为十六进制字，其中每一位代表对应的真空区域/抽吸元件的激活状态。而且，例如，组合运动控制参数可代表速度设置(例如，组合tsm)，所述速度设置用于操作搬运总成104和/或端部执行器140进行同时操纵/操控目标包裹112和同时抓取目标2250。在一些实施方案中，机器人系统100可通过为重叠包裹组选择搬运速度或tsm中的最小值(例如，目标控制参数与第二控制参数之间的最低/最慢实例)来确定组合运动控制参数。
[0188]
在框2638处，机器人系统100可评估用于搬运一组包裹的总搬运速率。为了进行评估，机器人系统100可基于对应的控制参数来估计夹持姿势组合中的每一者的总搬运速率(例如，用于搬运包裹组的估计速度或时间)。换句话说，机器人系统100可确定用于搬运所标识的组的包裹的一组抓取解决方案(例如，夹持姿势组合)。机器人系统100可基于重叠和每个抓取解决方案中的夹持姿势的对应控制参数(例如，tsm)来估计总搬运速率。机器人系统100可基于根据预定过程或方程式组合tsm来估计总搬运速率。例如，机器人系统100可基于将tsm相加或平均化来估计总搬运速率。
[0189]
机器人系统100可通过比较不同夹持姿势组合或抓取解决方案的总搬运速率来评估总搬运速率。基于所述比较，机器人系统100可根据总搬运率对夹持姿势组合进行评级或排序。因此，机器人系统100可评估同时抓取一组包裹是否优化了整组所标识的包裹的搬运。
[0190]
在框2606处，机器人系统100可验证计划的抓取(例如，每个夹持姿势)。机器人系统100可选择夹持姿势组合中的一者(诸如具有最佳总搬运率的组合)以进行验证。机器人系统100可诸如通过根据一组预定规则确定夹持姿势的可行性来验证选定组合内的夹持姿势。
[0191]
在一些实施方案中，机器人系统100可基于确定同时抓取的包裹的释放顺序来验证计划的抓取，诸如框2642所示。对于给定的夹持姿势，机器人系统100可确定在相应的目标/目的地位置处释放所述一组同时抓取的包裹(例如，目标包裹112和同时抓取目标2250)的顺序。机器人系统100可根据预定规则组和/或一组预定过程来确定释放顺序。确定释放顺序的规则的一个示例可为将较高包裹相对于较短包裹更早地释放。因此，机器人系统100可通过将释放的包裹的投放高度最小化同时防止损害随后释放的包裹(例如，压碎事件)来最小化或消除对释放的包裹的损害。
[0192]
作为说明性示例，投放顺序确定过程可基于如框2646中所示的第一种方法。第一种方法可基于验证目标包裹112是否可在同时抓取目标2250之前被释放。
[0193]
对于第一种方法，机器人系统100可根据针对对应的夹持姿势标识的重叠区域来确定目标接触组(p1)和其余组(p2)。目标接触组可代表一组抽吸元件(例如，一个或多个真空区域117)，所述抽吸元件针对对应的夹持姿势与目标包裹112重叠。其余组可代表不在目标接触组中的第二组抽吸元件(例如，一个或多个真空区域117)。因此，第一接触组和第二接触组可互斥。机器人系统100可访问代表同时抓取目标2250的一个或多个物理属性的数据，并使用访问结果来确定其余组是否足以抓取同时抓取目标2250。当其余组被验证为足以抓取第二包裹时，机器人系统100可确定或验证目标包裹112可在同时抓取目标2250之前被释放。换句话说，当不与目标包裹112重叠的抽吸元件151和/或真空区域117足以抓取同时抓取目标2250时，机器人系统100可验证目标包裹112可首先被释放。基于所述验证，机器人系统100可确定用于在同时抓取目标2250之前释放目标包裹112的释放顺序。
[0194]
而且，作为说明性示例，投放顺序确定过程可基于如框2648中所示的第二方法。第二种方法可基于验证同时抓取目标2250是否可在目标包裹112之前被释放。换句话说，机器人系统100可改变目标包裹和次级/重叠包裹的区别。在一些实施方案中，当第一种方法失败时(例如，当其余组不足以抓取同时抓取目标2250时)，机器人系统100可实施第二种方法。
[0195]
对于第二种方法，机器人系统100可根据针对对应的夹持姿势标识的重叠区域来确定目标激活组(a1)和第二接触组(t2)。目标激活组可代表被指定激活以抓取目标包裹的一组抽吸元件。目标激活组可小于或等于目标接触组。第二接触组可代表与同时抓取目标2250重叠的一组抽吸元件。当目标激活组和第二接触组互斥时，机器人系统100可验证同时抓取目标2250可在目标包裹112之前被释放。因此，当第二接触组和目标激活组互斥时，机器人系统100可确定用于释放同时抓取目标2250和目标包裹112的释放顺序。
[0196]
当夹持姿势组合中的同时抓取姿势中的一者或多者未能提供释放顺序(例如，第一种方法和第二种方法均未通过验证)时，机器人系统100可选择并评估下一个夹持姿势组合，如通过图26中的反馈回路所示。当机器人系统100中的夹持姿势中的每一者提供有效的投放顺序时，机器人系统可验证选定的夹持姿势组合。因此，机器人系统100可选择所述独特一组夹持姿势/解决方案(例如，包括用于同时抓取多个包裹的一个或多个同时抓取姿势)以抓取和搬运所述一组包裹。如上所述，机器人系统100可选择同时抓取姿势，其(1)提供有效抓取(例如，有效的释放顺序)，以及(2)将与搬运所标识的组的包裹相关联的效率量度(例如，搬运速率和/或搬运时间)最大化。
[0197]
在框2608处，机器人系统100可基于经验证的抓取来导出一组运动计划。机器人系统100可针对选定的姿势组合中的夹持器位置中的每一者导出运动计划。对于所述组合中的同时抓取姿势，机器人系统100可导出运动计划，以(1)根据对应的同时抓取姿势放置端部执行器140，(2)激活导出的/验证的抽吸元件组(例如，p1、p2、a1和/或t2)以同时抓取重叠包裹，(3)搬运抓取的包裹，以及(4)在对应的目标位置处释放包裹。
[0198]
在一些实施方案中，机器人系统100可基于逆运动学(ik)机制来导出每个运动计划。根据ik机制，机器人系统100可基于确定所抓取的包裹的目标位置来导出运动计划。机器人系统100可从目标位置(诸如最后释放的包裹的目标位置)开始，并且迭代地仿真端部执行器140、机器人臂和包裹以逆向行进顺序朝起始位置的运动(例如，通过覆盖模型)。因此，机器人系统100可导出避开障碍物/避免碰撞的搬运路径。机器人系统100可将运动计划
导出为导出的搬运路径和/或用于操作端部执行器140和搬运总成104的命令和/或设置的对应组/序列。
[0199]
在框2610处，机器人系统100可实施所述一组运动计划组。机器人系统100可基于将搬运路径、对应命令和/或对应设置从处理器202传送到搬运总成104来实施运动计划。在接收后，搬运总成104可根据搬运路径实施运动计划，执行对应命令和/或对应设置。
[0200]
在一些实施方案中，机器人系统100可在实施期间验证运动计划和/或上述对应导出的准确性。例如，如框2652处所示，机器人系统100可在运动计划的实施期间以及在释放抓取的包裹之前检查所搬运的物体的一个或多个尺寸。为了进行检查，机器人系统100可从图25的一个或多个目的地传感器2502获得数据。所获得的数据可代表抓取的包裹在执行运动计划时越过任务位置上方的横向感测线/平面。所获得的数据的一些示例可包括触发事件(例如，物体进入事件)、触发传感器的标识符和/或位置，和/或与事件相关联的时间戳。
[0201]
使用所获得的数据，机器人系统100可估计哪个包裹越过感测线/平面和/或越过包裹的一个或多个尺寸。例如，机器人系统100可基于将端部执行器140的跟踪位置和包裹的相对/跟踪位置与触发传感器的横向位置/坐标进行比较来确定目标包裹112和同时抓取目标2250中的哪一个。而且，机器人系统100可通过从越过事件时端部执行器140的高度(例如，其底部的高度)减去触发传感器的高度(已知值)来计算越过包裹的高度。此外，机器人系统100可基于触发传感器的数量以及触发传感器之间的横向位置和/或间隔来计算越过包裹的横向尺寸。
[0202]
机器人系统100可基于将动态导出的值与期望值进行比较来验证运动计划。例如，机器人系统100可验证越过包裹是目标包裹112和同时抓取目标2250中的预期包裹(例如，在同时抓取的包裹中具有最大高度的包裹)。而且，机器人系统100将导出的尺寸与存储在主数据中的关于对应包裹的信息进行比较。
[0203]
当导出的结果与期望值匹配时，机器人系统100可完成运动计划的其余部分。当导出的结果与预期值不匹配时，诸如当非预期包裹触发传感器和/或触发包裹具有非预期尺寸时，机器人系统100可重新评估运动计划的其余部分。在一些实施方案中，机器人系统100可导出更换运动计划，诸如用于调整释放顺序/位置和/或调整释放高度。例如，当被指定用于较晚释放的包裹在第一/较早释放包裹之前越过感测线/平面时，机器人系统100可确定第一/早期释放包裹是否可在较高的高度处被释放。机器人系统100可基于触发事件发生时端部执行器140的高度来确定较高的释放高度。机器人系统100可基于较早释放包裹(例如，目标包裹112)的高度和/或重量来确定较高的释放高度的可行性。
[0204]
在一些实施方案中，机器人系统100可基于调整释放顺序/位置来获得更换运动计划，如反馈回路所示。机器人系统100可导出更换运动计划以首先释放最高的包裹。机器人系统100可在没有ik机制的情况下导出更换运动计划。机器人系统100可根据从目的地传感器2502获得的数据来导出更换运动计划。机器人系统100可实施更换运动计划，如框2610所示。
[0205]
方法2600可提供和分析用于给定的一组包裹的实际数量的排列(例如，指定抓取集合)。使用实际数量的排列，机器人系统100可评估同时抓取和搬运多个包裹的可行性，以及这是否会真正改善对给定组包裹的搬运。因此，机器人系统100可有效地实现对多个包裹的同时抓取和搬运，并且减少一组包裹(例如，包裹堆叠或其一层)的总搬运时间。
[0206]
示例
[0207]
本技术的一个或多个实施例可基于或包括一种操作搬运机器人的方法，所述方法可以包括：接收描绘起始位置处的包裹的图像数据，其中所述图像数据用于分析所述包裹中的两者或更多者的同时抓取；基于所述图像数据来标识目标包裹；确定代表相对于所述目标包裹的夹持姿势的抓取集合；标识在所述抓取集合内与第二包裹重叠的一组夹持姿势；导出用于同时操纵所述目标包裹和所述第二包裹的组合运动控制参数；确定用于将所述目标包裹和所述第二包裹放置在相应目标位置处的释放顺序；基于所述组合运动控制参数和所述释放顺序，从所述抓取集合中选择同时抓取姿势，其中所述同时抓取姿势代表所述运输机器人的多爪夹持器总成的姿势，所述姿势用于同时抓取和搬运所述目标包裹和所述第二包裹；基于所述同时抓取姿势导出运动计划，所述运动计划用于同时操纵所述多爪夹持器总成以将所述目标包裹和所述第二包裹搬运到所述相应目标位置；和/或实施所述运动计划以操作所述运输机器人以同时抓取和搬运所述目标包裹和所述第二包裹。
[0208]
对于示例性方法，所述抓取集合可为一组指定姿势，其中每个指定姿势用于使所述多爪夹持器总成的边界与所述目标包裹的外围边缘对准。另外或替代地，导出所述组合运动控制参数包括：基于所述抓取集合来确定目标控制参数，其中所述目标控制参数代表与根据所述多爪夹持器总成的目标姿势来搬运所述目标包裹的速度相关联的力和/或相关物理方面；基于估计所述多爪夹持器总成与所述第二包裹之间的重叠来确定第二控制参数，其中所述第二控制参数代表与根据所述多爪夹持器总成的所述目标姿势来搬运所述第二目标包裹的速度相关联的力和/或相关物理方面；和/或选择所述组合运动控制参数作为与较低搬运速度相对应的所述目标控制参数或所述第二控制参数。在一些实施方案中，所述组合运动控制参数可代表(1)用于所述运输机器人和/或所述多爪夹持器总成进行同时操纵所述目标包裹和所述第二包裹的速度设置和/或(2)真空设置，所述真空设置用于控制所述多爪夹持器总成中的第一组抽吸元件和第二组抽吸元件以分别抓取所述目标包裹和所述第二包裹。此外，选择所述同时抓取姿势可包括选择将与搬运包括所述目标包裹和所述第二包裹的一组包裹相关联的效率量度最大化的同时抓取姿势。
[0209]
在一些实施方案中，所述方法还可包括：基于所述图像数据来标识所述一组包裹，其中所述一组包裹代表暴露于与所述图像数据相关联的成像装置并且旨在在对应的起始位置与任务位置之间搬运的物体；至少部分地基于所述抓取集合，确定姿势组合，每个姿势组合代表用于抓取和搬运所述一组包裹中的所述物体的一组独特夹持姿势；基于相关联的运动控制参数来估计所述姿势组合中的每一者的总搬运速率；和/或其中基于选择所述姿势组合中所述总搬运时间的实例最低的一个姿势组合来选择所述同时抓取姿势。另外，所述一组包裹可代表形成包裹堆叠的顶层的包裹。
[0210]
对于示例性方法，确定所述释放顺序可包括：确定代表与所述目标包裹重叠的一组抽吸元件的目标接触组；确定代表所述目标接触组之外的第二组抽吸元件的其余组；基于所述第二包裹的一个或多个物理方面来验证所述其余组是否足以抓取所述第二包裹；以及当所述其余组被验证为足以抓取所述第二包裹时确定在所述第二包裹之前释放所述目标包裹的所述释放顺序。另外或替代地，确定所述释放顺序可包括：确定代表被指定为抓取所述目标包裹的一组抽吸元件的目标激活组；确定代表与所述第二包裹重叠的第二组抽吸元件的第二接触组；验证所述第二接触组和所述目标激活组是否互斥；和/或当所述第二接
触组和所述目标激活组互斥时确定用于在所述第一包裹之前释放所述第二包裹的所述释放顺序。
[0211]
在一些实施方案中，可基于用于首先释放抓取的包裹中的最高包裹的规则来确定所述释放顺序。导出用于所述方法的所述运动计划可包括：根据所述释放顺序来导出用于所述目标包裹和所述第二包裹的放置位置；和/或基于迭代地仿真和验证所述目标包裹和所述第二包裹以相反顺序从所述放置位置到所述目标包裹和所述第二包裹的起始位置的运动来导出所述运动计划。
[0212]
在一些实施方案中，所述方法还可包括：从一个或多个目的地传感器获得数据，其中所述数据代表在执行所述运动计划期间所述目标包裹和/或所述第二包裹越过任务位置上方的横向线；基于所述获得的数据来标识一组位置，其中所述一组位置定位所述一个或多个目的地传感器；和/或基于所述一组位置来确定所述运动计划的有效性。基于所述一组位置验证所述运动计划可包括：基于所述一组位置来标识越过包裹；导出所述越过包裹的至少一个估计尺寸，其中所述至少一个估计尺寸包括所述越过包裹的估计高度和/或估计横向尺寸；以及(1)当所述越过包裹与所述目标包裹或最初被估计具有更高高度的所述第二包裹相匹配时和/或(2)当所述至少一个估计尺寸与所述目标包裹或所述第二包裹的存储在主数据中的一个或多个对应尺寸相匹配时，验证所述运动计划。另外或替代地，所述方法还可包括：当根据所述一组位置确定所述运动计划无效时，导出更换计划，其中(1)所述更换计划是用于操纵所述多爪夹持器总成以将所述目标包裹和所述第二包裹放置在相应的任务位置处，和/或根据从所述一个或多个目的地传感器获得的数据来导出所述更换计划以用于更换所述运动计划的其余部分；和/或响应于所述无效确定，实施所述更换计划而不是所述运动计划的其余部分，以将所述目标包裹和所述第二包裹放置在所述相应的任务位置处。
[0213]
本技术的一个或多个实施方案可基于或包括一种被配置为根据所述示例性方法的一个或多个方面控制运输机器人的操作的系统。作为示例，所述系统可包括：通信电路，所述通信电路被配置为与一组传感器和所述运输机器人传送数据、命令和/或设置，其中所述通信电路被配置为：接收描绘起始位置处的包裹的图像数据，所述包裹包括目标包和第二包裹，以及发送运动计划或一组对应命令和/或设置以操作所述运输机器人以同时抓取和搬运所述目标包裹和所述第二包裹；至少一个处理器，所述至少一个处理器耦接到所述通信电路并且被配置为：基于所述图像数据来标识所述目标包裹；确定代表相对于所述目标包裹的夹持姿势的抓取集合；标识在所述抓取集合内与所述第二包裹重叠的一组夹持姿势；导出用于同时操纵所述目标包裹和所述第二包裹的组合运动控制参数；确定用于将所述目标包裹和所述第二包裹放置在相应目标位置处的释放顺序；基于所述组合运动控制参数和所述释放顺序，从所述抓取集合中选择同时抓取姿势，其中所述同时抓取姿势代表多爪夹持器总成的姿势，所述姿势用于同时抓取和搬运所述目标包裹和所述第二包裹；和/或基于所述同时抓取姿势导出所述运动计划，所述运动计划用于操纵所述多爪夹持器总成以将所述目标包裹和所述第二包裹同时搬运到所述相应目标位置。另外或替代地，所述处理器可被配置为导出用于操作所述多爪夹持器总成的第一组抽吸元件和所述多爪夹持器总成的第二组抽吸元件的所述运动计划，其中所述第一组被配置为抓取所述目标包裹并且所述第二组被配置为抓取所述第二包裹。
[0214]
本技术的一个或多个实施方案可基于或包括其上存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由一个或多个处理器执行时使所述一个或多个处理器执行所述示例性方法的一个或多个方面。作为示例，所执行的方法可包括：接收描绘起始位置处的包裹的图像数据，其中所述图像数据用于分析所述包裹中的两者或更多者的同时抓取；基于所述图像数据来标识目标包裹；确定代表相对于所述目标包裹的夹持姿势的抓取集合；标识在所述抓取集合内与第二包裹重叠的一组夹持姿势；导出用于同时操纵所述目标包裹和所述第二包裹的组合运动控制参数；确定用于将所述目标包裹和所述第二包裹放置在相应目标位置处的释放顺序；基于所述组合运动控制参数和所述释放顺序，从所述抓取集合中选择同时抓取姿势，其中所述同时抓取姿势代表多爪夹持器总成的姿势，所述姿势用于同时抓取和搬运所述目标包裹和所述第二包裹；基于所述同时抓取姿势导出运动计划，所述运动计划用于同时操纵所述多爪夹持器总成以将所述目标包裹和所述第二包裹搬运到所述相应目标位置；和/或实施所述运动计划以操作所述运输机器人以同时抓取和搬运所述目标包裹和所述第二包裹。所执行的方法可另外包括：基于所述图像数据来标识一组包裹，其中所述一组包裹包括所述目标包裹和所述第二包裹，其中所述一组包裹代表暴露于与所述图像数据相关联的成像装置并且旨在在对应的起始位置与任务位置之间搬运的物体；至少部分地基于所述抓取集合，确定姿势组合，每个姿势组合代表用于抓取和搬运所述一组包裹中的所述物体的一组独特夹持姿势；基于相关联的运动控制参数来估计所述姿势组合中的每一者的总搬运速率；和/或其中基于选择所述姿势组合中所述总搬运时间的实例最低的一个姿势组合来选择所述同时抓取姿势。另外或替代地，确定所述释放顺序可包括：确定代表与所述目标包裹重叠的一组抽吸元件的目标接触组；确定代表不在所述目标接触组中的第二组抽吸元件的其余组；基于所述第二包裹的一个或多个物理方面来验证所述其余组是否足以抓取所述第二包裹；当所述其余组被验证为不足以抓取所述第二包裹时，确定代表被指定为抓取所述目标包裹的一组抽吸元件的目标激活组，其中所述目标激活组包括少于所述目标接触组的元件；确定第二接触组以代表与所述第二包裹重叠的一组抽吸元件；验证所述第二接触组和所述目标激活组是否互斥；和/或当所述第二接触组和所述目标激活组互斥时确定用于在所述第一包裹之前释放所述第二包裹的所述释放顺序。
[0215]
总结
[0216]
所公开技术的示例的上文具体实施方式并不意图是详尽的或将所公开技术限于所公开的确切形式。虽然出于说明性目的描述了所公开技术的具体示例，但如相关领域技术人员应认识到，在所公开技术的范围内多种等效修改也是可能的。例如，虽然过程或框是以给定次序呈现的，但替代实施方式可以不同次序执行具有步骤的例程或采用具有框的系统，并且可删除、移动、添加、细分、组合和/或修改一些过程或框来提供替代方案或子组合。这些过程或框中的每一者可以多种不同方式来实施。另外，虽然过程或框有时被示出为串行执行，但这些过程或框可替代地并行执行或实施，或者可在不同时间执行。此外，本文所指出的任何具体数目仅是示例；替代实施方式可采用不同的值或范围。
[0217]
根据上文具体实施方式，可对所公开技术进行这些和其他改变。虽然具体实施方式描述了所公开技术的某些示例以及所设想的最佳模式，但所公开技术可以许多方式来实践，而无论文中上文描述呈现的如何详细。系统的细节可在其具体实施方式中相差甚大，但
仍由本文所公开的技术涵盖。如上文所指出，在描述所公开技术的某些特征或方面时所用的特定术语不应被视为暗示本文中将术语重新定义为限于所公开技术的与所述技术相关联的任何具体特性、特征或方面。因此，除所附权利要求之外，本发明不受限制。通常，以下权利要求中所用的术语不应被视为将所公开技术限于说明书中所公开的具体示例，除非上文具体实施方式章节明确地限定了此类术语。
[0218]
虽然本发明的某些方面在下文是以某些权利要求的形式呈现的，但本申请人设想了呈任何数目的权利要求形式的本发明的多个方面。因此，本申请人保留在提交本申请之后追加附加权利要求以在本申请中或在接续申请中追加此类附加权利要求形式的权利。