拾取操作的物品扰动
相关申请的交叉引用
1.本技术要求2019年3月11日提交的共同未决的美国临时申请第62/816,242号的权益和优先权，其全部公开内容通过引用并入本技术，如在本技术中完整阐述一样。
技术领域
2.本技术描述的实施例一般涉及机器人装置和方法，且更特别地但不限于涉及用于执行拾取操作的机器人装置和方法。
背景技术：
3.诸如仓库环境中的那些物流操作通常包括机器人拾取装置从第一位置(例如，容器)收集物品并将物品放置在第二位置(例如，传送带上)。
4.因此，这些操作需要机器人拾取装置首先成功抓取物品。然而，要抓取的物品的姿态、配置、位置或定向经常使得拾取装置不能根据拾取操作而抓取物品。例如，物品可能被其他物品挡住、楔在墙上、侧面倾斜等。
5.用于确保拾取装置能够抓取物品的现有技术通常聚焦于改进拾取装置的硬件和/或软件以防止拾取装置无法抓取物品的情况。然而，即使有了这些硬件或软件改进，也不能保证拾取装置能够在需要时抓取物品。此外，在抓取失败的情况下，通常没有“备用”计划。而是，如果拾取装置无法抓取物品，这些技术通常需要人工干预。
6.因此，需要克服现有技术的缺点的用于执行拾取操作的系统和方法。
技术实现要素：
7.本发明内容是用于以简化的形式介绍一些构思的选择，这些构思将在下面的具体实施方式部分中进一步描述。本发明内容不旨在确定或排除所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
8.一方面，实施例涉及一种执行拾取操作的方法。该方法包括使用执行存储在存储器中的指令的处理器来确定拾取装置不能抓取物品；以及利用扰动机构执行扰动操作，对物品进行扰动，使得拾取装置更有可能通过执行后续的抓取尝试来抓取物品。
9.在一些实施例中，所述处理器通过分析先前抓取尝试的结果来确定拾取装置不能抓取物品。
10.在一些实施例中，所述方法进一步包括在接口接收关于要抓取的物品的图像，其中所述处理器通过分析接收的图像来确定拾取装置不能抓取物品。
11.在一些实施例中，所述扰动机构为拾取装置，并且该方法进一步包括在拾取装置执行扰动操作之后使用拾取装置执行抓取尝试。在一些实施例中，该方法进一步包括通过执行抓取尝试来确定拾取装置是否抓取了物品，在确定拾取装置没有抓取物品时执行第二扰动操作，以及使用拾取装置执行第二抓取尝试。
12.在一些实施例中，执行扰动操作涉及扰动容纳物品的容器。
13.在一些实施例中，执行扰动操作涉及旋转物品、平移物品、重新定向物品和重新配置物品中的至少一项。
14.在一些实施例中，拾取装置包括用于抓取物品的抽吸装置，并且执行扰动操作包括移动物品以促进抽吸装置获得对物品表面的抓取。
15.在一些实施例中，拾取装置包括多个手指部分，并且执行扰动操作包括移动物品使得所述多个手指部分能够抓取物品。
16.根据另一方面，实施例涉及一种执行拾取操作的系统。该系统包括处理器，其执行存储在存储器中的指令以确定拾取装置不能抓取物品，以及扰动机构，其配置为执行扰动操作以对物品进行扰动，使得拾取装置更有可能通过执行后续的抓取尝试来抓取物品。
17.在一些实施例中，所述处理器通过分析先前抓取尝试的结果来确定拾取装置不能抓取物品。
18.在一些实施例中，该系统进一步包括一接口，用于接收关于要抓取的物品的图像，其中处理器通过分析接收的图像来确定拾取装置不能抓取物品。
19.在一些实施例中，扰动机构为拾取装置，且拾取装置在执行扰动操作后执行抓取尝试。在一些实施例中，处理器进一步配置为通过执行抓取尝试来确定拾取装置是否抓取物品，并且拾取装置进一步配置为在确定拾取装置没有抓取物品时执行第二扰动操作并执行第二抓取尝试。
20.在一些实施例中，扰动机构通过扰动容纳物品的容器来执行扰动操作。
21.在一些实施例中，扰动机构通过执行旋转物品、平移物品、重新定向物品和重新配置物品中的至少一项来执行扰动操作。
22.在一些实施例中，拾取装置包括用于抓取物品的抽吸装置，并且扰动操作涉及扰动机构移动物品以促进抽吸装置获得对物品表面的抓取。
23.在一些实施例中，拾取装置包括多个手指部分，并且执行扰动操作涉及移动物品使得所述多个手指部分能够抓取物品。
24.根据又另一方面，实施例涉及一种执行拾取操作的方法。该方法包括使用执行存储在存储器中的指令的处理器来确定拾取装置是否能够从多个物品中抓取第一物品；当确定拾取装置不能抓取第一物品时，确定拾取装置是否能够从多个物品中抓取第二物品；以及，在确定拾取装置能够从多个物品中抓取第二物品时，使用拾取装置执行抓取尝试以抓取第二物品。
附图说明
25.参考以下附图描述本公开内容的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。
26.图1示出了根据一个实施例的仓库环境中的拾取装置；
27.图2示出了根据另一个实施例的仓库环境中的拾取装置；
28.图3示出了根据一个实施例的一种执行拾取操作的系统；
29.图4示出了根据一个实施例的一种执行扰动操作的拾取装置；
30.图5a和5b示出了根据另一个实施例的一种执行扰动操作的拾取装置；
31.图6示出了根据又另一个实施例的一种执行扰动操作的拾取装置；
32.图7示出了根据一个实施例的执行拾取操作的方法的流程图；以及
33.图8示出了根据另一个实施例的执行拾取操作的方法的流程图。
具体实施方式
34.下面参考附图更全面地描述各个实施例，各附图形成本发明的一部分并且示出了具体的示例性实施例。然而，本公开的构思可以以许多不同的形式来实现，并且不应解释为限于这里阐述的实施例；相反，提供这些实施例作为彻底和完整公开的一部分，以向本领域技术人员充分传达本公开的构思、技术和实施方式的范围。实施例可以实践为方法、系统或装置。因此，实施例可以采取硬件实施方式、完全软件实施方式或结合软件和硬件方面的实施方式的形式。因此，以下详细描述不应被视为限制性的。
35.说明书中引用“一个实施例”或“实施例”表示与描述该实施例有关的特定特征、结构或特性包括在根据本公开的至少一个示例性实施方式或技术中。在说明书中各处出现的短语“在一个实施例中”不一定都指的是同一实施例。在说明书中各处出现的短语“在一些实施例中”不一定都指的是相同的实施例。
36.下文描述的一些部分是根据存储在计算机存储器内的非瞬态信号操作的符号表示来描述的。这些描述和图示由数据处理领域的技术人员用来最有效地将其工作的实质传达给本领域的其他技术人员。此类操作通常需要对物理量进行物理操作。通常，尽管不是必须的，但这些量可以采取能够进行存储、传输、组合、比较或以其他方式控制的电、磁或光信号的形式。有时为了方便，主要是由于习惯用法的原因，将这些信号称为比特、数值、元素、符号、字符、术语、数字等。此外，有时也是为了方便，将某些需要物理量的物理操作的步骤的布置称为模块或编码装置，而不失一般性。
37.但是所有这些和类似术语都与适当的物理量有关，仅仅是应用于这些量的方便标签。除非从下面的讨论中明确指出，否则可以理解，在整个说明书中，利用诸如“处理”或“计算”或“确定”或“显示”等术语的讨论是指计算机系统或类似的电子计算设备的动作和过程，在计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备中操作和转换表示为物理(电子)量的数据。本公开的部分包括可以实现在软件、固件或硬件中的过程和指令，并且当实现在软件中时，可以被下载以驻留在由各种操作系统使用的不同平台上并从其进行操作。
38.本公开还涉及用于执行本技术中的操作的设备。该设备可以被特别构造用于所需目的，或者可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如但不限于任何类型的盘，包括软盘、光盘、cd
‑
rom、磁光盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡、专用集成电路(asic)，或适合于存储电子指令的任何类型的介质，并且每个都可以耦合到计算机系统总线。此外，说明书中提到的计算机可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
39.本技术呈现的过程和显示并非固有地与任何特定计算机或其他设备相关。各种通用系统也可以与根据本技术的教导的程序一起使用，或者可以证明构造更专用的设备以执行一个或多个方法步骤是方便的。在下面的描述中讨论了各种这些系统的结构。另外，可以使用足以实现本公开的技术和实施方式的任何特定的编程语言。如本技术所讨论的，各种
编程语言可以用于实现本公开。
40.此外，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并非选择用于描述或限制所公开的主题。因此，本公开意在说明而非限制此处所讨论的构思的范围。
41.拾取操作通常涉及机器人拾取装置执行抓取尝试以抓取物品(例如，从架子、容器、箱子等中)，然后将物品放置在另一位置。“放置”位置可以是另一个容器、箱子、传送带等。拾取和放置位置的类型可能会有所不同，并且可以取决于要执行的拾取操作所处的应用或环境。
42.如前所述，作为拾取操作的对象的物品经常其所处的姿态、定向、配置或位置使得机器人拾取装置无法抓取感兴趣的物品。类似地，可能有其他物品阻塞或以其他方式阻碍拾取装置接近物品。因此，在这些情况下，机器人拾取装置将无法执行拾取操作。
43.在这些情况下，人工操作员可能需要进行干预以调整物品、移动另一物品以便机器人拾取装置能够接近感兴趣的物品，或者甚至可能需要自己执行拾取操作。这不可避免地导致停机时间并且消耗资源，因为需要人工操作员进行干预。
44.本技术描述的实施例提供用于执行拾取操作的新型系统和方法。本技术描述的系统和方法可以首先确定机器人拾取装置(为简单起见，“拾取装置”)是否能够根据拾取操作抓取物品。
45.本技术描述的系统和方法可以通过多种方式确定拾取装置是否能够抓取物品。在一些实施例中，所述系统和方法可以接收和分析关于要抓取的物品的图像。该图像可以提供关于物品的定向、位置、配置、是否有任何其他物品阻挡所需物品以及可以指示拾取装置是否能够抓取物品的任何其他信息的洞察。
46.作为另一示例，本技术描述的系统和方法可以通过分析先前抓取尝试的结果来确定拾取装置是否能够抓取物品。如果拾取装置之前执行过抓取尝试但没有抓取物品，则本技术描述的系统和方法可以确定拾取装置不能抓取物品。
47.在确定了拾取装置不能抓取物品时，扰动机构可以执行一个或多个扰动操作来扰动物品，使得拾取装置至少更有可能通过执行后续的抓取尝试来抓取物品。
48.在一些实施例中，拾取装置可以为扰动机构并执行扰动操作。在一些实施例中，扰动机构和拾取装置可以是分开的装置。
49.扰动操作可以涉及扰动机构“搅动”箱或容器中的物品以改变所需物品的姿态或定向，从而可以更容易地抓取它。具体地，扰动操作可以涉及扰动机构“伸入”包含感兴趣的物品的箱、容器或架子，然后执行扫动运动、拖动运动、捏合运动等中的一项或多项。作为另一个示例，扰动机构可以抓住容纳物品的容器并摇晃容器以搅动其内容物。
50.在扰动机构执行扰动操作之后，拾取装置可以执行抓取尝试以抓取物品。扰动操作将有助于解决与物品的定向或位置有关的任何问题，使得拾取装置现在能够抓取物品。一旦拾取装置抓取了物品，拾取装置然后可以执行拾取操作的剩余部分(例如，将物品放置在期望的放置位置)。
51.在某些情况下，即使在扰动机构执行了扰动操作之后，拾取装置可能仍无法抓取物品。因此，扰动机构可以执行后续的扰动操作并且拾取装置可以执行后续的抓取尝试直到拾取装置成功抓取物品。
52.本技术描述的装置和方法可以在多种环境中并且用于多种应用来实施。图1示出
了仓库环境100，其中一个或多个拾取装置102可以被分配执行拾取和放置操作的任务。例如，拾取装置102可以包括臂部(例如，由多个臂段或连杆形成)和末端执行器，并且可以承担从搁架单元104拾取物品并将物品放置在容器106中的任务。容器106可以在传送带108上，传送带108配置为将容器106送至拾取装置102以及从拾取装置102移走。附加地或替代地，拾取装置102可以负责从容器106中拾取物品并将物品放置在搁架单元104、播种墙、存储位置、另一个箱或容器等中。
53.图2示出了在仓库环境200中的另一个示例性应用，其中拾取装置202可以被分配从一个或多个容器204拾取物品并将物品放置在装载站206处的任务。这些物品然后可以放置在运输容器208中用于进一步运输、分类、处理等。
54.图3示出了根据一个实施例的一种执行拾取操作的系统300。系统300可以包括物流管理模块302、一个或多个数据库304和拾取装置306。
55.物流管理模块302可以是处理装置并且可以包括或以其他方式执行分析模块308和存储在物流存储器310上的指令。物流管理模块302可以与数据库304可操作地通信。数据库304可以存储关于例如通常抓取的物品、先前拾取尝试和拾取操作的结果、拾取策略等的数据。
56.分析模块308可以执行存储在物流存储器310中的指令以执行任何所需的分析(例如，如果不是由拾取装置执行的话)。这些分析可以涉及分析接收到的图像以确定拾取装置306是否能够抓取物品、确定拾取装置306是否已经抓取了物品等。
57.一个或多个网络可以链接各种资产和部件302
‑
06。网络可以包括或可以通过接口连接至互联网、内联网、个人局域网(pan)、局域网(lan)、广域网(wan)、城域网(man)、存储区域网(san)、帧中继连接、高级智能网络(ain)连接、同步光网络(sonet)连接、数字t1、t3、e1或e3链路、数字数据服务(dds)连接、数字用户链路(dsl)连接、以太网连接、综合服务数字网络(isdn)链路、拨号端口(例如v.90、v.34或v.34bis模拟调制解调器连接)、电缆调制解调器、异步传输模式(atm)连接、光纤分布式数据接口(fddi)连接、铜缆分布式数据接口(cddi)连接或光纤/dwdm网络中的任意一种或多种。
58.网络还可以包括、包含或通过接口连接至无线应用协议(wap)链路、wi
‑
fi链路、微波链路、通用分组无线服务(gprs)链路、全球移动通信系统g(sm)链路、码分多址(cdma)链路或时分多址(tdma)链路(比如蜂窝电话信道)、全球定位系统(gps)链路、蜂窝数字分组数据(cdpd)链路、黑莓公司(rim)的双工寻呼类型装置、蓝牙无线电链路或基于ieee 802.11的链路中的任意一种或多种。
59.拾取装置306的任务可以是执行一个或多个拾取操作。如前所述，拾取操作通常涉及拾取装置从第一位置拾取物品并将物品放置在第二位置处。根据本技术描述的实施例，拾取装置306可以包括至少一个用于根据拾取操作来抓取物品的抓取装置312。
60.抓取装置312可以以各种方式进行配置，这可以取决于要拾取的物品。在一些实施例中，抓取装置312可以配置为具有多个手指部分的末端执行器。
61.在这些实施例中，拾取装置306可以通过将末端执行器定位在物品附近使得手指部分在物品的相对侧上，然后闭合手指部分使得它们与物品接触来抓取物品。如果手指部分向物品施加足够量的力，则它们可以根据拾取操作的要求拾取物品并将物品移动到另一位置。
62.在其他实施例中，抓取装置312可以配置为产生吸力以获得对物品的抓取的一个或多个抽吸装置。在这些实施例中，抓取装置312可以进一步包括任何需要的真空发生器和管道以提供所需的吸力。
63.在操作中，拾取装置306可以移动抽吸装置足够靠近物品或以其他方式与物品接触，使得产生的吸力使物品保持与抽吸装置接触。一旦抓取到，抽吸装置就可以将物品移动到所需位置。吸力可以停止，以便抽吸装置在所需位置释放物品。
64.拾取装置可以进一步包括、配置有图像采集装置314或以其他方式与图像采集装置314通信。这些图像采集装置314可以指向要拾取的物品并且可以采集关于物品的图像，例如物品的定向、配置、位置或可能影响拾取装置306是否能够抓取物品的其他类型的信息。
65.这些图像采集装置314可以包括例如但不限于rgb相机、立体相机、lidar、声纳传感器等中的任何一种或多种。所使用的图像采集装置314的确切类型或配置可以变化并且可以包括任何类型的传感器装置，无论是现在可用的还是以后发明的，只要它们能够采集实现本技术实施例的目标所需的数据即可。
66.图像采集装置314的位置或放置也可以变化，并且可以取决于所使用的图像采集装置314的类型。例如，如果抓取装置312配置为具有手指部分的末端执行器，则一个或多个图像收集采集装置314可以嵌入末端执行器的手掌中。
67.处理器316可以执行存储在存储器318上的指令以确定拾取装置306是否能够抓取物品。具体地，图像分析模块320可以执行一个或多个图像分析工具来确定拾取装置306是否能够抓取物品。
68.存储器318可以为l1、l2或l3高速缓存或ram存储器配置。如上所述，存储器318可以包括诸如闪存存储器、eprom、eeprom、rom和prom之类的非易失性存储器，或者诸如静态或动态ram之类的易失性存储器。存储器318的确切配置和类型当然可以变化，只要用于执行要求保护的实施例的步骤的指令可以由处理器316执行即可。
69.例如，图像分析模块320可以分析接收的图像以确定所需物品的尺寸。该信息与已知手指部分(及其张开范围)的尺寸相结合可以帮助确定手指部分是否能够抓取物品。例如，如果要抓取的物品的宽度为一英寸，且手指部分的抓取范围(即，两个手指部分张开时的距离)为三英寸，则抓取装置312应当能够抓取到物品。类似地，图像分析模块320可以确定在物品的两侧是否有足够的空间使得手指部分可以到达物品周围。关于抓取装置312的认知，例如手指部分的尺寸，可以存储在一个或多个数据库304中。
70.在其他实施例中，抓取装置312可以包括一个或多个抽吸装置。如果抓取装置312包括一个或多个抽吸装置，则图像分析模块320可以检测物品是否具有大到足以由一个或多个抽吸装置抓取的平坦表面。
71.因此，这些确定可能依赖于关于抓取装置312的能力、尺寸和/或配置的认知。如果抓取装置312配置为具有手指部分的末端执行器，则该认知可以涉及包括多少手指部分、末端执行器上的手指部分相对于其他手指部分的位置、手指部分的尺寸(例如，它们的长度、宽度)、顺应性、材料、弯曲点、运动范围或可能影响拾取装置是否能够抓取物品的任何其他类型的信息。如果抓取装置312配置有抽吸装置，则该信息可以包括抽吸装置的数量、抽吸装置的尺寸、产生的力或可能影响拾取装置是否能够抓取物品的任何其他类型的信息。
72.类似地，关于物品的认知也可以考虑。例如，数据库304可以存储关于物品的重量、形状、长度、宽度、深度、内容物、表面摩擦系数、配置(例如，物品是否具有适合抓取的任何特定位置)、变形能力或可能影响拾取装置是否能够抓取物品的任何其他类型的数据或特征。
73.如果图像分析模块320确定拾取装置306能够抓取物品，则拾取装置306然后可以执行抓取尝试。抓取装置312的确切运动可以变化并且可以取决于抓取装置312和/或物品的类型或配置。
74.如果抓取尝试成功，则拾取装置306然后可以完成拾取操作。即，拾取装置306可以将物品移动到“放置”位置并释放物品。例如，手指部分可以“打开”以释放物品。或者，真空发生器可以停止真空力以释放物品。拾取装置306然后可以继续对任何剩余物品执行后续拾取操作。
75.另一方面，图像分析模块320可以确定拾取装置306不能抓取物品。这可能是由于各种原因，例如物品是否被其他物品挡住，或者是否物品位于抓取装置312无法接近的位置。在这种情况下，扰动模块322可以执行存储在存储器318中的指令以开发可由拾取装置306或一些外部扰动机构324执行的扰动操作策略。
76.扰动操作应该至少更有可能使拾取装置306(即，抓取装置312)能够抓取物品。可以根据本技术描述的实施例执行几种不同类型的扰动操作。
77.图4示出了根据一个实施例的执行扰动操作的拾取装置400。如图4所示，拾取装置400可以包括具有多个手指部分404的末端执行器402。拾取装置400被示出为“伸入”可包括一个或多个物品408的容器或箱406。
78.在图4所示的实施例中，图像分析模块，例如图3的图像分析模块320，可能已经从接收到的图像确定了手指部分404将不能抓取物品408。因此，拾取装置400可以执行扰动操作以例如接触物品408(以及箱406中的任何其他物品)并将其移动至另一配置、位置、姿态等。
79.图4特别地示出了执行“拖动”扰动操作的拾取装置400，其中一个或多个手指部分404接触物品408并执行如方向箭头410所示的“拖动”运动。在运动结束时，拖动手指部分404可以以“轻弹”运动向下转移以进一步扰动沿其路径遇到的任何物品。
80.拾取装置400可以多次执行这种类型的拖动运动以增加接触物品408并改善物品408的定向、位置和/或配置的机会。在执行这些操作中的一个或多个之后，拾取装置400可以确定它现在是否能够抓取物品。拾取装置400然后可以执行抓取尝试。在一些实施例中，拾取装置可以在执行扰动操作之后执行抓取尝试。在其他实施例中，拾取装置可以不执行抓取尝试，直到拾取装置确定其能够抓取物品。
81.图5a和5b示出了根据另一个实施例的执行扰动操作的拾取装置500。类似于图4的拾取装置400，拾取装置500包括具有多个手指部分504的末端执行器502，且所示为正伸入容器或箱506中。
82.如图5a和5b中所示，拾取装置500正在执行“扫动”扰动操作，其中拾取装置500将末端执行器502放置在箱506的角部，手指部分504指向并接触箱506的底部。末端执行器502然后以平行于箱506的壁的运动移动，直到它到达壁的相对端处的角部。该运动通常由图5b中的方向箭头508指示。该运动可以使手指部分504接触箱506中的任何物品。
83.图6示出了根据又另一个实施例的执行扰动操作的拾取装置600。与拾取装置400和500类似，图6的拾取装置600包括末端执行器602，其具有伸入容器或箱606中的多个手指部分604。图6的扰动操作可以称为“捏合”操作，并且可以涉及拾取装置600在沿着箱606的壁的捏合动作中闭合手指部分604。在捏合运动之后，末端执行器602可以以垂直于箱606的壁的运动而移动，如方向箭头608所示，沿着箱606的壁的方向即为捏合方向。在捏合操作期间，且如图6所示，拾取装置600可以实际上接触物品610(或者甚至捏住物品610以使其抓取物品)。至少，接触可以移动物品610，以此方式使得拾取装置600更有可能能够抓取物品。
84.拾取装置无法抓取物品的情况可以通过两种方式展开。在第一种情况下，拾取装置尝试抓取物品但未成功。例如，拾取装置可以尝试将吸盘放置在物品上，但无法获得足够的吸力以成功拾取物品。
85.在第二种情况下，拾取软件可能无法计算配置以抓取特定物品。例如，软件可能无法在物品上找到足够大的合适位置，使拾取装置可以放置吸盘。
86.在这些情况中的任一种下，扰动操作可以尝试移动物品，以此方式将使得物品在后续尝试时被拾取。如果物品靠近壁，则拾取装置可以利用捏合策略将物品移离壁。除此之外，可以使用拖动策略。在执行了所选策略后，物品将有望被平移或旋转，以此方式使得拾取装置能够在后续尝试中抓取物品。在一些实施例中，可能需要对单个物品进行多次扰动之后才能成功抓取。
87.在其他情况下，可能存在处于不可拾取状态的物品，但拾取装置无法针对这些物品中的任何一个进行拖动或捏合运动。这可能是由于软件无法计算出尝试这些扰动的可行方式。这也可能是视觉软件无法识别箱内容纳的任何物品的结果。
88.在这些情况下，拾取装置可以执行通常扰动箱内的物品而不是其中的任何特定物品的策略。例如，拾取装置可以使用扫动策略来扰动箱壁附近的任何物品。拾取装置可以附加地或替代地使用拖动策略来无目的地尝试扰动卡在箱角的任何物品。拾取装置可以穷尽地尝试沿着每个箱壁的扫动运动和/或在每个箱角的拖动运动，直到它能够抓取或扰动特定物品。
89.无论装置是否检测到箱中的任何物品，拾取装置都可以利用这些与物品无关的扰动策略。通过之前尝试多次扫动和拖动，拾取装置可以在物理上确保箱是空的。
90.图7示出了根据一个实施例，执行拾取操作的方法700的流程图。步骤702涉及确定拾取装置是否能够抓取物品。该确定可以基于多种信息做出。
91.例如，该确定可以通过在可选步骤704中查看接收到的关于要抓取的物品的图像来做出。该图像可以指示要抓取的物品的定向、要抓取的物品的配置、要抓取的物品的位置或至少可以表明拾取装置是否能够抓取物品的任何其他类型的数据。
92.该图像可以由诸如先前讨论的那些传感器设备来采集。这些传感器可以与拾取装置一起配置或以其他方式相对于拾取装置可操作地定位，使得它们可以采集关于要抓取的物品的图像。
93.附加地或替代地，该确定可以通过在可选步骤706中分析先前的抓取尝试的结果来做出。例如，拾取装置可以已经执行了抓取尝试。如果检测到该抓取尝试失败(即，抓取装置没有抓取到物品)，则步骤702中的确定可以为抓取装置无法抓取物品。
94.步骤702可以提供为“是”的确定或为“否”的确定。如果输出为“否”(即，确定拾取
装置不能抓取物品)，则方法700可以进行到步骤708。
95.步骤708涉及执行扰动操作以扰动物品。该扰动操作可以包括之前描述的那些，并且可以至少使得拾取装置更有可能能够抓取物品。该扰动操作可以改变物品的取向、物品的位置、物品的配置、包含物品的容器的位置等。
96.在步骤708的扰动操作之后，方法700可以进行到步骤710。步骤710涉及执行抓取尝试。如图7所示，如果确定拾取装置能够抓取物品，则方法700可以在步骤702之后直接进行到该步骤。也就是说，如果步骤702确定拾取装置能够抓取物品，则方法700可以不需要执行步骤708的扰动操作。
97.如图7所示，在扰动步骤之后方法700可以返回到步骤702以确定拾取装置现在是否能够抓取物品。可选地，方法700可以直接进行到步骤710以执行抓取尝试。
98.抓取尝试可以涉及拾取装置接近物品并执行一些运动以接触物品。运动或接触的类型可以变化并且可以取决于拾取装置的配置。
99.如果拾取装置配置有包括多个手指部分的末端执行器，则抓取尝试可以涉及将末端执行器移动靠近物品，使得手指部分位于物品的相对侧，然后闭合手指部分以接触物品。如果拾取装置配置有一个或多个抽吸装置，则抓取尝试可以涉及产生吸力，并移动抽吸装置以接触物品或靠近物品，以便吸力使物品与抽吸装置接触并与抽吸装置保持接触。
100.步骤712涉及确定拾取装置是否抓取了物品。该步骤可以使用任何一种合适的分析技术来执行，例如在申请人的共同未决申请pct申请pct/us20/16078中描述的那些，提交于2020年1月31日，其内容通过引用并入，如同在此处完整阐述一样。
101.如果在步骤712中确定拾取装置抓取了物品，则方法700可以进行到步骤714。步骤714涉及完成拾取操作。如前所述，拾取操作通常涉及拾取装置从第一位置抓取物品并将物品移动到第二位置处并在第二位置处释放物品。因此，如果在步骤712中确定拾取装置已经抓取了物品，则拾取装置然后可以在第二位置处放置或以其他方式释放物品以完成拾取操作。
102.如果在步骤712中确定拾取装置没有抓取物品，则方法700可以进行到步骤716。步骤716涉及执行第二或另外的附加的扰动操作。换句话说，如果抓取装置失败，扰动操作可以再次执行以使得拾取装置将至少更有可能能够在第二次(或以其他方式后续的)抓取尝试时抓取物品。
103.步骤718涉及使用拾取装置执行第二抓取尝试。尽管该步骤叙述了“第二抓取尝试”，但该步骤实际上可以指任何后续尝试。方法700可以返回到步骤712以确定拾取装置是否抓取了物品。如果是，则该方法可以进行到步骤714以完成拾取操作。即，方法700的步骤可以重复多次，直到抓取装置抓取到物品为止。
104.图8示出了根据一个实施例，执行拾取操作的方法800的流程图。步骤802涉及确定拾取装置是否能够抓取第一物品。步骤802
‑
06类似于图7的步骤702
‑
06，这里不再赘述。
105.如果在步骤802确定拾取装置能够抓取物品，则方法800可以进行到步骤808。步骤808涉及对第一物品执行拾取操作。即，如果确定拾取装置能够抓取物品，则拾取装置然后可以执行抓取尝试以抓取物品。根据拾取操作的要求，拾取装置然后可以通过将第一物品放置在另一位置来完成拾取操作。
106.如果在步骤802确定拾取装置不能抓取第一物品，则方法800可以进行到步骤810。
步骤810涉及确定拾取装置是否能够抓取第二物品。
107.可能有多个物品可能是拾取操作的对象。例如，拾取装置的任务可以是从第一位置(例如，架子)拾取和放置多个物品并将它们放置在第二位置(例如，容器)处。如果在给定时刻，拾取装置不能抓取多个物品中的第一个，它可能仍然能够抓取不同的第二物品。因此，基于拾取装置不能单独抓取第一物品而执行扰动操作可能是不值得的，因为拾取装置可以继续执行关于另一物品的拾取操作。
108.如果在步骤810确定拾取装置能够抓取第二物品，则该方法可以进行到步骤812。步骤812涉及完成关于第二物品的拾取操作。因此，拾取装置可以抓取第二物品，然后将物品放置在适当的放置位置。
109.如果在步骤810确定拾取装置不能抓取第二物品，则该方法可以进行到步骤814。步骤814涉及执行诸如先前讨论的那些扰动操作。
110.在执行扰动操作之后，方法800可以进行到步骤802或步骤810。即，方法800可以确定拾取装置是否能够由于扰动操作而抓取第一物品和/或第二物品。理想情况下，扰动操作使得拾取装置能够抓取第一和第二物品中的至少一个，此时拾取装置可以随即执行拾取操作。
111.需要注意的是，虽然未在图8中示出，方法800还可包括图7所示的抓取确认步骤。虽然方法800在执行扰动操作之前仅确定是否能够抓取两个物品，但是方法800可以涉及在执行扰动操作之前首先确定是否能够抓取任意数量的物品。
112.以上讨论的方法、系统和设备是示例性的。各种配置可以适当地省略、替换或添加各种步骤或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行所述方法，并且可以添加、省略或组合各个步骤。以及，针对某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合所述配置的不同方面和元件。而且，技术在发展，因此，许多元件是示例性的，且不限制本公开或权利要求的范围。
113.例如，以上参考根据本公开的实施例的方法、系统和计算机程序产品的框图和/或操作示意图描述了本公开的实施例。方框中的功能/动作可以不按任何流程图所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能/动作。附加地或替代地，不是任何流程图中所示的所有框都需要进行和/或执行。例如，如果给定的流程图具有包含功能/动作的五个框，则可能的情况是五个框中只有三个框被进行和/或执行。在该示例中，可以进行和/或执行五个框中的三个框中的任何一个。
114.一个值超过(或大于)第一阈值的陈述等同于该值等于或超过略大于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是大于第一阈值的一个值)的陈述。一个值不超过(或小于)第一阈值的陈述等同于该值小于或等于略小于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是小于第一阈值的一个值)的陈述。
115.在说明书中给出了具体细节以提供对示例性配置(包括实现)的全面的理解。然而，在没有这些具体细节的情况下也可以实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以避免使配置模糊。该说明书仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，先前描述的配置将向本领域技术人员提供用于实施所描述的技术的实现描述。在不脱离本公开的精神或范围的情况下，可以对元件的
功能和布置进行各种改变。
116.已经描述了若干种示例性配置，可以使用各种修改、替代构造和等同构造而不脱离本公开的精神。例如，以上元件可以是较大系统的组件，其中其他规则可以优先于或以其他方式修改本公开的各种实现方式或技术的应用。同样，在考虑以上元件之前、期间或之后可以采取许多步骤。
117.已经提供了本技术的说明和图示，本领域技术人员可以设想落入本技术讨论的总体发明构思内的变型、修改和替换实施例，其不脱离所附权利要求的范围。