检测甚薄对象或特征的机器人紧抓的制作方法

检测甚薄对象或特征的机器人紧抓
1.其他申请的交叉引用本技术要求2019年10月25日提交的、名称为detecting robot grasp of very thin object or feature的美国临时专利申请no. 62/926,155的优先权，该美国临时专利申请出于所有目的通过引用并入本文。


背景技术：

2.可以派给机器人系统下述任务：将一个或多个物品从第一位置移动到第二位置。机器人系统选择移动该一个或多个物品之一。机器人系统使用机器人臂末端执行器以紧抓所选物品。然而，取决于所选物品的大小或形状，可能难以确定机器人臂末端执行器是否实际上紧抓了所选物品。特别地，在甚薄物品或特征的未紧抓和成功紧抓之间进行区分可能是困难的，这是由于相对于彼此的手指位置可能仅稍稍不同。
附图说明
3.在以下详细描述和附图中公开了本发明的各种实施例。
4.图1是图示了根据一些实施例的用于拾取和放置物品的系统的框图。
5.图2是图示了根据一些实施例的机器人臂末端执行器的框图。
6.图3a是图示了根据一些实施例的触觉感测单元的框图。
7.图3b是图示了根据一些实施例的来自不同视点的触觉感测单元的图。
8.图3c是图示了根据一些实施例的来自不同视点的触觉感测单元的图。
9.图3d是图示了根据一些实施例的磁传感器的示例的图。
10.图3e是图示了根据一些实施例的触觉感测单元的图。
11.图3f是图示了根据一些实施例的触觉感测单元的图。
12.图3g是图示了根据一些实施例的触觉感测单元的图。
13.图4是图示了根据一些实施例的用于拾取和放置物品的过程的流程图。
14.图5是图示了根据一些实施例的用于紧抓物品的过程的流程图。
15.图6是图示了根据一些实施例的用于确定物品是否已经被成功紧抓的过程的流程图。
16.图7是图示了根据一些实施例的用于确定物品是否已经被成功紧抓的过程的流程图。
具体实施方式
17.可以以许多方式实现本发明，该许多方式包括：作为过程；装置；系统；物质组成；体现在计算机可读储存介质上的计算机程序产品；和/或处理器，诸如下述处理器：其被配置成执行在耦合到该处理器的存储器上存储和/或由该存储器提供的指令。在本说明书中，这些实现方式或本发明可采取的任何其他形式可以被称作技术。一般地，可以在本发明的范围内更改所公开的过程的步骤的次序。除非以其他方式声明，诸如被描述为被配置成执
行任务的处理器或存储器之类的组件可以被实现为：一般组件，其暂时被配置成在给定时间处执行任务；或者具体组件，其被制造成执行任务。如本文所使用，术语“处理器”指代被配置成处理数据（诸如，计算机程序指令）的一个或多个设备、电路和/或处理核。
18.下面连同图示本发明原理的附图一起提供本发明的一个或多个实施例的详细描述。结合这种实施例描述本发明，但本发明不限于任何实施例。本发明的范围仅受权利要求书限制，并且本发明涵盖了许多可替换方案、修改和等同方案。在以下描述中阐述许多具体细节，以便提供本发明的透彻理解。这些细节是出于示例的目的而提供的，并且本发明可以是在没有这些具体细节中的一些或全部的情况下根据权利要求书来实践的。出于清楚的目的，未详细描述本发明所属技术领域中已知的技术资料，使得本发明不会不必要地变得费解。
19.公开了用于确定机器人臂末端执行器是否成功紧抓了物品的技术。在各种实施例中，提供了一种触觉感测单元。触觉感测单元包括和/或接收由一个或多个传感器生成的传感器输出值。该一个或多个传感器可以包括下述各项中的一个或多个：磁传感器、光学传感器、机电传感器、压力传感器、应变计、力传感器、电导率传感器、电流传感器、电压传感器、电容传感器、电阻传感器、电感传感器、红外传感器、温度传感器等。该一个或多个传感器中的每一个被配置成：提供反映与机器人臂末端执行器同物品（也被称作“对象”）的接合相关联的感测值的输出。该一个或多个传感器输出用于确定指示机器人臂末端执行器同物品的接合的一个或多个因素。该一个或多个因素可以包括重量、形变、连续性、电导率、压力、电阻、电感、电容、或者指示机器人臂末端执行器接合的任何其他因素。
20.触觉感测单元可以与机器人臂末端执行器相关联。机器人臂末端执行器可以包括两个或更多个手指。对应触觉感测单元可以附着到手指中的每一个。末端执行器可以包括一个或多个抽吸杯或接合物品的其他结构，并且对应触觉感测单元可以附着到抽吸杯中的每一个或用于接合物品的其他结构。在一些实施例中，一个或多个触觉感测单元被包括在机器人臂末端执行器的手指上方布置的感测覆盖物（例如手套、连指手套等）中，使得手指中的每一个具有关联的触觉感测单元。在一些实施例中，一个或多个触觉感测单元被嵌入机器人臂末端执行器中。
21.触觉感测单元可以包括多个感测层。感测层中的每一个可以包括一个或多个传感器。触觉感测单元可以包括导电层、形变层和衬底层中的一个或多个。当与物品接合时，触觉感测单元的传感器中的每一个可以输出与标称感测值（例如，当机器人臂末端执行器不与物品接合时）不同的对应感测值。
22.导电层可以包括使连续性或其他电气特性（诸如，电导率、电阻、电容或电感）能够被测量的导电材料（例如，金属）。导电层可以是触觉感测单元的顶层，使得当附着到末端执行器的第一手指的第一触觉感测单元接触附着到末端执行器的第二手指的第二触觉感测单元时，第一和第二触觉感测单元的导电层相接触。当机器人臂末端执行器接合物品时，该物品防止触觉感测单元的导电层彼此接触。然而，当机器人臂末端执行器尝试但未能接合物品时，触觉感测单元的导电层彼此接触。导电层耦合到下述处理器：该处理器能够使用导电层，以确定一个或多个连续性值、一个或多个电导率值、一个或多个电阻值、一个或多个电容值和/或一个或多个电感值。
23.形变层可以包括介电材料（例如，硅、塑料、或者能够响应于力而发生形变的任何
其他材料）。测量对象可以被注入到介电材料中。可以在机器人末端执行器接合物品之前确定标称感测值。当机器人臂末端执行器接合物品时，可以将感测值与标称感测值进行比较。取决于末端执行器是成功地还是不成功地紧抓了物品，感测值可以不同。
24.在一些实施例中，多个磁体被注入到介电材料中。该多个磁体可以被布置在网格（例如，2d网格或3d网格）或非网格图案中。一个或多个磁体可以位于介电材料的边缘边界上。该多个磁体可以与位于衬底层上的磁传感器相关联。磁传感器可以在机器人臂末端执行器接合物品之前检测标称磁场。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩使该多个磁体中的一个或多个发生位移。该位移导致由磁传感器感测到的磁场中的改变。磁传感器耦合到处理器，该处理器可以使用磁场中的改变以确定重量值和/或形变值。
25.在一些实施例中，多个标记被嵌入介电材料中。该多个标记可以被布置在网格或非网格图案中。网格图案可以是2d网格图案或3d网格图案。该多个标记可以与位于衬底层上的图像传感器相关联。图像传感器可以在机器人臂末端执行器接合物品之前检测针对所有标记的标称位置。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩使该多个标记中的一个或多个发生位移。该位移导致由图像传感器感测到的标记位置中的改变。图像传感器耦合到处理器，该处理器可以使用标记位置中的改变以确定重量值和/或形变值。
26.在一些实施例中，反射材料被嵌入介电材料中，并且发射器和接收器位于衬底层上。发射器可以发送反射离开反射材料的信号，并且，在接收器处接收反射信号。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩改变信号如何行进通过介电材料。接合使在接收器处接收到的反射信号的幅度从标称信号幅度改变。接收器传感器耦合到处理器，该处理器可以使用信号幅度中的改变以确定重量值和/或形变值。
27.在一些实施例中，能够检测形变的一个或多个机电传感器（例如，应变计）被嵌入介电材料中。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩使与该一个或多个机电传感器相关联的电阻改变。该一个或多个机电传感器耦合到处理器，该处理器可以使用电阻中的改变以确定重量值和/或形变值。
28.在一些实施例中，介电材料可以包括包含气体、空气或液体的柔性膜（例如囊、袋）。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩使与柔性膜相关联的压力改变。压力可以由压力传感器检测，并且处理器可以使用压力中的改变以确定重量值和/或形变值。
29.在一些实施例中，衬底层是下述材料：该材料被配置成支撑一个或多个传感器，且将该一个或多个传感器电连接到与机器人系统相关联的处理器。
30.在各种实施例中，在尝试紧抓时，如本文公开的机器人系统使用该一个或多个传感器来执行静态测量，以确定机器人臂末端执行器是否成功紧抓了物品。静态测量可以包括：机器人臂末端执行器在静止时紧抓物品，并测量该一个或多个传感器的输出。可以将该一个或多个传感器的输出与同该一个或多个传感器相关联的对应标称输出进行比较（即，当机器人臂末端执行器未紧抓物品时），以确定针对一个或多个因素的值。
31.机器人系统还可以使用该多个传感器来执行动态测量，以确定机器人臂末端执行器是否成功紧抓了物品。例如，在初始紧抓之后，可以修改机器人臂末端执行器的取向，并
且在机器人臂末端执行器正在改变时，该多个传感器的输出可以用于确定机器人臂末端执行器是否成功紧抓了物品。
32.该一个或多个触觉感测单元耦合到处理器。机器人臂末端执行器可以包括也耦合到处理器的其他传感器。例如，将机器人臂末端执行器的手指连接到机器人臂的壳体（例如，“腕壳体”）可以包括用于测量力和/或转矩的一个或多个传感器。该一个或多个壳体传感器可以用于过滤所感测到的重量，以针对机器人臂末端执行器的重量进行归一化。与壳体的该一个或多个传感器相关联的传感器输出可以用于确定一个或多个因素。该多个传感器（例如，触觉感测单元传感器和/或壳体传感器）将它们的对应输出提供给处理器。处理器可以使用传感器输出，以确定与机器人臂末端执行器同物品之间的接合相关联的一个或多个力和/或一个或多个力矩。处理器可以使用传感器输出，以确定与触觉感测单元中的每一个相关联的力和力矩。
33.传感器可以使用传感器输出以确定针对多个因素的对应值。例如，可以确定所感测到的重量、所感测到的形变、所感测到的连续性、所感测到的电导率、所感测到的压力、所感测到的电阻、所感测到的电感和/或所感测到的电容。该多个因素均与系数相关联。在一些实施例中，该多个因素被均等地加权（例如，它们均具有关联的系数“1”）。在一些实施例中，该多个因素中的一些具有不同权重。例如，物品可以是金属物品，并且与连续性因素相关联的系数可以小于与形变因素相关联的系数。
34.处理器可以实现多因素模型，以确定机器人臂末端执行器是否紧抓了物品。多因素模型可以是基于规则的模型、预测模型、机器学习模型（例如神经网络、线性分类器、支持向量机、线性回归、逻辑回归、决策树、深度学习等）等。在一些实施例中，多因素模型被配置成输出与机器人臂末端执行器是否与物品接合（例如，接合/不接合）有关的二元决策。在一些实施例中，多因素模型被配置成输出机器人臂末端执行器是否与物品接合的概率。
35.与该多个因素及其对应系数相关联的值作为输入而提供给多因素模型。输入被应用于多因素模型，并且机器人系统被配置成基于多因素模型的输出来执行响应动作。在一些实施例中，机器人系统将该物品从第一位置移动到第二位置。在一些实施例中，机器人系统尝试重新紧抓该物品。在一些实施例中，机器人系统请求人类干预。在一些实施例中，机器人臂末端执行器不能够紧抓该物品，而是选择不同的物品以紧抓。
36.使用触觉感测单元和多因素模型使机器人系统能够准确地确定机器人臂末端执行器是否成功紧抓了物品。该多个传感器可以从确认相同结论的不同视点提供数据点，也就是说，机器人臂末端执行器成功地或不成功地紧抓了物品。单因素方案可以在其决策作出过程中偏置机器人系统。例如，机器人系统可以仅使用机器人臂末端执行器的手指之间的连续性作为因素。机器人系统可以成功紧抓物品，但该物品可能是导电的。使用连续性作为仅有因素可以使机器人系统确定物品未被成功紧抓。相比而言，使用多个因素给机器人系统提供了其决策作出过程中的平衡方案。
37.图1是图示了根据一些实施例的用于拾取和放置物品的系统的框图。在所示的示例中，机器人系统101正在环境100中操作。机器人系统101包括多个有关节的段，该多个有关节的段包括安装在静基座104上的机器人臂102、末端执行器108、一个或多个传感器134和控制器106。机器人臂102耦合到控制器106，控制器106被配置成操控机器人臂102和在机器人臂102的远端上安装的末端执行器108。在一些实施例中，控制器106通过下述操作来控
制机器人臂102和末端执行器108：将电压和/或其他信号、输入等提供给在包括机器人臂102和/或末端执行器108的刚性元件之间的相应关节中的每一个处配置的电机，以使相应电机应用对应转矩，以使耦合到电机的旋转元件的元件相对于电机的非旋转元件所耦合到的元件而移动。末端执行器108可以包括抽吸抓取器、平行抓取器、软抓取器、灵巧抓取器等。机器人系统101可以包括多个末端执行器，并选择最适合于紧抓物品的末端执行器。例如，可以基于物品的纹理来选择末端执行器。在物品具有太多褶皱区域的情况下，机器人系统101可以选择平行抓取器，取代抽吸抓取器。
38.在图1中所示的示例中，正在使用机器人臂102以从桌子或其他表面110（例如，工作场所区域）拾起物品并将它们放置在传送带118（例如，卸货区域）上，在所示的示例中，该物品包括不同形状的物品112、114和116。如所示的那样，机器人臂102先前已经用于将物品120放置在传送带118上，传送带118在一方向上旋转以使得物品120将要跌落传送带118到目的地122中。工作场所区域可以包括一堆物品（稳定的或不稳定的）位于其中的移动平台（诸如，传送带或旋转平台）或静止区域。
39.在各种实施例中，图1中所示的“拾取和放置”操作由包括机器人臂102、末端执行器108和控制器106的机器人系统101至少部分地在自主操作模式中执行。例如，在一些实施例中，控制器106和/或一个或多个其他控制设备（诸如，包括处理器、存储器和其他组件的计算机）被编程成执行图1中图示的拾取和放置操作。例如，在一些实施例中，程序员或其他操作者可能已经将机器人系统101编程成或以其他方式配置成具有其环境100和其相对于桌子110上的物品的位置（或者在一些实施例中，一方面与桌子110相关联以及与传送带118相关联的坐标或其他位置的集合）的认知。
40.在一些实施例中，机器人系统101被编程成或以其他方式配置成使用策略的库或其他储存库以执行拾取和放置操作和/或其部分。例如，机器人系统101可以被配置成使用其当前位置和环境100的认知以将末端执行器108定位在桌子110上面的位置处。可以使用计算机视觉或其他技术以识别和选择接下来要拾起的物品，并且可以自主地选择拾起物品的策略，例如基于物品的位置、形状、取向、所呈现的方位、纹理、刚性等中的一个或多个。
41.例如，在图1中所示的示例中，机器人系统101可能已经将与物品112相关联的特征辨别为具有立方体几何结构，且已经在拾起物品112之前选择针对立方体几何结构的紧抓策略。机器人可以将物品114辨别为具有锥体几何结构并选择针对锥体几何结构的紧抓策略。机器人可以将物品116辨别为具有圆柱体几何结构并选择针对圆柱体几何结构的紧抓策略。
42.环境100包括多个相机，诸如相机115、117。尽管图1描绘了具有两个相机的环境100，但环境100可以包括n个相机，其中n是大于1的数目。该多个相机可以连线到或无线耦合到机器人系统101。在一些实施例中，该多个相机中的至少一个处于固定位置。在一些实施例中，该多个相机中的至少一个正在动态移动（例如，附着到移动对象，诸如无人机）。在一些实施例中，该多个相机中的至少一个能够是静止的且被移动到不同的位置（例如，在第一位置处检测物品、将相机移动到第二位置，并在第二位置处检测物品）。在一些实施例中，在环境100中使用不同照明条件以检测一个或多个物品的所感知到的表面特征中的改变。
43.使用多个相机使机器人系统101能够从不同有利点查看环境100。这防止物品模糊，并给出物品几何结构和物品边界的更准确估计。例如，可以以下述这样的方式放置大物
品：它防止相机看到紧邻该大物品的更小物品。使用来自不同位置的多个相机使更小物品能够被看到，且使与更小物品相关联的边界信息能够被确定。大工作场所区域可以不被单个相机覆盖。与多个相机相关联的视图可以被合并以对机器人系统101给出工作场所区域110的更完整视图。在相机之一被阻挡的情况下，机器人系统101仍然能够拾取和放置物品。
44.在一些实施例中，机器人系统101基于由该多个相机中的一个或多个生成的点云来对物品进行分段。机器人系统101可以基于rbg或多光谱相机图像（例如，rgb、深度和/或红外等的组合）来对物品进行分段。经分段的对象可以被去投影（deprojected）到点云中，使得可以确定潜在可紧抓区域。这提供了在单独基于点云信息来对物品进行分段时不可用的附加信息，诸如物品类型、期望重量/材料、优选紧抓策略等。该经组合的分段策略在拾取难以与单独深度区分的物品时运转良好（例如，被紧密包装在一起的小盒可能看起来像作为点云的单个平面），但是使用与点云信息组合的图像分段，机器人系统101可以识别每个盒并从输入提取该盒。
45.在一些实施例中，机器人系统101自主地从桌子110（例如，工作场所区域）到传送带118（例如，卸货区域）拾取和放置未知物品。机器人系统101可以通过使用相机115、117来确定物品112、114、116位于桌子110上。控制器106基于从相机115、117接收到的视觉数据（例如，点云数据）来确定几何结构信息。控制器106选择与根据从相机115、117接收到的视觉数据而确定的几何结构信息相对应的针对物品112、114、116的对应的潜在可紧抓特征。例如，基于从相机115、117接收到的视觉数据，控制器106可以确定物品112包括与立方体形状相对应的可紧抓特征，物品114包括与锥体形状相对应的可紧抓特征，并且物品116包括圆柱体形状。控制器106可以选择最接近地类似于阈值量内的几何对象的可紧抓特征。例如，控制器106可以将所确定的几何结构信息与已知特征的库进行比较，并基于该比较来选择针对物品的特征。在一些实施例中，特征是正典形状。控制器106可以将正典形状叠加在要紧抓的物品上。
46.为了确定与物品相关联的一个或多个可紧抓特征，控制器106可以随机地切割物品的平面以将物品分解成多个子段。可以在具有点云的数据点的最小占用（与在物品的顶部处紧抓有尖的特征相关）的平面处切割物品。可以基于物品的颜色或外观方面的强梯度来切割物品的平面。在一些实施例中，使用成员函数以确定在一般的所生成的子区内的点云中是否存在异常值。可以添加附加切割平面或者可以在具有高残差的隔离区域中分割物品。子段可以被分离地处理。例如，可以将异常值检测技术应用于子段。在一些实施例中，5西格玛将高斯分布拟合到点并识别与均值相距5西格玛（标准差）的点，且将所识别的点标记为异常值。在一些实施例中，子采样方法被用在点云上且被重新拟合到均值。然后使用点以找到与均值相距某个距离的点。
47.在一些实施例中，基于末端执行器108与物品的交互的可及范围来确定物品的子段。例如，如果末端执行器108不能够跨宽物品进行紧抓，那么控制器108确定不在物品的宽部分周围紧抓物品。如果正在使用抽吸抓取器末端执行器，那么找出相对平滑的平坦表面。可以避免基于空隙的拾取策略或最小占用切割平面。基元被重新拟合到新分区云。该过程可以迭代重复，直到满足质量或递归界限的某个水平。
48.控制器106可以基于从相机115、117接收到的视觉数据来确定与物品相关联的负空间信息（例如，空隙）。例如，控制器106可以确定咖啡杯的把手包括负空间或者车胎包括
负空间。使用来自该多个相机的数据的计算机视觉算法可以确定物品（诸如杯子、杯、卷起来的线、带等）中的空隙（例如，孔）。在检测到空隙的情况下，可以通过将抓取器插入到空隙中并从物品的侧壁拾取物品来紧抓物品。
49.控制器106可以基于从相机115、117接收到的视觉数据来确定将要被拾取的物品的曲率。在控制器106确定物品弯曲的情况下，控制器106可以改变与放置物品相关联的控制策略，使得弯曲物品被更小心地放置且更缓慢地放开，以防止物品在被放置时翻滚离开。在从相机115、117接收到的视觉数据指示在物品的抓取最初被释放之后所放置的物品正在翻滚或移动的情况下，控制器106可以重新抓取物品并尝试在抓取被再次释放之前安置物品。在控制器106尝试抓取/重新抓取物品多于阈值次数的情况下，警告可以被提供给用户130并向用户130报警物品可能滚动离开。
50.控制器106基于从相机115、117接收到的视觉数据来确定与物品112、114、116相关联的对应特征。例如，控制器106可以确定物品包括把手。从相机接收到的视觉数据可以用于确定与物品相关联的最小边界和与物品相关联的最大边界。物品的边界包括与物品相关联的高度、宽度或深度。视觉数据可以提供允许物品的边界中的一个或多个被确定的数据。例如，第一相机可能正在以第一角度面向物品。第一相机可能能够提供与物品的高度和宽度有关的信息，但不能够提供物品的深度信息。第二相机可能正在以第二角度面向物品。第二相机可能能够提供与物品的深度和高度有关的信息，但不能够提供与物品的宽度有关的信息。控制器106可以对从该多个相机接收到的视觉数据进行合并，以确定与物品相关联的边界信息（所估计的、近似的或精确的）。例如，控制器106可以确定物品的高度和宽度，但没有深度。控制器106可以确定物品的深度处于某个值范围内。
51.与物品相关联的最小边界对应于物品可在特定维度中具有的最小值。与物品相关联的最大边界对应于物品可在特定维度中具有的最大值。例如，第一相机可以检测第一物品和第一物品后面的第二物品。控制器106可以基于来自第一相机的视觉数据来确定第二物品在第一物品后面12英寸。在第一物品和第二物品正在触碰的情况下，第一物品可在深度维度中具有的最大值是12英寸。第一物品可在深度维度中具有的最小值是针对该维度的阈值最小大小（例如1/8英寸、1/4英寸、1/2英寸、1英寸等）。阈值最小大小可以基于历史上已知的物品、具有类似维度的已知物品、物品的情境、物品的类型等。
52.控制器106与存储将紧抓策略与特征相关联的数据结构的存储器（未示出）相关联。紧抓策略可以包括紧抓技术以及如何使用紧抓技术来紧抓特征。在一些实施例中，紧抓策略包括：紧抓可拟合到对象/段的几何估计的边界框的长轴和短轴。在一些实施例中，紧抓策略包括：在某个z高度处切割物品/段估计以及重新计算边界框。然后可以紧抓重新计算的边界框的长轴和短轴。这在物品具有宽基座但在中间某处具有小塔并且机器人系统想要准确地紧抓该塔时是有用的。存储器还存储与如何执行紧抓技术有关的指令。指令可以包括用于在被要求的情况下部分地预先闭合抓取器以避免撞击其他物品的指令。存储器还存储与如何执行放置技术有关的指令。指令可以包括用于执行下述操作的指令：部分地打开末端执行器108的抓取器手指，使得末端执行器108在将物品放置在卸货区域处的同时不扰乱其他物品。存储器还存储与末端执行器的机制和几何结构有关的信息（例如平行抓取器相对于抽吸抓取器、抓取器手指的宽度/长度等）。
53.紧抓技术可以与一个或多个特征相关联。例如，抽吸技术可以用于具有下述各项
的物品：与锥体形状相对应的可紧抓特征；与立方体形状相对应的可紧抓特征；或者与矩形棱柱体形状相对应的可紧抓特征。平行抓取技术可以用于具有与球体形状相对应的可紧抓特征的物品。特征可以与一个或多个紧抓技术相关联。例如，平行抓取技术或挖取（scooping）技术可以用于与球体形状相对应的可紧抓特征。不同类型的抓取器可以用于紧抓具有特定形状的特征。例如，第一紧抓技术可以使用平行抓取器，并且第二紧抓技术可以使用抽吸抓取器。在一些实施例中，在拾取和放置操作期间在抓取器类型之间自主地切换抓取器的类型。可以在特征的不同部分处使用紧抓技术。例如，可以在特征的顶、中间或底部分上使用平行抓取技术。控制器106确定针对与特征相关联的紧抓策略中的每一个的对应得分。在一些实施例中，物品与多个特征相关联。控制器106可以确定针对该多个特征中的每一个的一个或多个紧抓技术，并确定针对所确定的紧抓技术的对应得分。
54.与紧抓策略相关联的得分可以基于紧抓策略将导致特征的成功紧抓的概率。紧抓策略将导致特征的成功紧抓的概率可以基于一个或多个因素，诸如与环境有关的情境信息、针对环境的历史紧抓信息、机器人臂要紧抓特征的角度（以避免与其他物品的碰撞）、机器人臂要紧抓特征的高度（以防止抓取器的顶部处的碰撞）、抓取宽度、紧抓点处的表面法线的取向、能够被紧抓的特征的量、材料特性等。与环境有关的情境信息包括其他物品在该物品附近或邻近处的存在、该物品附近或邻近处的其他物品妨碍机器人臂紧抓特征的能力的量、是否更多物品正在被连续添加到工作场所区域等。材料特性可以包括物品的质心、物品的摩擦特性、颜色、反射率等。例如，机器人系统101可以构建大支撑表面，使得可以稳定地放置大物品。当在给定物品和放置支撑表面的摩擦系数的情况下机器人系统101检测到物品可能滑落倾斜放置支撑表面时，机器人系统101可以被配置成仅选择拾取具有足够高摩擦系数（例如，以避免滑动）的物品。
55.控制器106基于与紧抓策略中的每一个相关联的对应得分来选择紧抓策略之一。物品可以是在混杂（cluttered）堆中放置的物品的异构合集。物品可以在大小、颜色、高度、几何结构、纹理、硬度等方面不同。从堆中个体地移除物品。物品中的一些被至少部分地堵塞。混杂堆中的所有物品是先验未知的。控制器106选择具有最高得分的紧抓策略。在两个或更多个紧抓策略具有相同高得分的情况下，控制器106选择紧抓策略之一，拾取与紧抓策略相关联的特征，将物品移动到卸货区域，且然后选择与其他紧抓策略相关联的剩余物品。
56.控制器106使末端执行器108紧抓与物品相关联的特征。在所示的示例中，控制器106已经使末端执行器108紧抓物品112。控制器106可以利用与抓取器机制和几何结构有关的在先知识以简化紧抓预测问题。例如，如果末端执行器108将逼近物品（诸如，从上面逼近物品112），则控制器106分析点云的顶部区段以识别可紧抓突出部。在一些实施例中，随着机器人系统移动，相机115、117收集更多数据（例如更接近、不同角度、不同照明、反射率等）并且机器人系统101基于新数据来调整它如何使末端执行器108紧抓物品。
57.可以使用物品的经网状化或分段的版本来确定针对该物品的紧抓点。对要紧抓的物品的接近近似进行构建，并且使用与库匹配的模型或机器学习方法以确定针对该物品的最优紧抓位置。对紧抓点分等级。控制器106使末端执行器108在紧抓点之一处紧抓物品。
58.在各种实施例中，末端执行器108包括如本文公开的一个或多个触觉感测单元（未示出）。系统使用来自触觉感测单元的感测值以确定物品是否被成功紧抓。触觉感测单元包括一个或多个传感器。该一个或多个传感器中的每一个被配置成提供反映与末端执行器
108同物品（诸如，物品112）的接合相关联的感测值的输出。传感器输出中的一个或多个用于确定指示末端执行器108同物品的接合的一个或多个因素。
59.该一个或多个传感器可以包括下述各项中的一个或多个：磁传感器、光学传感器、机电传感器、压力传感器、应变计、力传感器、电导率传感器、电流传感器、电压传感器、电容传感器、电阻传感器、电感传感器、红外传感器、温度传感器等。该一个或多个因素可以包括重量、形变、连续性、电导率、压力、电阻、电感、电容、或者指示机器人臂末端执行器接合的任何其他因素。
60.该一个或多个触觉感测单元耦合到控制器106。末端执行器108可以包括也耦合到控制器106的其他传感器。例如，将末端执行器108的手指连接到机器人臂102的壳体可以包括用于测量力和/或转矩的一个或多个传感器。该多个传感器（触觉感测单元传感器和/或壳体传感器）将它们的对应输出提供给控制器106。控制器106可以使用传感器输出以确定与末端执行器108同物品（诸如，物品112）之间的接合相关联的一个或多个力和/或一个或多个力矩。控制器106可以使用传感器输出以确定与触觉感测单元中的每一个相关联的力和力矩。
61.控制器106可以使用传感器输出以确定针对该多个因素的对应值。例如，可以确定所感测到的重量、所感测到的形变量、所感测到的电导率、所感测到的压力、所感测到的电阻、所感测到的电感和/或所感测到的电容。该多个因素均与系数相关联。在一些实施例中，该多个因素被均等地加权（例如，它们均具有关联的系数“1”）。在一些实施例中，该多个因素中的一些具有不同权重。例如，所选择的物品可以是金属对象，并且与电导率因素相关联的系数可以小于与形变因素相关联的系数。
62.控制器106可以实现多因素模型以确定机器人臂末端执行器是否紧抓了物品。多因素模型可以是基于规则的模型、预测模型、机器学习模型（例如神经网络、线性分类器、支持向量机、线性回归、逻辑回归、决策树、深度学习等）等。在一些实施例中，多因素模型被配置成输出与末端执行器108是否与物品接合（例如，接合/不接合）有关的二元决策。在一些实施例中，多因素模型被配置成输出末端执行器108是否与物品接合的概率。
63.与该多个因素及其对应系数相关联的对应值作为输入而提供给多因素模型。该输入被应用于多因素模型，并且机器人系统101被配置成基于多因素模型的输出来执行响应动作。在一些实施例中，机器人系统101将所选择的物品从桌子110移动到传送带118。在一些实施例中，机器人系统101尝试重新紧抓所选择的物品。在一些实施例中，机器人系统101请求人类干预。在一些实施例中，末端执行器108不能够紧抓所选择的物品，而是选择不同的物品以紧抓。
64.末端执行器108将物品（在该示例中，物品112）移动到卸货区域（诸如，传送器118）。末端执行器108将物品放置在卸货区域中。机器人系统101可以使用该多个相机，以将物品放置在机器人系统101认为物品应当被放置的地方附近的位置处。机器人系统101可以在卸货位置处降低物品，并检测机器人系统101何时感觉到卸货区域的力对着它推回来。在一些实施例中，机器人系统101使用物品的底部与卸货区域之间的撞击处的机械振动，以感觉到卸货区域的力对着它推回来。当机器人系统101检测到已经到达卸货区域时，机器人系统101开启末端执行器108或停止抽吸以轻柔地将物品放置下来。在开启末端执行器108的同时，机器人系统101可以向上或向下移动以控制放置力（有时，在接触时开启抓取器可能
压坏物品）。这使机器人系统101能够堆叠物品或者在放置表面高度估计容易出错或未知时动态调整放置高度。当其他物品挡道时，这也是有帮助的。在一些实施例中，机器人系统101确定是否可滚动离开的任何物品被放置在卸货区域中。在不存在可能滚动离开的物品的情况下，控制器106可以控制机器人臂102和末端执行器108将已经处于卸货区域中的物品推得更接近在一起，使得空间被创建以放置一个或多个其他物品。在存在可能滚动离开或翻倒的物品的情况下，控制器106可以控制机器人臂102和末端执行器108旋转物品并将物品的稳定支撑表面放置到卸货区域上。
65.在各种实施例中，机器人系统101通过遥操作来自动提示干预。在一些实施例中，如果在执行图1中所示的拾取和放置操作的过程中机器人系统101达到在其中机器人系统101不能确定（进一步）执行操作的（下一）策略的状态，则机器人系统101经由遥操作来提示远程操作者（在该示例中）进行帮助。
66.在所示的示例中，控制器106经由网络124连接到遥操作计算机126。在一些实施例中，遥操作计算机126可以参与自主模式中的机器人系统101的操作，例如通过经由网络124将高级指令传送到控制器106。在各种实施例中，控制器106和遥操作计算机126中的一个或全部两者可以通过遥操作来提示干预，例如，如果机器人系统101达到在其中它不具有可用以执行（完成）操作中的下一任务或步骤的策略的状态的话。
67.例如，进一步参考图1，如果物品114以将三角形方位呈现给机器人的取向而被丢下且落在它的平坦侧之一上，则在一些实施例中机器人系统101可能不具有可用以拾起物品114的策略和/或可能已经超时或耗尽所配置的数目的拾起物品114的尝试。作为响应，可以提示遥操作者130通过遥操作来进行干预，并且遥操作者130可以使用手动输入设备128以控制机器人的操作。例如，遥操作者130可以操控机器人系统101以拾起114并将物品放置在传送带118上。或者，遥操作者130可以使用机器人系统101以将物品114的取向改变成下述取向：其中，自主机器人系统101将被期望（或者更可能）具有可用以拾起物品114的策略。
68.在一些实施例中，机器人系统101监视遥操作并基于遥操作来更新多因素模型。例如，与机器人系统101相关联的传感器（例如，触觉感测单元传感器和/或壳体传感器）可以在遥操作期间输出值。在遥操作紧抓尝试导致物品的成功紧抓的情况下，机器人系统可以得知指示成功紧抓的传感器输出值，并将那些所得知的值用于后续自主紧抓，以确定是否物品被成功紧抓。在遥操作紧抓尝试导致物品的不成功紧抓的情况下，机器人系统可以得知指示不成功紧抓的传感器输出值，并将那些所得知的值用于后续自主紧抓，以确定是否物品未被成功紧抓。可以执行遥操作多个实例。在该多个示例内，机器人系统可以得知指示成功紧抓的传感器输出值的范围和指示不成功紧抓的传感器输出值的范围。可以针对不同类型、形状和/或大小的物品而得知对应范围。
69.在所示的示例中，可以通过由人类操作者130操控手动输入设备128（例如，触觉输入设备）来执行遥操作。人类操作者130（有时被称作遥操作者）可以被经由包括和/或关联于遥操作计算机126的显示设备而显示的信息提示以开始遥操作。来自一个或多个传感器134的数据可以经由网络124和遥操作计算机126而提供给人类操作者130。在一些实施例中，传感器134包括机器人（未示出）上的相机或者相机115、117，且被配置成生成被显示给遥操作者130且用于经由遥操作执行和/或完成执行操作或其部分的视频馈送。在各种实施例中，相机与低延时、高吞吐量连接相连接，该低延时、高吞吐量连接包括作为示例而不限
于模拟的基于rf的通信、wifi、蓝牙和sub ghz中的一个或多个。在一些实施例中，使用不同类型的相机的混合。例如，可以使用具有不同通信速率、带宽和/或其他特性的相机，诸如两个rgb视觉相机、四个深度相机、两个ir相机等。
70.在各种实施例中，可以使用多种不同传感器134来执行遥操作。在一些实施例中，这些可以在确定机器人系统101是否“被卡住”时引导它，和/或可以简化遥操作。在一些实施例中，传感器有助于将遥操作模态从直接触觉控制过渡到越来越抽象的执行命令（诸如，利用鼠标点击对象以拾取，或者将“开架（open shelf）”说给音频转录设备）。
71.在各种实施例中使用的传感器134的示例包括数字交换机，该数字交换机被配置成检测与环境的交互和具体“被卡住”场景和/或未知代理在机器人系统101（或遥操作者）附近的存在。进一步示例包括确定诸如紧抓之类的操作的成功或失败的手或机器人上的力或压力传感器。在某个系列的失败之后，机器人系统101确定它“被卡住”。另一示例是可被机器人系统101使用以知道所计划和/或以其他方式期望的移动轨迹是否正在被精确地遵循的一个或多个传感器，诸如，机器人关节上的位置传感器。当它未在精确地遵循期望轨迹时，很可能它已经与环境100相接触，并且机器人系统101可以被编程成推断出它已“被卡住”且需要调用人类干预。
72.包括该多个相机的视觉系统被配置成通过多模态手段（例如rgb实例跟踪、rgb特征匹配、rgb光学流、点云匹配等）来跟踪工作场所区域中的每个物品，并利用诸如匈牙利配对匹配之类的方法以跟踪机器人系统101要拾取的物品。机器人系统101被配置成估计每个所跟踪的物品的状态，诸如速度、跌落/滑动离开的可能性和运动轨迹。机器人系统101可以使用其他已知信息（诸如，传送系统和传感器134的当前速度和大小）以利用更高准确度更新物品状态。所确定的物品状态可以被机器人系统101使用以作出与在何处拾取和要拾取什么物品以及在何处/在何时/如何放置物品有关的知情决策。例如，机器人系统101可以选择更稳定的物品以拾取（紧抓），且可能从未来的所估计的物品位置进行拾取（甚至在移动的同时），以补偿机器人臂102的移动时间和移动物品的速度。机器人系统101可以在不丢下物品并通过利用如根据环境100而估计的初始速度放置物品来使物品滚动的情况下，更稳定地将物品放置到移动平台卸货区域上。机器人系统101还可以选择无碰撞区以将物品放置在卸货区域118中。可以根据所跟踪的物品的所估计的轨迹确定碰撞区。使用与该多个相机相关联的数据，机器人系统101能够理解环境100和所紧抓的物品的形状。这使机器人系统101能够智能地计划将避免所拾取的物品与环境100之间的碰撞的轨迹。
73.在一些实施例中，多个机器人系统正在一起工作以拾取和放置物品。使用多个机器人系统可以提高系统的总体吞吐量。
74.图2是图示了根据一些实施例的机器人臂末端执行器的框图。在各种实施例中，末端执行器200可以用于实现图1的末端执行器108。
75.在所示的示例中，末端执行器200包括经由可旋转耦合而附着到机器人臂204的主体或壳体202。在一些实施例中，壳体202与机器人臂204之间的连接可以包括由控制计算机（诸如，图1的控制器106）控制的机动化关节。末端执行器200进一步包括抓取器，该抓取器包括关节指（articulating digit）210和212以及电力线206，电力线206延伸通过机器人臂204到壳体202中以将电力供给到抓取器控制模块208。在各种实施例中，控制模块208例如经由通过通信接口214的无线和/或有线通信而连接到末端执行器200外部的控制计算机
（例如，图1的控制器106）。控制模块208包括可操作成操控抓取器指210、212（例如，以紧抓要使用末端执行器200拾起、移动和放置的物品）的电子和/或机电元件。
76.在所示的示例中，在壳体202的侧上安装的相机216提供末端执行器200下面的视野的图像数据。多个力传感器218、220、222、224、226和228测量分别被施加到指210和212的安装点的力。在各种实施例中，经由通信接口214将力测量结果传送到外部和/或远程控制计算机。在各种实施例中使用传感器读数，以使机器人臂204和末端执行器200能够用于使物品贴身到与其他物品和/或侧壁或其他结构邻近的地方，和/或检测不稳定性（例如，在仍然处于抽吸下时但在物品被期望被放置且稳定的地方，向下按压关于物品的不充分推回）。
77.在一些实施例中，传感器用于检测与其他物品、容器和/或环境的碰撞，且通过“顺应性”调整轨迹来继续自动化操作。例如，如果碰到壁或其他结构，则在一些实施例中，机器人臂减小力并调整轨迹以沿障碍物跟随，直到清除它。
78.重量传感器215可以是力传感器、测压仪、或者能够检测被直接或间接施加到壳体202的力的任何其他传感器。重量传感器215可以被配置成测量旋转和/或定向转矩。重量传感器215可以被配置成：当末端执行器200接合物品时，测量力和力矩。
79.触觉感测单元211、213分别与关节指210、212相关联。在一些实施例中，触觉感测单元211、213分别附着到指210、212。在一些实施例中，触觉感测单元211、213被包括在末端执行器200上方放置的感测覆盖物中，使得指210、212中的每一个具有对应的触觉感测单元211。感测覆盖物可以覆盖指210、212以及壳体202。在一些实施例中，触觉感测单元211、213是相同类型的触觉感测单元。在一些实施例中，触觉感测单元211、213是不同类型的触觉感测单元。例如，指210可以与在图3b中描绘的触觉感测单元相关联，并且指212可以与在图3e中描绘的触觉感测单元相关联。
80.图3a是图示了根据一些实施例的触觉感测单元的框图。在所示的示例中，触觉感测单元300可以被实现为诸如触觉感测单元211或触觉感测单元213之类的触觉感测单元。
81.触觉感测单元300包括导电层302、形变层304和衬底层306。在一些实施例中，导电层302、形变层304和衬底层306是平面层。在一些实施例中，导电层302、形变层304和衬底层306是弯曲层。触觉感测单元300耦合到处理器（未示出）。在一些实施例中，导电层302或衬底层306是可选的。在一些实施例中，导电层302和形变层304被组合到单个层中。
82.导电层302可以包括使连续性或其他电气特性（诸如，电导率、电阻、电容或电感）能够被感测的导电材料。例如，导电层302可以是触觉感测单元的顶层，使得当附着到第一手指的第一触觉感测单元接触附着到第二手指的第二触觉感测单元时，第一和第二触觉感测单元的导电层相接触。在紧抓操作之前，可以确定标称连续性值、标称电导率值、标称电阻值、标称电容值和/或标称电感值。在紧抓操作期间，末端执行器可以使用它的手指以紧抓物品，并且处理器可以将电信号发送到第一触觉感测单元，以确定一个或多个连续性值、一个或多个电导率值、一个或多个电阻值、一个或多个电容值和/或一个或多个电感值。在一些实施例中，电信号在频率方面不同。该一个或多个所确定的连续性值、该一个或多个所确定的电导率值、该一个或多个所确定的电阻值、该一个或多个所确定的电容值或者该一个或多个所确定的电感值可以指示末端执行器紧抓了或未紧抓物品。
83.处理器可以将所确定的连续性值与标称连续性值进行比较。在所确定的连续性值从标称连续性值改变阈值量的情况下，所确定的连续性值可以指示末端执行器未紧抓物
品。在所确定的连续性值未从标称连续性值改变阈值量的情况下，所确定的连续性值可以指示末端执行器紧抓了物品。
84.处理器可以将所确定的电导率值与标称电导率值进行比较。在所确定的电导率值从标称电导率值改变阈值量的情况下，所确定的电导率值可以指示末端执行器未紧抓物品。在所确定的电导率值从关联标称值改变小于阈值量的情况下，所确定的电导率值可以指示末端执行器紧抓了物品。
85.处理器可以将所确定的电阻值与标称电阻值进行比较。在所确定的电阻值从标称电阻值改变阈值量的情况下，所确定的电阻值可以指示末端执行器未紧抓物品。在所确定的电阻值从关联标称值改变小于阈值量的情况下，所确定的电阻值可以指示末端执行器紧抓了物品。
86.处理器可以将所确定的电容值与标称电容值进行比较。在所确定的电容值从标称电容值改变阈值量的情况下，所确定的电容值可以指示末端执行器未紧抓物品。在所确定的电容值从标称电容值改变小于阈值量的情况下，所确定的电容值可以指示末端执行器紧抓了物品。处理器还可以基于所确定的电容值来确定所紧抓的物品的材料。
87.处理器可以将所确定的电感值与标称电感值进行比较。在所确定的电感值从标称电感值改变阈值量的情况下，所确定的电感值可以指示末端执行器未紧抓物品。在所确定的电感值从关联标称值改变小于阈值量的情况下，所确定的电感值可以指示末端执行器紧抓了物品。
88.形变层304可以包括介电材料（例如，硅、塑料、或者能够响应于力而发生形变的任何其他材料）。测量对象可以被注入到介电材料中。例如，多个磁体可以被注入到介电材料中。
89.衬底层306可以包括：一个或多个传感器，其被配置成感测与被注入到形变层304中的测量对象相关联的改变。例如，衬底层306可以包括：磁传感器，其被配置成当形变层304的多个磁体发生位移时感测磁场中的改变。在一些实施例中，衬底层306是与机器人臂末端执行器相关联的手指。在一些实施例中，衬底层306是被配置成支撑一个或多个传感器且将该一个或多个传感器电连接到与机器人系统相关联的处理器的材料。
90.图3b是图示了根据一些实施例的来自不同视点的触觉感测单元的图。在所示的示例中，不同视点310图示了触觉传感器单元的顶视图和两个侧视图。出于解释目的，未示出触觉感测单元的导电层。
91.在所示的示例中，触觉感测单元的形变层包括多个测量对象。在一些实施例中，该多个测量对象是磁体。在一些实施例中，该多个测量对象是标记。该多个测量对象可以被布置在网格或非网格图案中。网格图案可以是2d m x n网格图案或3d l x m x n网格图案。测量对象可以位于形变层304的边缘边界上。
92.在所示的示例中，测量对象312a、312b、312c、312d、312e、312f被布置在2 x 3网格中。尽管示出了六个测量对象，但x个测量对象可以被注入到形变层中。可被注入到形变层中的测量对象的数目可以基于测量对象之间的串扰的可接受的量。例如，随着形变层中的测量对象的数目增加，测量对象之间的串扰的量也增加。串扰的可接受的量可以由与机器人系统相关联的操作者指定。
93.该多个测量对象与位于衬底层306中的传感器314相关联。在该多个测量对象是磁
体的情况下，传感器314是磁传感器。在该多个测量对象是标记的情况下，传感器314是图像传感器。在一些实施例中，测量对象与一个传感器相关联。在一些实施例中，测量对象与多个传感器相关联。
94.在紧抓操作之前，可以确定针对该多个磁体的标称磁场或针对标记中的每一个的标称位置。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩使该多个测量对象中的一个或多个发生位移。该位移导致传感器314被配置成感测的可测量值中的改变。例如，在该多个测量对象是磁体的情况下，传感器314可以感测与该多个磁体相关联的磁场中的改变。处理器可以耦合到磁传感器并将所感测到的磁场与标称磁场进行比较。取决于机器人臂末端执行器是成功地还是不成功地紧抓了物品，所感测到的磁场可以不同。处理器可以基于比较来确定重量值和/或形变值。在该多个测量对象是标记的情况下，传感器314可以感测与该多个标记中的一个或多个相关联的位置中的改变。取决于机器人臂末端执行器是成功地还是不成功地紧抓了物品，位置中的改变可以不同。处理器可以耦合到图像传感器，并将该多个标记的所感测到的位置与该多个标记的标称位置进行比较以确定重量值和/或形变值。
95.图3c是图示了根据一些实施例的来自不同视点的触觉感测单元的图。在所示的示例中，不同视点320图示了触觉传感器单元的顶视图和两个侧视图。出于解释目的，未示出触觉感测单元的导电层。
96.在所示的示例中，嵌入形变层304中的测量对象是磁体。图3c的触觉感测单元类似于图3b的触觉感测单元，只是测量对象的子集（322a、322b、322c、322g、322h、322i）位于形变层的侧上。由传感器314感测到的与测量对象322a、322b、322c、322d、322e、322f、322g、322h、322i相关联的磁场的量值可以取决于与形变层304相关联的深度和测量对象与传感器314之间的距离。将测量对象的子集定位在形变层的侧上可以增加由传感器314感测到的与测量对象322a、322b、322c、322d、322e、322f、322g、322h、322i相关联的磁场的量值。
97.图3d是图示了根据一些实施例的磁传感器的示例的图。磁传感器330可以被实现为诸如传感器314之类的传感器。在所示的示例中，磁传感器330包括线圈332a、332b、332c。线圈332a被配置成测量x轴方向上的磁场。线圈332b被配置成测量y轴方向上的磁场。线圈332c被配置成测量z轴方向上的磁场。磁传感器330可以耦合到多个磁体，诸如图3b、3c中描绘的磁体。磁体中的至少一个的位移导致由磁传感器330检测到的磁场中的改变。磁传感器330被配置成检测x轴方向、y轴方向和z轴方向上的磁场的改变。
98.图3e是图示了根据一些实施例的触觉感测单元的图。触觉感测单元340可以被实现为诸如触觉感测单元211、213之类的触觉感测单元。在所示的示例中，反射材料341被嵌入形变层304中。发射器342（例如，发光二极管发射器）和接收器343位于衬底层306上。发射器342可以发送反射离开反射材料341的信号，并且，在接收器343处接收反射信号。当机器人臂末端执行器不与物品接合时，可以确定在接收器343处接收到的信号的标称幅度。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩改变信号如何行进通过形变层304。例如，在接收器343处接收到的信号的幅度可以由于形变层304内的信号的反射、折射和/或散射而增大或减小。处理器可以耦合到接收器，并将标称信号幅度与所接收到的信号幅度进行比较以确定重量值和/或形变值。
99.图3f是图示了根据一些实施例的触觉感测单元的图。触觉感测单元350可以被实
现为诸如触觉感测单元211、213之类的触觉感测单元。在所示的示例中，出于解释目的，未示出触觉感测单元的导电层和衬底层。
100.触觉感测单元350包括能够检测形变的机电传感器352（例如，应变计），被嵌入介电材料中。当机器人臂末端执行器不与物品接合时，可以确定与机电传感器352相关联的标称电阻。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩使与机电传感器352相关联的电阻改变。处理器可以耦合到该一个或多个机电传感器，并将标称电阻值与经改变的电阻值进行比较以确定重量值和/或形变值。
101.图3g是图示了根据一些实施例的触觉感测单元的图。触觉感测单元360可以被实现为诸如触觉感测单元211、213之类的触觉感测单元。在所示的示例中，出于解释目的，未示出触觉感测单元的导电层和衬底层。
102.触觉感测单元360的形变层包括包含空气、气体或液体的柔性膜362（例如囊、袋）。当机器人臂末端执行器不与物品接合时，可以确定与柔性膜362相关联的标称压力。当机器人臂末端执行器接合物品时，与接合相关联的力和/或力矩使与柔性膜362相关联的压力改变。处理器可以耦合到柔性膜，并将标称压力值与经改变的压力值进行比较以确定重量值和/或形变值。
103.图4是图示了根据一些实施例的用于拾取和放置物品的过程的流程图。在所示的示例中，过程400可以由机器人系统（诸如，机器人系统101）实现。
104.在402处，选择物品以从第一位置移动到第二位置。第一位置（诸如，工作场所区域）可以包括一个或多个物品。机器人环境可以包括：多个相机，其被配置成从不同有利点查看和检测该一个或多个物品。在一些实施例中，相机中的一个或多个生成该一个或多个物品的一个或多个点云。在多个点云被生成的情况下，将该多个点云合并在一起。在各种实施例中，该一个或多个物品可以包括在混杂堆中放置的多个物品、分隔开的多个物品、和/或下述多个物品：该多个物品中的一个或多个从视图中被该多个物品中的一个或多个其他物品弄模糊。
105.针对该多个物品中的每一个确定几何结构信息。可以基于从与多个相机中的一个或多个相关联的数据获得的点云信息来确定几何结构信息。可以将与多个特征中的每一个相关联的对应几何结构信息与紧抓策略已知的几何结构的库进行比较。可以选择与最接近地类似于所确定的特征的几何结构（例如，在相似性阈值内）的几何结构相关联的策略。在一些实施例中，物品与单个特征相关联（例如，一卷纸巾对应于圆柱体）。在一些实施例中，将物品分割成多个子段（本文中也被称作子对象），并且确定针对该多个子段中的每一个的对应特征（例如，高尔夫球俱乐部包括主体段和头部段）。
106.工作场所区域或角落的边缘附近的物品可以具有与要在何处和/或如何拾取物品有关的物理或其他限制。在一些实施例中，取决于与物品相关联的环境边界，可以选择非最优但可行的拾取角。可以在较窄纬度抓取上选择较宽经度，这是因为较宽经度抓取可以将末端执行器保持在环境边界内。
107.针对所确定的紧抓策略中的每一个确定成功紧抓的对应得分。例如，可以使用抓取工具（诸如，末端执行器200）以在物品的顶部分、中间部分或底部分处紧抓物品。特征的成功紧抓的得分可以基于紧抓策略将导致成功紧抓的概率。针对抓取工具（在多个工具可用的实施例中）和紧抓位置的不同组合而确定概率。紧抓策略将导致物品的成功紧抓的概
率可以基于一个或多个紧抓因素，诸如，与环境有关的情境信息、针对环境的历史紧抓信息、机器人臂要紧抓物品的角度（以避免与其他物品的碰撞）、机器人臂要紧抓物品的高度（以防止抓取器的顶部处的碰撞）、抓取宽度、紧抓点处的表面法线的取向、能够被紧抓的物品的量等。与环境有关的情境信息包括其他物品在该物品附近或邻近处的存在、该物品附近或邻近处的其他物品妨碍机器人臂紧抓该物品的能力的量、是否更多物品正在被连续添加到工作场所区域等。
108.所确定的紧抓策略之一被选择为基于所确定的对应得分而尝试。基于对应得分来对物品或特征和对应紧抓策略分等级。该多个物品和特征当中具有最高得分的物品或特征被选择为被紧抓。在多个可能紧抓具有相同得分的情况下，选择该多个紧抓之一。在所紧抓的物品已经被移动之后，选择具有相同得分的其他紧抓之一。
109.在来自该多个物品的物品已经被选择、紧抓、移动且放置在卸货区域中的情况下，选择具有下一最高得分的紧抓以尝试。
110.在404处，紧抓所选择的物品。机器人系统的末端执行器接合所选择的物品。末端执行器可以包括多个手指。该多个手指中的每一个可以与对应触觉感测单元相关联。触觉感测单元可以包括多个感测层。感测层中的每一个可以包括一个或多个传感器。当与物品接合时，触觉感测单元的感测层中的每一个可以输出与标称感测值（例如，当机器人臂末端执行器不与物品接合时）不同的对应感测值。
111.机器人系统使用该多个传感器来执行静态测量，以确定机器人臂末端执行器是否成功紧抓了物品。静态测量可以包括：机器人臂末端执行器在静止时紧抓物品，并测量该多个传感器的输出。机器人系统还可以使用该多个传感器来执行动态测量，以确定机器人臂末端执行器是否成功紧抓了物品。例如，在初始紧抓之后，可以修改机器人臂末端执行器的取向，并且在机器人臂末端执行器正在移动时，可以测量该多个传感器的输出，以确定机器人臂末端执行器是否成功紧抓了物品。
112.该一个或多个触觉感测单元耦合到处理器。处理器可以使用传感器输出，以确定与机器人臂末端执行器同物品之间的接合相关联的一个或多个力和/或一个或多个力矩。传感器输出（触觉感测单元传感器和/或壳体传感器）可以用于确定针对该多个因素的对应值。例如，可以确定所感测到的重量、所感测到的形变量、所感测到的连续性、所感测到的电导率、所感测到的压力、所感测到的电阻、所感测到的电感和/或所感测到的电容。
113.该多个因素均与系数相关联。在一些实施例中，该多个因素被均等地加权（例如，它们均具有关联的系数“1”）。在一些实施例中，该多个因素中的一些具有不同权重。例如，所选择的物品可以是金属物品，并且与连续性因素相关联的系数可以小于与形变因素相关联的系数。
114.处理器可以实现多因素模型，以确定机器人臂末端执行器是否紧抓了物品。多因素模型可以是基于规则的模型、预测模型、机器学习模型机器学习模型等。在一些实施例中，多因素模型被配置成输出与机器人臂末端执行器是否与物品接合（例如，接合/不接合）有关的二元决策。在一些实施例中，多因素模型被配置成输出机器人臂末端执行器是否与物品接合的概率。与该多个因素及其对应系数相关联的对应值作为输入而提供给多因素模型，并且机器人系统被配置成基于多因素模型的输出来执行响应动作。
115.在406处，移动所选择的物品。响应于指示末端执行器紧抓了所选择的物品的多因
素模型的输出而移动所选择的物品。在408处，确定是否在将物品从工作场所区域移动到卸货区域时已经丢下与所选择的紧抓相关联的物品。可以基于与机器人系统的末端执行器相关联的一个或多个触觉传感器单元的一个或多个传感器测量结果（例如压力、力、电容等），将物品确定成已经被丢下。可以将传感器测量结果与阈值进行比较，以确定物品是否已经被丢下。在物品已经被丢下的情况下，过程400返回到402。在物品未被丢下的情况下，过程400继续到410。
116.在410处，将所选择的物品放置在第二位置处。可以以防止末端执行器与关联于第二位置的边界碰撞的方式放置物品。
117.在一些实施例中，与其他物品混杂地将该物品放置在第二位置处。机器人系统可以随机地将物品放置在第二位置处。机器人系统然后可以使用末端执行器上的力传感器，以在不使机器人系统执行保护性停止的情况下轻柔地将物品放置在混杂物上。机器人系统可以通过使用力传感器以实现紧密塞进策略，将物品紧密地包装到第二位置处的盒中。
118.在一些实施例中，与其他物品分隔开地将该物品放置在第二位置处。机器人系统可以将第二位置处的放置空间划分成多个子区域，并将所选择的物品放置在子区域之一中。在子区域中的每一个之间可以存在缓冲区域。在一些实施例中，缓冲区域是可调整的。
119.在一些实施例中，与机器人系统相关联的视觉系统被配置成确定如何将物品放置下来。例如，一些物品不是刚性的，并且与物品（例如，布或玩偶）相关联的限度在该物品已经被紧抓和移动之后改变。视觉系统被配置成确定该限度是什么以及材料信息，以选择如何将物品放置下来以防止压坏它和从可能损坏物品或使物品跌落到混乱或不利配置中的高度丢下它。
120.在412处，确定是否存在更多物品要移动。可以使用来自机器人系统的一个或多个相机的视觉数据以确定是否存在更多物品要移动。在存在更多物品要移动的情况下，过程400返回到402。在不存在更多物品要移动的情况下，过程400结束。
121.图5是图示了根据一些实施例的用于紧抓物品的过程的流程图。在一些实施例中，过程500由诸如机器人系统101之类的机器人系统实现。在一些实施例中，过程500被实现以执行过程400的步骤404和406中的一些或全部。
122.在502处，紧抓与物品相关联的特征。机器人系统的控制器使末端执行器紧抓与物品相关联的特征。末端执行器可以包括一个或多个触觉感测单元。与物品相关联的特征可以是在所确定的最优紧抓位置处紧抓的。最优紧抓位置可以是使用物品的经网状化或分段的版本来确定的，该经网状化或分段的版本是根据从机器人系统的一个或多个相机接收到的视觉数据确定的。
123.在一些实施例中，使用视觉和/或触觉信息以检测物品的纹理，诸如褶皱。机器人系统可以使用视觉和/或触觉信息以选择高质量拾取点（例如，大于阈值的成功紧抓概率），诸如避免使用抽吸抓取器以在褶皱区域处拾取物品。
124.在504处，确定紧抓是否成功。来自一个或多个触觉感测单元的输出用于确定与机器人臂末端执行器同物品之间的接合相关联的一个或多个力和/或一个或多个力矩。来自该一个或多个触觉感测单元和/或一个或多个壳体传感器的传感器输出可以用于确定针对该多个因素的对应值。该多个因素均与系数相关联。可以实现多因素模型以确定机器人臂末端执行器是否成功紧抓了物品。与该多个因素及其对应系数相关联的对应值作为输入而
提供给多因素模型，并且多因素模型被配置成输出决策。在一些实施例中，多因素模型被配置成输出与机器人臂末端执行器是否与物品接合（例如，紧抓/未紧抓）有关的二元决策。在一些实施例中，多因素模型被配置成输出机器人臂末端执行器是否紧抓物品的概率。
125.在紧抓成功的情况下，过程500继续到506，并且将物品移动到第二位置。在紧抓不成功的情况下，过程500继续到508，并且确定是否已经执行阈值数目的紧抓尝试。在已经执行阈值数目的紧抓尝试的情况下，过程500继续到512。在未执行阈值数目的紧抓尝试的情况下，过程500继续到510。
126.在510处，实现相同紧抓技术或不同紧抓技术。物品的特征可以与多个紧抓技术相关联。紧抓技术中的每一个与对应得分相关联。最初选择该多个紧抓技术中具有最高得分的紧抓技术。在紧抓技术失败的情况下，可以实现具有下一最高得分的紧抓技术。在一些实施例中，再次尝试相同紧抓技术。
127.在512处，选择下一特征。具有多个特征的多个物品可以位于工作场所区域中。该多个特征中的每一个具有成功紧抓的对应得分。特征是基于它们的对应得分来选择的。下一特征是基于它的对应得分来选择的。在一些实施例中，下一特征与不同物品相关联。在一些实施例中，下一特征与相同物品相关联。下一特征具有比先前所选择的特征更低的得分，但具有与该多个特征中的其他剩余特征相比相同或更高的得分。
128.图6是图示了根据一些实施例的用于确定是否已经成功紧抓物品的过程的流程图。在一些实施例中，过程600由诸如机器人系统101之类的机器人系统实现。在一些实施例中，过程600被实现以执行过程400的步骤404或过程500的步骤504中的一些或全部。
129.在602处，确定针对多个因素的对应输入值。该多个因素可以包括重量、形变、连续性、电导率、压力、电阻、电感、电容、或者指示机器人臂末端执行器接合的任何其他因素。
130.机器人系统的末端执行器可以包括多个手指。该多个手指中的每一个可以与对应触觉感测单元相关联。触觉感测单元可以包括多个感测层。
131.触觉感测单元可以包括导电层、形变层和衬底层。感测层中的每一个可以包括一个或多个传感器。当与物品接合时，触觉感测单元的感测层中的每一个可以输出与标称感测值（例如，当机器人臂末端执行器不与物品接合时）不同的对应感测值。
132.导电层可以包括使电气特性因素（诸如，连续性、电导率、电阻、电容或电感）能够被感测的导电材料。导电层可以是触觉感测单元的顶层，使得当附着到第一手指的第一触觉感测单元接触附着到第二手指的第二触觉感测单元时，第一和第二触觉感测单元的导电层相接触。
133.在紧抓操作之前，可以确定标称连续性值、标称电导率值、标称电阻值、标称电容值或标称电感值。在紧抓操作期间，末端执行器可以使用它的手指以紧抓物品，并且处理器可以将电信号发送到第一触觉感测单元，以确定一个或多个连续性值、一个或多个电导率值、一个或多个电阻值、一个或多个电容值或者一个或多个电感值。在一些实施例中，电信号在频率方面不同。该一个或多个所确定的连续性值、该一个或多个所确定的电导率值、该一个或多个所确定的电阻值、该一个或多个所确定的电容值或者该一个或多个所确定的电感值可以指示末端执行器紧抓了或未紧抓物品。
134.可以将所确定的连续性值与标称连续性值进行比较。在所确定的连续性值从标称连续性值改变阈值量的情况下，所确定的连续性值可以指示末端执行器未紧抓物品。在所
确定的连续性值未从标称连续性值改变阈值量的情况下，所确定的连续性值可以指示末端执行器紧抓了物品。
135.可以将所确定的电导率值与标称电导率值进行比较。在所确定的电导率值从标称电导率值改变阈值量的情况下，所确定的电导率值可以指示末端执行器未紧抓物品。在所确定的电导率值从关联标称值改变小于阈值量的情况下，所确定的电导率值可以指示末端执行器紧抓了物品。
136.可以将所确定的电阻值与标称电阻值进行比较。在所确定的电阻值从标称电阻值改变阈值量的情况下，所确定的电阻值可以指示末端执行器未紧抓物品。在所确定的电阻值从关联标称值改变小于阈值量的情况下，所确定的电阻值可以指示末端执行器紧抓了物品。
137.可以将所确定的电容值与标称电容值进行比较。在所确定的电容值从标称电容值改变阈值量的情况下，所确定的电容值可以指示末端执行器未紧抓物品。在所确定的电容值从标称电容值改变小于阈值量的情况下，所确定的电容值可以指示末端执行器紧抓了物品。处理器还可以基于所确定的电容值来确定所紧抓的物品的材料。
138.可以将所确定的电感值与标称电感值进行比较。在所确定的电感值从标称电感值改变阈值量的情况下，所确定的电感值可以指示末端执行器未紧抓物品。在所确定的电感值从关联标称值改变小于阈值量的情况下，所确定的电感值可以指示末端执行器紧抓了物品。
139.形变层可以包括使重量因素和/或形变因素能够被确定的介电材料（例如，硅、塑料、或者能够响应于力而发生形变的任何其他材料）。测量对象可以被注入到介电材料中。
140.在一些实施例中，多个磁体被注入到介电材料中，并且磁传感器位于衬底层上。在紧抓操作之前，可以确定标称磁场。在紧抓操作期间，与接合相关联的力和/或力矩使该多个磁体中的一个或多个发生位移。该位移导致由磁传感器感测到的磁场中的改变。处理器可以耦合到磁传感器并将所感测到的磁场与标称磁场进行比较。处理器可以基于比较来确定重量值和/或形变值。
141.在一些实施例中，多个标记被嵌入介电材料和位于衬底层上的图像传感器中。在紧抓操作之前，可以确定针对标记中的每一个的标称位置。在紧抓操作期间，与接合相关联的力和/或力矩使该多个标记中的一个或多个发生位移。处理器可以耦合到图像传感器，并将该多个标记的所感测到的位置与该多个标记的标称位置进行比较以确定重量值和/或形变值。
142.在一些实施例中，反射材料被嵌入介电材料中，并且发射器和接收器位于衬底层上。在紧抓操作之前，可以确定标称信号幅度。在紧抓操作期间，与接合相关联的力和/或力矩改变信号如何行进通过介电材料。接合使在接收器处接收到的反射信号的幅度改变。处理器可以耦合到接收器，并将标称信号幅度与所接收到的信号幅度进行比较以确定重量值和/或形变值。
143.在一些实施例中，能够检测形变的一个或多个机电传感器（例如，应变计）被嵌入介电材料中。在紧抓操作之前，可以确定标称电阻值。在紧抓操作期间，与接合相关联的力和/或力矩使与该一个或多个机电传感器相关联的电阻改变。处理器可以耦合到该一个或多个机电传感器，并将标称电阻值与经改变的电阻值进行比较以确定重量值和/或形变值。
144.在一些实施例中，介电材料可以包括包含空气、不同气体或液体的柔性膜（例如囊、袋）。在紧抓操作之前，可以确定标称压力值。在紧抓操作期间，与接合相关联的力和/或力矩使与柔性膜相关联的压力改变。处理器可以耦合到柔性膜，并将标称压力值与经改变的压力值进行比较以确定重量值和/或形变值。
145.在604处，将对应输入值提供给多因素模型。处理器可以使用传感器输出，以确定与机器人臂末端执行器同物品之间的接合相关联的一个或多个力和/或一个或多个力矩。处理器还可以使用传感器输出以确定针对该多个因素的对应值。例如，可以确定重量值、形变值、连续性值、电导率值、压力值、电阻值、电感值和/或电容值。
146.该多个因素均与系数相关联。在一些实施例中，该多个因素被均等地加权（例如，它们均具有关联的系数“1”）。在一些实施例中，该多个因素中的一些具有不同权重。例如，所选择的物品可以是金属对象，并且与连续性因素相关联的系数可以小于与形变因素相关联的系数。
147.处理器可以实现多因素模型。因素值和对应系数可以被输入到多因素模型。
148.在606处，确定机器人臂末端执行器是否与物品接合。在一些实施例中，多因素模型被配置成输出与机器人臂末端执行器是否与物品接合（例如，接合/不接合）有关的二元决策。在一些实施例中，多因素模型被配置成输出机器人臂末端执行器是否与物品接合的概率。
149.在机器学习模型的输出指示机器人臂末端执行器与物品接合的情况下，过程600继续到608，其中将物品移动到第二位置。在机器学习模型的输出指示机器人臂末端执行器未接合物品的情况下，过程600继续到610，其中执行一个或多个响应动作。在一些实施例中，机器人系统尝试重新紧抓所选择的物品。在一些实施例中，机器人系统请求人类干预。在一些实施例中，机器人臂末端执行器不能够紧抓所选择的物品，而是选择不同的物品以紧抓。
150.图7是图示了根据一些实施例的用于确定是否已经成功紧抓物品的过程的流程图。在一些实施例中，过程700由诸如机器人系统101之类的机器人系统实现。在一些实施例中，过程700被实现以执行过程400的步骤404、过程500的步骤504或过程600的步骤606中的一些或全部。
151.在702处，执行静态测量。静态测量可以包括：机器人臂末端执行器在静止时紧抓物品，并测量该多个传感器的输出。在一些实施例中，可以将该多个传感器的输出与同该多个传感器相关联的对应标称输出（即，当机器人臂末端执行器未紧抓物品时）进行比较，以确定机器人臂末端执行器是否成功紧抓了物品。
152.在一些实施例中，得知针对静态测量期间的成功紧抓的期望传感器输出。在得知阶段期间，人类操作者或机器人系统可以紧抓和移动不同类型的物品。机器人系统可以查明指示成功紧抓的传感器输出的组合和指示不成功紧抓的传感器输出的组合。可以将该多个传感器的输出与针对成功紧抓的期望传感器输出进行比较，以确定机器人臂末端执行器是否成功紧抓了物品。
153.在704处，执行动态测量。在初始紧抓之后，可以修改机器人臂末端执行器的取向，并且在机器人臂末端执行器正在移动时，可以测量该多个传感器的输出，以确定机器人臂末端执行器是否成功紧抓了物品。可以将在执行静态测量时该多个传感器的输出与在执行
动态测量时该多个传感器的输出进行比较，以确定机器人臂末端执行器是否成功紧抓了物品。
154.在一些实施例中，得知针对动态测量期间的成功紧抓的期望传感器输出。在得知阶段期间，人类操作者或机器人系统可以紧抓和移动不同类型的物品。可以在不同方向和/或取向上移动物品。机器人系统可以查明指示成功紧抓的传感器输出的组合和指示不成功紧抓的传感器输出的组合。可以将该多个传感器的输出与针对成功紧抓的期望传感器输出进行比较，以确定机器人臂末端执行器是否成功紧抓了物品。
155.在一些实施例中，在运行时间期间，机器人系统基于与静态测量相关联的传感器输出和/或与动态测量相关联的传感器输出的组合，来确定机器人臂末端执行器是否成功紧抓了物品。
156.尽管已经出于清楚理解的目的而稍为详细地描述了以上实施例，但本发明不限于所提供的细节。存在实现本发明的许多可替换方式。所公开的实施例是说明性的而非限制性的。