用于制造业用的适应性箱子拾取的系统和方法与流程

相关申请的交叉引用

本pct国际专利申请要求于2017年9月20日提交的题为“systemandmethodforadaptivebinpickingformanufacturing”的美国临时专利申请序列号第62/560,968号的权益，该申请的全部公开内容被认为是本申请的公开内容的一部分并通过引用并入本文。

背景技术：

实施组装过程(或组装线)以生产成品。成品是经过各种技术附接在一起的各种零件的组合。成品可以是任何种类的物体或产品，例如在商业中销售的物体或产品。汽车或车辆或者汽车或车辆的零件可以是经由组装过程生产的成品。制造过程的许多方面涉及移动物品(item)，例如单个零件、组件或者保持一个或更多个单个零件或组件以用于运输或用于一起处理的载体。

许多成品包括来自各种来源的零件，这些零件被运输到制造地点并在制造地点内被组合成成品或者被组合成其组件或子组件。这些零件经常在箱子中运输，在箱子中这些零件可能是松散的，从而具有随机的位置和取向。零件必须从箱子转移到目的地，以便于在制造过程中使用零件。也经常使用诸如篮筐、箱子或油漆台的专门载体来成批处理零件，这些载体必须与单个零件或组件一起装载和卸载。此外，在某些情况下，由于制造过程的要求和/或诸如装载或卸载的载体的重量和/或尺寸的其他考虑，载体的移动需要特殊的处理。

对于制造过程的许多部分，当前移动物品的技术是手工过程。在移动大的和/或重的物品时需要特别考虑。例如，冲压的金属零件通常通过人从箱子中拾取并被放入到固定装置中以用于进一步处理(例如，切割、焊接、粘合或涂漆)。在处理之后，人可以从固定装置中拾取零件，并将零件放入到箱子中，该箱子可以是新的箱子或者是零件来源的同一箱子。在拾取/放置操作期间，人也可以对零件执行品质检查。

在另一个示例中，将车辆仪表板装载到在涂漆过程中使用的涂漆台或涂漆架上的过程可能需要一组工作人员，其中人员通过将零件转移给彼此来在从进入的箱子中拾取零件(在地板水平处)与将零件放置在台中(在髋部水平处)之间交替以便减轻人体工程学压力源。

在又一示例中，从清洗机器中装载和卸载要被清洗的零件的篮筐的过程可以被手动地执行以及/或者借助起重机执行，该起重机的辅助可能是由健康和安全法规对于称重超过预先确定的量的篮筐所要求的。

以这种方式，进入制造过程的给定步骤的每一个物品可能需要如下手动操作：拾取零件并将其放置在适合于制造过程中的下一步骤的目的地位置和取向。重的物品可能导致执行这些操作的人的疲劳。可能需要使用诸如起重机的机械辅助来移动重的物品；然而，这样的机械辅助可能难以使用，并且可能不被工作人员接受。重复的动作可能会造成代价高昂的伤害，尤其是在移动重的物品时。这些手动操作可能会给整个组装线过程带来延迟和低效。

技术实现要素：

提供了用于使用机器人在源位置与目的地之间自动地移动一个或更多个物品的传送系统和方法。该系统包括第一视觉系统，其用于识别物品并确定物品在结构上的拾取位置和拾取取向。第二视觉系统确定目的地的位置和取向。控制器规划用于机器人在拾取位置与目的地之间移动物品时遵循的最佳路径。末端执行器被附接到机器人，以用于拾取物品并在机器人向目的地移动物品时保持物品。然后，末端执行器释放物品，或者在目的地位置处且以目的地取向来放置物品。

该方法包括以下步骤：使用第一视觉系统来识别源位置处具有非固定位置和取向的物品；使用第一视觉系统来确定源位置内的物品的拾取位置和拾取取向；以及使用第二视觉系统来确定目的地的位置和取向。该方法还包括以下步骤：执行适应性轨迹规划以确定拾取位置与目的地之间的最佳路径。

该方法继续进行以下步骤：通过机器人上的末端执行器从拾取位置拾取物品；通过机器人沿着最佳路径移动物品；通过机器人上的末端执行器将物品放置在目的地处。该方法还可以包括通过视觉系统中的一者或两者来检查零件的品质的步骤。

采用本文中公开的各个方面，系统和方法可以使用具有末端执行器的机器人在目的地与源位置处的箱子之间自动地移动一个或更多个物品。本文中公开的柔性固定装置允许从箱子中移动多种零件类型，在箱子中，这些零件可以是松散的，从而具有随机的位置和取向。此外，由于本文中讨论的方法的自动化性质，实现了效率的提高和资源的减少。

附图说明

详细描述参照以下附图，在附图中相同的附图标记指代相同的项，并且在附图中：

图1是用于在目的地与源位置处的箱子之间自动地移动一个或更多个零件的系统的示意图；

图2是用于在目的地与源位置处的箱子之间自动地移动一个或更多个零件的系统的另一示意图；

图3是机器和在用于机器的自动化装载和卸载的机器人周围的箱子的顶视图，其中每一个箱子位于窗口内并且没有定位的固定装置；

图4是根据本发明的一个方面的用于将零件的篮筐装载到机器以及从机器卸载零件的篮筐的自动化过程的示意图；

图5是根据本发明的一个方面的用于零件的篮筐的装载和卸载的自动化过程的另一示意图。

具体实施方式

在下文中将参照附图更全面地描述本发明，在附图中示出了本发明的示例性实施方式。然而，本发明可以以许多不同的形式来体现，并且不应该被解释为限于本文中阐述的实施方式。而是，提供这些示例性实施方式使得本公开内容透彻，并将本发明的范围全部地传达给本领域技术人员。将理解的是，为了本公开内容的目的，“每一个中的至少一个”将被解释成意味着遵循相应语言的所列举元件的任何组合，包括多个所列举元件的组合。例如，“x、y和z中的至少一个”将被解释成意味着仅x、仅y、仅z，或者两个或更多个项x、y和z的任意组合(例如，xyz、xz、yz、x)。在整个附图和详细描述中，除非另外描述，否则相同的附图标记被理解成指代相同的元件、特征和结构。为了清楚、说明和方便起见，可能夸大了这些元件的相对尺寸和描绘。

参照附图，其中，遍及若干视图，相似的附图标记表示相应的零件，公开了用于使用具有末端执行器32的机器人30在目的地28与源位置26处的结构之间自动地移动一个或更多个物品21的传送系统20和方法。

在图1中示出了本公开内容的传送系统20的一个示例，以用于使用具有末端执行器32的机器人30在目的地28与源位置26处的箱子24之间自动地移动一个或更多个零件22，并且其中零件22可以是松散的或者没有被固定在箱子24中的特定位置处。如在本公开内容中所使用的，箱子24可以包括任何盒子、架、托盘或用于保持零件22的其他载体。应当理解，如贯穿包括权利要求的本主题公开内容所讨论的术语“零件”22可以包含各种类型的物体，所述各种类型的物体包括但不限于任何制造阶段中的原始材料、外壳和部件块(componentpiece)、任何构造阶段中的组件或子组件以及完工件或完工组件。可以通过相同的传送系统20使用相同或不同的末端执行器32来适应和移动各种不同的物品21。还应当理解，术语“物品”21可以指代零件22、箱子24或任何其他物理物品，所述任何其他物理物品包括但不限于任何制造阶段中的工具、零件、固定装置、原始材料、外壳、部件块、任何构造阶段中的组件或子组件、完工件或完工组件、盒子、架、托盘或其他载体。

如在图1中最佳地所示，第一视觉系统34可以识别源位置26处的箱子24内的零件22，并且确定零件22的拾取位置和拾取取向。第二视觉系统38可以确定目的地28的位置和取向，该目的地可以在箱子24内部或外部。目的地28可以是一个或更多个零件要被移动的任何地方，所述任何地方包括例如：用于制造或检查、装运等的固定装置或载体；用于储存或传送的架或包装；传送器；任何制造阶段中的固定装置或组件。目的地28在位置和取向上可以是固定的。目的地28在位置和/或取向上可以是可变的，例如对于当组件沿着组装线移动时被放置在组件上的零件。另外，例如，在架或其他这样的组件装载有多个零件22——其中每一个零件22在架上的单独隔间或位置处——的情况下，一系列零件22中的每一个的目的地28可以是不同的。

视觉系统34、38中的每一个可以是任何类型的机器视觉系统，该机器视觉系统包括一个或更多个摄像装置36或其他成像装置并且包括但不限于2d、2.5d和3d系统，该3d系统能够在具有x、y和z坐标以及翻滚、俯仰和偏航的三维取向的三维空间中识别和定位零件22。这样的机器视觉系统的一个示例是由康耐视(cognex)制造的摄像装置系统。可以使用直接观察和测量、通过与一个或更多个参照图像的比较、通过任何其他方法或方法的组合来完成这样的识别和定位。

传送系统20包括具有末端执行器32的机器人30，该末端执行器用于从箱子24中拾取零件22、沿着路径40移动零件22并将零件22放置在目的地28处。末端执行器32可以是先进的执行器(例如，工具)，或者是能够移动物品21的包括但不限于抓取装置、夹具和抽吸装置的任何其他执行器。该系统还包括控制器42，该控制器用于规划用于机器人30在源位置26与目的地28之间移动物品21时遵循的最佳路径40。

如图1中所示，视觉系统34、38中的每一个可以包括位于固定位置处的一个或更多个摄像装置36。替选地或附加地，如图2中所示，第一视觉系统34可以包括位于机器人30上的摄像装置36。更具体地，摄像装置36可以位于机器人30的自由端或远端上或者位于机器人30的自由端或远端附近。摄像装置36可以位于机器人30的末端执行器32上，或者位于机器人30的另一零件诸如末端执行器32附近的接合处或结构部件上。代替在固定位置处的一个或更多个摄像装置36或除了其以外，可以使用这样的机器人安装的摄像装置36。替选地或附加地，第二视觉系统38可以包括位于机器人30上的摄像装置36。在一个实施方式中，视觉系统34、38可以共享安装在机器人30上的一个或更多个摄像装置36。换言之，视觉系统34、38可以各自被配置成使用安装在机器人上的共享摄像装置。这样的配置可以包括：视觉系统34、38中的一个将来自共享摄像装置的图像信号传递到视觉系统34、38中的另一个。替选地，来自共享摄像装置的图像可以从共享摄像装置或从诸如信号分配器的另一装置提供给视觉系统34、38中的每一个。

如图3中所示，本发明的传送系统20的示例应用可以代替将车辆仪表板装载和卸载到在涂漆过程中使用的涂漆台或涂漆架上的手动操作。例如，装载涂漆台的过程可能需要一组工作人员，其中人员在从进入的箱子中拾取零件(在地板水平处)与将零件放入台中(在髋部水平处)之间交替，并通过将零件转移给彼此以便减轻人体工程学压力源。如图3中所示，本发明的传送系统20可以代替将车辆仪表板手动装载到涂漆台和从涂漆台手动卸载车辆仪表板，并且可以允许用每班更少的人员来执行组合操作。箱子24可以位于普通窗口区域内，该窗口区域可以是来自预先确定的标称位置或边界的预先确定的公差值。箱子24可能不需要被紧固或放置在精确的位置，因此可能不需要定位的固定装置。零件22可以例如通过形成在箱子24内的固定装置而被固定在箱子24内，并且箱子24内的零件的数目可以变化。本公开内容的传送系统20可以适应例如用于不同的车辆型号的若干不同类型的零件。例如，传送系统20可以适应17个或更多个不同类型的零件。根据一个方面，传送系统20可能要求源和目的地两者都是静止的。替选地，传送系统20可以允许同时在多达两个不同的方向上移动——例如可能由于沿着传送器轨道的弯曲段移动而引起——的台的装载和卸载。与现有技术的手动装载和卸载操作相比，本公开内容的传送系统20可以在装载或卸载零件22中提供更快和/或更一致的循环时间，并且可以允许从每班5人到每班1人的直接劳动力减少。

如图3中所示，传送系统20可以被用于控制机器人30以将一个或更多个零件22移入到机器44中和移出机器44。机器人30可以从可以是例如保持原始或未完工的零件22的第一箱子24的源位置26拾取一个或更多个零件22，并且将零件22运送到机器44以用于处理，在该处理之后机器人30可以将完工零件22移除拾取到目的地28，该目的地可以是例如用于将完工零件22运输到另一区域的第二箱子24。在图3中所示的示例中，机器人30可以装载和卸载右手(rh)零件22和左手(lh)零件22，以用于由机器44同时进行处理。传送系统20可以适应被用于源位置26和目的地28的箱子24的放置的一些变化。这样的变化可以允许将源箱子26和目的地箱子28定位在从标称位置开始沿每一个方向的空间窗口内的任何地方。因此，箱子24不需要被紧固在精确的位置，并且可能不需要定位的固定装置。机器人30可以适应零件22的位置和公差的变化。根据一个方面，传送系统20可以检查完工零件22，以确保在允许进一步处理零件22之前完工零件22被机器44适当地处理。这样的检查可以是例如孔检查，以核实在零件22中适当地制成了孔。根据另一方面，传送系统20可以适应位于源位置26和/或目的地28的零件22或箱子24的数目的变化，例如堆叠高度的变化，并且可以自动地从箱子24的堆叠的顶部拾取或放置零件22。这样的系统20可以代替当前的手动装载和卸载操作，并且可以在建筑楼层上占据相同或更小的平方英尺占地面积。图3中所示的示例可以允许用于执行零件22从机器44的装载和卸载的每一个班次从1到0的直接人工的减少。

如图4中所示，本发明的传送系统20的示例应用可以代替将零件22的篮筐46装载到机器44中以及将零件22的篮筐46从机器44中卸载的手动操作。在所示示例中，机器44是清洗机，该清洗机具有用于接收脏的零件22的篮筐46的输入带48和用于移除清洁的零件22的篮筐46的输出带50。要被清洗的零件22到达篮筐46并被放置在篮筐46内的架上的限定位置处。操作员可以将篮筐46从源位置26装载到输入带48上，然后可以通过将篮筐46移动到目的地28来从输出带50卸载篮筐46。带有零件22的篮筐46可能需要使用诸如起重机52的机械辅助来提升，以便符合健康和安全法规。起重机52的使用可能难以使用和/或使用起来大而笨重，并且可能不被工作人员接受。装载和卸载机器44的操作员可以对零件22执行品质、数量和数据记录任务。

手动装载和卸载清洗机器44的过程可以涉及以下步骤：

步骤1：操作员将篮筐46从站立/固定的输送托架54取下，并且将篮筐46放置在清洗机器44的右侧的输入带48上。

步骤2：操作员将篮筐46从清洗机器44的左侧的输出带50取下，并且将篮筐46放置在限定区域内的静止的托架56上。堆叠高度可以取决于在托架56上的合适位置处已经有多少个篮筐46而变化。

如图4中所示，托架56可以被固定，处于静止的并且位于通常预先确定的位置窗口中，该位置窗口被示出为地板上的用胶带粘住的矩形，但是托架56不需要例如通过使用机械托架固定装置被定位或紧固在精确的位置处。装载和卸载操作不是时间严格的。机器的循环时间可以允许篮筐46被装载和卸载的时间的一些变化。装载和装载操作可能需要仔细的处理。篮筐46的重量和高度可以变化，以适应不同数目和类型的零件22。由于机器44和托架54、56的物理限制，因此用于围绕机器44的传统机器人单元的围栏可能是不可行的。

如图4中所示，包括机器人30的传送系统20可以被用于从清洗机器44装载和卸载零件22的篮筐46。系统20可以根据站立/固定的输送托架54定位篮筐46，并且可以用机器人30上的末端执行器32来拾取篮筐46，该末端执行器可以将篮筐46放置在清洗机器44的输入带48(脏的零件)上。系统20可以检测并定位清洗机器44的输出带50上的篮筐46，并且可以将篮筐46移动到托架56上的堆叠上。传送系统20可以使用摄像装置36适应篮筐46，所述篮筐尺寸和重量变化并且没有被固定在具体位置处。传送系统20可以执行数量、品质检查和数据记录任务。传送系统20可以允许在托架56上的不同位置处堆叠篮筐，该托架上的不同位置可以根据该托架56上的现有装载而变化。系统20可以提供小于80s的装载和卸载循环时间，以防止装载或卸载步骤时的任何瓶颈。机器人30可以具有tuv认证皮肤技术，并且可以识别和/或通知工作区域中的人。以这种方式，机器人30能够在没有防护围栏的情况下进行操作。

图4和图5提供了本公开内容的传送系统20的示意图，该传送系统如被用于从清洗机器44装载和卸载零件22的篮筐46的示例应用。

如图4中所示，包括至少一个摄像装置36的第一视觉系统34可以识别篮筐46——包括其在源位置26中的精确拾取位置和拾取取向，该源位置可以是保持一个或更多个篮筐46的堆叠的输送托架54。机器人30可以从源位置26拾取篮筐46，并将篮筐46移动到清洗机器44的输入带48。摄像装置36可能不需要覆盖输入带48和/或输出带50，因为这些位置可以被固定，并且它们的作为空的或装载有篮筐46的状态可以从机器44传达到传送系统20。传送系统20还可以通过从输出带50拾取篮筐46并将该篮筐放置在目的地位置28来执行卸载清洗机器44的步骤，该目的地位置可以是托架56上的其他篮筐46的堆叠的顶部。目的地28的精确位置和取向可以根据托架的准确位置和/或篮筐46的堆叠的高度而变化，并且可以通过使用一个或更多个摄像装置36的第二视觉系统38来确定。系统20可以提供适应性轨迹规划以确定移动篮筐46的最佳路径。

如图5中所示，系统20可以包括控制器42，该控制器用于规划用于机器人30在源位置26与目的地28之间移动物品21时遵循的最佳路径40，该物品可以是篮筐46。一个或更多个摄像装置36可以提供三维视图以检测篮筐46的准确位置。系统20还可以检测篮筐46中的各个零件22的数目和形状。控制器42可以在系统20中执行若干功能，这些功能可以包括例如：篮筐46和其中的零件22的2d检查；3d感知和定位；感知以及装载和力测量；提供生产图形用户界面(gui)的生产过程排序；校准和配置软件；以及生产过程具体的运动规划和控制，其包括对也被称为臂端工具(eoat)的末端执行器32的控制。机器人30可以是在工业中用于自动化任务的标准类型，并且末端执行器32可以被配置成抓取不同重量的标准篮筐46。

控制器42可以使用预先确定或固定的位置以及通过视觉系统(拾取部分和放置部分)提供的信息来提供适应性轨迹规划，以计算用于机器人在拾取和放置物品21时遵循的最佳轨迹。机器人30可以由机器人控制器60直接控制，该机器人控制器可以处理安全功能、运动控制和对末端执行器32的控制。控制器42可以与机器人操作系统(ros)驱动器62协调和通信。控制器42也可以操作地连接到诸如清洗机器44的控制器的机器控制器64。与机器控制器64的这种连接可以允许系统20了解物品何时可以被装载到机器44上或从机器44移除。装置之间的操作连接可以包括电气的、无线电的、光学的、基于光的和/或机械的互连，并且所述操作连接可以是有线的或无线的。

机器人30可以配备有触摸传感器65，该触摸传感器可以包括末端执行器32或抓取器上的加压空气垫，这可以允许在不需要围栏的情况下使用机器人30。诸如空气皮肤控制器的触摸传感器控制器66可以被用于监测机器人30上的一个或更多个触摸传感器65的状态，并且可以被操作地连接到机器人控制器60的安全电路。为了允许机器人30在没有传统安全围栏的情况下进行操作，这样的触摸传感器配置可能需要安全性能水平e，并且可能需要机器人30能够对生产区上的包括操作员、访客、供应商员工等的所有人做出反应。触摸传感器控制器66也可以被操作地连接到适应性系统控制器42。

在通过清洗机器44处理之后，摄像装置36可以识别目的地位置28，该目的地位置是托架56上的期望的篮筐46的堆叠，并且该目的地位置的高度可以随着另外的篮筐46被添加到堆叠而变化。

本公开内容的传送系统20可以提供以下功能：考虑到拾取操作和放置操作两者的精确特殊布置(x、y、z、翻滚、俯仰、偏航)的变化来运输篮筐46；根据每一个位置26、28处的一个或更多个篮筐46的堆叠识别一般的源位置26和目的地位置28(x、y、z、偏航)；篮筐46的类型识别(高度、重量、插入特征和几何形状)；识别篮筐46之间的相互作用(缠结相互作用或者与预先确定的标准相匹配的各种其他相互作用，例如在另一物品21上被抓并且可能被认为易于拆开)；识别并报告损坏的篮筐46。

传送系统20还可以例如通过读取篮筐46上的条形码来提供关于被移动的物品21的标识和信息共享，并且还可以例如通过零件在3-d空间中的形状和尺寸和/或通过零件在篮筐46中的插入物内的定位来识别篮筐46内的各个零件22。可以提供以下模式：在该模式中，机器人30例如通过将托架56移动到指定的倾倒位置并打开排放阀或者通过使托架56倾斜来从托架56排出流体。

传送系统20可以自动地校准以解决诸如温度和/或光照的环境的改变，并且可以提供诸如碰撞检测和意识的环境意识。换言之，传送系统20的摄像装置36可以检测人或其他危险，并且可以指导机器人30以避免任何这样的危险。传送系统20可以提供增加的系统可靠性，并且例如在正常或特殊的操作模式下可以允许不同的排序或分类篮筐46。

本公开内容还提供了用于使用具有末端执行器32的机器人30在目的地28与源位置26处的结构之间自动地移动一个或更多个物品21的方法。物品21可以是单个的零件22或零件22的组件或其他东西诸如用于保持若干零件22的篮筐46。该结构可以是用于保持零件22的箱子24。该结构也可以是例如用于保持或移动零件22或篮筐46的手推车或堆叠或传送器。该方法包括以下步骤：使用第一视觉系统34来识别在源位置26处的结构上具有非固定位置和取向的零件22；使用第一视觉系统34来确定零件22在结构上的精确拾取位置和拾取取向；以及使用第二视觉系统38来确定目的地28的位置和取向。第一视觉系统34和第二视觉系统38可以是组合视觉系统，并且可以使用一个或更多个相同的摄像装置36。该方法还包括执行适应性轨迹规划以确定源位置26与目的地28之间的最佳路径40的步骤。根据一个方面，执行适应性轨迹规划的步骤可以包括以下的子步骤：结合机器人的几何信息和源位置26以及拾取取向和目的地28来规划源位置26与目的地之间的多个可能的路径40，该目的地可以包括目标位置和目标取向；以及通过对源位置26与目的地28之间的多个可能的路径40进行模拟来确定源位置26与目的地28之间的最佳路径40。这样的主动轨迹规划的一个示例是ros(机器人操作系统)。

该方法继续进行以下步骤：通过机器人30上的末端执行器32从源位置26拾取物品21；通过机器人30沿着最佳路径40移动物品21；通过机器人30上的末端执行器32将物品21放置在目的地28处。该方法还可以包括以下步骤：通过第一视觉系统34和第二视觉系统38中的一个或更多个来检查物品21的品质和/或其他特性。

根据一个方面，目的地28可以具有固定的位置和取向。根据另一方面，目的地28可以具有变化的位置和/或取向或者在空间中不被固定的一者。根据另一方面，物品21可以被松散地设置或者被设置在源位置26处的箱子24内的固定位置处。

根据一个方面，第一视觉34系统可以是2d视觉系统，并且该方法还可以包括以下步骤：通过第一视觉系统34将物品21的图像与参照图像进行比较，以确定源位置26和物品21在源位置26处的取向，该取向也被称为拾取取向。根据另一方面，第一视觉系统34可以是能够直接地确定源位置26和拾取取向的3d视觉系统。根据一个方面，系统20可以被用于两个或更多个不同的拾取操作和放置操作，例如图4中所示的对机器44进行装载和卸载。

根据一个方面，第二视觉系统38可以是2d视觉系统，并且该方法还可以包括以下步骤：通过第二视觉系统38将物品21的图像与参照图像进行比较，以确定目的地28的位置和取向。根据另一方面，第二视觉系统38可以是可以直接地确定目的地28的位置取向的3d视觉系统。

显然，根据以上教导，本发明的许多修改和变化是可能的，并且这些修改和变化可以在所附权利要求的范围内以不同于具体描述的方式来实践。