用于使危险区域安全的方法和设备的制作方法
【专利摘要】为了防范自动化机器(22)的危险工作区域(24)，传感器单元(12)以定义的时间间隔提供工作区域(24)的相应的当前3-D图像。评估单元(18)包括故障安全外来对象检测器(50)、分类器(54)、人跟踪器(66)和比较器(68)。该外来对象检测器(50)基于相应的当前3-D图像并且基于所定义的保护区(30)来生成第一信号，该第一信号包括表示外来对象在保护区(30)中的位置的第一位置信息。分类器(54)试图将外来对象识别为人(34)。人跟踪器(66)通过一系列相应的当前3-D图像来跟踪所识别出的人(34)，并且根据每个新的3-D图像来确定表示所识别出的人(34)的当前位置的第二位置信息。如果根据第一位置信息的外来对象的位置与所识别出的人的位置彼此不同，则生成用于停止机器(22)的控制信号。
【专利说明】用于使危险区域安全的方法和设备
【技术领域】
[0001]本发明涉及用于防范自动化机器的危险工作区域的方法和设备。更具体地，本发明涉及记录该工作区域的相应的当前3-D图像并且对其进行评估以避免进入该工作区域的人面临危险的方法和设备。
【背景技术】
[0002]依照惯例，使用保护栏和防护门形式的机械屏障并且使用光屏障、光网格和激光扫描器来封闭自动化机器的危险区域。在人一打开防护门或中断光网格或光屏障时，生成切断信号并且使用该切断信号来停止机器的危险工作运动。然而，安装这样的保护设备是相当复杂的，并且该保护设备需要在危险机器周围的大量空间。另外，当该保护设备打算将对危险工作区域的防范适应于机器的不同操作情形时，这样的保护设备并不是很灵活。
[0003]为了避免这些缺点，一段时间以来付出了努力，以使用相机系统和适合的图像处理来防范自动化机器的危险工作区域。EP I 543 270 BI公开了具有至少两个相机的这样的系统，这些相机循环地提供危险工作区域的图像。使用至少两种在算法上不同的方法来分析来自相机的图像，并且如果这两种方法中的至少一种方法在事先定义的保护区中检测到外来对象，则停止该机器的危险工作运动。这两种分析方法中的每种分析方法根据相机的图像生成3-D信息，结果是能够使用该方法确定出对象在所定义的保护区中的位置。对这样的方法和设备的重大挑战是，本已很复杂的图像处理按照相关机器安全标准(特别是EN 954-1(已过期)、EN ISO 13849-1 和 IEC 61508)必须是故障安全(fail-safe)的，以允许这样的设备实际上被用于防范危险机器。设备本身的故障不能引起对失控机器的防范。因此，在下面认为至少实现了根据EN 954-1的类3、根据IEC 61508的SIL2和/或根据ENISO 13849的性能水平PL(d)的设备是故障安全的。
[0004]从EP I 543 270 BI获知的方法和对应的设备可以实现这一点并已在实际应用中证明了它们自身。然而，已知的设备至今为止仅能够检测出外来对象是否位于事先定义的保护区中，以基于此来减慢或停止危险的机器运动。用已知的设备可能不容易实现在人和机器附近的人机交互以及对变化操作情形和/或基于外来对象的类型的灵活适应。因此，期望进一步发展已知的方法和对应的设备，以使得特别是在机器人的危险工作区域内部能够实现人-机器人协作(人-机器人交互)。例如，人期望能够在机器人正操作时停留在机器人的基本危险工作区域中，以在原位监视机器人的加工过程或者与机器人同时或交替地加工工件。然而，仍必须确保机器人的工作运动不会使人受伤。
[0005]DE 10 2007 007 576 Al提出了用于防范机器人的危险工作区域的方法和设备，其中，仓Il建了工作区域的3-D图像,并且将运动学(kinematized)人类模型分配给工作区域内部的人。对3-D图像进行分析，以确定工作区域的实际状态是否与工作区域的期望状态不同，在这种情况下使用运动学人类模型来考虑人的期望位置。此方法和对应的设备意在实现人-机器人协作。然而，由于期望的/实际的比较，机器人的工作区域中的人必须以与运动学人类模型中的期望状态准确对应的方式进行运动。对应的建模看起来都很复杂并且在任何情况下都限制灵活性，这是因为在每种情况下对新的操作情形的适应都需要新的建模。另外，尽管DE 10 2007 007 576 Al提出了使用扫描器作为传感器单元(其具有根据EN 954-1的类3的单个故障安全)，然而还提出了循环地或持续地检查传感器单元的功能性并且意在使用可靠的技术(例如通过冗余地检测并且评估机器人系统的轴向位置)来监视机器人在检查阶段中的运动。然而，DE 10 2007 007 576 Al未包含3-D图像的评估和底层建模能够提供用于防范危险工作区域所需要的故障安全的任何表示。
[0006]DE 10 2005 003 827 Al公开了用于人与机器人之间交互的类似设备和相应方法，其中，这里还提出了基于模型的方法。所描述的方法看起来计算量非常大并且复杂，并且因此怀疑以现代计算机性能是否能够实现预期目的所要求的故障安全和反应速度。
[0007]DE 10 2009 031 804 Al描述了用于检测并且跟踪对象的方法。DE 10 2006 048166 Al描述了用于观察工业环境中的人的方法。在这两种情况下，提出人机交互作为可能的应用领域。然而，这些方法中的任何方法均未提供预期目的所要求的故障安全。
[0008]DE 20 2004 020 863 Ul描述了用于防范机器的危险工作区域的设备，该设备一方面包括光网格，该光网格以较高程度的故障安全来检测人何时进入工作区域。该设备还包括激光扫描器，该激光扫描器在水平面内扫描在光网格后面的工作区域。激光扫面器被设计成确定所检测到的对象的位置。光网格和激光扫描器以这样的方式耦接:如果光网格已被中断并且随后激光扫描器在工作区域的已被划分为较不危险的部分中未检测到外来对象，则停止机器。
【发明内容】
[0009]对照此【背景技术】，本发明的一个目的是提供一种在前面提及的类型的方法和设备，其以可能的最简单并且最高效的方式使得人能够灵活地停留在自动化机器的危险工作区域中，而确保这样的使用所需要的对机器的防范并且确保所需要的故障安全。
[0010]根据本发明的第一方面，该目的通过用于防范自动化机器的危险工作区域的方法来实现，所述方法包括以下步骤:
[0011]-提供至少一个传感器单元，所述至少一个传感器单元以定义的时间间隔提供所述工作区域的相应的当前3-D图像，
[0012]-在所述工作区域中定义至少一个保护区，
[0013]-使用故障安全的外来对象检测器循环地监视所述保护区，如果在所定义的保护区中检测到外来对象，则所述故障安全的外来对象检测器基于所述相应的当前3-D图像和所述保护区生成第一信号，所述第一信号包括表示所述外来对象在所述保护区中的位置的第一则位置信息，
[0014]-使用分类器对所述保护区中的所述外来对象循环地分类，如果所述外来对象被识别为人，则所述分类器生成第二信号，其中基于所述第一信号和所述第二信号中至少一个操作所述机器，
[0015]-使用人跟踪器通过一系列相应的当前3-D图像跟踪所识别出的人，所述人跟踪器根据每个新的3-D图像来确定表示所识别出的人在所述保护区中的当前位置的第二则位置信息，以及
[0016]-比较所述第一则位置信息和所述第二则位置信息，其中，如果根据所述第一则位置信息的所述外来对象的位置与根据所述第二则位置信息的所识别出的人的位置彼此不同，则停止所述机器。
[0017]根据本发明的另一个方面，该目的通过用于防范自动化机器的危险工作区域的设备来实现，所述设备包括:至少一个传感器单元，所述至少一个传感器单元以定义的时间间隔提供所述工作区域的相应的当前3-D图像；配置单元，所述配置单元用于在所述工作区域中定义至少一个保护区；以及评估单元，所述评估单元具有故障安全的外来对象检测器、分类器、人跟踪器、比较器以及输出级，所述外来对象检测器被设计成如果在所述保护区中存在外来对象则基于所述相应的当前3-D图像和所定义的保护区循环地生成第一信号，所述第一信号包括表示所述外来对象在所述保护区中的位置的第一则位置信息，所述分类器被设计成如果所述外来对象被识别为人则循环地生成第二信号，所述人跟踪器被设计成通过一系列相应的当前3-D图像跟踪所识别出的人并且被设计成根据每个新的3-D图像来确定表示所识别出的人在所述保护区中的当前位置的第二则位置信息，所述比较器被设计成将所述第一则位置信息与所述第二则位置信息相比较并且被设计成基于比较的结果来生成第三信号，以及所述输出级被设计成基于所述第二信号并且基于所述第三信号来生成用于停止所述机器的控制信号，所述控制信号被设计成如果根据所述第一则位置信息的所述外来对象的位置与根据所述第二则位置信息的所识别出的人的位置彼此不同则停止所述机器。
[0018]如果使用具有程序代码的计算机程序产品来实现该新方法和该新设备则是特别有利的，该程序代码被设计成当该程序代码在评估单元上执行时实施所述方法。因此，在优选的示例性实施例中采用在评估单元中自动执行的软件模块的形式来实现外来对象检测器、分类器、人跟踪器和比较器。
[0019]该新方法和新设备使用故障安全的外来对象检测器，每当外来对象处于要被防范的工作区域内部的在先定义的保护区中，该故障安全的外来对象检测器都生成定义的第一信号。在优选的示例性实施例中，在这个意义上的外来对象是在所定义的保护区中的任何人和任何对象。在这些示例性实施例中，因此，所定义的保护区必须为“空”，以使得不发生外来对象检测。然而，在其他的示例性实施例中，可以想到的是，将在定义保护区时已存在的特定对象(例如厂房的开关柜或支撑柱)接受为保护区中的已知对象，结果是仅将在定义保护区时尚未存在于该保护区中的人和对象检测为外来对象。在这些情况下，外来对象检测器可以(例如根据外来对象未存在于用于比较的参考图像中的事实)识别出该外来对象。
[0020]在优选的示例性实施例中，外来对象检测器仅能够检测并且确定出外来对象在保护区中的存在和位置。然而，不能够根据所检测到的外来对象的个体性质将该外来对象进行更精确地分类，具体地，不能够确定出该外来对象是人、是用于机器的工件还是另一种对象。另一方面，外来对象检测器根据上面的定义是故障安全的。在一个优选的示例性实施例中，如在前面提及的EP I 543 270 BI所描述的，使用两种3-D分析方法以多样化冗余来实现外来对象检测器。在优选的示例性实施例中，使用两种不同的场景分析方法，并且这两种场景分析方法中的每种均用于评估来自立体相机系统的图像对。在另一个示例性实施例中，可以将用于来自立体相机系统的图像对的3-D图像评估方法与扫描器和/或3-D飞行时间相机的飞行时间测量方法结合。另外，还可以通过提供针对在保护区中检测到的外来对象的一则故障安全位置信息的其他传感器单元和/或传感器单元的结合来实现故障检测器。
[0021]另外，该新方法和该新设备使用分类器和人跟踪器。分类器能够决定保护区中的所检测到的外来对象是否为人。人跟踪器通过以定义的时间间隔记录的一系列3-D图像来跟踪所识别出的人的位置，并且因此能够针对每个当前3-D图像确定出所识别出的人的位置。由于人跟踪器为了“人的”位置确定而预先假定了对人的识别，所以第二则位置信息可以与第一则位置信息不同。
[0022]这正是本发明的部分内容所在。这是因为然后比较器将所获得的这几则位置信息进行比较，即，该比较器将针对未被识别的外来对象以故障安全的方式确定出的位置信息与针对所识别出的人的另外的位置信息进行比较。由于本发明，该另外的位置信息不必采用故障安全的位置信息的形式，这是由于，如果外来对象以故障安全的方式确定出的位置与第二则位置信息表示不同的位置，则机器已停止。换句话说，尤其在该新方法和该新设备中使用故障安全的外来对象检测器，以使用故障安全参考来验证第二则位置信息。由于该比较，然后，即使分类器和人跟踪器本身不是故障安全的，该第二则个人位置信息也是故障安全的，这是由于在基于该比较确定出第二则位置信息时的故障引起危险机器变成安全状态。
[0023]对所定义的保护区内部的外来对象的检测以及对该外来对象的位置的故障安全确定实际上已是高要求任务。然而，对之前所识别出的人的故障安全分类和位置确定对计算能力施加了更高要求，并且至少至今尚未获知故障安全的实现。然而，通过将故障安全的外来对象检测与优选地为非故障安全的分类和人跟踪结合，该新设备和该新方法能够实现上述目的。人跟踪使得即使人在工作区域中也能够允许危险机器的工作运动，只要人与机器之间的当前距离仍然排除对人造成直接危险即可。由于机器人例如通常需要非常大的工作区域，但在给定时间，机器人仅在整个工作区域的一部分中，所以外来对象检测器与可能是非故障安全的人跟踪器的新结合实现了总体上故障安全并且更灵活的协作。在这种情况下，用于实际实现的努力和代价小于在所有子部件中是故障安全的实现的努力和代价。因此，完全实现了上述目的。
[0024]另外，该新方法和该新设备具有无需附加的故障安全措施就能够实现计算量大的分类器和人跟踪器的优点，这对该新方法和该新设备的反应时间具有有利影响。
[0025]在本发明的优选的改进中，如果分类器未将外来对象识别为人，则也停止机器，其中，如果该分类器将该外来对象识别为人，则允许该机器继续操作。
[0026]在此改进中，分类器出于安全原因，直接影响该机器的任何停止，S卩，如果未将外来对象识别为人。然而，在其他的改进中，可能的情况是，即使分类器已将外来对象识别为人，出于其他原因也停止该机器。这与这里优选的改进并不相悖，而是该优选的改进可能的补充。这里根据改进让机器停止，使得即使人进入保护区也能够更容易确保故障安全操作，这是由于所使用的人跟踪器需要对人的识别。如果分类器未将外来对象识别为人，则会涉及错误的检测，出于安全原因这是不希望容许的。可替代地，有可能所检测到的外来对象不是人而是例如已落入保护区内的对象。该新方法和该对应的设备也不期望容许这样的事件，这是由于这样的事件会危害工作区域中的操作者的安全。例如，能想到的是，未被识别的对象破坏对第一则位置信息或第二则位置信息的确定，或者机器人运动仅由于该未被识别的对象而引起危险情形。因此，本改进有助于以简单方式改善对机器的工作区域中的操作者的保护。这特别适用于在以下情况下停止机器时:在接收到当前3-D图像之后不再将先前已识别为人的外来对象识别为人，这可以是例如人将对象携带进工作区域中并且在该工作区域中将该对象放下的情况。
[0027]在另外的改进中，分类器具有个人数据库，该个人数据库包含表征多个选定的人的个人数据，其中，只有在该分类器使用该个人数据将该外来对象识别为该选定的人中的一个时允许该机器操作。
[0028]在该改进中，分类器不仅检测保护区中的外来对象实际上是否为人，而且该分类器还可以检测出其是否为定义并且已知的人。此改进使得可以基于授权的维护人或操作者或者未授权的人例如是否进入保护区来控制机器的运动。例如，此改进能够使得有经验的机器操作者更容易设置工作流程，并且借助光警告信号和/或声警告信号来表示未知的人和/或未授权的人的进入，并且停止机器以避免危及未知的人。能够将此改进与其他改进有利地结合，据此在工作区域中定义了多个空间上错开的保护区。然后，可以使用外部保护区来触发警告信号或警报信号，而机器可以继续操作并且仅在未知的人进入内部保护区时该机器停止。毫无疑问，在其他的有利的改进中，特别是如果人进入外部保护区并非打算引起机器停止而是仅打算引起减速的工作运动并且只有进入内部保护区才引起停止，则也可以使用以此方式错开的保护区。
[0029]在另外的改进中，分类器具有部件数据库，该部件数据库包含表征多个选定部件的部件数据，其中，如果该分类器使用该部件数据将外来对象识别为可以进入保护区的部件，则机器继续操作。
[0030]此改进在不必停止机器的情况下实现了有利的降噪和/或消隐，即在机器的正常工作流程中所需要的工件或其他的部件的供给。该改进本身已提供了优点，而还可以与上述改进结合，据此，如果分类器未将外来对象识别为人，则停止机器。毫无疑问，当这些改进结合时，如果未被识别为人的外来对象是选定部件中的一个，则将外来对象识别为选定部件并不引起机器停止。在一些示例性实施例中，使用所谓的模板匹配来识别该部件。在这种情况下，将选定部件的图像和/或图像的特性特征与所检测到的外来对象的对应的图像和/或特征进行比较。如果存在充分一致性，则认为识别出该部件。
[0031]在另外的改进中，分类器包括身体部位检测器，该身体部位检测器用于确定所识别出的人的身体部位的位置。
[0032]在此改进中，分类器不仅能够作为整体识别出人。该分类器还可以识别出个体身体部位，特别是肢体(臂、腿和/或手)。所识别出的身体部位使得相对于所识别出的人可以提高位置分辨率，从而检测例如人是否在机器的方向上伸出其手臂。在优选的示例性实施例中，有利地使用提高的位置分辨率，以确定并且监视人与机器之间的允许的最小距离。因此，此改进有助于最小化该机器周围的“安全罩”。这有助于直接的人机协作。在这种情况下，身体部位检测器以与分类器和人跟踪器一样的方式受益于外来对象检测的故障安全，这是由于身体部位的位置还必须对应于所检测到的外来对象的位置。
[0033]在另外的改进中，分类器和/或人跟踪器具有非故障安全的设计。
[0034]在此改进中，分类器和/或人跟踪器本身不满足对针对上述应用的该方法和该设备总体上必须满足的故障安全所提出的要求。例如，即使该方法和该设备总体上满足这些要求，但分类器和/或人跟踪器本身各自也不满足根据SIL2和/或PL(d)的要求。该改进实现了就处理速度而言较快并且具有较短的反应时间的代价合算的实现。该改进特别受益于在上面解释的新方法和新设备的优点。
[0035]在另外的改进中，直到外来对象检测器在保护区中检测到外来对象，分类器才激活。
[0036]在此改进中，外来对象检测器提供了用于启动并且实现分类器和人跟踪器的某种触发器。只要在保护区中不存在外来对象，就不执行分类器和人跟踪器。该改进具有以下优点:只有出于防范目的才需要分类器和人跟踪器的高计算能力。只要在保护区中不存在外来对象，就可以将该计算能力有利地用于其他的目的，例如，以更高分辨率并且因此以更高的位置精度来操作外来对象检测器。另外，此改进具有以下优点:分类器可以已开始于外来对象的已知位置，这免去了分类器中的复杂的搜索算法。这有助于使总体上需要的计算能力最小化并且有助于提高分类器/人跟踪器的检测率。
[0037]然而，在可替代的改进中，还可以想到的是，在尚未在保护区中检测到外来对象的情况下，分类器并且可能还有人跟踪器已运行，以尽早检测到人并且可能“实现”对保护区的访问。
[0038]在另外的改进中，定义与机器的最小距离，其中，如果在保护区中的所识别出的人相距机器比该最小距离更近，则停止该机器。
[0039]此改进通过定义用于停止机器的绝对标准来改善防范。即使由于该新方法和该对应的设备而使人在保护区中，该改进也确保了总是遵守相对于机器的最小安全距离。在优选的示例性实施例中，基于当前机器位置来确定所识别出的人与机器之间的相应的当前距离。优选地，因此，评估单元接收表示机器的当前位置的故障安全数据。在一些示例性实施例中，可以通过故障安全机器控制器来提供故障安全机器位置。在其他的示例性实施例中，可以使用基于相机的机器位置检测器(优选为故障安全的)来确定当前机器位置，该机器位置检测器的操作方法对应于例如外来对象检测器的操作方法。WO 2008/014909A1中描述了基于相机的机器位置检测器的示例。该改进有助于实现密切的人机交互。
[0040]在另外的改进中，最小距离基于当前机器运动而改变。
[0041]在此改进中，基于运动路径、基于运动速度和/或基于其他参数(例如机器的移动质量)，适应性地调节最小距离。此改进以非常灵活并且取决于情形的防范实现了更密切的人机交互。
[0042]在另外的改进中，如果存在第二信号，所述机器以降低的速度和/或以修改的运动路径来操作。
[0043]如果保护区中的外来对象被识别为人，则通过分类器生成第二信号。根据此改进，对人的识别引起以适于人存在于工作区域中的方式来操作机器。所防范的机器对人存在于保护区中作出反应，但无需完全停止自动运动。该改进有助于提高生产率，这是由于避免了在机器的工作运动中的不必要停止。同时，该改进促使对危险工作区域的期望防范，以对人进行保护。
[0044]毫无疑问，在不偏离本发明的范围的情况下，不仅可以按照分别陈述的结合而且还可以按照其他结合或者单独地使用上述特征和还要在下面解释的特征。
【专利附图】
【附图说明】
[0045]附图中例示了本发明的示例性实施例，并且在下面的描述中更详细地描述了该示例性实施例。在附图中:
[0046]图1示出了新设备的传感器单元和评估单元的简化示意图，
[0047]图2以俯视的平面视图示出了新设备的示例性实施例的示意图，以及
[0048]图3示出了用于解释新方法的示例性实施例的流程图。
【具体实施方式】
[0049]在图1和图2中，用附图标记10总体地表示新设备的优选的示例性实施例。
[0050]设备10包括至少一个传感器单元12，将该至少一个传感器单元12设计成以定义的时间间隔提供自动化机器的危险工作区域的相应的当前3-D图像。在一个优选的示例性实施例中，该传感器单兀12是至少具有第一相机14和第二相机16的立体相机系统。相机
14、16提供要被防范的工作区域的两个图像，该图像相对于彼此略微偏移。由于相机14、16之间的(已知的)偏移并且使用三角关系，可以使用相机图像来确定传感器单元12与工作区域中的对象之间的距离。在EP I 543 270 BI中描述了优选的传感器单元，EP I 543270 BI在前面提及并且通过引用完全结合于本文中。
[0051]在其他的示例性实施例中，传感器单元12可以包括飞行时间相机。这被理解为意味着一方面提供要监视的区域的2-D图像的相机。另外，该相机提供通过飞行时间测量获得的距离信息。另外，传感器单元12可以采用3-D扫描器的形式和/或该传感器单元12可以使用可以生成要被防范的工作区域的3-D图像的另一种技术。
[0052]在一些示例性实施例中，设备10可包括多个传感器单元12，如在图2中关于传感器单元12a、12b、12c、12d所例示。另外，在其他的示例性实施例中，多个1_D和/或2-D传感器可以成对地和/或作为整体形成3-D传感器单元，该3-D传感器单元提供工作区域的所需的3-D图像。因此，尽管优选，但不是必须要使用立体相机系统作为新设备的传感器单
J Li ο
[0053]在优选的示例性实施例中，设备10还包括评估单元18，该评估单元18耦接至机器控制器20。机器控制器20控制在图2中示意性地例示为机器人22的自动化机器。新设备10和新方法特别适于防范机器人22的危险工作区域24。然而，该方法和该设备不限于防范机器人，原则上还可以用于防范其他机器的危险工作区域，例如用于防范自动运输和输送部分、起重机、吊具、压力机和加工中心等。
[0054]设备10还可以包括其他的传感器单元12’，例如射频识别(RFID)读取器，其可以用于检测并且评估所谓的RFID标签25。在有利的示例性实施例中，可以使用这样的RFID标签来识别操作者34，该操作者34被允许停留在自动化机器的危险工作区域24中，以设置新的工作过程，例如，从而执行维护或测试工作和/或作为其他人机交互的一部分。
[0055]如图1所例示，设备10可以包括多个评估单元18、18’，该多个评估单元18、18’经由总线26或另一个通信介质彼此连接。另外，可以将传感器单元12的信号和数据处理能力中的一部分设在评估单元18中。例如，可以在还实现评估单元18的计算机中使用来自相机14、16的立体图像来确定对象的位置，结果是从本发明意义上说的传感器单元12不需要一定容纳在与评估单元物理上分离的外壳中。相反，尽管优选的是以尽可能紧凑的方式来实现传感器单元，但就本发明而言的传感器单元也可以分布在多个子组件和/或外壳之中。
[0056]附图标记28表示配置单元，该配置单元可以用于定义机器人22的工作区域24中的保护区30。国际专利申请WO 2007/079883中公开了这样的配置单元28的优选示例，该国际专利申请通过引用完全合并于本文。因此，配置单元可以是PC，用户能够在该PC上使用配置工具来创建工作区域24的3-D图像中的虚拟保护区。基于所创建的保护区，该配置工具生成评估单元18可得到的3-D保护区数据。基于所提供的保护区数据，评估单元18“知道”工作区域24的那些部分被定义为就本发明而言的保护区。
[0057]用户可以在工作区域24内部定义多个保护区。在一些示例性实施例中，可以使多个保护区从外向内错开，以围绕机器人22定义例如外警告区和内切断区域。例如，还可以以不同高度和/或在不同位置定义虚拟保护区，以防范对机器人22的开放接触。可以将虚拟保护区与机械屏障(例如保护栏或墙32)结合。
[0058]附图标记34表示接近机器人22并且进入保护区的(第一)人。如以下使用图3来更详细地解释的，使用新设备和新方法来识别人34。
[0059]该新方法和该新设备能够检测多个人进入到保护区30中，作为示例，如在图2中用附图标记34’所表示的。在优选的示例性实施例中，在第二人34’进入保护区30时采用与在第一人34进入时采用的方法相同的方法。优选地，一旦第一人34进入保护区30就降低机器人22的速度，并且机器人22以降低的速度继续操作。
[0060]以定义的时间间隔重复地确定机器人22的位置和人34的位置，并且执行检查，以确定人34与机器人22是否彼此太靠近。在机器人22周围的区域36 (在图2中用白色例示)在这里象征人34 —直必须遵守的相对于机器人22的最小距离38。如果人34与机器人22接近的程度达到了最小距离38，则使用评估单元18来对此进行检测。在这种情况下，评估单元18生成控制信号，机器控制器20基于该控制信号立即停止机器人22的工作运动。从而，在优选的示例性实施例中，区域36定义了机器人22在其中移动并且人34不能进入的一种最小保护带，没有该最小保护带就引起机器人22的立即紧急停止。另一方面，即使人34停留在工作区域24中，特别是停留在保护区30中，机器人22也可以以降低的速度操作。在优选的示例性实施例中，基于机器人22(更一般地为机器)的运动速度和/或方向来确定保护带36的大小。为此目的，在一些示例性实施例中，评估单元从机器控制器20接收故障安全数据，该数据表示当前运动速度和/或方向。
[0061]如果在第一人34已进入保护区30之后第二人34’进入保护区30，只要遵守了与两个人34、34’的最小距离38，机器人22的工作运动就不变化。如果两个人均已离开保护区30，则使用传感器单元12由评估单元18对此进行检测。评估单元18生成用于机器控制器20的相应控制信号。在优选的示例性实施例中，机器人22随后以较高速度继续其工作运动而无需以如所需要的人工确认。
[0062]以下参照图3来描述新方法的一个优选的示例性实施例。使用根据图2的设备10来执行根据图3的方法。
[0063]根据步骤50，该新方法使用外来对象检测器，该外来对象检测器基于当前3-D图像来生成信号51，该信号51包括关于在保护区30中检测到的所有对象的位置信息。如已在上面另外提到的，在一个优选的示例实施例中，外来对象检测器50包括根据EP I 543 270BI的两种不同的冗余3-D场景分析方法，使用这两种方法，故障安全对象检测和位置确定是可能的。如果外来对象检测器50在保护区30中未检测到外来对象34，则根据步骤52，该方法返回到起点，即，启动使用新3-D图像的新监视循环。
[0064]然而，如果借助外来对象检测器50在保护区30’中检测到外来对象，则根据步骤54，在优选的示例性实施例中，分类器启动。分类器54检查所检测到的外来对象34是否是人。在优选的示例性实施例中，分类器54可以使用数据库56、58。在本示例性实施例中，数据库56存储个人数据，该个人数据表征选定的、定义的人。在该示例性实施例中，只要选定的人中的一个进入保护区30，就允许机器人22的工作运动。如果外来对象34的确是人但这个人是未知的或者不属于选定的人，则停止机器人22的工作运动。可替代地或附加地，可以生成警告信号或警报信号。
[0065]在此示例性实施例中，数据库58包括表征多个选定部件59的部件数据。该部件59是例如必须提供至保护区30中以用于加工的工件。
[0066]根据步骤60，执行检查，以确定外来对象34是否是(已知的)人。如果外来对象34不是(已知的)人，则根据步骤62执行检查，以确定所检测到的外来对象是否为选定的部件59。如果所检测到的外来对象是选定的部件59，则将所检测到的外来对象识别为允许其在保护区30中存在的选定部件。因此，该方法返回到起点，以开始新的监视循环。然而，如果所检测到的外来对象不是选定的部件，则根据步骤64，激活机器人22的紧急停止。
[0067]如果所检测到的外来对象是(已知的)人，则根据步骤66启动人跟踪器，该人跟踪器使用一系列相应的当前3-D图像来跟踪所识别出的人。人跟踪器66生成一则位置信息67，这则位置信息67表示所识别出的人在保护区30中的当前位置。
[0068]例如，使用在前面提及的DE 10 2006 048 166 Al 和 / 或 DE 10 2009 031 084Al (各自均具有多个其他参考文献)中所描述的方法来实现分类器54和人跟踪器66。因此，这两篇文献的内容通过引用合并于本文。
[0069]在一些示例性实施例中，可以使用多个不同的方法来识别并且跟踪人，尽管在优选的示例性实施例中，这只用于提高检测率并且降低错误警报而不实现故障安全。在一些示例性实施例中，分类器54和人跟踪器66因此按照相关机器安全标准并不是故障安全的。例如，分类器54和人跟踪器66不满足根据SIL 2和/或PL(d)的要求。这意味着，在详细的故障分析之后，不可能以足够的概率来排除(preclude)人的识别，特别是所识别出的人的位置确定，是正确的。
[0070]根据步骤68，执行检查，以确定来自外来对象检测器50的第一则位置信息和来自人跟踪器66的第二则位置信息中的每一个是否均表示相同的位置。如果是，则以非故障安全方式确定出的所识别出的人的位置被以故障安全方式确定出的外来对象检测器50的位置所验证。因此，可以将通过人跟踪器66确定出的人的位置进一步处理为故障安全位置信息。相比之下，如果步骤68中的比较表现出位置不相同，则根据步骤64，激活机器人22的紧急停止。
[0071]在优选的示例性实施例中，可以使用表示相应的确定位置的比较特征来比较位置信息。例如，可以将所识别出的人在保护区30的地面上的位置与所检测到的外来对象在保护区30的地面上的对应位置进行比较。可替代地或附加地，可以将外来对象的竖直主轴和水平主轴的位置与所识别出的人34的竖直主轴和水平主轴的位置彼此进行比较。
[0072]在优选的示例性实施例中，随后根据步骤70执行身体部位检测和对表示所识别出的人的各个身体部位的位置的其他多则位置信息的确定。特别地，使用身体部位检测器70来确定伸出的臂/手和/或伸出的腿的位置。在已提及过的DE 10 2009 031 084 Al中并且在其中列举的其他来源中描述了适合的方法。
[0073]根据步骤72，然后执行检查，以确定所识别出的人-可以考虑其身体部位的位置-是否遵守与机器人22相关的最小距离38。如果未遵守，则同样激活立即紧急停止64。否则，根据步骤74，机器人22保持操作，并且该方法返回到起点，以经历新的监视循环。在优选的示例性实施例中，可以以降低的速度执行操作74。此外，可以基于所识别出的人的位置来修改机器人22的运动路径。评估单元18生成用于机器控制器20的相应控制信号。
[0074]在根据图3的流程图中，分类器54、人跟踪器66和身体部位检测器70作为单独的步骤或块来例示。在优选的实际实现中，这些步骤是一起形成在设备10的评估单元18、18’中执行的计算机程序的软件模块。因此，在至少一些示例性实施例中，信号(例如第一信号51、第二信号65和来自人跟踪器66的位置信息67)是在计算机程序的执行过程中生成的数字数据。
[0075]因此，本发明描述了特别是在安全导向的系统中使用复杂方法(例如，人识别和跟踪)的新方法，该安全导向的系统用于防范机器的危险工作运动并且因此必须满足该复杂方法本身所不能满足的较高要求。由于该新方法，该复杂方法的故障或该复杂方法中的缺陷不会导致危险情形。新方法和新设备的故障安全是基于已证明的原理，特别是基于故障安全外来对象检测和对所检测到的外来对象的故障安全位置确定。然而，由于该新方法，可以使出于安全原因至今不得不遵守的人与机器之间的严格界限得以放开，以使人与机器之间能够灵活交互。机器(特别是机器人)的运动顺序和速度可以基于对人的识别和定位来动态地改变，并且可以适应于相应的操作情形。因此可以实现“开放的”生产系统。
[0076]在优选的示例性实施例中，分类器和人跟踪器根据主动原理进行操作，S卩，必须使用外来检测器的故障安全位置来循环地识别并且验证人。否则，将机器转换成安全状态，在本发明的范围内这称为紧急停止。
[0077]如果两个人一起(彼此紧随)进入保护区和/或如果一个人将一个对象带到保护区中而这两个对象不能够分离，则将这两个对象作为一个对象来处理。特别是因为这两个对象关于他们的位置不能彼此区分，所以就安全而言这是可接受的。如果因为两个人分开或者因为一个人放下对象而使这些对象分开，则将分开的对象检测为单独的对象。由于在优选的示例性实施例中外来对象检测器50监视整个保护区30，所以如参照图3所解释的，在需要时立即使紧急停止生效。
[0078]在使用身体部位检测器70的优选的示例性实施例中，使用来自身体部位检测器的位置信息有利地执行附加的似然性检查。如果似然性检查表现出差异，则在优选的示例性实施例中，同样激活紧急停止。可替代地，可以给出逐渐回应，例如首先生成警告信号。另夕卜，还可以根据下一次循环中的似然性检查是否产生匹配位置信息来响应，以通过足够短的循环时间来降低虚警率。
【权利要求】
1.一种用于防范自动化机器(22)的危险工作区域(24)的方法，包括以下步骤: -提供至少一个传感器单元(12)，所述至少一个传感器单元(12)以定义的时间间隔提供所述工作区域(24)的相应的当前3-D图像， -在所述工作区域(24)中定义至少一个保护区(30)， -使用故障安全的外来对象检测器(50)循环地监视所述保护区(30)，如果在所定义的保护区(30)中检测到外来对象(34)，则所述故障安全的外来对象检测器(50)基于所述相应的当前3-D图像和所述保护区(30)生成第一信号(51)，所述第一信号(51)包括表示所述外来对象(34)在所述保护区(30)中的位置的第一则位置信息， -使用分类器(54)对所述保护区(30)中的所述外来对象(34)循环地分类，如果所述外来对象(34)被识别为人，则所述分类器(54)生成第二信号(65)，其中基于所述第一信号(51)和所述第二信号(65)中至少一个操作所述机器(22)， -使用人跟踪器￠6)通过一系列相应的当前3-D图像跟踪所识别出的人(34)，所述人跟踪器￠6)根据每个新的3-D图像来确定表示所识别出的人(34)在所述保护区(30)中的当前位置的第二则位置信息(67)，以及 -比较(68)所述第一则位置信息和所述第二则位置信息，其中，如果根据所述第一则位置信息的所述外来对象(34)的位置与根据所述第二则位置信息的所识别出的人的位置彼此不同，则停止所述机器(22)。
2.根据权利要求1所述的方法，其中，如果所述分类器(54)没有将所述外来对象(34)识别为人，则也停止所述机器(22)，以及其中，如果所述分类器(54)将所述外来对象(34)识别为人，则允许所述机器继续操作。
3.根据权利要求2所述的方法，其中，所述分类器(54)具有个人数据库(56)，所述个人数据库(56)包含表征多个选定的人的个人数据，以及其中，只有在所述分类器(54)使用所述个人数据将所述外来对象识别为所述选定的人中的一个人时允许所述机器(22)操作。
4.根据权利要求2或3所述的方法，其中，所述分类器(54)包括用于读取RFID标签的RFID读取器。
5.根据权利要求1至4中的一项所述的方法，其中，所述分类器(54)还包括部件数据库(58)，所述部件数据库(58)包含表征多个选定部件(59)的部件数据，以及其中，如果所述分类器(54)使用所述部件数据将所述外来对象识别为允许进入所述保护区(30)的部件，则所述机器(22)继续操作。
6.根据权利要求1至5中的一项所述的方法，其中，所述分类器(54)包括身体部位检测器(70)，所述身体部位检测器(70)用于确定所识别出的人(34)的身体部位的位置。
7.根据权利要求1至6中的一项所述的方法，其中，所述分类器(54)和/或所述人跟踪器￠6)具有非故障安全设计。
8.根据权利要求1至7中的一项所述的方法，其中，直到所述外来对象检测器(50)在所述保护区(30)中检测到外来对象，所述分类器(54)才激活。
9.根据权利要求1至7中的一项所述的方法，其中，在所述外来对象检测器(50)在所述保护区(30)中检测到外来对象之前，所述分类器(54)已是激活的。
10.根据权利要求1至9中的一项所述的方法，其中，定义与所述机器(22)的最小距离(38)，以及其中，如果在所述保护区(30)中所识别出的人(34)相距所述机器(22)比所述最小距离(38)更近，则停止所述机器(22)。
11.根据权利要求10所述的方法，其中，所述最小距离(38)根据当前机器运动而改变。
12.根据权利要求1至11中的一项所述的方法，其中，如果存在所述第二信号(65)，则所述机器(22)以降低的速度和/或以修改的运动路径来操作。
13.一种用于防范自动化机器(22)的危险工作区域(24)的设备，包括: 至少一个传感器单元(12)，所述至少一个传感器单元(12)以定义的时间间隔提供所述工作区域(24)的相应的当前3-D图像； 配置单元(28)，所述配置单元(28)用于在所述工作区域(24)中定义至少一个保护区(30);以及 评估单元(18)，所述评估单元(18)具有故障安全的外来对象检测器(50)、分类器(54)、人跟踪器(66)、比较器￠8)以及输出级(19)，所述外来对象检测器(50)被设计成如果在所述保护区(30)中存在外来对象则基于所述相应的当前3-D图像和所定义的保护区(30)循环地生成第一信号(51)，所述第一信号(51)包括表示所述外来对象在所述保护区(30)中的位置的第一则位置信息，所述分类器(54)被设计成如果所述外来对象被识别为人(34)则循环地生成第二信号(65)，所述人跟踪器￠6)被设计成通过一系列相应的当前3-D图像跟踪所识别出的人(34)并且被设计成根据每个新的3-D图像来确定表示所识别出的人(34)在所述保护区(30)中的当前位置的第二则位置信息(67)，所述比较器(68)被设计成将所述第一则位置信息与所述第二则位置信息相比较并且被设计成基于比较的结果来生成第三信号(69)，以及所述输出级(19)被设计成基于所述第二信号并且基于所述第三信号来生成用于停止所述机器(22)的控制信号，所述控制信号被设计成如果根据所述第一则位置信息的所述外来对象的位置与根据所述第二则位置信息的所识别出的人的位置彼此不同则停止所述机器(22)。
14.一种计算机程序产品，具有存储程序代码的数据存储介质，所述程序代码被设计成:如果所述程序代码在权利要求11所述的设备的评估单元上执行，则实施具有根据权利要求I至10中的一项所述的方法步骤中的所有步骤的方法。
【文档编号】F16P3/14GK104169630SQ201380014093
【公开日】2014年11月26日 申请日期:2013年3月11日 优先权日:2012年3月16日
【发明者】迪特马尔·德特林, 托马斯·皮尔茨, 吕迪格·弗兰克, 马克·胡夫纳格尔 申请人:皮尔茨公司