光学区域监测与工业机器控制的集成的制作方法
【专利说明】光学区域监测与工业机器控制的集成
[0001]相关申请的交叉引用
[0002]本申请要求于2014年5月19日提交的题为“ INTEGRAT1N OF OPTICAL AREAMONITORING WITH INDUSTRIAL MACHINE CONTROL” 的美国临时申请 N0.62/000，487 的优先权，其全部内容通过引用合并到本文中。
技术领域
[0003]本文所公开的主题一般地涉及工业安全，并且更具体地涉及工业控制与使用能够对像素阵列的指定部分进行选择性飞行时间(TOF)分析的成像传感器的光学区域监测的全士么云口口 ο
【发明内容】
[0004]下面提出了简化概要以提供对本文所描述的一些方面的基本理解。该概要既不是扩展性概要也无意确定本文所描述的各个方面的关键/重要要素或界定本文所描述的各个方面的范围。其唯一目的在于以简化形式提出一些概念作为随后提出的更加详细的描述的序目。
[0005]在一种或多种实施例中，提供了一种光学安全系统，其包括:像素阵列组件，被配置成针对由一个或多个成像传感器装置捕获的危险工业区域的一个或多个图像的一个或多个像素阵列，对所述一个或多个像素阵列的像素进行分组以得到要进行二维(2D)分析的像素的子集；图像分析组件，被配置成对像素的子集进行2D分析；距离确定组件，被配置成对从一个或多个成像传感器装置接收到的点云数据进行3D分析；以及危险分析和判定组件，被配置成基于2D分析的结果和3D分析的结果来将图像中的第一对象分类为为机动化(motorized)工业设备并且将图像中的第二对象分类为人，将2D分析的结果和3D分析的结果进行关联以得到与人和机动化工业设备之间的关系有关的关联信息，并且基于关联信息来生成控制机动化设备的控制输出。
[0006]此外，一种或多种实施例提供了用于控制机动化工业设备的方法，该方法包括:由包括至少一个处理器的安全系统从监测危险工业区的一个或多个成像传感器收集图像数据；对图像数据的一组像素进行二维(2D)成像分析；对点云数据进行三维(3D)分析，该点云数据包括由一个或多个成像传感器装置针对图像数据的选定像素所计算的距离信息；基于2D成像分析或3D分析中的至少一个来将图像数据中的第一对象分类为人；基于2D成像分析或3D分析中的至少一个将图像中的第二对象分类为机动化工业设备；将2D成像分析的结果和3D分析的结果进行关联以得到与危险工业区内的人与机动化设备之间的关系有关的关联信息；以及基于关联信息发送用以改变机动化工业设备的操作的指令。
[0007]此外，根据一种或多种实施例，提供了一种存储有指令的非暂态计算机可读介质，所述指令响应于执行而使包括处理器的系统执行操作，所述操作包括:从监测危险工业区域的一个或多个成像传感器装置收集图像数据；对包括图像数据的一个或多个像素组进行二维(2D)成像分析；对点云数据进行3D (3D)分析，该点云数据包括针对从一个或多个成像传感器装置接收到的图像数据的选定像素而生成距离信息；基于2D成像分析或所述3D分析中的至少一种来将图像数据中的第一对象分类为人；基于2D成像分析或3D分析中的至少一种将图像数据中的第二对象分类为机动化工业设备；将2D成像分析的结果和3D分析的结果进行关联以得到与危险工业区域内的人与机动化设备之间的关系有关的关联信息；基于关联信息发送用以改变机动化工业设备的操作的指令。
[0008]为了实现上述及有关目的，在本文中结合以下描述和附图描述某些示例性方面。这些方面表示可以实现的各种方式，在本文中有意覆盖所有这些方式。当结合附图考虑时，通过以下详细描述其他优点和新颖特征会变得明显。
【附图说明】
[0009]图1是示出使用二维成像传感器对X维和Y维中的对象的2D检测的示意图；
[0010]图2A是示出使用2D图像传感器对图像进行2D图像分析的示意图；
[0011]图2B是示出使用3D图像传感器对图像进行3D图像分析的示意图；
[0012]图3是示例成像传感器设备的框图；
[0013]图4A是针对工业安全系统的总体功能模型；
[0014]图4B是示出由利用成像传感器设备的工业安全和控制系统执行的功能的总体功能丰吴型;
[0015]图4C是示出光学安全监测和机器控制整合的示例实现的总体功能模型；
[0016]图5是示出成像传感器设备的操作的概况的功能框图；
[0017]图6是示出成像传感器设备的组件的框图；
[0018]图7是示例像素阵列组的图示；
[0019]图8是示出通过成像传感器设备将2D(成像)信息和3D(距离)信息关联的框图；
[0020]图9A是示出使用三维对象到二维平面的投射的距离测量的图；
[0021]图9B是示出使用投射和封装在两个所检测的对象之间进行距离测量的图；
[0022]图10是示出三维封装的概念性图；
[0023]图11是利用成像传感器设备的一个或多个实施例的集成控制和安全系统的示例架构的图；
[0024]图12是集成控制和光学安全监测架构的示例实现的图；
[0025]图13是可以集成在成像传感器设备的一个或多个实施例中的示例安全组件的框图；
[0026]图14是用于将成像传感器设备与工业控制系统集成以提供光学安全的示例方法的流程图；
[0027]图15是用于在利用光学区域监测的工业安全系统中动态地选择像素阵列的一部分用于选择性3D分析的示例方法的流程图；
[0028]图16是用于基于对由多个成像传感器设备生成的点云数据的分析来估计两个对象之间的最小距离的示例方法的流程图；
[0029]图17是示例计算环境；以及
[0030]图18是示例网络环境。
【具体实施方式】
[0031]现在参照附图描述本公开内容，其中相同的附图标记用于贯穿附图指示相同的元素。在以下描述中，为了说明，阐述了大量的特定细节以便提供对本公开内容的完全的理解。然而，显然可以在没有这些特定细节的情况下实践本公开内容。在其他实例中，以框图的形式示出了公知的结构和设备，以便有助于对其描述。
[0032]如在本申请中使用的术语“组件”、“系统”、“平台”、“层”、“控制器”、“终端”、“台”、
“节点”、“接口 ”意在指计算机相关实体或者与具有一个或多个特定功能的操作装置相关的实体或者是具有一个或多个特定功能的操作装置的一部分的实体，其中，这样的实体可以是硬件、硬件和软件的组合、软件或在执行中的软件。例如，组件可以是但不限于是运行在处理器上的处理、处理器、硬盘驱动、包括附加的(例如，用螺丝固定或闩住的)或可移动的附加固态存储驱动的多存储驱动(光学或磁存储介质)；对象；可执行文件；执行线程；计算机可执行程序和/或计算机。作为示例，在服务器上运行的应用和服务器两者可以是组件。一个或多个组件可以驻留在处理和/或执行线程内，并且组件可以位于一个计算机上以及/或者分布在两个或更多个计算机之间。此外，可以根据存储有各种数据结构的各种计算机可读存储介质来执行本文所描述的组件。组件可以例如根据具有一个或多个数据包的信号(例如，来自在本地系统、分布式系统中与另一组件交互的一个组件的数据、以及/或者通过网络例如因特网经由信号与其他系统交互的组件的数据)经由本地和/或远程处理来通信。在另一示例中，组件可以是具有由通过电子或电子线路操作的机械部件提供的特定功能的装置，该电子或电子线路通过由处理器执行的软件或固件应用来操作，其中，处理器可以是在装置的内部或外部并且执行软件或固件应用的至少一部分。在再一示例中，组件可以是通过没有机械部件的电子组件提供特定功能的装置，电子组件可以包括处理器在其中，以执行至少部分地提供电子组件的功能的软件或固件。在又一示例中，一个或多个接口可以包括输入/输出(I/o)组件以及关联的处理器、应用程序、或应用程序编程接口(API)组件。虽然前述示例涉及组件的各方面，但是示例化的方面或特征还应用于系统、平台、接口、层、控制器、终端等。
[0033]如本文所使用的，术语“推出”和“推论”一般指的是系统、环境和/或用户根据经由事件和/或数据捕获的一组观察资料进行的推理过程或推论状态。例如，推论可用来标识特定上下文或动作，或者可以生成关于状态的概率分布。推论可以是基于概率的，即，基于对数据和事件的考虑来计算关注状态上的概率分布。推论还可以指用来根据一组事件和/或数据构成较高层事件的技术。这样的推论导致根据一组观察的事件和/或存储的事件数据构造新事件或动作，不管事件是否在时间上紧密邻近地相互关联，以及不管事件和数据是否来自一个或数个事件和数据源。
[0034]此外，用语“或”意在表示包括性的“或”而非排他性的“或”。即，除非具体指定或者根据上下文清楚其意思，否则，“X采用A或B”意指自然的包括性排列中的任意排列。即，下述情况中任意情况都满足短语“X米用A或B”:X米用A ；X米用B ;或X米用A和B两者。此外，在本申请和所附权利要求中使用的冠词“a”和“an”通常应当理解为表示“一个或多个”，除非具体指出或者根据上下文很清楚意在表示单数形式。
[0035]此外，如在本文中采用的用语“集”不包括空集，例如，其中不具有元素的集。因此，在本公开内容中的“集”包括一个或多个元素或实体。作为示例，控制器的集包括一个或多个控制器；数据源的集包括一个或多个数据源等。同样地，如本文所使用的用语“组”指一个或多个实体的集合，例如，一组节点指一个或多个节点。
[0036]将按系统的形式呈现各种方面或特征，所述系统可以包括多个设备、组件、模块等。要理解并且明白的是各种系统可以包括附加的设备、组件、模块等，以及/或者可以不包括参照附图所讨论的所有设备、组件、模块等。还可以使用这些方法的组合。
[0037]二维(2D)成像传感器一般用于检测并且标识在传感器的视场内的对象的形状和/或表面特性。图1示出了使用2D成像传感器104对对象的标识。一些类型的2D成像传感器(例如，成像相机)通过朝向要被监测的区域投射宽的光束106并且在接收器处收集查看区域内的表面和对象(例如，对象108)反射的反射光来进行操作。一些传感器可以以振荡的方式贯穿查看区域扫光束106以收集线状(line-wise)图像数据，该线状图像数据被分析以识别对象边缘和表面、表面图案或其他这样的信息。或者，传感器104可以贯穿关注的区域投射静态的、大体上平面的光束，并且收集关于穿过光束的对象的数据。通常，2D图像传感器对基于反射光生成的像素数据执行灰度或红绿蓝(RGB)分析、以产生针对视场的二维图像数据，该二维图像数据可以被分析以识别对象边缘、对象表面图案或轮廓，或者其他这样的信息。图2A是示出使用2D图像传感器202对图像206进行2D图像分析的示意图。2D图像分析在x-y平面上产生对象和表面信息。取决于使用成像传感器的特定应用，传感器可以基于在查看区域内检测到的对象和/或图案来生成合适的输出。
[0038]三维(3D)图像传感器(也称为飞行时间(time-of-flight) (TOF)传感器)被设计成针对在传感器的视场内的对象和表面生成距离信息以及二维形状信息。一些类型的TOF传感器使用相位移动监测技术来确定对象的距离，由此，光束被发射至视场，并且测量的从相对于所发射的光的对象反射的光的相位移动被转换成距离值。采用脉冲光照明的其他类型的TOF传感器测量光脉冲发射到视场与在传感器的光子接收器处接收到反射的光脉冲之间的经过时间。因为飞行时间信息是对象或表面到传感器的距离的函数，所以传感器能够利用TOP信息以确定对象或表面点到传感器的距离。图2B是示出使用3D图像传感器204对图像208进行3D图像分析的示意图。如图所示，3D分析产生在z方向上的距离或深度信息(即，对象或表面到传感器204的距离)，以及在x-y平面中的成像信息。
[0039]三维图像分析(其涉及测量飞行时间信息以及随后计算距离信息)一般与2D成像分析相比处理更密集。3D分析需要的另外的处理时间和电力可以致使3D图像传感器不适合需要快速、可靠的响应时间的某些类型的应用。然而，存在有可以从3D图像分析受益的某些类型的应用，但是其需要快速且可靠的决策制定和响应时间。例如，工业安全监测应用必须能够可靠地检测在潜在危险区域内的人类的存在，并且用合适的安全控制输出(例如，停止或减慢运行机器的命令、以将危险机器断电等)以最小延迟来响应从而防止受伤。
[0040]为了解决这些和其他问题，本公开内容的一个或多个实施例提供一种工业安全监测系统，该工业安全监测系统包括:能够对所选择的传感器的像素阵列的子集或部分执行3D图像分析的成像传感器。在一个或多个实施例中，成像传感器使得像素阵列的一个或多个指定部分能够被选择用于3D(飞行时间)分析以便获得针对在像素阵列的所述部分中的像素的距离信息，而使用2D图像分析来处理剩余的像素阵列区域。例如，在对关注的区域训练(train)成像传感器之后，用户可以选择贯穿像素阵列的中间部分(上边缘或下边缘)的横条的像素以用于3D分析，以便可以针对与所选择的像素条对应的区域获得并且管理距离信息以及对象识别信息。成像传感器将2D分析(例如，灰度或RGB分析)应用于像素阵列的剩余的、未选择的区域以便检测、识别、分类和/或关联查看区域内的对象。因为2D成像处理与3D处理相比较快，所以通过将3D分析仅限制到需要距离信息的场景的这些区域来降低处理负载并且提高传感器响应时间。成像传感器还可以被配置成关联2D分析和3D分析的结果，使得可以以高水平的安全完整性获得在观察空间内的对象的识别、速度、距离以及轨迹。成像传感器被配置成与一个或多个工业装备(例如，工业自动化控制器、运动设备、机器人或其他危险机器等)接口，并且可以基于2D和3D图像处理的结果将控制指令经由网络接口或硬线接口发送至工业装备。以此方式，通过成像传感器补充对工业系统的控制，该成像传感器提供了有助于基于受控区域或空间(volume