具有人和物体区分的基于识别的工业自动化控制的制作方法

具有人和物体区分的基于识别的工业自动化控制的制作方法
【专利摘要】本公开内容总体上涉及用于进行工业自动化系统中的工业自动化控制的方法。该方法可以包括经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个物体的位置和/或运动，并且基于检测的位置和/或运动经由编程的计算机系统将一个或更多个人与一个或更多个物体进行区别。接着，方法可以包括基于区别来实施控制和/或通知动作。
【专利说明】具有人和物体区分的基于识别的工业自动化控制

【背景技术】
[0001] 本公开内容总体上涉及用于控制工业自动化系统内的设备的系统和方法。更具体 而言，本公开内容的实施方式与通过使用置于工业自动化系统内的距离照相机系统来控制 工业自动化系统中的设备的系统和方法相关。
[0002] 通过使用自动化控制和监视系统来管理和操作工业自动化系统。存在针对自动化 控制和监视系统、特别是针对工业自动化设定的广范围应用。这样的应用可以包括给广范 围的致动器例如阀门、电动机等供电以及经由传感器收集数据。一般的自动化控制和监视 系统可以包括一个或更多个部件，例如：编程终端、自动化控制器、输入/输出（I/O)模块、 通信网络和/或人机界面（HMI)终端。
[0003] 通常，采取某些安全预防措施以确保工业自动化系统中的设备被安全地操作。然 而，传统的工业自动化系统在使用上述通常的自动化控制和监视系统来控制其设备方面受 限制。虽然这些自动化控制和监视系统可以被用于管理工业自动化系统内的设备的操作， 然而安全地操作工业自动化系统内的设备的改进型系统和方法是合乎人们期望的。


【发明内容】

[0004] 在一个实施方式中，一种用于进行工业自动化系统中的工业自动化控制的方法可 以包括：经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个物 体的位置和/或运动，并且基于检测的位置和/或运动经由编程的计算机系统对一个或更 多个人与一个或更多个物体进行区别。接着，该方法可以包括基于区别来实施控制和/或 通知动作。
[0005] 在另一实施方式中，一种用于进行工业自动化控制的系统可以包括传感器系统， 该传感器系统被配置成检测工业系统中的元素的位置和/或运动。该系统还可以包括处理 部件，该处理部件可以基于检测的位置和/或运动来确定元素对应于一个或更多个人还是 一个或更多个物体。该处理部件还可以基于元素对应于一个或更多个人还是一个或更多个 物体向工业系统中的环境控制设备发送命令。
[0006] 在又一实施方式中，一种用于进行工业自动化控制的方法可以包括：经由传感器 系统检测工业自动化系统中的一个或更多个人的位置和/或运动，并且基于检测的位置和 /或运动经由编程的计算机系统确定一个或更多个人是否与被授权的状态相关联。接着，该 方法可以包括基于区别来实施控制和/或通知动作。

【专利附图】

【附图说明】
[0007] 当参照附图阅读了下述详细说明时，会更好地理解本发明的这些和其他特征、方 面以及优点，其中贯穿附图用相似的附图标记表示相似的部件，其中：
[0008] 图1是根据实施方式的在工业自动化系统内工作的距离照相机（range camera) 系统的框图；
[0009] 图2是根据实施方式的在图1的工业自动化系统内工作的采用飞行时间照相机系 统的距离照相机系统的框图；
[0010] 图3是根据实施方式的图1的距离照相机系统内的运动识别系统的框图；
[0011] 图4是根据实施方式的通过使用图1的距离照相机系统来控制工业自动化系统内 的一个或更多个设备的方法的流程图；
[0012] 图5至图6是根据实施方式的由图3的运动识别系统接收的数据可视化的示例；
[0013] 图7是根据实施方式的图3的运动识别系统内的运动识别引擎和位置确定引擎的 框图；
[0014] 图8是根据实施方式的在图1的工业自动化系统内工作的机器的框图；
[0015] 图9是根据实施方式的通过使用图1的距离照相机系统和二次输入来控制工业自 动化系统内的一个或更多个设备的方法的流程图；
[0016] 图10是根据实施方式的通过使用由图1的距离照相机系统检测的位置和/或运 动的导数值来控制工业自动化系统内的一个或更多个设备的方法的流程图；
[0017] 图11是根据实施方式的基于由图1的距离照相机系统检测的工业自动化系统中 是否存在人或者物体来控制工业自动化系统内的一个或更多个设备的方法的流程图；
[0018] 图12是根据实施方式的与图3的运动识别系统相结合工作的环境控制系统的框 图；以及
[0019] 图13是根据实施方式的基于由图1的距离照相机系统检测的工业自动化系统中 存在的人之间的区分特征来控制工业自动化系统内的一个或更多个设备的方法的流程图。

【具体实施方式】
[0020] 本公开内容通常涉及置于工业自动化系统中的距离照相机系统，该距离照相机系 统可以检测包围工业自动化系统的空间内的人和/或物体的位置和/或运动。在检测位置 和/或运动之后，距离照相机系统可以基于检测的位置和/或运动来进行工业自动化系统 中的各种操作。也就是说，距离照相机系统可以检测工业自动化系统空间内的人和/或物 体(例如，机器人、自主引导车辆或者机器）的位置和/或运动，并且使用检测的位置和/或 运动来控制工业自动化系统中的各种工业自动化设备。除了检测工业自动化系统内的位置 和/或运动之外，距离照相机系统还可以计算针对每个检测的位置和/或运动的置信值。置 信值可以与远程照相机系统可以在检测的位置和/或运动方面确定的程度或者百分比相 关。这样，在某些实施方式中，距离照相机系统可以基于与各个检测的位置和/或运动对应 的置信值向工业自动化系统中的各种设备发送控制信号。下面将参照图1至图13对关于 距离照相机系统的更多细节进行描述。
[0021] 作为介绍，图1是与距离照相机系统12 -起工作的工业自动化系统10的框图。距 离照相机系统12可以包括一个或更多个距离照相机14以及运动识别系统16。距离照相 机14可以包括可以检测在其视窗中的任何元素的位置和/或运动的任何类型的照相机或 者传感器系统。在某些实施方式中，距离照相机14可以采用使其能够检测位置和运动的各 种类型的技术。举例来说，距离照相机14可以包括数字照相机、摄像机、红外线传感器、光 学传感器(例如，视频/相机)、射频能量检测器、声音传感器、声纳传感器、振动传感器、磁性 传感器等来检测在其视窗中的任何元素的位置和/或运动。用于距离照相机14的传感器 能够检测声纳波形、热信号、激光、地板压力特征，空气压力特性等。
[0022] 距离照相机14还可以包括传感器，该传感器可以采用距离成像技术或手段来产 生二维图像或三维图像，该二维图像或三维图像可以用于指示由传感器获得的图像中的各 个点与传感器的位置之间的距离。这样，采用距离成像技术的传感器可以根据许多技术例 如立体三角测量，片光三角测量，结构光、飞行时间、干涉测量，编码孔径等来进行操作。
[0023] 可以将由距离照相机14接收的被检测位置和/或运动输入到运动识别系统16 中，该运动识别系统16可以对检测的位置和/或运动进行解释并且确定可以与检测的位置 和/或运动对应的各种自动化命令。在确定与检测的位置和/或运动对应的自动化命令之 后，运动识别系统16可以向系统控制器18发送自动化命令，该系统控制器18可以在f禹接 到系统控制器18的工业自动化设备20上实施自动化命令。例如，运动识别系统16可以从 距离照相机14接收检测的运动并且可以将检测的运动解释成使工业自动化系统10中一个 设备20停止的命令。这样，运动识别系统16可以向系统控制器18发送使各个工业自动化 设备20停止的信号。
[0024] 工业自动化设备20可以包括可以在工业自动化系统10内工作的任何类型的机器 或者设备。工业自动化设备20的示例可以包括但不限于致动器、电动机、电压力机等。通 常，工业自动化设备20可以由系统控制器18操作或者控制。这样，系统控制器18可以具 有处理器部件、存储器部件、通信部件等，使得其可以通过向工业自动化设备20发送控制 信号来操作工业自动化设备20。在某些实施方式中，除了从运动识别系统16接收自动化命 令之外，系统控制器18还可以从工业自动化系统10中的各种传感器22接收各种类型的信 息。传感器22可以是可用于向系统控制器18提供信息的任何类型的传感器例如按钮传感 器、气体传感器、温度传感器等。这样，系统控制器18可以基于由传感器22接收的信息、由 运动识别系统16解释的自动化命令或者二者来操作工业自动化设备20。
[0025] 基于上述内容，在某些实施方式中，通常可以将距离照相机系统12、工业自动化设 备20以及传感器22置于可以被表征为工业自动化环境24的一部分的空间中。工业自动 化环境24可以包括工业自动化系统10内的物理空间，在该物理空间中，人类操作员26、机 器28或者材料30可以进行各种动作来操作工业自动化系统10。这样，当人26、机器28或 者材料30在工业自动化环境24内移动时，距离照相机系统12可以监视人26、机器28或者 材料30的位置和/或运动。
[0026] 人26可以包括可以在工业自动化环境24中存在的任何人。通常，在工业自动化 环境24中存在的人26可以包括受过训练的并且被授权访问工业自动化环境24的人。人 26可以针对工业自动化系统10中的任何设备进行比如维护等的各种操作。然而，应注意， 人26还可以包括存在于工业自动化环境24中的没有被授权的人或者不希望的人(例如，入 侵者)。这样，在一个实施方式中，距离照相机系统12可以被用于检测工业自动化环境24中 的人26是否被授权处于工业自动化环境24中并且基于被检测的一个或更多个人26是否 被授权或者被期望处于工业自动化环境24中来向系统控制器18发送通知或自动化命令。
[0027] 机器28可以包括存在于工业自动化环境24中的任何自动化或非自动化机器。这 样，机器28可以包括对被制造、处理等的物品进行各种操作的机器人或者机械设备。例如， 机器28可以包括可以移动工业自动化系统内的物件的机械爪。在某些实施方式中，机器28 可以包括在距离照相机14的视窗内工作的工业自动化设备20。
[0028] 材料30可以包括例如由机器28移动的工件的物品或者在工业自动化系统10中 制造或者处理的物品。例如，在图1中材料30被描绘为传送带上的箱子。在这个例子中， 距离照相机系统12可以在材料30沿着传送带移动时跟踪材料30的位置。接着，运动识别 系统16可以将与材料30的位置相关的信息发送给系统控制器18,该系统控制器18可以使 用该信息来控制各种工业自动化设备20。例如，如果系统控制器18确定传送带上的材料 30的位置变化得太慢，那么系统控制器18可以将该信息解释为指示材料30沿着传送带移 动得太慢。这样，系统控制器18可以向工业自动化设备20例如控制传送带的运动的耦接 至电动机的电动机驱动发送提高电动机的速度的信号，由此提高材料30可以沿着传送带 移动的速度。
[0029] 在某些实施方式中，可以将距离照相机14耦接至工业自动化系统10中的各个部 件例如工业自动化设备20等，以使距离照相机14可以监视工业自动化系统10内的各种元 素的运动和/或位置。例如，可以将距离照相机14耦接至可固定在工业自动化系统10内 的各种位置处的DIN导轨、工业自动化设备20等。
[0030] 在任何情况下，通过使用距离照相机系统12来监视工业自动化系统10内的各种 元素，系统控制器18可以更好地管理工业自动化系统10的安全操作。例如，从距离照相机 系统12获得的信息可以被用于确定人26相对于潜在危险例如移动的工业自动化设备20、 高温工业自动化设备20、高压设备等的位置。在某些实施方式中，距离照相机系统12可以 处理与人26可以移动的身体肢端以及其可以移动的速度相关的数据，以预测该移动是否 可能导致人26与危险地带、机器28等发生物理接触。
[0031] 例如，距离照相机系统12可以处理从距离照相机14接收的指示人26的各个关节 的位置和运动的数据，以确定人26与危险地带发生物理接触或者进入危险地带的概率。这 样，当概率超过阈值时，距离照相机系统12可以预测人26会与危险地带发生接触。通过能 够预测这些类型的情况，距离照相机系统12可以采取先发制人的措施以避免不期望的情 况，例如触发动作以防止危险情况或者使不期望的情况的负面效果最小化。例如，距离照相 机系统12可以向系统控制器18发送自动化命令来停止或者改变工业自动化设备20或者 机器28的操作，以使工业自动化设备20或者机器28避开人26。而且，当人26不再位于危 险地带之内的时候，还可以将距离照相机系统12用于重新启动或者重新接合停止的工业 自动化设备20或者机器28。
[0032] 距离照相机系统12还可以向系统控制器18、其他工业自动化系统32等发送指示 人26位于危险地带中或者各个工业自动化设备20由于危险地带中存在人26而被停止的 通知。以这种方式，如果确定其操作会受到由运动识别系统16接收的数据的影响，那么其 他工业自动化系统32可以修改其操作。
[0033] 以类似的方式，可以将距离照相机系统12用于不是监视人26的各种位置和/或 运动而是监视机器28的各种位置和/或运动，或者与监视人26的位置和/或运动相结合 地监视机器28的各种位置和/或运动。这样，距离照相机系统12可以确定机器28是否在 工业自动化环境24内安全地工作。
[0034] 举例来说，图2描绘了将飞行时间照相机系统34用作距离照相机14来进行本文 中描述的各种技术的工业自动化环境24的示例。如图2所示，飞行时间照相机系统34可 以在工业自动化环境24或者受控的环境例如在电力控制室中被采用。飞行时间照相机系 统34可以包括照明单元36和图像传感器37,其可用于确定在工业自动化环境24中或者受 控的环境中存在的人26、机器28等的位置和/或运动。在一个实施方式中，飞行时间照相 机系统34可以旋转，以使得其可具有围绕工业自动化环境24的360度视线。
[0035] 为了确定工业自动化环境24中的人26或者机器28的位置，飞行时间照相机系统 34可以使用照明单兀36向外发出进入工业自动化环境24的光信号38。光信号38可以包 括在近红外线范围内的强度调制的光、激光等。在任何情况下，当光信号38遇到元素（即图 2中的人26)时，反射的光信号39可以被反射回飞行时间照相机系统34并且进入图像传 感器37。在一个实施方式中，反射的光信号39可以经由可以置于飞行时间照相机系统34 上的透镜被投射到图像传感器37中。在发送光信号38并且接收反射的光信号39之后，飞 行时间照相机系统34可以向运动识别系统16发送与光信号38被发送以及反射的光信号 39被接收的时间相关的数据，以确定该元素与飞行时间照相机系统34之间的距离。也就是 说，运动识别系统16可以将与光信号38以及反射的光信号39相关的数据例如光信号38被 发送以及反射的光信号39被接收的时间相关联，以确定该元素与飞行时间照相机系统34 之间的距离。通过随时间跟踪该距离，运动识别系统16可以确定随时间而变化的元素的位 置、元素的运动等。
[0036] 在某些实施方式中，运动识别系统16可以包括三维运动路径，该三维运动路径可 以限定机器28可以在工业自动化环境24内工作的路径。可以相对于其在工业自动化系统 10内的功能、基于机器28的期望运动来确定三维运动路径。这样，运动识别系统16可以检 测机器28是否如期望的那样相对于三维运动路径工作和/或机器28是否正在经历任何危 险运动(例如，移动得快、靠近人26)。如果运动识别系统16检测到机器28在不期望地或者 具有某些危险运动地工作，那么运动识别系统16可以向系统控制器18发送信号，该信号可 以用于控制机器28以在安全状态下操作机器28、断电等。
[0037] 而且，在某些实施方式中，运动识别系统16可以对机器28或者人26的运动和/或 运动的速度进行解释以预测机器28是否可能进入危险区域或者危险情况例如接触人26。 这样，运动识别系统16可以向系统控制器16或者直接向机器28发送信号以改变机器28 的操作，以使得机器28可以避免进入危险区域或者遭遇危险情况。也就是说，运动识别系 统16可以基于机器的运动和/或位置、人26的运动和/或位置等控制机器28或者任何工 业自动化设备20的操作，由此更安全地操作工业自动化系统10。
[0038] 基于上述内容，图3示出了运动识别系统16的详细框图40。运动识别系统16可 以包括通信部件42、处理器44、存储器46、存储装置48、输入/输出（I/O)端口 50等。通 信部件42可以是可便于系统控制器18、工业自动化设备20、距离照相机14、机器28、其他 工业自动化系统32等之间的通信的无线或者有线的通信部件。处理器44可以是能够执行 计算机可执行的代码的任何类型的计算机处理器或者微处理器。存储器46和存储装置48 可以是可用作存储处理器可执行的代码、数据等的介质的任何合适的制造品。这些制造品 可以代表可以存储处理器可执行代码的计算机可读的介质（即任何合适形式的存储器或者 存储装置)，处理器44使用该可执行的代码来执行当前公开的技术。通常，运动识别系统16 可以接收与人26、机器28和/或材料30有关的运动和/或位置数据，并且解释数据以确 定针对工业自动化设备20的自动化命令。存储器46和存储装置48还可以用于存储数据、 数据的各自的解释以及与数据对应的自动化命令。虽然关于运动识别系统16描绘了框图 40,但是应注意系统控制器18也可以包括相同的部件来执行本文中描述的各种技术。下面 参照图4至图13对描述方法的更多细节进行讨论，运动识别系统16可以用这些细节来解 释运动和/或位置数据。
[0039] 基于检测的位置/运动和置信值的自动化命令
[0040] 现在参照图4,一种基于距离照相机14的可见区内的元素的被检测位置和/或运 动来实施工业自动化系统10内的自动化命令的方法60。在一个实施方式中，本文中描述的 关于方法60的技术可以由运动识别系统16来进行。这样，在框62中，运动识别系统16可 以接收元素例如人26、机器28或者材料30的被检测位置和/或运动。也就是说，距离照相 机14可以接收与在其视窗内当前存在的元素的位置和/或运动相关的数据。
[0041] 在某些实施方式中，与检测的位置和/或运动相关的数据可以包括元素的一个或 更多个光学图像，元素的一个或更多个红外线图像等。当距离照相机14获取元素的图像 时，运动识别系统16可以将图像转换成表示元素的二维图形。例如，图5示出了人26的二 维表示80的示例，图6示出了机器28的二维表示100的示例。
[0042] 简单参照图5,人26的二维表示80可以包括人26的身体上的各种边缘或者关节 处的数据点82。基于距离照相机14与人26之间的距离、二维表示80的大小、距离照相机 14的视窗内的二维表示80与其他固定物体之间的相对距离等，运动识别系统16可以生成 针对每个数据点82的元数据84。
[0043] 元数据84可以包括关于各自的数据点82的某些详情。举例来说，元数据84可以 包括X坐标值86、y坐标值88、z坐标值90、置信值92等。置信值92可以与运动识别系统 16可以确定X坐标值86、y坐标值88以及z坐标值90的程度或者量相对应。在某些实施 方式中，运动识别系统16可以生成针对每个坐标值的置信值92。置信值92可以基于数据 点82的可见度、与数据点82相关的历史数据等来确定。
[0044] 以同样的方式，机器28的二维表示100可以包括机器28的主体上的各种边缘或 者关节处的数据点102。基于距离照相机14与机器28之间的距离、二维表示100的大小、 距离照相机14的视窗内的二维表示100与其他固定物体之间的相对距离等，运动识别系统 16可以生成针对每个数据点102的元数据104。
[0045] 与以上参照图5描述的元数据84类似，元数据104可以包括关于每个各个数据点 102的某些详情，例如X坐标值106、y坐标值108、z坐标值110、置信值112等。与置信值 92类似，置信值102可以与运动识别系统16可以确定X坐标值106、y坐标值108以及z坐 标值110的程度或者量相对应。在某些实施方式中，运动识别系统16可以生成针对每个坐 标值的置信值112,并且可以基于数据点82的可见度、与数据点82相关的历史数据、机器 28的期望的位置等来确定置信值112。
[0046] 基于上述内容，运动识别系统16可以基于数据点82或者数据点102的位置怎样 随时间而变化来检测元素的运动或者移动方式。在一个实施方式中，运动识别系统16可以 获取与每个数据点82或者数据点102相关的元数据84或者元数据104,并且将元数据84 或者元数据104存储在存储器46或者存储装置48中。接着，运动识别系统16的处理器44 可以分析元数据84或者元数据104的集合以确定元素怎样移动。这样，运动识别系统16 可以识别元素的运动或者姿势。
[0047] 返回去参照图4,在框64中，运动识别系统16可以确定针对框62中接收的被检 测运动的可能的自动化命令。在一个实施方式中，为了确定可能的自动化命令，运动识别系 统16可以将检测的位置和/或运动与和检测的位置和/或运动相关的自动化命令的库进 行比较。图7示出了可以存储在运动识别系统16的存储装置48中的自动化运动命令的库 122的示例。
[0048] 库122可以包括元素的期望运动以及对应的自动化命令的列表。期望运动的列表 可以被编程到运动识别系统16中使用学习模式等的库中。这样，操作者或者技师可以向运 动识别系统16提供输入，该输入指示针对特定的工业自动化设备20的自动化命令。接着， 操作者可以将自己定位于距离照相机14的视窗内并且进行他意图与输入的自动化命令相 关联的各种运动或者姿势。这样，运动识别系统16可以记录对应于人26的数据点82怎 样移动或者数据点82的运动模式。接着，运动识别系统16可以将数据点83 (自动化命令 128)的运动模式存储在库122中并且将该模式与各个输入的自动化命令相关联。
[0049] 例如，操作者可以向运动识别系统16提供输入以进入学习模式并且指定特定的 运动或者姿势应该与针对特定自动化设备20的紧急停止自动化命令相关联。在接收这些 输入之后，运动识别系统16可以检测与操作者的数据点82对应的运动，该运动可以包括例 如在操作者处于距离照相机14的视窗中时保持一个臂向外伸直、手掌向外并且身体向上。 当运动识别系统16检测到该运动时，运动识别系统16可以将数据点82 (自动化命令128) 的运动与紧急停止自动化命令相关联地存储在库122中。在某些实施方式中，运动识别系 统16可以通过接收一些来自操作者的不包括任何检测的运动或者姿势的输入来进入和退 出学习模式。在这种情况下，学习模式的配置可以受到保护，并且可以不被任何非有意的运 动或者姿势所危及。
[0050] 在某些实施方式中，处理器44可以包括运动识别引擎124,该运动识别引擎124可 以基于检测的元素的位置和/或运动从库122中识别自动化命令128。例如，如果运动识 别引擎124检测到人26左右挥动他的双臂，那么运动识别引擎124可以将检测的运动与库 122中存储的运动或者运动模式进行比较，并且确定针对特定的工业自动化设备20的与停 止自动化命令对应的运动。
[0051] 库122可以包括大量的运动以及针对每个运动的对应的自动化命令128。自动化 命令可以包括控制自动化设备20、机器28或者工业自动化系统10中的任何其他设备的任 何命令。这样，自动化命令可以包括但不限于启动设备、停止设备、提高设备的速度或者输 出，降低设备的速度或者输出等。而且，库122可以包括与各种运动例如禁用运动识别系统 16、限制操作者与运动识别系统16接合的控制或者能力等相关联的其他命令。在某些实施 方式中，库122可以包括相对于工业自动化环境24中的固定物体的运动。例如，人26在一 些控制输入设备的方向上移动的运动比如紧急停止输入可以与针对该控制输入设备的自 动化命令(例如，紧急停止）相关联。
[0052] 运动识别引擎124可以被用于确定针对框62中接收的检测的运动的可能的自动 化命令，而位置确定引擎126可以被用于确定针对框62中接收的检测的位置的可能的自动 化命令。这样，位置确定引擎126可以确定数据点82和数据点102的位置并且可以咨询库 122以识别与框62中接收的检测的位置对应的自动化命令128。以这种方式，库122可以 包括其中可以基于数据点82和数据点102的位置来实施特定的自动化命令的规则或者情 形。
[0053] 基于这一点，图8示出了可以被指定为危险区域或者人26不应该进入其中或者只 能使机器28在其中工作的区域的工业自动化环境24内的空间132。这样，库122可以包括 自动化命令128,从而在检测到人26处于危险区域中时停止可能潜在地对人26造成伤害的 特定的工业自动化设备20。
[0054] 例如，在一个实施方式中，空间132可以用边界134来标记，边界134可以使用光 幕、电标记、有色标记等来实现。这样，库122可以包括当空间132内存在一个或更多个人 26时使工业自动化设备20或者机器28停止的自动化命令。在另一示例中，库122可以包 括当人26或者人26的肢端位于工业自动化设备20或者机器28的工作空间内时使工业自 动化设备20或者机器28的操作停止的自动化命令。例如，如果工业自动化设备20对应于 压制材料的工业压力机，那么库122可以包括当在期望放置材料的地点的工业压力机的区 域内检测到人26或者人26的肢端时使工业压力机的操作停止的工业自动化命令。
[0055] 返回去参照图4,在框66中，运动识别系统16可以确定针对框62中接收的检测的 位置和/或运动的置信值92或者置信值112。如上所述，运动识别系统16可以基于数据点 82或者数据点102的可见度、与数据点82或者数据点102相关的历史数据、人26、机器28 或者材料30的期望的位置等来确定置信值92或者置信值112。在一个实施方式中，运动识 别系统16还可以基于置信值92或者置信值112、框62中确定的检测的位置和/或运动与 和框64中接收的可能的自动化命令相关联的位置和/或运动之间的差等来确定针对框64 中确定的可能的自动化命令的置信值。在另一实施方式中，置信值可以与框62中接收的检 测的位置和/或运动与针对元素的期望的运动模式之间的差相关。
[0056] 在某些实施方式中，运动识别系统16可以基于对应的元素是否在特定的范围内 来确定针对检测的位置和/或运动的置信值。例如，如果与检测的位置和/或运动对应的 元素在距离照相机14较近的范围内，那么检测的位置和/或运动与可能距离照相机14较 远的元素相比，可以与更高的置信值相关联。置信值还可以存储在可以基于检测的元素和 照相机14之间的距离来组织的阵列中。这样，运动识别系统16可以基于排列在阵列中的 置信值来确定针对检测的位置和/或运动的置信值。
[0057] 在框68中，运动识别系统16可以确定框66中确定的置信值是否大于某阈值。如 果框66中确定的置信值大于阈值，那么运动识别系统16可以进行至框70并且实施框64 中确定的自动化命令。除了实施自动化命令之外或者替代实施自动化命令，运动识别系统 16可以向工业自动化系统10的管理员或者操作者发送指示实施了自动化命令等的通知。
[0058] 在一个实施方式中，在实施确定的自动化命令时，运动识别系统16可以将确定的 自动化命令与特定的工业自动化设备20相关联。也就是说，在基于检测的元素的位置和/ 或运动来确定自动化命令时，运动识别系统16可以基于在工业自动化系统10中的设备附 近的数据点82和数据点102的位置来确定由哪一个自动化设备20或者机器28来实施确 定的自动化命令。例如，如果运动识别系统16将由距离照相机14检测的运动解释为与停 止工业自动化设备20对应，那么在框70中，运动识别系统16可以在位于元素的最近邻区 域内的工业自动化设备20上实施自动化命令。
[0059] 返回去参照框68,如果框66中确定的置信值不大于阈值，那么运动识别系统16可 以进行至框72并且实施默认的自动化命令。默认的自动化命令可以是针对各个自动化设 备20或者机器28的安全状态命令。在一个实施方式中，默认自动化命令可以包括继续各 个工业自动化设备20的操作。在另一实施方式中，在框72中，运动识别系统16可以发送 请求手动确认框64中确定的自动化命令的通知或者指示针对各个自动化命令置信等级为 低的通知。
[0060] 基于检测的位置/运动和二次输入的自动化命令
[0061] 通过基于置信值确定是否实施识别的自动化命令，可以保护或者防止运动识别系 统16将人26、机器28或者材料30的随机运动和/或位置解释成可能的自动化命令。然而， 在某些实施方式中，为了更好地确保运动识别系统16识别适当的自动化命令，或者为了更 好地确保工业自动化设备20被安全地操作，运动识别系统16可以使用二次输入来补充、补 足或者甚至替代由运动识别系统16识别的基于运动的和/或基于位置的输入。例如，图9 描绘了使用距离照相机系统12和一些二次输入来控制工业自动化系统10内的一个或更多 个工业自动化设备20的方法140。
[0062] 二次输入可以包括由系统控制器18或者运动识别系统16接收的或者生成的可以 被用来补足或者确认自动化命令的任何输入或者信号。这样，运动识别系统16可以基于系 统控制器18或者运动识别系统16是否已经接收了期望的二次输入来验证解释的自动化命 令的有效性。
[0063] 基于这一点并且参照图9,在框142中，如同在上文中关于图4的框62所描述的那 样，运动识别系统16可以接收元素的被检测位置和/或运动。在一个实施方式中，由运动 识别系统16接收的元素的被检测位置和/或运动可以包括与针对框142中接收的检测的 位置和/或运动的置信值92或112相关的元数据或者信息。
[0064] 在接收元素的被检测位置和/或运动之后，在框144中，如同在上文中关于图4的 框64所描述的那样，运动识别系统16可以确定针对框142中接收的检测的位置和/或运 动的可能的自动化命令。虽然在图9中未示出，但是应注意在某些实施方式中，运动识别系 统16可以基于置信值92或112、框142中接收的检测的位置和/或运动与和框144中确定 的可能的自动化命令对应的期望的位置和/或运动之间的差等来确定在框144中确定的针 对自动化命令的置信值。
[0065] 在框146中，运动识别系统16可以确定是否已经接收到期望的二次输入或者自动 化系统信号。如上所述，二次输入可以包括由运动识别系统16接收的输入或者信号，以验 证框144中确定的自动化命令与待实施的自动化命令相对应。这样，二次输入可以包括使 用手动输入或者其他控制输入例如位于工业自动化系统10内的按钮、经由输入/输出端口 50向运动识别系统16提供的输入、由运动识别系统16经由置于工业自动化设备20上或者 工业自动化系统10内的传感器接收的输入等。
[0066] 例如，二次输入可以包括由人26操作的手动开关或者按钮。二次输入还可以包括 在安全垫/压力垫上检测的重量、指示光幕是否已经被破坏的来自光幕的信号、来自区域 扫描仪的指令或者来自使能垂挂物、安全门、保护连锁装置、紧急停止开关等的输入。
[0067] 二次输入的另一示例可以包括语音命令或者确认。这样，在框144中，机器识别系 统16可以期望接收来自人26的语音命令，该语音命令可以与针对各个确定的自动化命令 的期望语音命令相对应。例如，可以与停止自动化命令对应的与检测的运动相关联的期望 二次输入可以包括由表述"停止"的人26发出的语音。
[0068] 在一个实施方式中，二次输入可以是关于一些自动化设备20的元素的被检测位 置，而框144中确定的自动化命令可以基于检测的元素的运动。例如，如果运动识别系统16 确定人26的运动对应于使压力机接合的自动化命令，那么在框146中，运动识别系统16可 以确定检测的人26的位置是否为远离压力机的安全距离或者在材料可以被压制的区域之 夕卜。这样，人26的位置可以被用作框146中的期望的二次输入。而且，以这种方式，运动识 别系统16可以将由距离照相机14检测的运动与由距离照相机14检测的位置进行协调，以 控制工业自动化系统10内各种设备的操作。这样，运动识别系统16可以确保工业自动化 设备20被安全地操作并且根据它们各自的规格来操作。
[0069] 返回去参照框146,如果运动识别系统16接收期望的二次输入，那么运动识别系 统16可以进行至框148并且实施框144中确定的自动化命令。在一个实施方式中，除了实 施自动化命令之外或者替代实施自动化命令，运动识别系统16可以向工业自动化系统10 的管理员或者操作者发送指示已经实施了自动化命令、已经请求了实施自动化命令等的通 知消息(例如，电子邮件、文本消息)。
[0070] 然而，如果在框146中，运动识别系统16没有接收期望的二次输入，那么运动识别 系统16可以进行至框150并且实施默认动作。在一个实施方式中，默认动作可以针对每个 自动化设备20来定义或者确定。默认动作可以被定义或确定为与针对各个工业自动化设 备20的安全状态(例如，断电)相对应。换言之，如果运动识别系统16没有接收期望的二次 输入，那么运动识别系统16可以确定针对各个工业自动化设备20的安全状态并且实施与 安全状态相对应的自动化命令。例如，如果期望的二次输入对应于指示人26站在压力垫上 并且因此位于远离各个工业自动化设备20的安全距离的信号，那么运动识别系统16可以 通过假定人26没有站在压力垫上来确定针对各个自动化设备20的安全状态自动化命令。 这样，运动识别系统16可以确定针对各个自动化设备20的安全状态可以包括使各个自动 化设备20断电，由此确保人没有被各个工业自动化设备20伤害或者物体没有被各个工业 自动化设备20损坏。在这种情况下，接着，运动识别系统16可以向各个自动化设备20发 送在安全状态模式下操作的命令。在某些实施方式中，默认动作或者安全状态模式可以包 括完全不进行动作。这样，默认动作可以包括继续各个自动化设备20的操作。
[0071] 除了实施默认动作之外或者替代实施默认动作，运动识别系统16可以向工业自 动化系统10的管理员或者操作者发送指示已经实施默认动作、没有接收到二次输入等的 通知。在一个实施方式中，通知可以包括关于运动识别系统16可能正在寻找什么作为二次 输入的建议或者指令。
[0072] 在某些实施方式中，当确定已经接收期望的二次输入之后，运动识别系统16可以 进行至图4的框66。这样，运动识别系统16可以确定针对框142中接收的检测的位置和/ 或运动的置信值92或者置信值112。如同在上文中关于框66所描述的那样，可替换地或 者附加地，运动识别系统16可以确定针对框144中确定的可能的自动化命令的置信值。接 着，运动识别系统16可以遵循方法60的处理，以更好地确保框144中确定的自动化命令可 以正确地匹配框142中接收的元素的被检测位置和/或运动。
[0073] 基于检测的位置/运动导数数据的自动化命令
[0074] 除了基于元素的被检测位置和/或运动来确定自动化命令之外，运动识别系统16 还可以在确定自动化命令时分析检测的位置和/或运动的导数值。也就是说，运动识别系 统16可以确定针对元素的被检测位置的一个或更多个导数值并且基于导数值来确定自动 化命令。与元素的检测位置对应的数据的导数值可以指示元素移动的速度。在某些实施方 式中，运动识别系统16可以在确定针对检测的位置的自动化命令时使用速度信息。例如， 速度数据可以被用于量化应实施确定的自动化命令的速度。
[0075] 以同样的方式，与元素的检测的运动对应的数据的导数值可以指示加速度或者加 速度的变化，其对应于元素可以怎样移动。可以由运动识别系统16解释加速度或者加速度 数据的变化，以指示关于元素的检测的运动对紧急情况或者不期望的事件的感测。例如，如 果人26提高速度向紧急停止开关移动，那么运动识别系统16可以将与人26的运动相对应 的高的加速度或者加速度数据的大的变化解释为指示工业自动化系统10中可能存在严重 的问题。而且，加速度或者加速度数据的变化还可以用于预测各个时间点上的人26 (或者 其他被跟踪的物体）的位置。下面参照图10提供了关于在确定针对工业自动化系统10的 自动化命令时使用基于导数的数据的更多细节。
[0076] 现在参照图10,运动识别系统16可以采用方法160来实施基于与由距离照相机 14检测的位置和/或运动相关的导数数据的自动化命令和/或通知。在框162中，如同在 上文中关于图4的框62所描述的那样，运动识别系统16可以接收元素的检测的位置和/ 或运动。
[0077] 在接收元素的检测的位置和/或运动之后，在框164中，运动识别系统16可以确 定针对框162中接收的检测的位置和/或运动的导数值。在一个实施方式中，针对检测的 位置数据，运动识别系统16可以生成表示数据点82或者数据点102的位置随时间变化的 位置函数。接着，运动识别系统16可以确定针对生成的位置函数的导数值以确定检测的数 据点82或者数据点102的位置的变化率，该变化率可以对应于数据点82或者数据点102 移动的速度。
[0078] 在另一实施方式中，针对检测的运动数据，运动识别系统16可以生成表示数据点 82或者数据点102的运动随时间而变化的运动函数。接着，运动识别系统16可以确定针对 生成的运动函数的导数值以确定数据点82或者数据点102的被检测运动的变化率，该变化 率可以对应于针对数据点82或者数据点102的检测的运动的加速度。
[0079] 在框166中，运动识别系统16可以基于框162中接收的检测的位置和/或运动和 /或框164中确定的检测的位置和/或运动的导数值来确定可能的自动化命令。也就是说， 如同在上文中关于图4的框64所描述的那样，运动识别引擎124可以从库122确定与检测 的位置和/或运动对应的自动化命令，并且可以基于框164中确定的检测的位置和/或运 动的导数值来细化或者修订确定的自动化命令。
[0080] 例如，除了与元素的位置和/或运动相关的数据之外，库122还可以包括对应于与 元素的位置和/或运动相关的数据的期望的速度和加速度。换言之，除了将元素的某个位 置和/或运动与特定的自动化命令相关联之外，库122还可以将特定的自动化命令的元素 的某个位置和/或运动与对应于元素怎样移动的期望的速度和/或加速度值相关联。以这 种方式，运动识别系统16可以检测对自动化命令中的紧急情况的感测或者可以对调用自 动化命令的元素的任何不寻常的行为进行标记。
[0081] 基于这一点，在框166中，运动识别系统16首先可以基于检测的元素的位置和/ 或运动从库122检索自动化命令。然而，接着，运动识别16可以基于检测的位置和/或运 动的导数值修订或者改变检索的自动化命令。举例来说，在确定元素的位置和/或运动对 应于提高电动机的速度的自动化命令之后，运动识别系统16然后可以咨询库122以确定检 测的元素的位置和/或运动的导数值是否在针对元素的检测的位置和/或运动的导数值的 期望范围内。
[0082] 如果检测的元素的位置和/或运动的导数值不在导数值的期望的范围内，那么运 动识别系统16可以改变或者修改从库122检索的自动化命令。例如，返回去参照以上示 例，如果自动化命令对应于提高电动机的速度，那么运动识别系统16可以改变自动化命令 以禁用电动机。在该示例中，运动识别系统16可以禁用工业自动化设备20 (即电动机）以 确保工业自动化设备20被安全地操作并且确保检测到适当的元素的位置和/或运动。也 就是说，通过识别导数值是否相对地匹配期望的导数值，运动识别系统16可以提供附加保 障，以防止未被授权的人员对工业自动化系统10中的设备进行操作。
[0083] 在某些实施方式中，库122通常可以包括与存储在其中的每个自动化命令对应的 运动的期望速度和加速度值相关的数据。除了针对自动化命令的期望的速度和加速度值之 夕卜，库122还可以存储与元素例如人26、机器28或者材料30的通常行为对应的期望速度和 加速度值。这样，期望的速度和加速度值可以包括与人26、机器28或者材料30的正常行 为运动对应的速度和加速度值的范围。在某些实施方式中，运动识别系统16可以基于由距 离照相机14获得的历史数据确定针对任何元素的期望的速度和加速度值。也就是说，运动 识别系统16可以检测各种元素随时间变化的位置和/或运动，并且识别可以与正常行为对 应的元素的位置和/或运动。接着，运动识别系统16可以确定针对与正常行为对应的元素 的位置和/或运动的导数值，并且识别与正常行为对应的导数值(例如，速度和加速度数据） 的范围。
[0084] 基于这一点，在框166中，运动识别系统16可以基于检测的位置和/或运动是否 具有与期望的导数值对应的导数值来确定自动化命令。也就是说，运动识别系统16可以解 释检测的元素的运动对应于正常运动还是非正常运动，并且基于元素的运动是正常还是非 正常来确定自动化命令。例如，如果人26突然跌到地板上或者变得不能活动，那么人26跌 到地上或者保持不能活动的运动可以具有针对人的期望的导数值的范围之外的导数值。这 样，运动识别系统16可以基于与人26的运动有关的速度或者加速度数据来识别或者检测 这些类型的不希望的情况。在另一示例中，运动识别系统16可以确定机器28或者材料30 可能以会落入导数值的期望范围之外的速度或者加速度移动。在这种情况下，运动识别系 统16可以确定机器28或者材料30可能非正常地移动，由此可能导致机器28、材料30损坏 等。
[0085] 如果运动识别系统16确定导数值在期望的导数值范围之外，那么接着，运动识别 系统16可以确定可以设计为保护人26的安全、工业自动化系统10正常运转等的针对各种 工业自动化设备20的一个或更多个自动化命令。例如，运动识别系统16可以预测可能在 人26近邻或者可能有进一步伤害人26的风险的工业自动化设备20的移动和操作，并且确 定可以使任何进一步伤害人26的风险最小化的自动化命令。例如，确定的一个或更多个自 动化命令可以包括停止各种工业自动化设备20、机器28的操作等。
[0086] 在某些实施方式中，在框166中，运动识别系统16可以通过预测人26、机器28、材 料30或者自动化设备20是否可能物理上相互接触或者进入相互的工作空间内来基于导数 值确定可能的自动化命令。也就是说，通过使用框162中接收的检测的运动的导数值，运动 识别系统16可以预测两个元素移动的模式是否可能导致其中任何一个元素受到伤害或被 损坏。而且，通过使用检测的元素的位置和/或运动以及检测的位置和/或运动的导数值， 运动识别系统16可以预测元素何时可能碰撞、导致伤害、导致损坏等。这样，运动识别系统 16可以确定可以防止工业自动化系统10内的任何元素的伤害或者损坏的一个或更多个自 动化命令。例如，如果运动识别系统16基于检测的元素的位置和/或运动以及检测的位置 和/或运动的导数值预测到两个元素可能相互碰撞，那么运动识别系统16可以确定可以使 工业自动化设备20和/或机器28以相反方向而不是按当前的方向移动从而避免碰撞的、 针对各种工业自动化设备20和/或机器28的自动化命令。
[0087] 在某些实施方式中，运动识别系统16可以基于检测的位置和/或运动的导数值来 量化确定的自动化命令。换言之，运动识别124可以给与确定的自动化命令相关的方面赋 予某些数值。例如，如果运动识别引擎124从库122检索与停止工业自动化设备20的操作 对应的自动化命令，那么运动识别系统16可以使用检测的位置和/或运动的导数值来量化 与停止工业自动化设备20的自动化命令相关的紧急性或者重要性。也就是说，如果导数值 指示速度和/或加速度大于期望的速度和/或加速度的范围，那么运动识别系统16可以确 定对应的自动化命令具有较高程度的紧急性或者重要性。这样，在框166中，运动识别系统 16可以基于提高了的重要性来确定附加的自动化命令。返回去参照以上示例，在从库122 检索与停止工业自动化设备20的操作对应的自动化命令之后，如果检索的自动化命令被 解释为具有高重要性，那么运动识别系统16可以生成停止其他相关的工业自动化设备20 以保护整个工业自动化系统10的附加自动化命令。
[0088] 在基于检测的位置和/或运动和/或基于导数值确定可能的自动化命令之后，运 动识别系统16可以实施框166中确定的一个或更多个自动化命令。在某些情况下，运动识 别系统16可以向工业自动化系统10的管理员或者操作者发送指示确定的一个或更多个自 动化命令的通知。如果运动识别系统16检测到如上所述的非正常或者不希望的事件，那么 运动识别系统16可以向工业自动化系统10的管理员或者操作者发送提供与非正常或者不 希望的事件相关的详情的通知。
[0089] 返回去参照框166,在某些实施方式中，在确定可能的一个或更多个自动化命令之 后，运动识别系统16可以进行至图4的框66。这样，运动识别系统16可以确定针对框162 中接收的检测的位置和/或运动的置信值92或112。可替换地或者附加地，如同关于框66 所描述的那样，运动识别系统16可以确定针对框166中确定的可能的自动化命令的置信 值。以这种方式，运动识别系统16可以更好地确保框166中确定的自动化命令可以正确地 匹配框162中接收的元素的检测的位置和/或运动。
[0090] 在另一实施方式中，在框166确定可能的一个或更多个自动化命令之后，运动识 别系统16可以进行至图9的框146。这样，如同在上文中关于图9的框146所描述的那样， 运动识别系统16可以确定是否已经接收了期望的二次输入。接着，运动识别系统16可以 基于是否已经由系统控制器18或者运动识别系统16接收了期望的二次输入来验证确定的 自动化命令的有效性。
[0091] 再次参照框166,运动识别系统16可以基于可以存储在存储器中的历史数据来确 定可能的自动化命令。也就是说，运动识别系统16可以通过使用历史数据学习将特定的运 动模式与各个自动化命令相关联。例如，如果运动识别系统16根据历史数据确定特定的运 动模式通常与特定的自动化命令相关联，那么运动识别系统16可以学习或者将特定的运 动模式与特定的自动化命令相关联。
[0092] 基于检测的位置/运动以及当前元素的类型的自动化命令
[0093] 除了如同图4、图9以及图10中所描述的那样对工业自动化系统中的元素的位置 和/或运动进行解释之外，运动识别系统16还可以区分工业自动化环境24中的人和物体， 并且基于该元素是不是人来实施各种控制和/或通知动作（图11)。例如，运动识别系统16 可以基于人或物体是否在工业自动化环境24中移动来控制工业自动化环境24内的光和空 调可以怎样工作。
[0094] 基于这一点，图11描绘了基于工业自动化环境中是否存在人或物体（S卩非人)来实 施与工业自动化系统10相关的各种控制和/或通知动作的方法170。现在参照图11，在框 172中，如上所述，运动识别系统16可以从距离照相机14接收在工业自动化环境24中存在 的元素的检测的位置和/或运动。
[0095] 在框174中，运动识别系统16可以基于框172中接收的检测的位置和/或运动来 确定元素是否对应于人(例如人26)或者物体(例如机器26或材料30)。在某些实施方式 中，运动识别系统16可以将数据点82或数据点102的位置与人的模板或者已知的数据点 布置进行比较。如果数据点82或数据点102的位置与人的模板或者已知的数据点布置相 对应，那么运动识别系统16可以确定元素是人。否则，运动识别系统16可以将元素归类为 物体或者非人。
[0096] 在另一实施方式中，运动识别系统16可以将框172中接收的元素的运动与人的模 板或者已知的运动模式进行比较。如果接收的运动对应于人的模板或者已知的运动模式， 那么运动识别系统16可以确定元素是人。否则，运动识别系统16可以将元素归类为物体 或者非人。
[0097] -旦运动识别系统16确定元素是人或者物体，运动识别系统16可以基于元素是 否被确定为人或者物体来实施控制动作和/或通知动作。控制动作可以包括操作工业自动 化系统10中的任何设备或者控制工业自动化环境24中的各种环境参数。例如，如同参照 方法170在上文中所描述的那样，图12示出了可以使用运动识别系统16来控制工业自动 化环境24中的各种环境参数的示例环境控制系统180。
[0098] 现在参照图12,环境控制系统180可以包括各种环境控制特征，例如供热、通风与 空调（HVAC)单元182、光控制单元184等。HVAC单元182可以通过提供通风、空气过滤等 来控制空气流动、维持空气质量或者调节工业自动化环境24中的温度。光控制单元184可 以控制用于工业自动化环境照明的光186的操作。在某些实施方式中，HVAC单元182和光 控制单元184可以耦接到系统控制器18,如图12所示。这样，系统控制器18可以向HVAC 单元182和光控制单元184提供信号以控制工业自动化环境24内的环境。然而，应注意在 某些实施方式中，与经由系统控制器18耦接相对地，运动识别系统16可以直接耦接到环境 控制设备。
[0099] 基于环境控制系统180,并且返回去参照框176,运动识别系统16可以基于检测的 元素是人还是物体来控制HVAC单元182、光控制单元184等的操作。例如，当没有人存在于 工业自动化环境24中时，工业自动化环境24内的状态不应该迎合人的需要。这样，在一个 实施方式中，如果运动识别系统16确定工业自动化环境24中存在的的元素不是人，那么运 动识别系统16可以向系统控制器18发送一个或更多个修改HVAC单元182、光控制单元184 等的操作的信号。举例来说，当运动识别系统16确定工业自动化环境24中不存在人时，运 动识别系统16可以向系统控制器18发送停止操作HVAC单元182或者关闭光186的信号。 以这种方式，工业自动化设备20、机器28以及材料30可以继续遍及工业自动化环境24移 动同时在不适合人的(例如不舒适的）状态或者弱光状态中工作。也就是说，由于工业自动 化设备20、机器28以及材料30不会被在适合人的或者不适合人的环境中工作所影响，因此 运动识别系统16可以通过最小化地使用HVAC单元182或者光控制单元184来更有效地操 作环境控制设备。而且，当接收的元素的被检测位置和/或运动确定是人时，运动识别系统 16可以在框176调节环境控制设备的操作以使工业自动化环境24对于人来说更适合或者 舒适。
[0100] 除了控制工业自动化系统中的环境控制设备，运动识别系统16还可以基于元素 是否是人来控制工业自动化设备20或者机器28。例如，在某些实施方式中，可以将运动识 别系统16布置成使得距离照相机14可以监视工业自动化环境24内可以被指定为危险区 域或者人不应该进入的区域的区域。这样，在框174中，运动识别系统16确定区域中的元 素对应于人，那么运动识别系统16可以向系统控制器18发送一个或更多个信号以改变或 者停止工业自动化设备20、机器28等的操作，以保护现在区域中存在的人。以这种方式，运 动识别系统16允许各种大小与方向的多种物体进入危险区域，而当存在人时则维持工业 自动化环境24中的安全环境。
[0101] 通知动作可以包括向工业自动化系统10的管理员或者操作者发送指示已经实施 自动化命令、已经实施框176的控制动作的通知消息(例如，电子邮件、文本消息)。在一个 实施方式中，通知消息还可以包括当没有被授权存在其中时在工业自动化环境24中存在 人等的指不。
[0102] 除了基于检测的位置和/或运动是人还是非人做出来实施控制动作和/或通知动 作之外，运动识别系统16还可以基于工业自动化环境24中存在的人之间的被检测的区别 来实施控制动作和/或通知动作。例如，图13描绘了基于工业自动化环境中的人之间被检 测的区别来实施自动化命令和/或通知动作的方法190的示例。
[0103] 现在参照图13,在框192中，运动识别系统16可以使用距离照相机14来扫描工业 自动化环境24。在框194中，运动识别系统16可以识别工业自动化环境24中工作或者存 在的人。接着，运动识别系统16可以确定当如的人中哪个人被授权使用运动识别系统16 来实施自动化命令。
[0104] 在一个实施方式中，人26可以进行特定的运动或者姿势来将自己指定为工业自 动化环境24中被授权的人。这样，人26可以使用基于姿势的登入运动或者授权处理来将 自己指定为被授权的人。
[0105] 在另一实施方式中，运动识别系统16可以搜索穿戴特定的衣物例如背心、纽扣、 皮带、手套等的个人。特定的衣物可以将个人指定为被授权来实施自动化命令的人。在某 些示例中，携带或者穿戴不希望的物体例如枪或者膝上型电脑的人可以被指定为未被授权 的人员。在这种示例中，运动识别系统16可以发送指示工业自动化环境24中存在未被授 权的人员的通知或者警告。
[0106] 在又一实施方式中，运动识别系统16可以搜索置于人26上的标志或者符号例如 徽章以将人26指定为被授权的人。在某些示例中，运动识别系统16可以与传感器22相结 合工作以检测置于人26上的射频识别（RFID)标签等来将人26指定为被授权的人。
[0107] 运动识别系统16还可以将授权的个人的轮廓存储在运动识别系统16的存储器 中。例如，轮廓可以包括关于与授权的人相关联的面部特征、身体参数等的数据。这样，在 框194中，运动识别系统16可以基于人的面部特征、身体参数等是否与轮廓中存储的面部 特征、身体参数等相匹配来识别授权的人员。
[0108] 运动识别系统16还可以识别授权的人在从已知的授权人员接收姿势或运动，该 姿势或运动指示另一人也是被授权的。也就是说，已知的被授权的人可以向另一人传递他 的授权状态或者使用特定的运动、姿势等来将工业自动化环境24中的另一人指定为被授 权。
[0109] 运动识别系统16还可以通过检测人身上特定的颜色或者衣物的属性来识别被授 权的人。在一个实施方式中，置于人上的不同颜色或者衣物的属性可以指示授权的不同级 另IJ。也就是说，授权的不同级别可以与工业自动化环境24中的不同的人相关联。每个不同 级别的授权可以使各个人实施不同组的自动化命令。虽然已经将不同级别的授权描述为基 于检测特定颜色或衣物属性而与人相关联，然而应注意，如上所述，运动识别系统16可以 基于由人进行的特定的运动或者姿势、由人穿戴的特定的衣物、在人身上检测到的某些标 志、符号或者标签、存储的人的轮廓来将不同的人指定为具有不同级别的授权。
[0110] 在框194中运动识别系统16识别被授权的人员之后，在框196中，运动识别系统 16可以从距离照相机14接收与识别的被授权人员对应的检测的位置和/或运动。在某些 实施方式中，运动识别系统16可以进行至图4的框66。这样，接着，运动识别系统16可以 进行至框64并且按照方法60的处理通过使用置信值来实施自动化命令。
[0111] 在框196中接收检测的被授权的人的位置和/或运动之后，运动识别系统16可以 进行至图9的框144并且遵循方法140的处理。这样，如同在上文中关于图9的框146所 描述的那样，运动识别系统16可以确定是否已经接收了期望的二次输入。这样，运动识别 系统16可以基于是否已经由系统控制器18或者运动识别系统16接收了期望的二次输入 来验证被授权的人的确定的自动化命令的有效性。
[0112] 在一个实施方式中，在框196中接收检测的被授权人的位置和/或运动之后，运动 识别系统16可以进行至图10的框164,并且遵循方法160的处理。这样，如同在上文中关 于图10的框166所描述的那样，运动识别系统16可以基于针对检测的位置和/或运动的 导数值来确定与检测的位置和/或运动对应的自动化命令。这样，运动识别系统16可以使 用导数值来进一步解释检测的人26的位置和/或运动。
[0113] 通过以上公开可知本申请的方案包括但不限于：
[0114] 1. 一种用于进行工业自动化控制的方法，包括：
[0115] 经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个 物体的位置和/或运动；
[0116] 基于检测的所述位置和/或运动经由编程的计算机系统将一个或更多个人与一 个或更多个物体进行区别；以及
[0117] 基于所述区别来实施控制和/或通知动作。
[0118] 2.根据1所述的方法，其中，所述人中的一个被指定为被授权的操作者，其中所述 人中的一个与不是被授权的操作者的其他人相区别。
[0119] 3.根据2所述的方法，其中，基于由所述被授权的操作者携带或者穿戴的物件来 区别所述被授权的操作者。
[0120] 4.根据3所述的方法，其中，所述物件包括衣物。
[0121] 5.根据1所述的方法，其中，所述人中的一个与物体相区别。
[0122] 6.根据5所述的方法，其中，基于是否检测到所述人中的一个或者所述物体来控 制环境系统。
[0123] 7.根据6所述的方法，其中，所述环境系统包括照明单元或者空调单元，并且其 中，所述照明单元或者所述空调单元被配置成如果检测到人则在适合人的状态下工作。
[0124] 8.根据6所述的方法，其中，所述环境系统包括照明单元或者空调单元，并且其 中，如果检测到所述物体并且没有检测到人，那么所述照明单元或者所述空调单元被置于 不适合人的状态中。
[0125] 9.根据1所述的方法，包括：
[0126] 经由所述传感器系统检测工业自动化系统中的不希望的物体；以及
[0127] 基于对所述所述不希望的物体的检测来实施所述控制和/或通知动作。
[0128] 10. -种用于进行工业自动化控制的系统，包括：
[0129] 传感器系统，被配置成检测工业系统中的元素的位置和/或运动；
[0130] 处理部件，被配置成：
[0131] 基于检测的所述位置和/或运动来确定所述元素对应于一个或更多个人还是一 个或更多个物体；以及
[0132] 基于所述元素对应于一个或更多个人还是一个或更多个物体向所述工业系统中 的环境控制设备发送命令。
[0133] 11.根据10所述的系统，其中，所述处理部件被配置成通过将检测的所述位置与 和人相关联的位置的已知模式进行比较来确定所述元素对应于所述一个或更多个人还是 对应于所述一个或更多个物体。
[0134] 12.根据10所述的系统，其中，所述处理部件被配置成通过将检测的所述运动与 和人相关联的运动的已知模式进行比较来确定所述元素对应于所述一个或更多个人还是 对应于所述一个或更多个物体。
[0135] 13.根据10所述的系统，其中，所述处理部件被配置成当所述元素对应于所述一 个或更多个人时，向所述环境控制设备发送所述命令以便在所述工业系统中控制气流、维 持空气质量或者调节温度。
[0136] 14.根据10所述的系统，其中，所述环境控制设备是加热、通风与空调HVAC单元。
[0137] 15.根据14所述的系统，其中，到所述HVAC单元的所述命令被配置成当所述元素 不对应于所述一个或更多个人时将所述工业系统中的状态设定成不适合人的状态。
[0138] 16.根据10所述的系统，其中，所述处理部件被配置成当所述元素对应于所述一 个或更多个人时向所述环境控制设备发送所述命令以开启所述工业系统中的一个或更多 个灯。
[0139] 17.根据10所述的系统，其中，所述处理部件被配置成：
[0140] 确定区域中是否存在所述元素，其中，所述元素被确定为与所述一个或更多个人 对应；以及
[0141] 当所述区域中存在所述元素时发送停止工业自动化设备的自动化命令。
[0142] 18. -种用于进行工业自动化控制的方法，包括：
[0143] 经由传感器系统检测工业自动化系统中的一个或更多个人的位置和/或运动；
[0144] 基于检测的所述位置和/或运动经由编程的计算机系统确定所述一个或更多个 人是否与被授权的状态相关联；以及
[0145] 基于所述区别来实施控制和/或通知动作。
[0146] 19.根据18所述的方法，其中，检测的所述位置和/或运动包括基于姿势的登入运 动。
[0147] 20.根据18所述的方法，包括：
[0148] 经由所述传感器系统检测衣物被置于所述一个或更多个人身上；以及
[0149] 当所述衣物被置于所述一个或更多个人身上时，经由所述编程的计算机系统确定 所述一个或更多个人与被所述被授权的状态相关联。
[0150] 21.根据18所述的方法，其中，经由所述编程的计算机系统确定所述一个或更多 个人与被所述授权的状态相关联包括：
[0151] 经由所述传感器系统检测所述一个或更多个人的一个或更多个面部特征和/或 身体参数；
[0152] 将检测的所述面部特征和/或所述身体参数与人的一个或更多个轮廓进行比较； 以及
[0153] 基于所述比较来确定所述一个或更多个人与所述被授权的状态相关联。
[0154] 22.根据18所述的方法，其中，经由所述编程的计算机系统确定所述一个或更多 个人与所述被授权的状态相关联包括：
[0155] 经由所述传感器系统检测被置于所述一个或更多个人上的一种或更多种颜色；以 及
[0156] 当所述颜色与所述被授权的状态相关联时，确定所述一个或更多个人与所述被授 权的状态相关联。
[0157] 23.根据18所述的方法，其中，经由所述编程的计算机系统确定所述一个或更多 个人与所述被授权的状态相关联包括：从置于所述一个或更多个人上的一个或更多个传感 器接收一个或更多个信号，其中，所述一个或更多个信号与所述被授权的状态相关联。
[0158] 24.根据23所述的方法，其中，所述一个或更多个传感器包括射频识别（RFID)传 感器。
[0159] 虽然在本文中示出并描述了本发明的仅某些特征，但是本领域普通技术人员可以 想到很多修改和变化。因此，应理解所附权利要求意在覆盖所有落入本发明真正的精神之 内的这类修改和变化。
【权利要求】
1. 一种用于进行工业自动化控制的方法，包括： 经由传感器系统检测工业自动化系统中的一个或更多个人和/或一个或更多个物体 的位置和/或运动； 基于检测的所述位置和/或运动经由编程的计算机系统将一个或更多个人与一个或 更多个物体进行区别；以及 基于所述区别来实施控制和/或通知动作。
2. 根据权利要求1所述的方法，其中，所述人中的一个被指定为被授权的操作者，其中 所述人中的一个与不是被授权的操作者的其他人相区别。
3. 根据权利要求2所述的方法，其中，基于由所述被授权的操作者携带或者穿戴的物 件来区别所述被授权的操作者。
4. 一种用于进行工业自动化控制的系统，包括： 传感器系统，被配置成检测工业系统中的元素的位置和/或运动； 处理部件，被配置成： 基于检测的所述位置和/或运动来确定所述元素对应于一个或更多个人还是一个或 更多个物体；以及 基于所述元素对应于一个或更多个人还是一个或更多个物体向所述工业系统中的环 境控制设备发送命令。
5. 根据权利要求4所述的系统，其中，所述处理部件被配置成通过将检测的所述位置 与和人相关联的位置的已知模式进行比较来确定所述元素对应于所述一个或更多个人还 是对应于所述一个或更多个物体。
6. 根据权利要求4所述的系统，其中，所述处理部件被配置成通过将检测的所述运动 与和人相关联的运动的已知模式进行比较来确定所述元素对应于所述一个或更多个人还 是对应于所述一个或更多个物体。
7. -种用于进行工业自动化控制的方法，包括： 经由传感器系统检测工业自动化系统中的一个或更多个人的位置和/或运动； 基于检测的所述位置和/或运动经由编程的计算机系统确定所述一个或更多个人是 否与被授权的状态相关联；以及 基于所述区别来实施控制和/或通知动作。
8. 根据权利要求7所述的方法，其中，检测的所述位置和/或运动包括基于姿势的登入 运动。
9. 根据权利要求7所述的方法，包括： 经由所述传感器系统检测衣物被置于所述一个或更多个人身上；以及 当所述衣物被置于所述一个或更多个人身上时，经由所述编程的计算机系统确定所述 一个或更多个人与被所述被授权的状态相关联。
10. 根据权利要求7所述的方法，其中，经由所述编程的计算机系统确定所述一个或更 多个人与被所述授权的状态相关联包括： 经由所述传感器系统检测所述一个或更多个人的一个或更多个面部特征和/或身体 参数； 将检测的所述面部特征和/或所述身体参数与人的一个或更多个轮廓进行比较；以及 基于所述比较来确定所述一个或更多个人与所述被授权的状态相关联。
【文档编号】G05B19/418GK104102185SQ201410068308
【公开日】2014年10月15日 申请日期:2014年2月27日 优先权日:2013年2月27日
【发明者】史蒂文·J·斯科特, 通·T·阮, 大卫·D·布兰特, 托尼·吉巴尔蒂, 加里·D·多森 申请人:洛克威尔自动控制技术股份有限公司