用于监测设备的方法、装置和系统与流程

相关申请

本申请是2017年9月28日提交的序列号为15/718,874的美国专利申请的继续申请，该申请通过引用整体结合于此。

本公开总体上涉及监测，并且更具体地涉及用于监测设备的方法、装置和系统。

背景技术：

常规的监测系统通常依赖于来自传感器的警报和事件流的分析来推断已经表现出的异常条件。然而，机械故障可能在时间段内呈现出对行为参数的间接的和扩散的相关性。因此，机械故障可能会逃脱检测，直到出现诸如严重降级的时刻。

附图说明

图1是用于监测根据本公开的一些教导构造的示例交通工具中实现的系统和结构的示例设备的示意图。

图2是图1的调节器1150的示例实现方式的框图。

图3a-图3c图示了根据本公开的一些教导的示例图像传感器将示例图像数据提供至图1的示例调节器的示例实现方式。

图4a-图4b图示了根据本公开的一些教导的分别在第一时刻和在第二时刻来自图3a-图3c的示例图像传感器的示例图像数据。

图5a-图5b呈现了可以被执行以实现图1-图2的示例调节器的计算机可执行指令的流程图表示。

图6图示了由图1-图2的示例调节器根据图5a-图5b的示例指令来来自图1和/或图3a-图3c的示例图像传感器的示例图像数据的表示。

图7图示了用于由图1-图2的示例调节器用于从来自图1和/或图3a-图3c的示例图像传感器的示例图像数据形成示例印象的示例训练模型。

图8图示了由图1-图2的示例调节器根据图5a-图5b的示例指令对来自图1和/或图3a-图3c的示例图像传感器的示例图像数据进行的示例实现。

图9是图示可以执行图5a-图5b的指令以实现图1-图2的示例调节器的示例处理器平台的框图。

这些图并未按比例绘制。如在本专利中所使用，记载任何部件(例如，层、膜、区域或板)以任何方式定位在(例如，定位在、位于、设置在或形成在等)另一部件上指示被引用部件与该另一部件接触，或者被引用部件在该另一部件上方并且一个或多个中间部件位于该被引用部件与该另一部件之间。记载任何部件与另一部件接触意味着在这两个部件之间没有中间部件。

具体实施方式

常规的监测系统可能无法检测机械系统的降级。在人工操纵的系统(诸如，有驾驶员的交通工具)中，交通工具传感数据由人类补充，人类可以注意到交通工具性能的细微变化、不寻常的噪音、不寻常的气味等，并且可评估进一步调查的必要性。此类常规监测系统使用来自系统传感器(例如，发动机转速、振动、胎压等)的数据流作为指示符，但这些数据流有时证明不足以发现问题或指示问题的严重性。自主系统同样从内部传感器接收数据流，并分析数据流以从中得出推断。这种监测范式(paradigm)和分析适用于简单的降级机制。例如，低胎压指示符足以对低胎压发出警报。然而，各种机械故障机制可能被证明难以经由车载传感器进行诊断。例如，吹气的汽缸垫可能以多种方式表现(例如，缺火、降低的压缩、过热、散热器盖的膨胀、流体的腐蚀、漏油、冷却液泄漏、发白的排气等)。

根据本公开的一些教导，自主设备(例如，自主陆地交通工具、自主航空交通工具、无人机、机器人、航天器、工业设备或机械等)和/或人工操纵的设备(例如，地面交通工具、飞行器、船舶等)实现示例调节器以监测一个或多个系统、子系统或组件以评估装置/设备(包括任何(多个)系统、(多个)子系统或(多个)组件)的损坏和/或降级。示例调节器有助于消除人类在环内(in-the-loop)执行对自主设备的人工筛查，并有助于增加设备的自主性。

图1是用于监测在示例设备110中实现的系统和结构的示例系统100的示意图，该示例设备110可以是自主的或人工操纵的。虽然图1的示例描绘了设备110，但本文中的教导同样应用于其他类型的自主设备和/或人工操纵设备，诸如上文所述的那些。

如图1所示，设备110包括交通工具的一个或多个区域(例如，发动机舱、(多个)电动机、底盘、制动系统等的一个或多个区域)中的一个或多个示例图像传感器120(以下简称“图像传感器120”)。在一些示例中，图像传感器120包括热图像传感器、空间图像传感器和/或光学图像传感器。图1还示出了设备110在交通工具的一个或多个区域中包括一个或多个示例传感器125(例如，一个或多个压力传感器、一个或多个振动传感器、一个或多个速度传感器和/或一个或多个加速度传感器等)，以为设备110的一个或多个系统或子系统提供遥测数据。

图像传感器120用于获得图像传感器120被设置在其中的设备110的(多个)区域的示例图像数据，诸如，热图像数据、空间图像数据和/或光学图像数据。在一些示例中，图像传感器120可以包括来自比利时melexis公司的非接触式mlx90620温度测量设备，该设备包括被构造用于产生热值的实时图的16×4元件远红外(fir)热电堆传感器阵列。在一些示例中，图像传感器120包括如实感^tm(realsense^tm)深度模块d400的空间图像传感器。

图像传感器120经由示例通信路径130(诸如，硬连线的通信路径或无线通信路径)将图像数据输出到示例调节器150。在一些实施例中，调节器150被设置在设备110内。例如，调节器150可被设置在仪表板中、座椅下或设备110的后备箱中。在一些示例中，调节器150被设置在远程位置(例如，设置在设备110的外部、设置在与设备110不同的区域中，等等)。如下文所述，调节器150处理来自图像传感器120的图像数据，并经由通信设备155将图像数据和/或其衍生物输出到示例rf广播塔160和/或示例网络165。

在一些示例中，通信设备155包括诸如发射机、收发机、调制解调器和/或网络接口卡之类的设备，以促进经由rf广播塔160和/或网络165与一个或多个外部机器170(例如，任何种类的计算设备、计算机、服务器等)交换图像数据。在一些示例中，通信设备155可经由以太网连接、数字订户线(dsl)、电话线、同轴电缆、蜂窝电话系统、10base-t连接、火线(firewire)连接器、或通用串行总线(usb)连接器直接地或间接地(例如，经由一个或多个中间设备)与网络165通信。因此，尽管在图1的示例中指示了示例rf广播塔160和示例通信设备155，但在一些示例中，示例调节器150经由硬连线的连接(例如，usb连接)连接到一个或多个外部机器170。

图2是图1的调节器150的示例实现方式的框图。在图2的示例实现方式中，调节器150包括示例图像管理器210、示例印象管理器220和示例性印象比较器230。

通常，示例调节器150用于使图像传感器120在第一时刻获得设备110的结构的示例图像数据，可以从该图像数据形成示例印象。印象促进来自传感器数据的实际数据与作为对先前数据应用经训练的模型或印象的结果而计算出的数据之间的比较。例如，在第一示例中，在时刻t-1、t-2、…t-n的先前的数据样本是已知的并且示例调节器150在时刻t接收传感器数据的情况下，调节器150将印象应用于在时刻t-1、t-2、…t-n的数据样本，并使用印象计算针对时刻t的所估计的数据。然后，调节器150将时刻t的所估计的数据与时刻t的实际数据进行比较，并确定关于比较是有利的(例如，“良好”状态)还是不利的(例如，“不良”状态)的裁定。在第二示例中，在时刻t-1、t-2、…t-n的先前的数据样本是已知的并且示例调节器150在时刻t接收传感器数据的情况下，调节器150将印象应用到在时刻t、t-1、t-2、…t-n的数据样本，并确定关于比较是有利的(例如，“良好”状态)、不利的(例如，“不良”状态)还是“未知”的裁定。可以在每次数据采样之后，周期性地或非周期性地不断更新印象。例如，在一些示例中，调节器150使用批量数据周期性地更新印象。在一些示例中，当新分类响应于遥测数据或外部专家系统而变得可用时，调节器150更新印象。印象允许调节器150确定所测量的数据是否接近被预测的数据，其中调节器150通过将所预测的数据与所测量的数据(例如，神经网络“前馈”评估)进行比较来计算裁定(例如“良好”状态或“不良”状态)并修改或更新印象以整合调节器150先前不熟悉的输入数据(例如，神经网络“反向传播”或训练)。

示例图像管理器210用于从图像传感器120接收示例图像数据并处理该示例图像数据，并用于将图像数据传递到示例印象管理器220以用于处理。在一些示例中，示例图像管理器210响应于来自调节器150的请求而获得设备110的结构的图像数据。

示例印象管理器220用于使用图像数据以形成由图像传感器120成像的设备110的结构的印象或经训练的模型。在一些示例中，将与由图像传感器120获得的图像数据相对应的值分配给图像传感器120的视场或视点中的每个体积和/或表面积。在一些示例中，印象可以是表示神经网络(例如，人工神经网络(ann)、递归神经网络(rnn)、卷积神经网络(cnn)、深度神经网络(dnn)等)或行为的某些其他表示(例如，“决策树”、支持向量机(svm)、逻辑回归(lr)等)的矩阵中的一组权重。使用来自图像传感器120的数据来训练印象(例如，更新矩阵系数等)。例如，热图像传感器将输出图像数据，包括在视场中每个点或像素处的温度读数(例如，640x480热图像传感器可以包括307,200个像素)，并且空间图像传感器将(例如，经由飞行时间)输出视场中每个点或像素(例如，3d图像传感器的点云等)处的距离。用于温度和/或距离的点云数据被带入到共同参考系(例如，极坐标系、笛卡尔坐标系等)。训练的结果是容纳或整合了图像数据中的有效变化的经修改的印象。

在一些示例中，印象可以包括原始数据(诸如，由所选择的坐标系定义的体积或表面积中的温度)或原始数据的衍生量(诸如，给定体积内的空间热梯度图和/或空间热梯度映射到系数向量上的映射(例如，radon变换))的布置。示例印象管理器220可以使用图像数据的任何表达方式来唯一地标识成像的操作状态。例如，印象管理器220可以经由数学变换、线性变换、矩阵表示、线性映射、特征值分解、小波分解、几何多尺度分析、多边形3d模型、曲面模型、非均匀有理基样条(nurbs)曲面模型、多边形网格将图像数据转换为替代表示，并且以适当的格式(例如，作为标准细分语言(stl)文件、标准acis文本(sat)文件和/或obj几何文件或任何其他3d建模文件格式)存储和/或导出表示。

在一些示例中，由设备110(例如，交通工具等)的制造商提供初始印象，并且使用来自图像传感器120的图像数据更新初始印象。

在一些示例中，示例印象比较器230用于将印象应用于在时刻t-1、t-2、……t-n的图像数据的样本，并用于计算针对时刻t的所估计的图像数据。然后，印象比较器230将针对时刻t的所估计的图像数据与来自针对时刻t的来自成像器120的实际图像数据进行比较，以确定针对时刻t的所估计的图像数据与在时刻t的实际图像数据之间的对应性的水平。然后，印象比较器230作出关于实际数据是否对应于“已知良好”状态或“已知不良”状态的裁定。在一些示例中，示例印象比较器230用于将印象应用于在时刻t、t-1、t-2、……t-n的图像数据的样本，并且用于计算针对时刻t的裁定所估计的图像数据(例如，“已知良好”状态、“已知不良”状态、“未知”状态等)。

在一些实例中，印象管理器220(例如，通过radon变换、hough变换、funk变换、变换的组合等)将空间梯度和/或热梯度映射到系数向量上以形成和/或更新印象，并且印象比较器230用于比较在不同时刻的图像数据集合之间的向量空间中的基向量，以确定检测图像数据与已知状态(例如，良好状态、不良状态等)和/或未知状态之间的对应性。

在一些示例中，调节器150将示例印象和/或与印象有关的图像数据、或其衍生量输出到示例存储器250。在与设备的操作状态相对应的示例操作状态管理器252中，示例存储器250包括示例印象254，该示例印象254包括与印象254和/或其衍生量有关的图像数据。在一些示例中，操作状态管理器252在多个操作状态(例如，一个或多个“已知良好”状态、一个或多个“已知不良”状态等)之间进行区分。操作状态管理器252还包括示例第一图像数据集256和示例第一图像数据集256后继的图像数据集一直到示例第n图像数据集258，其中n是任意整数。在一些示例中，第一图像数据集256和/或另一其他图像数据集到第n图像数据集258包括多于一个图像数据集(例如，来自多个不同时刻的多个图像数据集)。在一些示例中，第一图像数据集256由设备110的供应商预加载到存储器250中。

在一些示例中，存储器250在设备110本地。在一些示例中，存储器250在设备110远程，并且调节器150与存储器250之间的通信经由通信设备155和/或经由通信设备155和任何中间设备(诸如，rf广播塔160和/或网络165)。

虽然图2中图示了实现图1的调节器150的示例方式，但图2汇总所图示的元件、过程和/或设备中的一个或多个可以被组合、被拆分、被重新布置、被省略、被消除和/或以任何方式被实现。进一步地，示例图像管理器210、示例印象管理器220和/或示例印象比较器230和/或更一般地，图2的示例调节器150可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如，示例图像管理器210、示例印象管理器220和/或示例印象比较器230和/或更一般地，示例调节器150中的任何一个可以由一个或多个模拟或数字电路、逻辑电路、(多个)可编程处理器、(多个)专用集成电路(asic)、(多个)可编程逻辑器件(pld)和/或(多个)现场可编程逻辑器件(fpld)实现。当阅读本专利的装置或系统权利要求中的任一项涵盖纯粹的软件和/或固件实现时，示例图像管理器210、示例印象管理器220和/或示例印象比较器230和/或更一般地，示例调节器150中的至少一者由此被明确地限定为包括包含软件和/或固件的非暂态计算机可读存储设备或存储盘，诸如，存储器、数字多功能盘(dvd)、紧凑盘(cd)、蓝光盘，等等。更进一步地，图1的示例调节器150可以包括附加于或替代于图2中所示的那些元件、过程和/或设备的一个或多个元件、过程和/或设备，和/或可以包括所图示的元件、过程和设备中任何或所有元件、过程和设备中的多于一个元件、过程和设备。

在图5a-图5b中示出了表示用于实现图2的调节器150的示例机器可读指令的流程图。在本示例中，机器可读指令包括用于由处理器(诸如，结合图9在下文讨论的示例处理器平台900中示出的处理器912)执行的程序。程序能以存储于诸如cd-rom、软盘、硬驱动器、数字多功能盘(dvd)、蓝光盘或与处理器912相关联的存储器之类的非暂态计算机可读存储介质上的软件来具体化，但是整个程序和/或其部分可替代地由除处理器912之外的设备执行，和/或以固件或专用硬件来具体化。进一步地，尽管参考图5a-图5b中所图示的流程图描述了示例程序，但是可以替代地使用实现示例调节器150的许多其他方法。例如，可改变框的执行次序，和/或可改变、消除或组合所描述的框中的一些框。附加地或替代地，可由被结构化为执行对应的操作而不执行软件或固件的一个或多个硬件电路(例如，分立和/或集成模拟和/或数字电路、现场可编程门阵列(fpga)、专用集成电路(asic)、比较器、运算放大器(op-amp)、逻辑电路等)来实现框中的任何框或所有框。

如上文所提及，可以使用存储于非暂态计算机和/或机器可读介质上的经编码的指令(例如，计算机和/或机器可读指令)实现图5a-图5b的示例过程，该非暂态计算机和/或机器可读介质诸如硬盘驱动器、闪存、只读存储器、紧凑盘、数字多功能盘、高速缓存、随机存取存储器和/或在其中信息被存储达任何持续时间(例如，在扩展时间段内、永久地、达简短的实例、用于临时缓冲和/或用于对信息的高速缓存)任何其他存储设备或存储盘。如本文中所使用，术语非暂态计算机可读介质被明确地限定为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。“包含”和“包括”(及其所有形式和时态)在本文中用作开放式术语。因此，每当权利要求列出跟随任何形式的“包含”或“包括”(例如，包括、包含等)的任何内容时，要理解的是，附加的要素、项等可以存在而不超出对应权利要求的范围。如本文所使用，当短语“至少”被用作权利要求的前序部分中的过渡术语时，其与术语“包含”和“包括”方式相同是开放式的。

图3a示出了被设置在示例发动机舱结构304中的示例图像传感器302。示例图像传感器302包括由电源(未示出)供电的示例激光器310，该示例激光器310被设置用于在示例光电传感器320处发射准直的光315的示例光束。在一些示例中，光电传感器320包括光电二极管。激光器310可以包括任何波长(例如，650-1550nm之间的任何波长)的任何激光器，并且可以包括例如二极管激光器或半导体激光器。在一些示例中，图像传感器302包括adafruitvl53l0x飞行时间距离传感器。在一些示例中，用于激光310的电源包括实现图像传感器302的设备(例如，自主和/或人工操纵设备、设备110等)的电池。图像传感器302和光电传感器320形成光学电路的部分，其中，准直的光315的入射光束的光子被转换成表示激光器310与光电传感器320之间的对准的电流。光电传感器320上的准直的光315的入射光束的强度的变化可以指示示例发动机舱结构304的一部分相对于发动机舱结构304的另一部分的移位。

在一些示例中，图像传感器302包括产生所测量的值的向量的多个图像传感器302，其中图像传感器302中的每一个图像传感器产生相对于时间可组合的标量值作为n向量上的元组，其中n是任何整数。

图3b示出了被设置在示例发动机舱结构325中的示例图像传感器302。在一些示例中，示例图像传感器325是飞行时间图像传感器，诸如但不限于，距离选通图像传感器、直接飞行时间图像传感器或声波测距仪。示例图像传感器325包括由电源(未示出)供电的示例激光器310，该示例激光器310被设置用于在对象330处发射准直的光315的示例光束。示例图像传感器325还包括用于响应于准直的光315的入射光束而接收来自对象330的反射光的光电传感器320。在一些示例中，光传感器320包括与激光器310相近设置的收集透镜，该收集透镜用于将去往该收集透镜的入射光聚焦到固态光电二极管(例如，线性阵列相机、cmos阵列等)上。激光器310可以包括任何波长(例如，650-1550nm之间的任何波长)的任何激光器，并且可以包括例如二极管激光器或半导体激光器。在一些示例中，用于激光器310的电源包括实现图像传感器302的设备(例如，自主和/或人工操纵设备、设备110等)的电池。图像传感器302和光电传感器320构成光学电路的部分，其中入射光332的光子被转换成表示图像传感器325与对象330之间的距离的电流，该电流进而表示图像传感器325与对象330之间的对准。光电传感器320上的入射光332的强度的变化和/或入射光332的相移可以指示示例发动机舱结构304的一部分相对于发动机舱结构304的另一部分的移位。多个点之间的距离数据的组合使得能够开发组成部分的计算几何形状。

图3c示出了被设置在示例发动机舱结构340中的示例图像传感器302。在一些示例中，示例图像传感器340是光检测和测距(lidar)设备或包括示例激光扫描仪345和/或光源的3d相机。在一些示例中，激光扫描仪345用于跨设备的结构的所选择的体积(例如，设备110的发动机舱内的体积等)发射准直的光的扫描光束351，以使用到激光扫描仪345的返回信号中的相移来产生距离信息的点云或深度图。例如，图3c图示了响应于图像传感器340的照明，分别从自主和/或人工操纵设备的结构的示例第一对象370入射的反射光的示例第一锥体360、从自主和/或人工操纵设备的结构的示例第二对象372入射的反射光的示例第二锥体362、以从自主和/或人工操纵设备的结构的示例第三对象374入射的反射光的示例第三锥体364。

来自示例第一对象370、示例第二对象372和示例第三对象374的反射光与图像传感器340的一个或多个透镜和光电传感器相互作用，该图像传感器340经由飞行时间针对点云中每个点产生距离数据。图像传感器340用于建立自主和/或人工操纵设备的结构的所选择的体积(例如，发动机舱内的体积等)的图(例如，距离图和/或热图)，调节器150可以从该图检测对准和温度的偏差。在一些示例中，光源350包括用于对自主和/或人工操纵设备的结构的所选择的体积(例如，发动机舱内的体积等)进行照明的一个或多个发光件。在一些示例中，光源350包括用于输出在一个或多个波长范围(例如，可见光谱、红外光谱等)之内的光的固态二极管、灯和/或灯泡。在一些示例中，图像传感器340包括来自的实感^tm(realsense^tm)技术，诸如，实感^tm深度模块d400系列图像传感器。

在一些示例中，印象管理器220将来自图像传感器120(例如，图像传感器302、325、340)的图像数据与来自自主和/或人工操纵设备的一个或多个附加传感器125的遥测数据进行整合或相关联。例如，由印象管理器220使用以形成和/或更新印象254的图像数据可与来自一个或多个其他传感器125(例如，压力传感器、振动传感器、速度传感器、加速度传感器等)的数据相关联，该一个或多个其他传感器125可操作地与设备(例如，自主和/或人工操纵设备、设备110)的一个或多个系统或子系统相关联。因此，印象比较器230被通知有关操作条件的改变，并且印象比较器230能够情景式地确定所作出的裁定指示改变的操作条件还是指示潜在的故障。

图4a-图4b图示了来自分布在自主和/或人工操纵设备的结构的所选择的体积405的一个或多个位置中的一个或多个示例图像传感器120的示例图像数据。在图4a-图4b的示例中，所选择的体积405包括设备110(例如，基于发动机的交通工具)的发动机舱，并且所选择的结构410包括示例发动机。在图4a-图4b中，为了清楚起见，移除了设备110的发动机罩。在一些实例中，一个或多个图像传感器120被布置在发动机罩的下侧上以面向所选择的体积405和所选择的结构410。

图4a表示在第一时刻的示例图像数据，并且图4b表示在第二时刻的示例图像数据。在图4a中，第一组组件被示为具有第一温度梯度420，第二组组件被示为具有第二温度梯度430，并且第三组组件(包括示例组件445)被示为具有第三温度梯度440，这些温度梯度由不同的填充度表示。在所图示的示例中，第二温度梯度430大于第一温度梯度420，并且第三温度梯度440大于第二温度梯度430。

在图4b中，第一组组件被示为具有第一温度梯度420，第二组组件被示为具有第二温度梯度430，并且第三组组件被示为具有第三温度440。

然而，与图4a相比，图4b示出第三组组件中的组件445具有高于第三温度梯度440的第四温度梯度450。

在图5a-图5b和图6-图8中通过示例的方式描述了利用图4a-图4b的示例数据的示例比较。

图5a-图5b的程序或指令开始于图5a中的示例框505处的程序500，其中调节器150的图像管理器210从图像传感器120(例如，302、325、340)接收n组图像数据，其中n表示任何整数(例如1、2、3等)。在图5a的示例框510处，图像管理器210和/或调节器150从(多个)传感器125接收n组遥测数据。在一些示例中，在框515处，图像管理器210和/或调节器150可以对来自图像传感器120的图像数据和/或来自传感器125的遥测数据执行预处理。预处理可以用于例如抑制数据中的失真、消除数据中的噪声、增强数据和/或使数据标准化。例如，图像管理器210可以将图像数据转换到适当的坐标系中并转换为适合于由图像管理器210和/或印象管理器220进一步处理的格式(例如，将激光扫描仪数据逐点转换成光栅模型或下游处理可接受的其他格式、纠正图像数据的灰度值、执行用于识别均匀区域的边缘检测和分割方法、采用用于对由图像数据表示的(多个)结构的区域进行分类的分类方法等)。

然后，在图5a的示例框520处，印象管理器220用于形成印象254或更新印象254，并在示例框522处用于将印象254存储在物理的、非暂态存储介质中。在一些示例中，印象管理器220从图1的图像传感器120和/或图3a-图3c的图像传感器302、325和/或340接收图像数据，并且在框520处将图像数据转换成印象254，该印象254包括表示针对所选择的体积405和/或所选择的结构410(例如，设备110的发动机舱中的空间的体积等)的图像数据的数据向量的阵列。在一些示例中，当在图5a的框520处形成印象254或更新印象254之后，控制往回传递到框505以用于接收附加的图像数据。

图5b示出开始于示例框525的示例指令524，其中，调节器150的图像管理器210从图像传感器120(例如302、325、340)接收图像数据(例如，一组图像数据、n组图像数据等)。在框530处，图像管理器210和/或调节器150从(多个)传感器125接收遥测数据(例如，一组图像数据、n组图像数据等)。

在一些示例中，在示例框535和/或示例框540处，图像管理器210和/或调节器150可以分别对来自图像传感器120的图像数据和/或来自传感器125的遥测数据执行预处理。预处理可以用于例如抑制数据中的失真、消除数据中的噪声、增强数据、使数据标准化和/或将图像数据转换到适当的坐标系中并转换为适合于(诸如，由印象管理器220和/或印象比较器230)进一步处理的格式。

在示例框545处，印象比较器230将印象254应用于图像数据。例如，调节器150可以使用印象管理器220从操作状态管理器252访问印象254，并且将印象254应用于图像数据在时刻t-1、t-2、……t-n的先前样本。如上文所述，印象254可以包括例如，空间梯度和/或热梯度映射到系数向量上的映射或表示神经网络(例如，ann/rnn/cnn/dnn、“决策树”、支持向量机、lr等)的矩阵中的一组权重上。在示例框545处，印象比较器230还可以应用印象254以基于被应用于图像数据在时刻t-1、t-2、……t-n的先前样本的印象来计算针对时刻t的所估计的数据。在框550处，印象比较器230使用印象和图像数据，诸如通过将时刻t的所估计的数据的印象254与时刻t的实际数据进行比较来确定裁定。在框555处，印象比较器230作出关于在时刻t的所估计的数据的印象254与在t的实际数据的比较是否是有利的且是否反映良好的裁定(例如，反映设备110的已知的“良好”状态)的裁定。在一些示例中，在数据在时间t-1、t-2、…t-n的先前样本是已知的情况下，在框550处，印象比较器230将印象254应用于在时刻t、t-1、t-2，…t-n的数据样本以确定裁定，并且在框555处，确定裁定对应于良好裁定还是不良裁定。

如果在框555处的结果为“是”，则控制传到示例框560，在框560处，调节器150和/或印象比较器230确定来自设备110的(多个)传感器125的遥测数据是否在可接受的限值内。如果在框555处的结果为“否”，则控制传到示例框565，在框565处，印象比较器230作出关于在时刻t的所估计的数据的印象254与在时刻t的实际数据的比较是否是不利的且反映不良的裁定(例如，反映设备110的已知的“不良”状态)的裁定。在一些示例中，在数据在时刻t-1、t-2、t-n的先前样本是已知的情况下，在框555处，印象比较器230将印象254应用于在时刻t、t-1、t-2，t-n的数据样本，并且在框555处，确定关于比较是否是不利的且反应不良的裁定的裁定。

如果在框565处的结果为“否”，则控制传到示例框570，在框570处，印象比较器230和/或调节器150将图像数据存储在存储器250中以供稍后评估。然后，控制传到示例框560，如上文所讨论，在框560处，调节器150和/或印象比较器230确定来自设备110的(多个)传感器125的遥测数据是否在可接受的限值内。

在框560处，如果来自设备110的(多个)传感器125的遥测数据在可接受的限值内(即，结果为“是”)，则控制传递到示例框575，在框575处，印象比较器230和/或调节器150更新印象254以并入图像数据作为“良好”(例如，反映正常的操作条件、反映正常的结构的条件等)。然后，控制传到框525。如果来自设备110的(多个)传感器125的遥测数据不在可接受的限值内，并且在框560处的结果为“否”，则控制传到示例框580。在框580处，印象比较器230和/或调节器150更新印象254以并入图像数据作为“不良”(例如，反映异常的操作条件、反映异常的结构条件等)。然后，控制往回传递到框585。在框585处，印象比较器230和/或调节器150将图像数据存储在存储器250中以用于稍候评估。然后，控制传到示例框590。在框590处，调节器150和/或印象比较器230输出与印象254和/或图像数据有关的偏差报告(例如，在本地向控制器报告、在远程向中央设施或服务器报告等)。如果特定的偏差报告(例如，自主或人工操纵设备的结构或系统的特定位置的温度、自主或人工操纵设备的结构或系统的位移等)稍后与特定的性能问题和/或维护问题正向相关联，则可以将印象和/或图像数据标记为已知问题印象。特别是对于多个类似地配置的设备110(例如，无人机机队、交通工具车队等)，由一个设备110发布的、通知潜在和/或实际性能和/或维护问题的偏差报告可以使得不仅对一个设备110，而且对其他类似地配置的设备110都可以实现问题的趋势走向、有针对性的预防性维护和及时的纠正动作。

图6图示了由图1-图2的调节器150根据图5a-图5b的示例流程图进行的对来自图1和/或图3a-图3c的图像传感器120的示例图像数据600的表示。在图6中，一系列输入数据向量610a-610f、cl(t0)-cl(t5)表示由图像传感器120在所选择的体积405(例如，设备110的发动机舱中的空间中的4x4体积等)上5个不同时刻(即t0-t5)输出的图像数据。在一些示例中，输入数据向量610a-610n、cl(t0)-cl(tn)(其中n是任何整数)被展开成示例列616a-616n和示例行618a-618n的示例阵列614。阵列614中的每一列(例如，616a)和行(例如，618a)由与设备110的部分(诸如，所选择的体积)在特定时刻的图像数据(例如，温度等)相对应的示例块620表示。

第一输入数据向量610a表示在第一时刻(t0)的所选择的体积405的图像数据。所选择体积405的块620中的每一个块具有均匀的第一温度，该第一温度被表达为图6的第一输入数据向量610a中的均匀填充。第二输入数据向量610b表示在第二时刻(t1)的所选择的体积405的图像数据。所选择的体积405的每个块620(保存块622)具有第一温度，第一温度被表达为图6的第二输入数据向量610b中的均匀填充。块622被示出为具有高于第一温度的第二温度，该第二温度被表达为与第一温度的填充不同的填充。第三输入数据向量610c表示在第三时刻(t2)的所选择的体积405的图像数据。所选择的体积405的每个块620(保存块624和块626)具有第一温度，第一温度被表达为图6的第三输入数据向量610c中的均匀填充。块624被示出为具有高于第二温度的第三温度，该第三温度被表达为与第二温度的填充不同的填充。块626被示出为具有高于第一温度的第二温度，该第二温度被表达为与第一温度的填充不同的填充。

第四输入数据向量610d表示在第四时刻(t3)的所选择的体积405的图像数据。所选择的体积405的一些块620具有第一温度，块628被示出为具有高于第三温度的第四温度，并且块630被示出为具有第三温度，其中使用不同的填充来表达不同的温度中的每一个温度。第五输入数据向量610e表示在第五时刻(t4)的所选择的体积405的图像数据。所选择的体积405的一些块620被示出为具有第一温度，块632被示出为具有第四温度，并且块634被示出为具有更高的第三温度，其中使用不同的填充来表达不同的温度中的每一个温度。第五输入数据向量610e的框636被示出为具有第二温度。第六输入数据向量610f表示在第六时刻(t5)的所选择的体积405的图像数据。所选择的体积405的一些框620被示出为具有第一温度、框638被示出为具有第四温度、以及框640和框642被示出为具有第三温度。

图7图示了由图1的调节器150用于从由图1和/或图3a-图3c的图像传感器120的图像数据形成和/或更新针对设备110的印象254的示例训练模型。

图7示出了设备110随时间的示例输入数据向量(cl(tx))，其中示例第一训练样本702在第一时刻发生、示例第二训练样本704在第二时刻发生，并且示例第三训练样本706在第三时刻发生。在一些示例中，多个训练样本用于开发印象254，以将正常变化(诸如，传感器测量的变化(例如，传感器准确性等)和/或操作系统性能的非实质性变化)考虑在内。

在第一训练样本702、第二训练样本704和第三训练样本704的每一个中，行618f、618g和618j包括展现比其余块620更高的温度的块620，其余块620均处于第一温度708。在第一训练样本702中，行618f示出了列616a(cl(t-3))处的块620具有高于第一温度708的第二温度710，列616b(cl(t-2))处的块620具有高于第二温度710的第三温度712，列616c(cl(t-1))处的块620具有高于第三温度712的第四温度714，并且列616n(cl(t)处的块620被示出具有第四温度714。第一训练样本702的行618g示出了列616a(cl(t-3))处的块620具有第一温度708，列616b(cl(t-2))处的块620具有第二温度710，列616c(cl(t-1))的块620具有第三温度712，并且列616n(cl(t))处的框620被示出具有第三温度712。第一训练样本702的行618j示出了在列616n(cl(t))处的框620具有第二温度710。

在第二训练样本704和第三训练样本706中，行618f示出了列616a(cl(t-3))处的块620具有第三温度712，列616b(cl(t-2))处的块620具有第四温度，列616c(cl(t-1))处的块620具有第四温度，并且列616n(cl(t))处的块620具有第四温度714。第一训练样本702的行618g示出了列616a(cl(t-3))处的块620具有第二温度，列616b(cl(t-2))处的块620具有第三温度，列616c(cl(t-1))处的块620具有第三温度，并且列616n(cl(t))处的块620具有第三温度。第二训练样本704的行618j示出了在列616c(cl(t-1))处的块620具有第二温度，并且在列616n(cl(t))处的块620具有第三温度。

在一些示例中，诸如在图7的示例中所示出，来自图像传感器120的图像数据或其衍生量经由调节器150和通信设备155从设备110经由rf广播塔160和/或网络165被传送到外部机器170(例如，任何种类的计算设备、计算机、服务器等)。

如上文所述，在一些示例中，印象254的训练包括神经网络、决策树、支持向量机(svm)、和/或其他机器学习应用的实现印象254的训练可以包括例如响应于来自图像传感器120的图像数据而更新矩阵或系数，以修改印象254来适应图像数据中的有效变化。在图7的示例中，将训练模型(例如，反向传播模型、基于决策树的模型等)应用于历史图像数据(例如，第一训练样本702和第二训练样本704)和当前图像数据(例如，第三训练样本704)，使得印象或经训练的模型将根据历史图像数据来预测接近当前图像数据的图像数据。换句话说，如果期望训练印象254以预测将来的值，则经由结果(x1，y1)、(x2，y2)、...(xn，yn)的多个示例有利地通知训练过程，其中x将是输入数据的向量，并且y将是期望的输出。在印象254的训练过程期间，印象254的系数被调整以并入输入图像数据模式的“知识”，直到印象开始近似或实际上近似期望的输出。此时，在设备110的正常的、已知的行为的情况下，图像数据到印象254中的进一步的输入应当产生接近于实际图像数据的所得到的输出，而可以标识偏离实际图像数据的所得到的输出(例如，与实际图像数据相差超过预定百分比差值的错误预测、与实际图像数据相差超过预定阈值的错误预测等)。

在一些示例中，印象254在设备110的正常操作期间进行训练达足够的时间，以便印象254在设备110出现异常行为的任何潜在可能性之前学习设备110的实际行为。在一些示例中，设备110可以在存储器250中包括供应商供应的印象254(例如，预训练模型的系数的值等)。

图8图示了由图1-图2的调节器150根据图5a和/或图5b的示例指令来实现来自图1和/或图3a-图3c的图像传感器120的图像数据的表示。具体而言，图8表示在设备110的操作期间印象254的监测阶段。在图8的左侧是设备110(例如，示例自主或人工操纵设备等)的示例历史805的表示。在图8中，示例历史805与上文关于图7描述的训练样本704相对应。在一些示例中，输入数据向量(cl(tx))(例如，图8的cl(t-3)、cl(t-2)和cl(t-1))经由函数f(例如，从训练样本导出的预测模型、以神经网络形式的预测函数、经由决策树学习模型的调整、关联规则学习模型等)被分析以产生印象254或经训练的模型，包括预期值831a-831p的示例阵列830(例如，包含基于历史值的预测的分布的数据向量n^*l(t)等)。将n^*l(t)和(cl(tx))被标准化为共同的基。

图8的示例阵列850,图像数据对应于实际温度，并且更具体地，示例行851a-851e指示第一温度708、示例行851f指示第四温度714、示例行851g指示第四温度714、示例行851h-851i指示第一温度708、示例行851j指示第四温度714，并且示例行851k-851p指示第一温度708。

然后，由印象比较器230将预期值831a-831p与对应于实际图像数据的示例阵列850中的数据向量(cl(t))的示例行851a-851p进行比较。

在一些示例中，将阵列850的行851a-851p的数据向量(cl(t))(例如，图像数据的实际值)与阵列830的预期值831a-831p的行的数据向量(n^*l(t))(例如，印象254的预期值)进行比较，以确定对应的数据向量之间的任何比较(例如，行851a的数据向量与行831a的数据向量的比较等)是否大于阈值差。在一些示例中，在数据向量表示温度(例如，绝对温度，温度梯度等)的情况下，阈值差可以以温度差(例如，1°f、2°f、3°…10°f、20°f、30°f等的差)的形式来表达。为了说明，行851j的数据向量c10(t)被示出为与第四温度714相对应，而行831j的数据向量n^*10(t)(例如，印象)被示出为与第三温度712相对应，指示它们之间的差。在一些示例中，在数据向量表示距离或尺寸的情况下，阈值差可以以尺寸差(例如，0.1mm、0.2mm、0.3mm等的差)的形式来表达。在一些示例中，阈值差经由绝对差的和、差的平方和等来确定。

图9是能够执行图5a-图5b的指令以实现图2的示例调节器150的示例处理器平台900的框图。处理器平台900可以是例如服务器、个人计算机、移动设备(例如，蜂窝电话、智能电话、诸如ipad^tm之类的平板设备)、交通工具控制器、无人机控制器、机器人设备控制器、个人数字助理(pda)、互联网设备或任何其他类型的计算设备。

所图示示例的处理器平台900包括处理器912。所图示示例的处理器912是硬件。例如，处理器912可以由来自任何所期望的家族或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器实现。硬件处理器可以是基于半导体的(例如，硅基)器件。在此示例中，处理器912实现调节器150、图像管理器210、印象管理器220和印象比较器230。

所图示示例的处理器912包括本地存储器913(例如，高速缓存)。所图示示例的处理器912经由总线918与包括易失性存储器914和非易失性存储器916的主存储器进行通信。易失性存储器914可由同步动态随机存取存储器(sdram)、动态随机存取存储器(dram)、rambus动态随机存取存储器(rdram)和/或任何其他类型的随机存取存储器设备实现。非易失性存储器916可由闪存和/或任何其他所期望类型的存储器设备实现。由存储器控制器控制对易失性存储器914和非易失性存储器916、本地存储器和/或主存储器的访问。

所图示示例的处理器平台900还包括接口电路920。接口电路920可由任何类型的接口标准实现，诸如，以太网接口、通用串行总线(usb)和/或pci快速接口。

在所图示示例中，一个或多个输入设备922被连接至接口电路920。(多个)输入设备922准许用户将数据和/或命令输入至处理器912中。(多个)输入设备可以由例如音频传感器、麦克风、相机(静止的或视频)、键盘、按钮、鼠标、触摸屏、轨迹板、轨迹球、等点鼠标和/或语音识别系统实现。

一个或多个输出设备924也被连接至所图示示例的接口电路920。输出设备924可例如由显示设备(例如，发光二极管(led)、有机发光二极管(oled)、液晶显示器、触摸屏、触觉输出设备、打印机和/或扬声器)实现。因此，所图示示例的接口电路920典型地包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。

所图示示例的接口电路920还包括诸如发射机、接收机、收发机、调制解调器和/或网络接口卡之类的通信设备，以促进经由网络165(例如，以太网连接、数字订户线(dsl)、电话线、同轴电缆、蜂窝电话系统等)与外部机器(例如，任何种类的计算设备)交换数据。

所图示示例的处理器平台900还包括用于存储软件和/或数据的一个或多个大容量存储设备928。此类大容量存储设备928的示例包括软盘驱动器、硬盘驱动器、紧凑盘驱动器、蓝光盘驱动器、raid系统和数字多功能盘(dvd)驱动器。

图5a-图5b的经编码的指令932可被存储在大容量存储设备928中，存储在易失性存储器914中，存储在非易失性存储器916中，和/或存储在诸如cd或dvd之类的可移除有形计算机可读存储介质上。

根据前述内容，将会领会，已经公开了能够早期检测各种已知和/或不可预见故障并且能够早期干预的示例方法、装置和制品。这对于自主设备是特别有利的，它可以帮助在自主设备变得不可恢复之前检测问题，并且检测具有高度的相似性的设备，因为在一个自主和/或人工操纵设备上获得的知识可以应用于其他类似的自主和/或人工操纵设备。

示例1是一种监测系统，该监测系统包括：图像传感器，该图像传感器用于获得设备的图像数据；以及调节器，该调节器用于使得图像传感器：获得设备的图像数据；从图像数据形成印象；使用该印象和图像数据以生成针对设备在预定时刻的状态的预期值；并且将针对在预定时刻的结构的图像数据与所生成的预期值进行比较。

示例2包括如示例1的监测系统，其中，图像传感器包括热图像传感器、空间图像传感器、和光学图像传感器中的至少一者，并且其中图像数据包括热图像数据、空间图像数据、和光学图像数据中的至少一者。

示例3包括示例1或示例2的监测系统，其中，图像传感器包括热图像传感器和空间图像传感器，其中图像数据包括热图像数据和空间图像数据。

示例4包括示例1-3中任一项的监测系统，其中，图像传感器用于：在设备的操作期间，经由图像传感器获得设备的图像数据。

示例5包括示例1-4中任一项的监测系统，其中，图像传感器用于：在设备的多个操作期间，经由图像传感器获得设备的图像数据。

示例6包括示例1-5中任一项的监测系统，其中，印象从多组图像数据形成。

示例7包括示例1-6中任一项的监测系统，其中，进一步包括用于存储印象或图像数据中的至少一者的非暂态机器可读介质。

示例8包括示例1-7中任一项的监测系统，其中，印象包括设备的结构的所选择的体积内的空间梯度或热梯度中的至少一个到系数向量上的映射，以允许在相应的基础空间上与来自图像数据的实际值进行比较。

示例9包括示例1-8中任一项的监测系统，其中，调节器用于当将设备在预定时刻的图像数据与从印象中生成的预期值进行比较之后，确定来自监测设备的一个或多个系统或子系统的仪器的遥测数据是否在可接受的限值内。

示例10包括示例1-9中任一项的监测系统，进一步包括通信设备，该通信设备用于将印象、图像数据、或与印象相关的偏差报告中的至少一者传递到远程设备。

示例11包括示例1-10中任一项的监测系统，其中，调节器用于响应于由印象生成的预期值与图像数据的实际值之间的差而生成偏差报告。

示例12包括示例1-11中任一项的监测系统，其中，远程设备包括与该设备类似地配置的另一个设备。

示例13包括示例1-12中任一项的监测系统，其中，远程设备包括与多个类似地配置的设备进行通信的中央服务器或服务。

示例14是一种用于设备的自动化监测的方法，包括：在设备的操作状态期间，对设备进行成像以获得第一图像数据；从第一图像数据形成印象；在设备的后续操作状态期间，对设备进行成像以获得第二图像数据；使用该印象估计第二图像数据的值；以及将第二图像数据的所估计的值与第二图像数据的实际值进行比较。

示例15包括权利要求14的用于自动化监测的方法，并且进一步包括：确定第二图像数据的所估计的值与第二图像数据的实际值之间的差是否小于阈值差。

示例16包括权利要求14或权利要求15的用于自动监测化的方法，并且进一步包括：确定来自该设备的传感器的遥测数据是否在可接受的限值内。

示例17包括权利要求14-16中任一项的用于自动化监测的方法，并且进一步包括：在遥测数据在可接受范围内时，更新印象以并入第二图像数据作为良好数据。

示例18包括权利要求14-17中任一项的用于自动化监测的方法，并且进一步包括：在来自设备的传感器的遥测数据不在可接受的限值内时，更新印象以并入第二图像数据作为不良数据。

示例19包括权利要求14-18中的任一项的用于自动化监测的方法，并且进一步包括：输出偏差报告。

示例20包括权利要求14-19中的任一项的用于自动化监测的方法，并且进一步包括：在确定第二图像数据的所估计的值与第二图像数据的实际值之间的差小于阈值差之后，将第二图像数据的所估计的值和与不良结果相对应的已知值进行比较，以确定第二图像数据的所估计的值是否对应于不良结果。

示例21包括权利要求14-20中的任一项的用于自动化监测的方法，并且进一步包括：在确定第二图像数据的所估计的值与不良结果相对应时，输出偏差报告。

示例22包括权利要求14-21中的任一项的用于自动化监测的方法，并且进一步包括：如果第二图像数据的所估计的值被确定为不与不良结果相对应，则确定来自设备的传感器的遥测数据是否在可接受的限值内。

示例23包括权利要求14-22中任一项的用于自动化监测的方法，并且进一步包括：在遥测数据在可接受的限值内时，更新印象以并入第二图像数据作为良好数据。

示例24是一种系统，该系统包括：成像装置，该成像装置用于获得设备的图像数据；以及调节装置，该调节装置用于使得图像传感器：获得设备的图像数据；从图像数据形成印象；使用该印象和图像数据以生成针对设备在预定时刻的状态的预期值；并且将针对设备在预定时刻的图像数据与所生成的预期值进行比较。

示例25包括权利要求24的系统，其中，成像装置包括热成像装置、空间成像装置、和光学成像装置中的至少一者，并且其中图像数据包括热图像数据、空间图像数据和光学图像数据中的至少一者。

示例26包括权利要求24或权利要求25的系统，其中，成像装置包括热成像装置和空间成像装置，并且其中图像数据包括热图像数据和空间图像数据。

示例27包括权利要求24-26的系统，其中，成像装置用于：在设备的操作期间，经由成像装置获得设备的图像数据。

示例28包括权利要求24-27的系统，其中，成像装置用于：在设备的多个操作周期之间，经由成像装置获得设备的图像数据。

示例29包括权利要求24-28中任一项的系统，其中，印象从多组图像数据形成。

示例30包括权利要求24-29的系统，进一步包括通信装置，该通信装置用于将以下至少一者传送到远程设备：印象、图像数据、或响应于从印象生成的预期值与图像数据的实际值之间的差超过阈值差的、与印象有关的偏差报告。

示例31是一种非暂态机器可读介质，包括可执行指令，当可执行指令被执行时，使得至少一个处理器用于：在设备的操作状态期间，对设备进行成像以获得第一图像数据；从第一图像数据形成印象；在设备的操作状态期间，对设备进行成像以获得第二图像数据；使用印象估计第二图像数据的值；并将第二图像数据的所估计的值与第二图像数据的实际值进行比较。

示例32包括权利要求31的非暂态机器可读介质，并且进一步包括可执行指令，当可执行指令被执行时，使得至少一个处理器确定第二图像的所估计的值与第二图像数据的实际值之间的差是否小于阈值差。

示例33包括权利要求31或权利要求32的非暂态机器可读介质，并且进一步包括可执行指令，当可执行指令被执行时，使得至少一个处理器确定来自设备的传感器的遥测数据是否在可接受的限值内。

示例34包括权利要求31-33的非暂态机器可读介质，并且进一步包括可执行指令，当可执行指令被执行时，使得至少一个处理器在遥测数据在可接受限值内的情况下，更新印象以并入图像数据作为良好数据。

示例35包括权利要求31-34的非暂态机器可读介质，并且进一步包括可执行指令，当可执行指令被执行时，使得至少一个处理器在来自设备的传感器的遥测数据不在可接受限值内的情况下，更新印象以并入图像数据作为不良数据。

示例36包括权利要求31-35的非暂态机器可读介质，并且进一步包括可执行指令，当可执行指令被执行时，使得至少一个处理器在第二图像的所估计的值与第二图像数据的实际值之间的差大于阈值差时，输出偏差报告。

示例37是一种监测系统，该监测系统包括：图像传感器，用于获得设备的图像数据；以及调整器，用于使得图像传感器：获得设备的图像数据；从图像数据形成印象；使用印象和图像数据以确定裁定。

示例38包括权利要求37的监测系统，其中，裁定通过以下方式来确定：使用印象和图像数据生成针对设备在预定时刻的状态的预期值，并将针对设备在预定时刻的图像数据与所生成的预期值进行比较。

示例39包括权利要求37或权利要求38的监测系统，其中，映像用于直接使用图像数据来确定裁定。

尽管本文中已公开了某些示例方法、设备和制品，但本专利涵盖的范围并不限于此。相反，本专利涵盖落入本专利权利要求范围内的全部方法、设备和制品。例如，尽管本文的示例已经公开了图像传感器120的实现方式以获得表示指定体积405中一个或多个对象的温度的图像数据，但是在一些示例中，非接触式温度计(高温计)和/或接触式温度计阵列(多个温度计)可被放置在一个或多个零件的表面上以提供温度数据来代替图像数据。