用于评估资产健康状况的系统和方法与流程

本公开涉及资产检查。更具体地，本公开涉及用于评估资产或其一个或多个子部件的健康状况或性能的系统和方法。

背景技术：

在许多工业应用中，资产的例行检查可以帮助延长这些资产的使用寿命，因为检查可以发现需要更换或维修的损坏零件。例如，在航空应用中，例行检查发动机以监测其整体健康状况和性能。在检查发动机时，可以进行基于管道镜的检查(bsi)来查看各种发动机子部件；bsi通常包括捕获图像序列，每个图像都是一帧，可以对其进行分析以表征该帧中描绘的子部件的一个或多个方面。

在一个示例性用例中，典型的bsi系统可以使用插入发动机中以便到达感兴趣的子部件的探针来捕获视频；然后，通过反复试验，训练有素的bsi系统操作员可以基于视频或视频帧选择子部件的良好视图。然后，操作员可以通过将探针致动到发动机内的另一个位置来移至下一个子部件。bsi方法中的这些典型步骤会导致捕获许多图像，其中只有少数显示了子部件缺陷的最佳视图。通常，由专家基于这些选定的少数帧来决定子部件的状况。因此，检查的质量在很大程度上取决于能够从许多捕获的帧中适当地定位这些感兴趣的帧；这个过程本质上是困难的，并且主观上取决于技术人员的技能。因此，当前的检查方法不仅效率低下，而且还容易出错。

技术实现要素：

本文描述的实施例帮助解决或减轻上述问题以及本领域中已知的其他问题。例如，在一个实施例中，提供了一种用于识别资产的部件中的缺陷的系统。该系统包括处理器和包括指令的存储器，该指令在由处理器执行时使处理器进行与识别缺陷一致的操作。例如，操作可以包括从检查系统获取由检查系统检查资产的部件而获得的多个图像。操作可以包括基于被编码并包括为指令的一部分的图像处理技术，从多个图像中识别图像的子集。图像的子集表示资产的部件中的缺陷，并且图像处理技术选自由自动遇险排序技术，结构相似性技术，均值减去滤波技术和hessian范数计算技术组成的组。

在另一个实施例中，提供了一种用于识别资产的部件中的缺陷的方法。该方法包括通过缺陷识别系统从检查系统获取通过检查系统检查资产的部件而获得的多个图像。该方法还包括通过缺陷识别系统基于图像处理技术从多个图像识别图像的子集。图像的子集表示资产的部件中的缺陷，并且图像处理技术选自由自动遇险排序技术，结构相似性技术，均值减法滤波技术和hessian范数计算技术组成的组。

下面参考附图描述各种实施例的附加特征，操作模式，优点和其他方面。注意，本公开不限于本文描述的特定实施例。呈现这些实施例仅出于说明性目的。基于所提供的教导，其他实施例或所公开的实施例的修改对于相关领域的技术人员将是显而易见的。

附图说明

说明性实施例可以采取各种部件和部件布置的形式。附图中示出了说明性实施例，在所有附图中，贯穿所有附图，相似的附图标记可以指示相应或相似的部分。附图仅出于说明实施例的目的，并且不应被解释为限制本公开。给定以下使能附图的描述，本公开的新颖方面对于相关领域的普通技术人员将变得显而易见。

图1示出了根据本文描述的若干方面的系统。

图2示出了根据本文描述的若干方面的方法。

图3示出了根据本文描述的若干方面的方法。

图4示出了根据本文描述的若干方面的方法。

图5示出了根据本文描述的若干方面的系统。

具体实施方式

虽然本文针对特定应用描述了说明性实施例，但是应当理解，本公开不限于此。本领域技术人员以及能够接触本文提供的教导的人员将认识到在本发明的范围内的另外的应用、修改和实施例以及其中本公开将在很大程度上有用的另外的领域。

例如，本文中所描述的一个或多个实施例可以是一种系统，该系统从检查系统获取的帧集合中自动确定最佳帧。在一个实施例中，通过首先使用均值减法滤波器对图像序列进行预处理，然后监视图像信息的hessian范数，来识别最佳帧(例如，感兴趣的一个或多个帧)。可以基于一个或多个标准来选择“最佳”帧，例如，上述一个或多个预处理操作的结果。在另一个实施例中，示例性系统可以被构造为基于不同部件的最大曝光而从视频中选择帧；选择可以使用结构相似性方法等来实现。这样，实施例消除了检查过程的主观性，从而提供了一致性和准确性。

在示例性实施例中，不需要对所有捕获的帧进行遇险排序方法，除了提高了检查的准确性之外，这使得发动机的健康评估比典型的检查方法快约100倍。实施例还提供了用于遇险排序算法的训练数据集，如果操作者决定在评估发动机健康状况和性能时使用此类算法。这样，实施例除了增加可靠性之外还可以减少训练时间。

实施例赋予若干优点。例如，本文描述的一个或多个实施例可以自动估计在检查期间记录的缺陷的程度。此外，实施例可以自动地提供关于缺陷的附加信息统计，从而提供用于连续时间和/或连续值的缺陷度量的装置。因此，该实施例有助于重新定义排序程序，并且因此，它们减少了当前处理中的误差，该误差不能通过<1(连续)的步长进行离散化。

实施例还允许跟踪遇险进展，因此它们有助于预测零件更换并优化计划的维护周期或资产的准时交付。此外，实施例允许进行连续的遇险排序方法(drm)，并且当与操作参数结合时，实施例可以帮助建立遇险趋势和预测。

另外，在一个或多个示例性实施例中，可以将获取的图像渲染到计算机辅助设计(cad)模型上，以使检查员能够相对于正在检查的所设计(或所制造)的子部件评估实际的遇险。在替代方案中，可将示例性系统构造为使用合成图像(即，渲染到cad模型上的图像)自动(即，无需用户干预)相对于正在检查的所设计或所制造的子部件评估实际的遇险。

通常，实施例包括智能和动态的部件健康状况监测系统，其结合了可编程检查硬件和嵌入式图像处理技术来表征零件故障，并考虑历史和基于物理的观察而自动提供建议。此外，通常，实施例有助于减少发动机评估所需的时间，并且它们提高了评估的可靠性。此外，实施例帮助增强自动遇险排序算法的可靠性，并且它们还帮助减少准备用于训练自动遇险排序算法的数据集所需的时间。

实施例包括动态推荐系统，其通过对高级数据获取、分析技术和基于物理的考虑因素进行无缝集成来实现部件遇险排序。它们可以允许关键帧提取，其为工程师提供了新的，减少的但准确的数据集，该数据集可用于基于发动机健康状况来建立更有效的分析。它们的实施例还提供了可以存储以供以后使用的标准化和一致的图像。实施例还由于对连接区域的数量和缺陷区域的分布进行了内置量化而提供了改进的预测模型。实施例还允许设计，操作和维护数据与图像分析和基于物理的数据自动统一，从而导致增强的预测分析。后一种功能通过利用和自定义深度学习方法进行分析，减少了典型检查程序的繁琐人工工作。

实施例允许图像采集的实时流传输，这导致快速，可缩放，有效和轻量的图像或视频处理。这样可以允许进行各种下游分析，从而改善了部件评估。通常，实施例的性能以及检查的质量并不取决于检查工程师的技能和知识。

示例性实施例还可以被构造为基于至少五个步骤来识别感兴趣的关键帧。例如，可以使用每个帧的概括信息(例如汉明范数)来做出决定。可以使用结构相似性方法来提供附加信息，该方法与绝对像素值无关，并且使用像素值的内部依赖性来工作。这种方法对部件的外部结构变化(例如裂缝，变色等)不敏感。

实施例还可以帮助量化缺陷。这是通过一种算法来实现的，该算法通过识别机器学习模型测量标记为缺陷的像素。可以提供不同的统计度量，例如连接区域的数量，这些区域的分布以及受影响最大的区域，以改善下游分析。

除了上述新颖性和技术优点的技术要点之外，实施例还具有若干商业优点，这些优点解决了工业中当前未满足的需求。例如，实施例提供了更快的检查，从而避免花费更多的时间来找到通过检查获得的视频中的部件的最佳视图。这将减少由于操作员疏忽而导致的缺陷遗漏，由于操作员疏忽而导致的缺陷遗漏可能是有害的，因为如果在检查过程中遗漏了有故障的部件可能会进一步造成损害。因此，实施例降低了维修成本并改善了飞行器发动机的翼上时间。

实施例可以利用诸如模式识别算法的图像识别算法，并且如果在使用算法处理图像的同时满足特定条件，则可以将帧确定为感兴趣的帧。例如，这样的标准可以是均方误差(mse)。然而，通常，示例性方法或系统可以独立于绝对像素值，并且可以使用像素值的内部依赖性来工作，因为像素依赖性携带有关视觉场景中对象结构的重要信息。在实施例中，cnn可以用作深度学习技术来直接训练深度神经网络，该神经网络可以直接量化部件的损害，而不是在两个步骤(检测和量化)中实现部件评估。

已经概括地描述了实施例的特性和若干优点，现在关于图1讨论示例性实施例。图1中描绘的示例性系统100包括多个部件和子系统，其被构造为进行资产111的检查并检测资产111的部件101的一个或多个缺陷，而无需用户干预。系统100包括评估系统108，该评估系统108被构造为从视频102(或图像104a，104c和104n的集合)和检查系统103提供的参考帧104(或图像)中确定。检查系统103可以是，例如但不限于，管道镜检查系统。

检查系统103被构造为经由插入资产111中的探针获取视频102，具体地，以检查部件101。在一个示例性用例中，可以致动探针，使得视频102包括部件101的若干视图和/或类似于部件101的多个部件的若干视图。检查系统103可以进一步被构造为提供参考帧104，该参考帧104可以是代表部件101的已知无缺陷部分的一组帧。例如，参考帧104可以在第一次调试资产111或部件101时已经被保存在检查系统103的存储器中，或者其可以是处于原始状态的类似部件的图像。

系统100还包括评估系统108，评估系统108被构造为从检查系统103获取视频102和参考帧104。评估系统108还被构造为从来自视频102的图像(即，帧)的集合来确定，以选择感兴趣的关键帧，即，分别对应于部件101的缺陷的图像110的子集。这里的缺陷可能是由于长时间使用而导致的变形，裂缝或任何其他不理想的结构变化，这些变化可能会增加在资产111的操作过程中部件101发生故障的风险。

在此之后，根据对一个或多个与航空相关的部件的检查来描述系统100的操作和各个方面。如本文所解释，视频是图像(即，帧)序列，并且可以从图像序列确定的信息的质量取决于许多因素。例如，对于航空发动机的管道镜视频，一些因素可能是(并非穷尽)相机的操作，照明条件，感兴趣部件的可及性，捕获角度，捕获位置，探针的特定移动以及相机规格。尽管这些因素可能会导致视频102的质量较差，但系统100仍被构造为识别感兴趣的关键帧。

作为非限制性示例，在检查发动机的一个或多个叶片的情境下描述了系统100。在典型的检查中，检查系统103的探针通过靠近叶片的管道镜端口被引入发动机，并被支持在方便的位置。然后将叶片组从外部缓慢旋转(通常是手动)，以使叶片绕其轴线旋转。视频中捕获的是从背景开始聚焦的一个叶片，最初部分可见，然后慢慢完全聚焦，然后随着下一个叶片进入视野而移出。因此，存在叶片的最大可见性的位置/时间。后一种情况能够为正确确定叶片提供最佳视图。

系统100被构造为在由管道镜捕获的所有帧中识别与叶片的最佳视图相对应的这些关键帧。根据可以由评估系统108执行的示例性方法200如下执行该识别。示例性方法200如图2所示。方法200在步骤202开始，并且特征在于步骤204，该步骤包括在每个帧上应用均值减法滤波器以标准化部件(即，在该示例中，在管道镜的相机的视野中的叶片)的照明/照射。也可以结合使用类似高斯平滑的其他滤波器或代替均值减法滤波器使用类似高斯平滑的其他滤波器。

方法200的特征在于步骤206，该步骤206包括将获取的每个帧(或调查中的每个帧)转换为灰度，以进一步对正在分析的所有帧序列进行标准化。方法200还包括生成度量，该度量概括每个帧的信息(步骤208)。例如但不限于，可以使用汉明范数来概括特定统计信息。方法200进一步包括(在步骤210)在概括信息和所检查的一组帧之间生成时间图。在一个实施例中，评估系统108被构造为确定时间图是否表现出周期性趋势，例如但不限于正弦曲线。方法200包括识别和/或收集与检测到的周期性趋势中的最大位置相对应的所有帧(步骤212)。对应于这些最大值的帧是具有显示叶片的大部分图像的帧。换句话说，与序列汉明范数的每个周期的最大值相对应的帧是所需的关键帧。这些是具有最大所需信息的帧。同样，对应于每个周期的最小值的帧具有较少关于叶片的信息，但是具有更多关于背景的信息，在一些实施例中，其也可以是检查值。然后，方法200可以包括发布收集的帧(步骤214)并在步骤216处结束。

在另一个实施例中，评估系统108可被构造为克服基于结构相似性方法识别具有最大曝光量的帧的问题。在该实施例中，结构相似性方法独立于绝对像素值，并且使用像素值的内部依赖性来工作，因此评估系统108能够识别具有不同部件的最大曝光量的帧并且对部件外部结构变化(如裂缝，变色等)不敏感。在这种方法中，图像中空间上接近的像素将具有很强的内部依赖性，因此会携带有关视觉场景中对象结构的重要信息。示例性方法200因此可以包括基于视频质量的阈值调整以过滤右帧，以及内部阈值调整以避免标记相同部件的多个帧。

在又一个实施例中，系统100被构造为以将改善当前损伤分析模型的方式量化已经在部件上检测到的缺陷。例如，可以在输入图像上使用用于缺陷识别的机器学习算法来标记缺陷区域。在叶片检查的上述示例中，由评估系统108检测到、然后经由评估系统108的缺陷检测模块进行处理的关键帧标记出原始图像中与叶片中的缺陷相对应的像素。

例如，这些缺陷来自散裂，氧化，破裂，材料去除或其他的预训练集。评估系统108使用该集作为输入以进行方法300(图3)，从而量化这些缺陷。方法300开始于步骤302，并且包括将输入分离为与来自训练集中的每个感兴趣的缺陷模式相对应的二进制图像(步骤304)。方法300进一步包括从检查中获取的每个帧进行相同的分离(步骤306)。在二进制图像中，作为缺陷的区域是值为+1的像素，而未受影响的区域为值为0的像素(步骤308)。应当注意，按照惯例将二进制值分配给缺陷和无缺陷区域，因此不是限制性的。

方法300包括找到连接区域的数量(310)。连接区域是具有值+1且彼此接触的像素的集合，从而在连接区域内，可以从任何起始像素遍历到该区域中的任何其他像素，而不会跳过任何像素。取决于部件和缺陷，可以有任意数量的这种连接区域。然后，方法300为每个图像中的每个缺陷提供连接区域的区域分布(312)。方法300还提供这些连接区域的累积和。然后将这些用于更好地表示发动机中的部件的状况。例如，不同叶片之间的分布差异表示每个叶片的不同的健康水平。这样，方法300有助于改善用于预测寿命的分析模型，从而维修或移除部件，因为可以使用示例性方法300和系统100对缺陷进行量化并因此进行分类。方法300然后在步骤314结束。

在又一个实施例中，系统100可以被构造为执行方法400(图4)。方法400包括以视觉形式的带注释的(标记区域，其表示在视觉图像或帧中的检测到的损坏区域)损害模式，如图像或视频帧格式。方法400包括可以利用图像处理技术来确定一组特征，包括但不限于：零件损坏程度(面积或长度)，性质(特定于损坏模式：示例：扩展与局部)，例如形状的几何属性，纹理(光滑的、磨蚀的、有图案的或颗粒状的)，形式(连续或波浪形)，颜色(渐变变化和阴影图案)，相对于图像边缘的取向以及为每种损坏模式定义的严重性度量。

通常，方法400包括向视觉输入提供注释，其帮助对每个前述损坏模式进行分类，即区分。图像或帧的这些带注释的特征在像素级别进行处理，以提取上述每个损坏模式的相关度量。具体地，方法400在步骤402开始，并且包括提取特定的通道像素值(例如，rgb)，从而进行通道分割(步骤404)。方法400还包括基于例如像素值来识别跨图像或帧区域的颜色梯度(步骤406)。

方法400进一步包括根据与启发式条件匹配的分割或隔离区域，确定在通道中编码为与特定损伤模式有关的启发式方法的智能(步骤408)。这些可以包括：裁剪，遮罩，平滑，添加噪点，混合，几何变换或卷积。然后，方法400包括(步骤410)，从以上识别出的区域生成损坏模式的度量，例如形状，形式，几何属性，纹理和颜色。除了以上操作之外，为了量化损坏的程度，方法400可以包括使用诸如图像内的大的隔离区域的最大连续区域识别的操作(步骤412)。方法400还包括使用对于每个图像识别的这些单独的最大连续区域的信息来概括包括总像素面积，面积百分比，最大连续像素面积的度量(步骤414)。这些度量基于特定标准来提供分区(位置)和部件信息。方法400还包括生成一组规则和知识库数据库模块，其对于不同部件和损坏模式以及输入要求维护必要信息。方法400进一步包括使用与上述度量一致的量化信息，对于损伤模式以及帧或图像内的位置中的每一个生成一个或多个报告或输出(步骤416)，并且方法400在步骤418处结束。一个或多个输出或报告的格式可以是符合下游系统的指定格式(例如，分析，诊断，安全，操作，维护计划)。

图5示出了根据示例性实施例的系统500。系统500可以被构造为实现上述用于缺陷识别的一种或多种方法。系统500包括专用处理器514，其被构造为执行特定于评估资产的健康状况和/或性能的任务。处理器514具有由存储在存储器502中的指令和/或由指令518赋予的特定结构，指令518可以由处理器514从存储介质520获取。存储介质520可以与处理器514位于同一位置，或者可以位于其他位置，并经由通信接口516通信地联接到处理器514。

系统500可以是独立的可编程系统，也可以是位于更大系统中的可编程模块，该更大系统本身可以集中或分布在各个位置或计算基础架构中，计算基础架构例如是基于云的计算基础架构。处理器514可以包括被构造为获取，解码，执行，存储，分析，分发，评估和/或分类信息的一个或多个硬件和/或软件部件。此外，处理器514可以包括输入/输出模块(i/o模块512)，该输入/输出模块可以被构造为摄取与单个资产或资产群有关的数据。处理器514可包括一个或多个处理设备或核(未示出)。在一些实施例中，处理器514可以是多个处理器，每个处理器具有一个或多个核。处理器514可以被构造为执行从存储器502(即，从存储块504，存储块506，存储块508和存储块510之一)获取的指令。

在不失一般性的情况下，存储装置520和/或存储器502可以包括易失性或非易失性，磁性，半导体，带，光学，可移动，不可移动，只读，随机访问或任何类型的非暂时性计算机可读计算机介质。存储介质520可以被构造为记录在处理器514的操作期间处理、记录或收集的数据。可以以与数据存储实践一致的各种方式对数据加时间戳，加位置戳，编目，索引或组织。存储装置520和/或存储器502可以包括程序和/或处理器514可以用来进行与本文所述的处理和/或方法一致的任务的其他信息。

例如，但不限于，处理器514可以由来自存储块506，存储块508和存储块510的指令构造，以进行导致表示来自资产511的部件501的一个或多个缺陷513的图像507的子集的识别的操作。处理器514可以执行来自存储块506、508和510的前述图像处理指令515，这将使处理器514进行与监视发动机的部件的健康状况和/或性能相关联的某些操作。该操作可以包括从检查系统500获取从检查系统503对资产511的部件501的检查中获取的多个图像505。该操作可以包括基于被编码并且作为指令的一部分被包括在存储块506、508和510中的图像处理技术，从多个图像505中识别图像507的子集。图像507的子集代表资产511的部件501中的缺陷。图像处理技术选自由自动遇险排序技术，结构相似性技术，均值减去滤波技术和hessian范数计算技术构成的组。

注意，尽管已经在航空应用的背景下并且使用bsi方法描述了实施例，但是它们可以用于进行检查而不必使用bsi的许多工业应用中。这样，相关领域的技术人员将理解，可以在不脱离本公开的范围和精神的情况下构造上述实施例的各种改编和修改。因此，应当理解，在所附权利要求的范围内，可以不同于本文具体描述的方式实践本公开。

本发明的进一步方面通过以下条项的主题提供：

1.一种用于识别资产的部件中的缺陷的系统，所述系统包括：处理器；存储器，所述存储器包含指令，所述指令在由所述处理器执行时使所述处理器进行操作，所述操作包括：从检查系统中获取由所述检查系统检查所述资产的所述部件而获得的多个图像；基于被编码并包括作为所述指令的一部分的图像处理技术，从所述多个图像中识别图像的子集，其中，所述图像的子集表示所述资产的所述部件中的所述缺陷，并且其中，所述图像处理技术选自由自动遇险排序技术、结构相似性技术、均值减法滤波技术和hessian范数计算技术组成的组。

2.根据任何在前条项所述的系统，其中，所述操作进一步包括：获取所述部件的cad模型，并将来自所述图像的子集的指定图像渲染到所述cad模型上。

3.根据任何在前条项所述的系统，其中，所述操作进一步包括：从通信地联接至所述系统的数据库中获取所述cad模型。

4.根据任何在前条项所述的系统，其中，所述操作进一步包括：识别表示所述缺陷的所述指定图像的一个或多个区域。

5.根据任何在前条项所述的系统，其中，所述资产是发动机。

6.根据任何在前条项所述的系统，其中，所述检查系统包括管道镜检查系统。

7.根据任何在前条项所述的系统，其中，所述操作进一步包括：从视频提取所述多个图像。

8.根据任何在前条项所述的系统，其中，所述多个图像包括所述部件的多个视图。

9.根据任何在前条项所述的系统，所述操作进一步包括：基于来自所述图像的子集的指定图像来提供与所述缺陷相关联的度量。

10.根据任何在前条项所述的系统，其中，所述度量独立于来自所述图像的子集的指定图像的绝对像素值。

11.根据任何在前条项所述的系统，其中，所述度量基于来自所述图像的子集的指定图像的概括信息。

12.根据任何在前条项所述的系统，其中，所述概括信息包括汉明范数。

13.根据任何在前条项所述的系统，其中，所述操作进一步包括：提供数据集，所述数据集包括基于所述图像处理技术从所述图像的子集生成的度量。

14.根据任何在前条项所述的系统，其中，所述操作进一步包括：基于所述数据集训练神经网络或深度学习系统。

15.根据任何在前条项所述的系统，其中，所述操作进一步包括：基于所述训练的结果来提供另一数据集，所述另一数据集表示所述部件的预测性能。

16.一种用于识别资产的部件中的缺陷的方法，所述方法包括：通过缺陷识别系统从检查系统获取通过所述检查系统检查所述资产的所述部件而获得的多个图像；通过所述缺陷识别系统基于图像处理技术，从所述多个图像中识别图像的子集，其中，所述图像的子集表示所述资产的所述部件中的所述缺陷，并且其中，所述图像处理技术选自由自动遇险排序技术、结构相似性技术、均值减法滤波技术和hessian范数计算技术组成的组。

17.根据任何在前条项所述的方法，进一步包括：获取所述部件的cad模型，并将来自所述图像的子集的指定图像渲染到所述cad模型上。

18.根据任何在前条项所述的方法，进一步包括：从通信地联接到所述系统的数据库中获取所述cad模型。

19.根据任何在前条项所述的方法，进一步包括：从视频提取所述多个图像。

20.根据任何在前条项所述的方法，进一步包括：基于所述图像的子集的指定图像来提供与所述缺陷相关联的度量。