用于设备诊断的系统及方法与流程

用于设备诊断的系统及方法
1.相关申请的交叉引用
2.本技术要求于2020年12月9日提交的美国申请63/123,220的优先权，该申请的全部内容通过引用并入本文。
技术领域
3.本文所公开的主题涉及用于设备诊断的系统及方法。


背景技术：

4.设备，如车辆的部件，可以通过诊断来检测其可能没有以预期或理想的方式或模式运行。诊断结果可能因进行诊断的个人的主观性而不同，这样可能会导致不准确的结果。诊断可能没有考虑以前的诊断，这样使得很难确定目前的诊断结果是否正确。如果设备的运行被错误地诊断为符合预期，那么设备的故障可能导致设备(如机车)不能按预期运行。相反，如果组件被检查且错误地被诊断为损坏、缺陷或故障，不必要的部件更换将会导致设备退出服务，增加维修费用。因此，需要改进诊断设备问题的方法。


技术实现要素：

5.根据一个实例或一个方面，方法可以包括录制设备的运行音频，以创建音频文件，并将所述音频文件转换为图像数据。所述方法可以包括将所述图像数据输入到机器学习模型中，以确定所述图像数据指示设备的如预期运行还是设备的非预期运行。
6.根据一个实例或一个方面，系统可以包括用于录制设备的运行以生成音频文件的音频传感器，以及一个或多个处理器。所述一个或多个处理器可以将所述音频文件转换为图像数据，并将所述图像数据输入到机器学习模型中，以确定所述图像数据指示设备的如预期运行还是设备的非预期运行。
7.根据一个实例或一个方面，方法可以包括将车辆系统组件的运行录制成音频文件，并将所述音频文件转换为图像数据。该方法可以包括将所述图像数据输入到机器学习模型中，以确定所述图像数据指示组件的如预期运行还是组件的非预期运行。
附图说明
8.可以参照附图阅读以下非限制性实施例的描述，来理解本发明主题，其中如下：
9.图1示意性地示出了根据一个实施例的用于诊断设备的系统；
10.图2示意性地示出了根据一个实施例的用于诊断设备的方法；
11.图3表示指示设备如预期运行的图像数据；
12.图4表示指示设备根据第一故障模式非预期运行的图像数据；
13.图5表示指示设备根据第二故障模式非预期运行的图像数据；
14.图6示意性地示出了根据一个实施例的用于诊断设备的方法；以及
15.图7示意性地示出了根据一个实施例的用于诊断设备的方法。
具体实施方式
16.本文所述主题的一个或多个实施例涉及一种能够评估抽象或离散音频签名(audio signatures)并提供对设备的反馈和/或评估的装置。机器学习模型的深度学习技术可以对复杂的设备进行诊断，以确定设备的运行是按照预期方式运行还是以非预期方式运行。如果设备的运行是非预期的，那么装置可以从多个不同的运行模式中选择非预期运行模式。可以根据评价改变设备的运行，或根据评价指导设备的维修。
17.本文所述主题的实施例涉及能够评价系统中组件的方法和系统。该组件可以是车辆系统或发电系统的一部分。该组件的运行可修改为能够采集该组件的音频。系统其他组件产生的声音可被过滤掉。系统其他组件可能被停用，以允许采集来自该组件的音频并进行评估和诊断。
18.虽然描述了与轨道车辆系统相关的一个或多个实施例，但并非所有实施例都与轨道车辆系统相关。此外，本文所述的实施例扩展到多种类型的车辆系统。适合的车辆系统可包括轨道车辆、汽车、卡车(带或不带拖车)、公共汽车、海船、飞机、采矿车辆、农业车辆和非公路车辆。这里描述的适合的车辆系统可以由一辆车形成。在其他实施例中，车辆系统可包括以协调方式移动的多辆车辆。一种适合的车辆系统可以是在轨道上行驶的轨道车辆系统，或者是在道路或小路上行驶的车辆系统。对于多车辆系统，车辆可以相互机械耦接(例如，通过耦接器)，或者它们可以虚拟耦接或逻辑耦接、而非机械耦接。例如，当分开的车辆相互通信以协调车辆相互间的运动，从而使这些车辆(例如，作为一个车队、排、群、车队等)一起行驶时，这些车辆可以是通信耦接的，而非机械耦接。
19.关于设备或组件，适合的示例可以包括接受定期诊断的设备。在一个实施例中，组件可以是发动机或车辆系统的组件。例如，设备可以是用于机车发动机的高压燃料泵。在另一个示例中，组件可以是电动机。通常，旋转设备易于使用本发明方法进行诊断。
20.参考图1，一个设备10可以使用音频录制装置12来诊断。根据一个实施例，音频录制装置可以是移动手持装置。移动手持装置可以是智能电话、平板电脑、个人数字助理(pda)、计算机(例如，笔记本电脑)等。音频录制装置可以包括音频采集装置，例如麦克风、振动传感器(例如，加速度计)、一个或多个压电体、或可以接触设备或设备外壳的探针，其可以采集指示待诊断设备的运行音频，并将音频存储为音频文件14。该音频文件可以是原始音频文件。音频录制装置可以(例如通过usb连接)与音频采集装置(例如，外部传感器、探针或麦克风)连接。传感器、探针或麦克风可以放在临近和/或接触设备部件的地方，以生成原始音频文件。音频录制装置可以将音频文件传输给一个或多个处理器，所述处理器可以执行存储在存储器中的指令，以使用机器学习模型对该组件进行确定和评价。例如，确定可以关于设备部件是以期望模式还是非期望模式运行。关于紧密临近，可参照应用的具体参数来选择距离。在一个实施例中，临近可以表示音频采集装置距离组件的一部分在几英寸之内。
21.适合的音频文件可以包括有损和无损文件类型。音频文件类型可以包括：.wav，.mp3，.wma，.aac，.ogg，.midi，.aif，.aifc，.aiff，.au以及.ea。文件类型的选择至少部分取决于压缩比、压缩算法、以及其他应用的特定参数。
22.以车辆的高压燃料泵为例说明该设备。原始音频文件可以是在车辆发动机运行在空闲(即空载或无推进产生)条件或状态下时生成的。音频录制装置或音频采集装置可以放
置为紧密临近燃料泵，音频录制装置或音频采集装置可以在不同位置之间移动(例如，从第一录制位置16，到第二录制位置18，到第三录制位置20，等等)。虽然图示的示例显示在三个地点进行录制，但可选地，可以在更少的地点(例如，一个地点或两个地点)或三个以上的地点进行。如图1所示，录制位置可以从设备的顶部延伸到底部。当音频录制装置或音频采集装置从第一录制位置，移动到第二录制位置，到第三录制位置时，音频录制装置或音频采集装置可以在每个录制位置上方悬停一段时间。根据一个实施例，高压燃料泵的运行可以被录制一段时间，例如，30秒、一分钟或其他时间长度。音频录制装置或音频采集装置可以用于输出两个或多个音频文件。例如，音频录制装置或音频采集装置可以输出车辆第一侧的第一燃料泵的第一音频文件，以及可以采集车辆的第二侧(相对侧)的第二燃料泵的第二音频文件。
23.音频录制装置或音频采集装置可以包括接口13，以接受关于录制条件的输入。例如，音频录制装置或音频采集装置可以接受指示设备的外壳或盖子是打开还是关闭的输入、或者指示外壳或盖子在录制期间是否被移除的输入。音频录制装置的一个或多个处理器可以改变设备的运行，以在录制运行音频之前或期间，突出至少一种感兴趣声音。一个或多个处理器可以通过与车辆或车辆系统(例如，机车)通信来改变车辆系统的油门或发动机速度，从而改变设备的运行。音频录制装置的一个或多个处理器可以电子过滤与运行中的发动机相关联的噪声。
24.一个或多个处理器可以分离根据设备的运行产生的声音。根据一个实施例，待诊断设备是燃料泵，车辆系统在燃料泵中充压但不运行发动机，因此发动机不会产生背景噪音。一个或多个处理器可以致动与被检查的设备可操作地耦接的其他设备或组件，以确定该致动对被检查设备产生的振动或声音的影响。例如，可以致动通过燃料泵接收燃料的燃料喷射器。音频录制装置的一个或多个处理器可以停用一个或多个其他用电装置、例如发动机，以防止一个或多个用电装置在录制车辆系统的设备或组件的运行音频期间产生其他声音。一个或多个处理器可以基于识别出的故障模式改变设备部件的运行，或基于识别出的故障模式指导设备部件的维修。
25.参考图2，根据一个实施例的用于诊断设备的方法22包括将原始音频文件处理24成为标准化音频文件26。该处理可以包括以下一种或多种：向原始音频文件添加随机噪声、移动或改变原始音频文件的音调、或将原始音频文件重新采样到不同时间。例如，原始音频文件可以从30秒重新采样为15秒，以将原始音频文件处理为标准化的音频文件。
26.标准化的音频文件被转换28为图像数据30，例如梅尔谱图。梅尔谱图被提供给机器学习模型32的输入层34。根据一个实施例，该机器学习模型是深度学习的机器学习模型，包括多个隐藏层36、38、40、42。隐藏层位于机器学习模型算法的输入层和输出层44之间。该算法将权重应用于输入(例如，梅尔谱图)并引导输入通过激活函数成为输出。隐藏层对进入输入层的输入进行非线性变换。
27.在一个实施例中，机器学习模型是无监督机器学习模型。隐藏层可能会因机器学习模型的函数不同而不同，另外隐藏层可能会因相关联的权重不同而不同。隐藏层允许将机器学习模型的函数分解为输入数据的特定转换。可以提供每个隐藏层函数以产生定义的输出。例如，可以使用一个隐藏层来识别正在诊断的设备部件的类型。隐藏层可以识别出设备为高压燃料泵。虽然每个隐藏层的函数不足以独立确定图像数据是否代表设备如预期运
行，但多个隐藏层在机器学习模型内联合起作用，以确定输入图像数据(例如，梅尔频谱图)表示设备的如预期运行的概率。
28.可以通过输入层向机器学习模型提供图像数据。图像数据可能来自类似的设备，例如，来自其他高压燃料泵。输入图像数据可能来自同一设备的一个或多个先前诊断。例如，机器学习模型可以包括高压燃料泵的先前图像数据，并确定高压燃料泵先前已经被诊断的次数，例如五次。机器学习模型可以包括先前五次诊断的先前图像数据。机器学习模型可以确定设备先前已经被诊断一定次数，并确定该设备更有可能如预期运行、而不是非预期运行。机器学习模型可以根据输入数据确定正被诊断的设备比已经被诊断的其他设备更旧，从而确定设备随时间退化。
29.根据一个实施例，机器学习模型可以在录制运行的同时参考模型的结果，以提供更准确的决策。再次参考图1，随着音频录制装置或音频采集装置从一个录制位置移动到另一录制位置，一个或多个先前录制位置的结果可以同时用作下一录制位置的参考点。随着音频录制装置或音频采集装置，例如，在发动机中从一个气缸移动到另一个气缸，或在泵中从一个气缸移动到另一个气缸，又或在多个泵中从一个泵移动到另一个泵，机器学习模型的算法可以参考先前的设备部件的行为和评估，并可以同时调整特定于被诊断设备的阈值。在完成对整个设备或系统的评价后，机器学习模型可以调整对设备和设备部件的先前评估。
30.机器学习模型可以存储在音频录制装置的存储器中并由一个或多个处理器执行。音频录制装置的存储器可以存储先前诊断的输入数据，这些数据来自于由该音频录制装置先前执行的诊断，或来自于其他的音频录制装置。机器学习模型的输入数据是未贴标签的、非结构化的，并且通过隐藏层的运作，机器学习模型检测输入图像数据中的图案以及图案中的任何异常。
31.机器学习模型的输出层可以输出结果46，该结果指示设备以预期模式运行，具有的置信度所表示的百分比指示该结果正确。输出层可替代地输出结果48，该结果指示设备以非预期模式运行，具有的置信度所表示的百分比指示该结果正确。根据一个实施例，结果可以指示设备的故障模式。例如，结果可以指示非故障模式，即设备在既定参数内按预期运行。参考图3，输入到机器学习模型中的图像数据50被确定为代表期望设备。根据一个实施例，由机器学习模型确定的结果可以指示设备以非预期的模式运行。参考图4，作为一个示例，图像数据可以包括不规则的、不稳定的图案52，其指示高压燃料泵的非预期运行。作为另一个示例，参考图5，图像数据可以包括可见气穴54，其指示高压燃料泵的非预期运行。
32.参考图6，方法600包括：步骤610，录制设备的运行，以创建音频文件；以及步骤620，将音频文件转换为图像数据。方法包括步骤630，将图像数据输入到机器学习模型中，以确定图像数据指示设备的如预期运行还是设备的非预期运行。
33.参考图7，方法700包括：步骤710，录制车辆系统组件的运行，以创建音频文件；以及步骤720，将音频文件转换成图像数据。方法还包括步骤730，将图像数据输入到机器学习模型中，以确定图像数据指示组件的如预期运行还是组件的非预期运行。
34.一个或多个处理器可以将一个或多个音频文件转换成图像数据。例如，标准化音频文件的音频数据可以使用基于例如具有确定窗口大小的窗函数的快速傅立叶变换(fft)变换为梅尔频谱图的图像数据。该分析可以使用确定的跳跃大小在连续窗口之间对音频文
件采样确定的次数。可以针对每个窗口进行fft计算以从时域变换到频域。梅尔标度可以通过将整个频谱分成确定数量的均匀间隔的频率来生成。然后可以通过针对每个窗口，将信号的幅度分解为其分量(这些分量对应于梅尔标度中的频率)的方式，来生成频谱图。在其他实施例中，可以采用其他变换算法。适合的变换模型可以包括拉普拉斯变换、小波变换和kramers-kronig变换。
35.在一个实施例中，方法可以包括：录制设备的运行音频，以创建音频文件，并将音频文件转换为图像数据。方法可以包括：将图像数据输入到机器学习模型中，以确定图像数据指示设备的如预期运行还是设备的非预期运行。
36.方法可以包括：确定设备在设备的非预期运行中的故障模式。方法可以包括以下一种或多种：基于确定的故障模式改变设备的运行，或基于确定的故障模式指导设备的修理。
37.方法可以包括：在录制设备的运行之前或期间，改变设备的运行以突出至少一个感兴趣音频。设备可以包括在车辆系统中，改变设备的运行可以包括改变车辆系统的油门或发动机速度。设备可以与一个或多个其他用电装置一起运行，且方法可以包括从所录制的该设备的运行的音频中过滤掉由一个或多个其他用电装置生成的音频。设备可以与一个或多个其他用电装置一起运行，且方法可以包括在设备继续运行的同时，停用一个或多个其他用电装置，以防止一个或多个其他用电装置在录制设备的运行过程中生成其他音频。
38.方法可以包括接收指示在录制设备的运行的音频期间设备外壳是否被移除的输入。基于在音频录制期间设备外壳是否被移除，机器学习模型可以确定图像数据指示设备的如预期运行还是设备的非预期运行。将设备的运行录制成音频文件可以包括在多个位置录制运行音频。将图像数据输入到机器学习模型中可以包括：在将图像数据输入到机器学习模型中的同时，将多个位置处的先前图像数据输入到机器学习模型中。
39.系统可以包括用以将设备的运行音频录制成音频文件的音频传感器，以及一个或多个处理器。一个或多个处理器可以将音频文件转换为图像数据，并将图像数据输入到机器学习模型中，以确定图像数据指示设备的如预期运行还是设备的非预期运行。
40.一个或多个处理器可以确定设备在设备的非预期运行中的故障模式。一个或多个处理器可以基于确定的故障模式改变设备的运行，或基于确定的故障模式指导设备的修理。在录制设备的运行音频之前或期间，一个或多个处理器可以改变设备的运行，以突出至少一种感兴趣音频。设备可以包括在车辆系统中，并且一个或多个处理器可以通过改变车辆系统的油门或发动机速度，改变该设备的运行。
41.该设备可以与一个或多个其他用电装置一起运行，并且一个或多个处理器可以从录制的设备的运行音频中过滤掉由一个或多个其他用电装置生成的音频。设备可以与一个或多个其他用电装置一起运行，且一个或多个处理器可以在该设备继续运行的同时，停用一个或多个其他用电装置，以防止一个或多个其他用电装置在录制设备的运行过程中生成其他音频。
42.一个或多个处理器可以接收指示在录制设备的运行音频期间设备的外壳是否被移除的输入，并且机器学习模型可以基于在录制音频期间设备外壳是否被移除，确定图像数据指示设备的如预期运行还是设备的非预期运行。可以在设备的多个位置录制音频文件，并且一个或多个处理器可以在将图像数据输入机器学习模型的同时，将多个位置的先
前图像数据输入机器学习模型中。
43.方法可以包括将车辆系统组件的运行音频录制成音频文件，将音频文件转换成图像数据。方法可以还包括将图像数据输入到机器学习模型中，以确定图像数据指示组件的如预期运行还是组件的非预期运行。
44.方法可以包括确定组件在组件的非预期运行中的故障模式，并且基于所确定的故障模式来改变组件的运行，或者基于所确定的故障模式指导组件的修理。方法可以还包括：在录制组件运行音频之前或期间，改变组件的运行以突出至少一个感兴趣音频。方法可以还包括从所录制的组件的运行音频中过滤掉由车辆系统中一个或多个其他组件生成的音频。方法可以还包括在组件继续运行的同时，停用车辆系统的发动机，以防止发动机在录制组件的运行期间产生其他音频。
45.方法可以包括接收指示在录制组件运行音频期间组件的外壳是否被移除的输入，其中机器学习模型可以基于在录制音频期间组件外壳是否被移除，确定图像数据指示组件的如预期运行还是组件非预期运行。方法可以还包括在将图像数据输入到机器学习模型的同时，将该组件的多个位置的先前图像数据输入到机器学习模型中。
46.在一个实施例中，一个或多个处理器可以确定关于设备或组件的更多刻度数据。也就是说，不确定它是在如预期还是非预期的状态下运行，而是进一步确定它在这种状态下运行的程度。分数可以是基于有刻度的衡量，它可以对应于组件的预期剩余使用寿命。然后，这些信息可以用于在未来的在计算的故障日期之前的某个日期安排维护、修理或更换。计算出的故障日期可能有误差范围。在一个示例中，误差范围可以根据组件的关键程度及其故障的影响来确定。在一个实施例中，该信息可以被用于修改设备或组件的运行。例如，如果设备或组件在压力较小的工作周期内使用，它可能比使用到最大承载力时坚持更长时间。
47.在一个实施例中，本文所述的控制器或系统可以部署本地数据收集系统，并可以使用机器学习来实现基于派生的学习结果。控制器可以通过根据数据集(包括各种传感器提供的数据)进行数据驱动的预测并进行调整，从该数据集中学习并做出决策。在实施例中，机器学习可能涉及通过机器学习系统执行多个机器学习任务，例如监督学习、无监督学习和强化学习。监督学习可以包括向机器学习系统呈现一组示例输入和期望输出。无监督学习可以包括通过如模式检测和/或特征学习等方法构造其输入的学习算法。强化学习可以包括在动态环境中执行并然后提供关于正确和错误决策的反馈的机器学习系统。在示例中，机器学习可以包括基于机器学习系统的输出的多个其他任务。在示例中，任务可以是机器学习问题，如分类、回归、聚类、密度估计、降维、异常检测等。在示例中，机器学习可以包括多种数学和统计技术。在示例中，多种机器学习算法可包括基于决策树的学习、关联规则学习、深度学习、人工神经网络、遗传学习算法、归纳逻辑编程、支持向量机(svm)、贝叶斯网络、强化学习、表示学习、基于规则的机器学习、稀疏字典学习、相似性和度量学习、学习分类器系统(lcs)、逻辑回归、随机森林、k均值、梯度提升、k近邻(knn)、先验算法等。在实施例中，可使用某些机器学习算法(例如，用于解决可基于自然选择的有约束和无约束优化问题)。在一个示例中，算法可用于解决混合整数规划问题，其中一些组件被限制为整数值。算法、机器学习技术和系统可用于计算智能系统、计算机视觉、自然语言处理(nlp)、推荐系统、强化学习、构建图形模型等。在一个示例中，可以使用机器学习进行确定、计算、比较和
行为分析等。
48.在一个实施例中，控制器可以包括可应用一个或多个策略的策略引擎。这些政策可至少部分基于给定设备或环境项目的特征。关于控制策略，神经网络可以接收大量环境和任务相关参数的输入。这些参数可包括，例如，关于运行设备、来自各种传感器的数据、定位和/或位置数据等的运行输入。可以对神经网络进行训练以根据这些输入生成输出，输出表示设备或系统为实现运行目标应采取的动作或动作序列。在一个实施例的运行期间，可以通过经由神经网络的参数处理输入以在指定动作为预期动作的输出节点上产生一个值，来做出确定。该动作可以转化为使车辆运行的信号。这可以通过反向传播、前馈过程、闭环反馈或开环反馈来完成。可替代地，不使用反向传播，控制器的机器学习系统可以使用进化策略技术来调整人工神经网络的各种参数。控制器可以使用如下的神经网络架构，其具有的函数可能并不总是使用反向传播求解，例如非凸函数。在一个实施例中，神经网络具有一组表示其节点连接权重的参数。生成该网络的多个副本，然后对参数进行不同的调整，并进行仿真。一旦获得了各种模型的输出，就可以使用确定的成功指标对其性能进行评估。选择最佳模型，车辆控制器执行该计划以获得所需的输入数据，从而反映预测的最佳结果场景。此外，成功指标可以是优化结果的组合，这些优化结果可以相互权衡。
49.如本文所用，术语“处理器”和“计算机”以及相关术语，例如“处理设备”、“计算设备”和“控制器”，可不限于本领域中称为计算机的那些集成电路，而是指微控制器、微计算机、可编程逻辑控制器(plc)，现场可编程门阵列、专用集成电路，以及其他可编程电路。适合的存储器可以包括，例如，计算机可读介质。计算机可读介质可以是，例如，随机存取存储器(ram)，计算机可读非易失性介质，如闪存。术“非暂时性计算机可读介质”代表一种基于计算机的有形设备，用于短期和长期存储信息，例如，计算机可读指令、数据结构、程序模块和子模块，或任何设备中的其他数据。因此，本文所述的方法可以被编码为在有形的、非瞬态的计算机可读介质(包括但不限于存储设备和/或存储器设备)中体现的可执行指令。当由处理器执行时，这些指令使处理器执行本文所述方法的至少一部分。依此，该术语包括有形的计算机可读介质，包括但不限于非瞬态计算机存储设备，包括但不限于易失性和非易失性介质，以及可移动和不可移动介质，如固件、物理和虚拟存储、cd-rom、dvd和其他数字源，如网络或互联网。
50.关于在本说明书(包括权利要求书)中使用术语“包括(一般式、第三人称单数、被动态、过去式、现在分词)”中的任一个或全部，应被解释为指定所述特征、整体、步骤或组件的存在，但不排除一个或多个其他特征、整体、步骤或组件的存在。
51.除非上下文另有明确规定，否则单数形式“一个”、“一种”和“该”包括复数指代。“可选的”或“可选地”是指随后描述的事件或情况可以发生或可以不发生，并且该描述可以包括事件发生的情况和不发生的情况。本文中从说明书到权利要求书中所使用的近似语言可以应用于修改任何定量表示，以允许不会导致与其相关的基本功能的变化。因此，通过一个或多个术语如“约”、“基本上”和“大致”修饰的值可以不限于指定的精确值。在至少一些情况下，近似语言可以对应于用于测量值的仪器的精确度。本文中从说明书到权利要求书，范围限制可以被组合和/或互换，除非上下文或语言另外指示，此类范围可以被识别并且包括其中所包含的所有子范围。
52.本书面描述使用实例来公开包括最佳模式的实施方式，并且使本领域普通技术人
员能够实践实施方式，包括制造和使用任何设备或系统以及执行任何结合的方法。权利要求限定本公开的可授予专利权的范围，并且包括本领域普通技术人员想到的其他实例。如果这些其他实例没有与权利要求的字面语言不同的结构元素，或者如果它们包括与权利要求的字面语言没有实质性差异的等效结构元素，则这些其他实例旨在落入权利要求的范围内。