移动并且自主的音频感测和分析系统以及方法与流程

本发明基本上涉及自主系统，并且更具体地涉及移动的、自主的音频感测和分析系统以及方法，其用于监视一个或多个环境中的操作状态，所述一个或多个环境包括制造的、商业的和住宅的环境。

背景技术：

除非本文另有说明，否则本节中描述的材料不是本申请的权利要求的现有技术并且不因包括在本节中而承认是现有技术。

技术实现要素：

下面阐述本文公开的一些实施例的概述。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面不旨在限制本发明的范围。实际上，本发明可以包括下面可能没有阐述的多个方面。

本发明的实施例涉及移动的、自主的音频感测和分析系统以及方法，其用于监视一个或多个环境中的操作状态，一个或多个环境包括制造的、商业的和住宅的环境。本发明提供了一种移动的、自主的音频感测和分析系统，其用于监视一个或多个环境中的多个机器的操作状态，所述一个或多个环境包括制造的、商业的和住宅的环境。该移动的、自主的音频感测和分析系统不仅实时地监视环境中的每个机器的操作状态，该系统还预测和识别对有效维护有用的即将发生的故障。此外，该系统减少了停机时间和用于智能制造的数据驱动的过程管理。

在本发明的一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该系统包括至少一个移动自主系统，其具有处理器、存储器、至少一个惯性传感器和通信接口，所述至少一个移动自主系统被构造和配置用于通信地耦合到环境中的各种机器或设备。

在本发明的另一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该系统包括至少一个音频分析系统，所述至少一个音频分析系统具有麦克风、处理器、存储器和通信接口，所述至少一个音频分析系统被构造和配置用于通信地耦合到移动自主系统，输入如由音频分析模块捕获的机器状态被存储、分类、估计和输出到可视化模块或通知系统中的至少一个。

在本发明的又一实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该系统包括通信地耦合到音频分析系统或移动自主系统中的至少一个的通知系统和可视化系统中的至少一个；接收经处理的机器状态并且向授权用户广播该情况、事件和具有环境的机器状态。

附图说明

当参考附图阅读以下对一些示例性实施例的详细描述时，将更好地理解本发明的以上和其他特征、方面和优点，在这些附图中，相同的符号在所有图式中表示相同的特征，其中：

图1是根据本发明的一个实施例的、具有通信地耦合到可视化系统的多个机器的制造平面布置图的或机房的框图；

图2是根据本发明的一个示例的移动自主系统的框图；以及

图3是根据本发明的一个示例的、通信地耦合到图2的移动自主系统的音频分析系统的框图。

具体实施方式

下面将描述一个或多个具体实施例。为了提供这些实施例的简明描述，在说明书中没有描述实际实现的所有特征。应当理解，在任何这种实际实施方式的开发中，如在任何工程或设计项目中，必须做出许多实施方式特定的决定以实现开发者的特定目标，例如符合系统相关和商业相关的约束，这些约束可能根据不同的实施方式而变化。此外，应当理解，这种开发努力可能是复杂且耗时的，但是对于受益于本发明的普通技术人员来说，这不过是设计、制造和生产的常规任务。

呈现以下描述以使本领域技术人员能够实现和使用所描述的实施例，并且在特定应用及其要求的情况下提供以下描述。对所描述的实施例的各种修改对于本领域技术人员来说将是显而易见的，并且在不背离所描述的实施例的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，所描述的实施例不限于所示的实施例，而是符合与本文公开的原理和特征一致的最宽范围。

本发明提供了一种移动的、自主的音频感测和分析系统，所述音频感测和分析系统用于监视处于一个或多个环境中的多个机器的操作状态，所述一个或多个环境包括制造的、商业的和住宅的环境。该移动的、自主的音频感测和分析系统不仅实时地监视环境中的每个机器的操作状态，该系统还预测和识别对有效维护有用的、即将发生的故障。此外，该系统减少了停机时间和用于智能制造的数据驱动过程管理。

在本发明的一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且该系统包括至少一个移动自主系统，所述至少一个移动自主系统包括处理器、存储器、至少一个惯性传感器和通信接口，所述至少一个移动自主系统被构造和配置用于通信地耦合到环境中的各种机器或设备。

在本发明的另一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该移动的、自主的音频感测和分析系统包括至少一个音频分析系统，所述至少一个音频分析系统具有处理器、存储器和通信接口，所述至少一个音频分析系统被构造和配置用于通信地耦合到所述移动自主系统，输入如由音频分析模块捕获的机器状态被存储、分类、估计和输出到可视化模块或通知系统中的至少一个。

在本发明的又一实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该移动的、自主的音频感测和分析系统包括通信地耦合到所述音频分析系统或所述移动自主系统的通知系统和可视化系统中的至少一个；接收经处理的机器状态并且向授权用户广播情况、事件和具有环境的机器状态。

现在参考图1示出根据本发明的一个实施例的、具有通信地耦合到可视化系统102的多个机器m1-m8的制造平面布置图的或机房100的框图。尽管示出八个机器m1-m8，但是可以在平面布置图中提供任意数目的机器和/或设备，并且这些机器和/或设备可以直接或间接地连接到可视化系统102。替代地，在同一平面布置图中不必需的任何机器或设备可以通过直接的或间接的连接远程连接到可视化系统。示出移动的、自主的音频感测和分析系统、即两个系统s1和s2，它们通信地耦合到可视化系统102。系统s1和s2在平面布置图内或在机器m1-m8随机或系统性地定位于其中的环境中到处运动，以监听和收集包括事件、机器状态的情况、操作状态、机器/设备的位置、环境等的信息。在一些实施例中，系统s1、s2捕获所监听和收集的信息，然后存储、分类、估计该信息并且将其输出到可视化系统102，以便进行进一步分析或故障通知。尽管示出一个可视化系统102和两个音频感测和分析系统s1、s2，但是可以向环境添加或移除任何数目的系统102、s1、s2。在一个实施例中，系统s1、s2在环境周围运动、可以随机地或系统性地覆盖相同或不同的路线/路径。每个音频感测和分析系统s1、s2包括移动自主系统204和耦合到移动自主系统204的音频分析系统206。系统s1、s2能够执行一个或多个任务，以便除了诸如先前描述的位置估计、引导/路径规划、障碍物避开、运动控制和先前描述的类似的其他任务之外，还促进分布式音频感测和分析。

图2示出根据本发明的一个示例的、耦合到音频分析系统206的移动自主系统204的框图。被构造和配置用于通信地耦合到环境中的各个机器或设备的移动自主系统204包括处理器208、存储器210、至少一个惯性传感器212和通信接口214。包括可执行的运动/路径规划算法的处理器208接收诸如移动自主系统204的自身位置、其他移动传感器的位置和环境地图之类的信息，控制诸如驱动马达之类的驱动系统以使系统s1或s2在环境中四处运动，而不与诸如机器、设备、其他移动传感器平台或任何建筑结构之类的障碍物碰撞。运动控制信号/命令由处理器208传输，即传输到用于产生期望运动和/或轨迹的机械系统或马达中的至少一个。处理器208可以是任何类型的，包括但不限于微处理器、微控制器、数字信号处理器或其任何组合。处理器208可以包括一个级别或多个级别的缓存，例如一个级别的缓存存储器、一个或多个处理器核和寄存器。根据期望的配置，处理器可以是任何类型的，包括但不限于微处理器(μρ)、微控制器(μc)、数字信号处理器(dsp)或其任何组合。处理器可以包括一个或多个级别的缓存，诸如一个级别的缓存存储器、一个或多个处理器核和寄存器。示例性的处理器核可以(每个都)包括算术逻辑单元(alu)、浮点单元(fpu)、数字信号处理核(dsp核)或其任意组合。示例性的存储器控制器也可与处理器一起使用，或者在一些实施方式中，存储器控制器可以是处理器的内部部分。

存储器或计算机可读介质210保存或存储环境地图，即固定障碍物(例如机器)的位置和要运动通过的路径的位置。存储器或计算机可读介质210可以是任何类型，包括但不限于易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或其任何组合。存储器可以包括操作系统、通信应用和程序数据。通信接口214从一个或多个移动传感器接收位置广播并且经由链路l2将所接收的位置广播传输到处理器208。通信接口214还可选地发送自身位置以便其他的移动传感器经由链路l1接收。在一些实施例中，通信接口214可以发送自身位置到音频分析系统206，从而机器状态可以与相应的位置融合用于可视化系统102(如图1所示)。通信接口214允许软件和数据以信号的形式在计算机系统和其他外部电子装置之间传送，所述信号可以是例如电子信号、电磁信号、光学信号或能够由通信接口接收的其他信号。通信接口可以是例如调制解调器、网络接口、通信端口、pcm-cia插槽和卡等。具有可执行的计算机源代码或程序的一个或多个惯性传感器212计算环境中的移动自主系统的位置。在某个实施例中，惯性传感器212可以使用其他信息，诸如由感测模块或适当的传感器单独提供的基于视觉测距、超声或射频的室内定位，或者与由惯性传感器收集的信息组合，以估计环境中的移动自主系统的位置状态。

如图2所示，通信接口214接收一个或多个环境中的任意数目的移动传感器的位置信息，并且，所接收的信息和一个或多个环境的地图存储在系统204内的存储器中、或服务器上、或诸如云网络之类的网络上等等。然后，所接收的信息被传输或传送到处理器208。处理器208接收诸如移动自主系统204的自身位置、其他移动传感器的位置和环境地图之类的信息，控制诸如驱动马达之类的驱动系统以使系统s1或s2在环境中四处运动，而不与诸如机器、设备、其他移动传感器平台或任何建筑结构之类的障碍物碰撞。运动控制信号/命令由处理器208传输，即传输到用于产生期望的运动和/或轨迹的机械系统或马达中的至少一个。

图3示出根据本发明的一个示例的耦合到移动自主系统204、通知系统216和可视化系统或工具202的音频分析系统206的框图。类似于移动自主系统204，音频分析系统206也被构造和配置用于通信地耦合到环境中的各种机器或设备。音频分析系统206包括处理器218、存储器220和通信接口222。音频分析系统206还包括通信地耦合到处理器218的至少一个声换能器，例如麦克风224。处理器218(包括可执行的音频分析算法在内)从存储器220接收信息诸如用于基于音频的机器状态估计的分类参数并且在将所接收的信息在处理了推断的机器状态/异常之后输出到通信接口222之前，还经由麦克风224从机器m1-m8实时接收诸如音频流的信息。一旦接收到所估计的机器状态/异常，通信接口222将所估计的机器状态/异常传输到可视化系统202或通知系统216中的至少一个。尽管音频分析系统206和移动自主系统204被示为两个独立的系统并且每个系统包括类似的处理器208、218、存储器210、220、通信接口214、222和其他适当的计算机实施的模块以单独地和独立地执行任务，但是音频分析系统206和移动自主系统204可以集成在主系统s1或s2中，因此，处理器、存储器、通信接口和其他适当的计算机实施的模块可以在单个系统s1或s2中执行所描述的所有任务。

处理器218可以是任何类型的，包括但不限于微处理器、微控制器、数字信号处理器或其任何组合。处理器218可以包括一个级别或多个级别的缓存，例如一个级别的缓存存储器、一个或多个处理器核和寄存器。根据所期望的配置，处理器可以是任何类型的，包括但不限于微处理器(μρ)、微控制器(μc)、数字信号处理器(dsp)或其任何组合。处理器可以包括一个级别或多个级别的缓存，例如一个级别的缓存存储器、一个或多个处理器核和寄存器。示例性的处理器核可以(每个)包括算术逻辑单元(alu)、浮点单元(fpu)、数字信号处理核(dsp核)或其任意组合。示例性的存储器控制器也可以与处理器一起使用，或者在一些实施方式中，存储器控制器可以是处理器的内部部分。

类似于移动自主系统214的存储器210，音频分析系统206的存储器或计算机可读介质220也保存或存储环境地图，即固定障碍物(例如机器)的位置和要运动通过的路径的位置。存储器或计算机可读介质220可以是任何类型，包括但不限于易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或其任何组合。存储器可以包括操作系统、通信应用和程序数据。通信接口222接收来自一个或多个移动传感器的位置广播，将自身位置信息与来自处理器218的、所估计的机器状态相融合，并且将自身位置信息连同所估计的机器状态发送到可视化系统202、通知系统216或其组合中的至少一个。通信接口222还可以将具有所估计的机器状态的自身位置信息传输到诸如云网络的网络、服务器或其组合，以存储在远程位置中并且在必要时用于统计分析。通信接口222允许软件和数据以信号的形式在计算机系统和其他外部电子装置之间传送，所述信号可以是例如电子信号、电磁信号、光学信号或能够由通信接口接收的其他信号。通信接口222可以是例如调制解调器、网络接口、通信端口、pcm-cia插槽和卡等。

一个或多个麦克风224配置用于从附近的一个或多个机器m1-m8收集或获取音频信号。其他的感测装置或模块——例如加速度计、振动传感器可以被结合在音频分析系统206中，或者被耦合到麦克风224，以检测来自环境中的机器m1-m8的任何适当的信号。尽管通知系统216和可视化系统202被描述为用于执行独立的任务的两个独立的系统，但是系统216、202可以被集成到单个装置中以执行多任务。通知系统216配置用于在音频分析算法检测到异常机器状态的情况下通知适当的人员。可视化系统202从通信接口222接收机器状态估计数据并且为工厂或设施管理者呈现可视化，以估计等事件的状态诸如正在进行的制造过程的状态、基础设施的状态。

音频分析算法由音频信号处理(用于音频特征表示)以及机器学习能力驱动。音频模式对关于对象、材料的功能交互的有用信息，即任何物理过程进行编码；当异常发生时，同样的事情也适用，所述异常导致“不同的”物理过程，所述物理过程将具有其自己的签名音频模式。音频分析系统206应用关于厂区或机房上的机器健康监控方面的若干异常检测算法。这些包括在制造过程期间通过安装在或集成到移动自主系统204中的音频传感器收集音频数据(例如，当制造过程进行得很好时和当所模拟的异常发生时)。在一个实施例中，存储在系统206、204之一中的无监督异常检测算法或程序被用于评价是否可以用“离群”音频签名来识别异常机器操作。该算法可以不涉及预先将所收集的音频数据明确地标注为正常操作和各种错误模式。在另一个实施例中，有监督的机器学习算法或程序，例如一类支持向量机(svm)、高斯混合模型(gmm)可以用于识别机器操作中的异常。在又一实施例中，基于深度学习的异常检测算法或程序旨在改善svm和gmm的性能。音频分析系统206可以替代地使用深度循环神经网络(drnn)，该深度循环神经网络配置用于对类似于音频信号的时间信号模式进行建模。drnn还对连续的音频模式建模，而不将它们切断成片段，以执行用于异常检测的音频特征计算。然而，将机器操作音频流馈送到drnn涉及预先将所收集的音频模式标注为不同的操作模式。借助所标注的这些数据，drnn学习与正常机器操作相关联的显著音频模式，并且通过识别故障模式(例如，部分偏离直线或类似情况)来检测正常制造过程何时偏离成异常。drnn还能够对与人类语音相关联的音频信号进行建模，适用于智能机器/制造过程状态监控和异常检测。

由安装到机器m1-m8或安装在环境内的一个或多个传感器收集的、被标注(有故障的相对于正常)的机器操作数据用于训练存储在系统204、206的至少一个中的、有监督的机器学习算法。传感器在机器的正常操作期间以及在人工诱导的故障期间捕获多模态传感数据(包括音频/振动)，将捕获的数据传输到系统204、206中的至少一个。在一个实施例中，所捕获的这些数据被适当地以时间戳和标签(异常/正常)标注并且被馈送到机器学习流水线。从移动音频传感器收集的音频模式通过谱减法来预处理，以从移动自主自身去除噪声(例如，来自马达/运动的噪声)。谱减法包括收集纯粹由于mp运动而产生的音频并且产生相应的谱图。该谱图(作为背景模型工作)从由来自厂区的音频流生成的音频谱图中被减去。这些类型的噪声去除与计算机视觉和图像处理中的背景减除类似地工作。在另一实施例中，可以利用基于去噪自动编码器的噪声消除方法。对于去噪自动编码器，使用从音频传感器独立收集的来自机器的数据，而不是在传感器被放置在移动自主系统的顶部时收集的数据。然后，训练自动编码器以消除来自移动自主系统运动的噪声干扰。在又一实施例中，融合日期可以由一个或多个移动音频传感器收集或检测。在一个示例中，采用了融合/集成(ensemble)学习方法，融合/集成学习方法用于融合来自多个移动音频传感器的数据/机器状态估计。该方法确保了将来自每个传感器的信息最佳地用于即将到来的推理任务，即机器情况/状态和检测异常。为了进一步确保传感器融合算法随时间的稳定性能，可以使用关于在每个时间步作出的推断的一个或多个动态贝叶斯网络。

上述实施例已经通过示例的方式示出，并且应当理解，这些实施例可以容许各种修改和替换形式。还应当理解，权利要求不是要限制于所公开的特定形式，而是覆盖落入本发明的精神和范围内的所有修改、等同物和替换。

尽管已经参考各种实施例描述了本专利，但是应当理解，这些实施例是说明性的，并且本发明的范围不限于这些实施例。许多变化、修改、添加和改进是可能的。更一般地，根据本专利的实施例已经在上下文中或特定实施例中描述。在本发明的各种实施例中，功能可以以不同的块来分离或组合，或者用不同的术语来描述。这些和其他变化、修改、添加和改进可落入如所附权利要求书中所限定的本发明范围内。