基于声音识别的汽车发动机故障判定方法及其装置与流程

本发明涉及发动机故障检测技术领域，尤其涉及一种基于声音识别的汽车发动机故障判定方法及其装置。

背景技术

目前，在汽车的日常使用过程中，因自然、人为因素等的影响，发动机容易出现排气管故障、点火系统故障、节气门卡滞、曲轴主轴承故障等问题。通常，汽车发动机会安装故障检测装置，并可以通过仪表盘显示发动机是否故障，但现有技术无法指明具体故障位置、故障类型，用户无法判断能否继续行驶，同时，也造成发动机维修难度增加、人力物力消耗增大。

汽车发动机故障一般会导致其工作时声音有所变化，但目前在实际行驶过程中，由于汽车环境密封闭塞，阻挡了发动机声音传入，或者某些故障声音十分细微以致驾驶者无法及时听到。现有的自主式识别发动机声音，往往是从时域或者频域直接进行故障分析，采用的神经网络架构一般是bp神经网络(3层)，判定过程无法利用发动机实时运行状态信息，识别精度较差，后期维修需要重新故障判定。

技术实现要素：

鉴于上述的分析，本发明实施例旨在提供一种基于声音识别的汽车发动机故障判定方法，用以解决现有技术故障自主判定不准确、判定过程无法利用发动机运行状态信息、后期维修需要重新故障判定的问题。

一方面，本发明实施例提供了一种基于声音识别的汽车发动机故障判定方法，包括如下步骤：

采集汽车发动机的实时监测声音数据；

对所述实时监测声音数据进行时频二维处理，获取汽车发动机声音对应的时频二维信号；

将所述时频二维信号输入训练好的混合神经网络中，根据所述混合神经网络输出结果判断汽车发动机是否发生故障，以及具体故障位置；所述混合神经网络包括alexnet、lstm；

如果是，进行报警，显示具体故障位置；

如果否，显示无故障。

上述技术方案的有益效果如下：采用时频二维信号作为混合神经网络的输入，对结构性较差的音频场景数据保留了时间、频率两个维度的信息，相比较传统单一维度声音识别方法，时频二维信号对于音频信息识别会有更好的效果。并且，上述技术方案可以用于进行发动机某些常见故障的自主判定，解决现有技术故障自主判定不准确、判定过程无法利用汽车发动机运行状态信息、后期维修需要重新故障判定的问题，满足简单、快速、可靠地判定汽车发动机故障，及时排除。

基于上述方法的另一个实施例中，训练所述混合神经网络的步骤包括：

获取包括n1组汽车发动机故障声音数据和对应的发动机状态、故障类型的训练集；所述汽车发动机状态包括加速、减速、匀速，所述训练集包括汽车发动机所有预设故障类型；

对上述每组汽车发动机声音数据分别进行时频二维处理，获取每组汽车发动机声音对应的时频二维信号；

将所述每组汽车发动机声音对应的时频二维信号和故障类型输入alexnet中进行训练，同时，将所述每组汽车发动机声音对应的时频二维信号和发动机状态输入到lstm中进行训练，获得训练好的混合神经网络。

上述技术方案的有益效果是：目前，现有的基于声音识别的发动机故障判定方法所用神经网络架构是bp神经网络，层数为3层，上述技术方案采用的alexnet和lstm神经网络，层数为9层及以上，识别精度大幅度提升。

进一步，所述对实时监测声音数据进行时频二维处理获取汽车发动机声音对应的时频二维信号，包括如下步骤：

对汽车发动机的实时监测声音数据进行分帧加窗处理，获得n2个短时声音数据；

对每个所述短时声音数据进行离散傅里叶变换，获得对应的短时幅度谱数据；

计算每个短时幅度谱数据的频谱密度函数，将获得的所述频谱密度函数作为汽车发动机声音对应的时频二维信号。

上述进一步方案的有益效果是：相比一维声音信号，时频二维信号既保留了时间特性，也保留了频率特性，包含更多的信息，有利于后续的混合神经网络特征提取和识别过程。

进一步，所述将时频二维信号输入训练好的混合神经网络中、根据混合神经网络输出结果判断是汽车发动机否发生故障以及具体故障位置，包括如下步骤：

将所述时频二维信号输入训练好的混合神经网络中，通过alexnet获得汽车发动机故障类型以及对应的发生概率一，通过lstm获得汽车发动机当前所处状态以及对应的发生概率二；

如果alexnet无输出结果或所有故障类型的发生概率为0，判定所述汽车发动机正常工作；

如果alexnet输出结果中故障类型只有一种，判定所述汽车发动机发生所述类型的故障；

如果alexnet输出结果中故障类型包括至少两种，将每一种故障类型的发生概率一和对应的发生概率二进行加和运算，根据加和结果判定所述汽车发动机发生加和结果较大的故障类型；

根据汽车发动机发生的上述故障类型确定汽车发动机具体故障位置。

上述进一步方案的有益效果是：在发动机不同故障的声音相近，以致难以通过alexnet进行区分时，利用lstm输出结果进行辅助判断，以进行故障的区分，因此结果更加准确。

进一步，所述获取包括n1组汽车发动机故障声音数据和对应的发动机状态、故障类型的训练集，包括如下步骤：

获取n1组汽车发动机故障声音数据；所述n1组汽车发动机故障声音数据包括所有预设故障类型；

标定每组汽车发动机声音数据对应的发动机状态、故障类型，获得包括n1组汽车发动机声音数据和对应的发动机状态、故障类型的训练集；所述预设故障类型包括加速状态下故障、减速状态下故障、匀速状态下故障。

上述进一步方案的有益效果是：对汽车发动机故障声音数据集，利用现有经验进行标注，使其成为训练数据，输入alexnet和lstm神经网络进行训练，得到对应的发动机实时状态和发动机故障的识别模型。

进一步，所述加速状态下故障包括排气管堵塞、点火系统故障、火花塞高压火花弱；

所述减速状态下故障包括节气门卡滞、曲轴主轴承故障；

所述匀速状态下故障包括气缸缺火、转轴匀速不稳。

上述进一步方案的有益效果是：明确了不同状态下汽车发动机常见的故障，将故障类型与汽车发动机工作状态联系起来，结合二者进行判断。

进一步，所述分帧加窗处理的窗函数采用汉明窗，帧叠设置为窗长的0.01～0.5倍。

上述进一步方案的有益效果是：因为实际的汽车发动机声音信号很长，数据量很大，不能也不必对此非常长的声音数据进行一次性处理。因此，通过加窗并一次次移动来获取一段段数据进行分析，且窗长也可以作为后续傅里叶变换中的周期大小。而移动窗口时，前帧与后帧重叠称为帧叠，此处帧叠设为窗长的0.01～0.5倍，便于后续计算。

另一方面，本发明实施例提供了一种基于声音识别的汽车发动机故障判定装置，包括依次连接的音频采集装置、声音识别装置和中控显示装置；

所述音频采集装置，用于采集汽车发动机的实时监测声音数据，并对所述实时监测声音数据进行时频二维处理，将获得的汽车发动机声音对应的时频二维信号输入声音识别装置；

所述声音识别装置，用于通过将接收到的所述时频二维信号输入训练好的混合神经网络中，根据混合神经网络输出结果判断汽车发动机是否发生故障，以及具体故障位置；所述混合神经网络包括alexnet、lstm；

所述中控显示装置，用于显示所述声音识别装置的判断结果，如果发生故障，进行报警，显示具体故障位置，如果未发生故障，显示无故障。

上述技术方案的有益效果是：采用时频二维信号作为混合神经网络的输入，对结构性较差的音频场景数据保留了时间、频率两个维度的信息，相比较传统声音识别方法，时频二维信号对于音频信息识别会有更好的效果。并且，上述技术方案可以用于进行发动机某些特定故障的自主判定，解决现有技术故障自主判定不准确、判定过程无法利用汽车发动机运行状态信息、后期维修需要重新故障判定的问题，满足简单、快速、可靠地判定汽车发动机故障，利于及时排除。通过声音识别装置和中控显示装置的通信，及时向用户汇报故障情况，也有利于提升汽车驾驶安全性。

进一步，所述音频采集装置包括依次连接的收声装置、信号处理模块；

所述收声装置，用于采集汽车发动机的实时监测声音数据，并将所述实时监测声音数据发送至信号处理模块；

所述信号处理模块，用于对接收到的所述实时监测声音数据进行时频二维处理，并将获得的汽车发动机声音对应的时频二维信号输入声音识别装置。

上述进一步方案的有益效果是：对汽车发动机声音进行实时监测，能够解决因汽车隔音或者发动机故障声微弱而导致故障不能及时被发现的问题，提升了汽车驾驶安全性。

进一步，所述声音识别装置包括alexnet、lstm、判断模块；

所述alexnet，用于根据输入的汽车发动机声音对应的时频二维信号，输出汽车发动机故障类型以及对应的发生概率一；

所述lstm，用于根据输入的汽车发动机声音对应的时频二维信号，输出汽车发动机当前所处状态以及对应的发生概率二；

所述判断模块，用于根据所述alexnet、lstm的输出结果判断所述汽车发动机判断是否发生故障，以及具体故障位置，如果是，控制中控显示装置报警、显示具体故障位置，如果否，控制中控显示装置显示无故障。

上述进一步方案的有益效果是：利用alexnet、lstm神经网络进行故障识别，相比传统声音识别算法而言，alexnet、lstm神经网络的深层结构可以更有效地提取目标特征信息，进而更精确地识别出汽车发动机故障类型。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例1基于声音识别的汽车发动机故障判定方法步骤示意图；

图2为本发明实施例1基于声音识别的汽车发动机故障判定方法流程图；

图3为本发明实施例2训练混合神经网络的步骤示意图；

图4为本发明实施例2对实时监测声音数据进行时频二维处理的步骤示意图；

图5为本发明实施例2将时频二维信号输入训练好的混合神经网络中判断是否发生故障以及具体故障位置的步骤示意图；

图6为本发明实施例2基于声音识别的汽车发动机故障判定方法流程图；

图7为本发明实施例3基于声音识别的汽车发动机故障判定装置连接示意图；

图8为本发明实施例3音频采集装置、声音识别装置组成及连接示意图；

图9为本发明实施例3基于声音识别的汽车发动机故障判定装置原理示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

本发明的一个具体实施例，公开了一种基于声音识别的汽车发动机故障判定方法，如图1所示，包括如下步骤：

s1.通过收声装置，采集汽车发动机的实时监测声音数据。

s2.对上述实时监测声音数据进行时频二维处理，获取汽车发动机声音对应的时频二维信号。

s3.将所述时频二维信号输入训练好的混合神经网络中，根据混合系统输出结果判断汽车发动机是否有故障，以及具体故障位置；所述混合神经网络包括alexnet、lstm。如果是，进行报警，显示具体故障位置；如果否，显示无故障。

本实施例中，现有的alexnet包含5个卷积层用于特征提取，3个极大值池化层实现特征的平移不变性，2个全连层以及一个softmax分类器，用于计算概率，对发动机声音类型进行分类。现有的lstm网络结构为常见的遗忘门结构，输出为发动机工作状态。总体流程如图2所示。

与现有技术相比，本实施例提供的汽车发动机声音识别方法采用时频二维信号作为混合神经网络的输入，能够对结构性较差的音频场景数据保留了时间、频率两个维度的信息，相比较传统声音识别方法而言，时频二维信号其对于音频信息识别会有更好的效果，同时符合于混合神经网络所要求的二维矩阵作为输入的形式。并且，本实施例方法可以用于进行汽车发动机常见特定故障的自主判定，解决了现有汽车发动机故障自主判定不准确、判定过程无法利用汽车发动机运行状态信息、后期维修需要重新故障判定的问题。

实施例2

在上述实施例的基础上进行优化，如图3所示，训练所述混合神经网络的步骤包括：

s01.获取包括n1组汽车发动机故障声音数据和对应的发动机状态、故障类型的训练集；所述发动机状态包括加速、减速、匀速，所述训练集应包括汽车发动机可能发生的所有故障类型。

s02.对每组汽车发动机声音数据分别进行时频二维处理，获取每组汽车发动机声音对应的时频二维信号。

s03.将所述每组汽车发动机声音对应的时频二维信号和故障类型输入alexnet中进行训练，同时，将所述每组汽车发动机声音对应的时频二维信号和发动机状态输入到lstm进行训练，获得训练好的混合神经网络。

优选地，采用反向传播(bp)算法，在caffe架构(开源)中进行上述模型的迭代训练。迭代训练最终的结果是损失函数值收敛到稳定值，此时可以认为上述模型训练完毕，所有参数固定，当再输入新的发动机声音数据，该模型可以对声音进行分类，以判别其具体属于何种故障。

优选地，步骤s01可进一步细化为如下步骤：

s011.获取n1组汽车发动机故障声音数据。所述n1组汽车发动机故障声音数据包括所有预设故障类型。具体地，需要提前采集大量汽车发动机在各种情形下的音频数据(一万例以上)。

s012.标定每组汽车发动机声音数据对应的发动机状态、故障类型，获得包括n1组汽车发动机声音数据和对应的发动机状态、故障类型的训练集；所述预设故障类型包括加速状态下故障、减速状态下故障、匀速状态下故障。具体地，可以邀请专业人员进行标注以形成训练数据，例如标注0表明无故障，标注1表明为气缸，标注2表明为活塞故障等。

优选地，所述加速状态下故障包括排气管堵塞、点火系统故障、火花塞高压火花弱。所述减速状态下故障包括节气门卡滞、曲轴主轴承故障。所述匀速状态下故障包括气缸缺火、转轴匀速不稳。可根据上述故障类型判定汽车发动机发生故障的位置，例如排气管堵塞发生在排气管位置，下面不再赘述。

优选地，如图4所示，步骤s2可进一步细化为如下步骤：

s21.对汽车发动机的实时监测声音数据进行分帧加窗处理，获得n2个短时声音数据。具体地，所述分帧加窗处理的窗函数采用汉明窗，帧叠设置为窗长的0.01～0.5倍，可将短时声音数据表示为xn(m)，n为帧序号，m为对应帧的时间序号。

s22.对每个所述短时声音数据进行离散傅里叶变换(dft)，获得其对应的短时幅度谱数据

式中，w为频率，n为序列长度。

s23.计算每个短时幅度谱数据的频谱密度函数，将获得的所述频谱密度函数p(n,w)作为汽车发动机声音对应的时频二维信号

p(n,w)＝|x(n,w)|²＝(x(n,w)×(conj(x(n,w)))(2)

p(n,w)横轴表示时域，纵轴表示频域，某点的值表示该时频点的声音能量大小，类似于cnn进行图像处理过程中，横轴表示图片x方向，纵轴表示图片y方向，某点的值表示该x、y值处图片的灰度值。

优选地，步骤s3中将时频二维信号输入训练好的混合神经网络中、根据混合神经网络输出结果判断是否发生故障以及具体故障位置，如图5所示，可进一步细化为如下步骤：

s31.将所述时频二维信号输入训练好的混合神经网络中，通过alexnet获得汽车发动机故障类型以及对应的发生概率一，通过lstm获得汽车发动机当前所处状态以及对应的发生概率二。

s32.如果alexnet无输出结果或者所有故障类型的发生概率为0，判定所述汽车发动机正常工作；

s33.如果alexnet输出结果中故障类型只有一种，判断所述汽车发动机发生所述类型的故障。此时，该故障类型对应的发生概率为100％。

s34.如果alexnet输出结果中故障类型包括至少两种，将每一种故障类型的发生概率一和对应的发生概率二进行加和运算，根据加和结果判定所述汽车发动机发生加和结果较大的故障类型。

s35.根据所述加和结果较大的故障类型确定汽车发动机具体故障位置。

实施时，汽车发动机处于加速、减速、匀速等不同运行状态会在声音上有所体现，汽车发动机故障判定方法流程图如图6所示，alexnet只能根据混合神经网络模型对输入的声信号进行直接识别，无法判断该信号与汽车发动机运行状态的关系。alexnet的输出是本次输入隶属于不同分类的概率值，在某种情形下，若输出结果判定为故障a(常发生于加速状态)和故障b(常发生于匀速状态)的概率相近，例如都是40％左右，则此时可以利用汽车发动机运行状态信息来辅助故障识别，因此再引入lstm来进行汽车发动机运行状态的识别。lstm引入了存储单元，当数据有时间间隔时可以将此刻与之前时刻进行联系。若lstm网络识别此刻汽车发动机处于加速状态，则可以认定此时的故障属于类别a并及时显示汇报给用户或驾驶者。

与实施例1相比，本实施例对混合神经网络结构进行了细化，对常见汽车发动机声音类型进行了细化，并对采用所述混合神经网络进行故障识别进行了进一步细化。上述技术方案是建立在大量试验分析基础上的，能够有效提高汽车发动机自动判定能力和精确度，减少其维修再定位诊断的时间和物理消耗，并且，能够提升汽车驾驶安全性。

实施例3

一种采用实施例2所述汽车发动机故障判定方法进行判定的汽车发动机故障判定装置，如图7所示，包括依次连接的音频采集装置、声音识别装置和中控显示装置。

音频采集装置，用于采集汽车发动机的实时监测声音数据，并对所述实时监测声音数据进行时频二维处理，将获得的汽车发动机声音对应的时频二维信号输入声音识别装置。

声音识别装置，用于通过将接收到的所述时频二维信号输入训练好的混合神经网络中，根据混合神经网络输出结果判断汽车发动机是否发生故障，以及具体故障位置；所述混合神经网络包括alexnet、lstm。

中控显示装置，用于显示所述声音识别装置的判断结果，如果发生故障，进行报警，显示具体故障位置，如果未发生故障，显示无故障。

优选地，如图8所示，所述音频采集装置包括依次连接的收声装置、信号处理模块。收声装置，用于采集汽车发动机的实时监测声音数据，并将所述实时监测声音数据发送至信号处理模块；信号处理模块，用于对接收到的所述实时监测声音数据进行时频二维处理，并将获得的汽车发动机声音对应的时频二维信号输入声音识别装置。

优选地，如图8所示，所述声音识别装置包括alexnet、lstm、判断模块。alexnet，用于根据输入的汽车发动机声音对应的时频二维信号，输出汽车发动机故障类型以及对应的发生概率一。lstm，用于根据输入的汽车发动机声音对应的时频二维信号，输出汽车发动机当前所处状态以及对应的发生概率二。判断模块，用于根据所述alexnet、lstm的输出结果判断所述汽车发动机判断是否发生故障，以及具体故障位置，如果是，控制中控显示装置报警、显示具体故障位置，如果否，控制中控显示装置显示无故障。

在汽车行驶过程中，音频采集装置将采集的音频转化为时频二维信号矩阵，按一秒一次的时间间隔将其输入至声音识别装置中。声音识别装置中具有贮存了神经网络识别模型的计算板卡，目前可以用赛灵斯fpga芯片实现该功能。

汽车中控显示装置与声音识别装置通信。当判定汽车发动机正常时，系统显示无故障；当判断为汽车发动机存在某种故障时，声音识别装置将汽车发动机具体故障类型发送给汽车中控显示装置进行显示报警，告知汽车驾驶者，以实现及早消除安全隐患。

实施时，汽车发动机故障判定装置原理示意图如图9所示，例如，alexnet检测为点火系统故障(43％)、气缸缺火(41％)，再根据lstm判断是加速还是匀速，若加速(71％)，匀速(12％)，则可判定为点火系统故障。判据为将两个网络的概率值进行加和运算，取大者。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。