异声检测装置以及异声检测方法与流程

本发明涉及检测装置以及检测方法，更具体地说，涉及以完成时的车辆作为检查对象来检测其异声的装置及方法。

背景技术：

完成时的车辆的异声，惯常是检查员通过在比利时路(石子路)之类的差路上行驶而使车身强制振动时听取有无产生通常行驶时的车内噪音以外的异声来进行检测(检查)。

在此，如上所述，“异声”是表示通常行驶时的车内噪声，即发动机声、风哮声、路面噪音等行驶时的车内噪声以外的如果适当制造的话本不应该产生的杂音，例如掉落螺栓等的滚动声、摩擦声、未结合的连接器的振动声等。

由于这种经由检查员的试验受检查员听力差异的影响，并且人员的工作量也大，所以提出了不经由人工而自动检测异声的技术方案，作为其示例，可以举出例如专利文件1所记载的技术。

专利文件1所记载的技术是，由对从检查对象的车辆取得的车内声音按频带范围平均化而得到的声压水平形成基准值，在产生了基准值超过一定阈值的突发声的情况下，抽出其声压水平并算出特征量，当算出的特征量对应于预定的某些异声时，判定为检测到异声。

【现有技术文件】

【专利文件1】jp特开2012-242214号公报

技术实现要素：

【发明要解决的问题】

虽然专利文献1通过上述结构来自动检测异声，因fft处理的时间平均的影响导致突发声的位置也被平滑化，从而难以出现与路面噪音等的差异，并且fft数据彼此的差量中不保持相位，难以实现精度良好的异声检测。

因此，本发明的课题的目的是提供一种异声检测装置以及异声检测方法，以消除上述缺陷，抑制通常行驶时的车内噪声而以较好的精度检测异声。

【用于解决课题的方案】

为完成上述课题，本发明的检测检查对象的异声的异声检测装置如下构成，其具备：基准声音数据记录部，其将与所述检查对象相同种类的对象中未产生所述异声的状态下的基准声音作为基准声音数据记录，所述基准声音数据具有按多个频带的相位和振幅；被检查声音数据取得部，其从在所述检查对象中产生的被检查声音取得被检查声音数据，所述被检查声音数据具有按所述多个频带的相位和振幅；特征声音数据取得部，其在与所述多个频带相同的频带中比较所述被检查声音数据和所述基准声音数据，并保持所述被检查声音数据的相位而基于所述基准声音数据的振幅来变更所述被检查声音数据的振幅，由此取得特征声音数据；以及异声检测部，其基于取得的所述特征声音数据而检测所述异声。

另外，为完成上述课题，本发明的检测检查对象的异声的异声检测方法如下构成，其具备：基准声音数据记录步骤，其将与所述检查对象相同种类的对象中未产生所述异声的状态下的基准声音作为基准声音数据记录，所述基准声音数据具有按多个频带的相位和振幅；被检查声音数据取得步骤，其从在所述检查对象中产生的被检查声音取得被检查声音数据，所述被检查声音数据具有按所述多个频带的相位和振幅；特征声音数据取得步骤，其在与所述多个频带相同的频带中比较所述被检查声音数据和所述基准声音数据，并保持所述被检查声音数据的相位而基于所述基准声音数据的振幅来变更所述被检查声音数据的振幅，由此取得特征声音数据；以及异声检测步骤，其基于取得的所述特征声音数据而检测所述异声。

附图说明

图1是整体表示本发明的实施方式的异声检测装置的概略图。

图2是表示图1的异声检测装置的操作的流程图。

图3是表示图1的异声检测装置要检测的异声的说明图。

图4是表示关于图3中所示的异声中的框架上的掉落螺栓的正常车辆与异声车辆的时间-声压测定数据等的说明图。

图5是表示差路行驶中的行驶声音(车内噪声)的说明图。

图6是表示异声检测中使用的fft的转换式、相位及振幅的说明、以及某振幅和相位时的复数表现值的说明图。

图7是将正常车辆和异声车辆的时间序列数据、fft映射、以及复数表现值进行对比表示的说明图。

图8是抽出图7的一部分来表示的说明图。

图9是表示该实施方式的差量的求解方法的说明图。

图10是表示图2的被检查声音数据等的说明图。

图11是表示图2的特征声音数据等的说明图。

【符号说明】

10车辆

12麦克风

14a/d转换电路

16电子控制单元

16a处理器

16a1基准声音数据记录部

16a2被检查声音数据取得部

16a3特征声音数据取得部

16a4异声检测部

16a41转换部

16a42学习部

16b存储器

20比利时路

22行驶路

具体实施方式

下面，根据附图说明本发明的实施方式的用于实施异声检测装置以及异声检测方法的方式。

图1是整体表示本实施方式的异声检测装置的概略图。

如图所示，异声检测装置具备：作为检查对象的车辆10、更具体地说是刚刚在制造工厂完成的车辆10的车室内配置的四个麦克风12；将从麦克风12输出的四个声音信号分别进行a/d转换而转换成数字信号的a/d转换电路14；以及a/d转换电路14的输出被输入的电子控制单元(electroniccontrolunit，以下称为“ecu”)16。

在本实施方式中，检查员驾驶车辆10在包括比利时路(石子路)等差路20在内的规定行驶道路22上行驶，用麦克风12收录在使车身强制振动时产生的车内噪声，并根据a/d转换后输入到ecu16的声音数据来自动检测(检查)是否产生通常行驶时的车内噪声以外的异声。另外，图1中的“异声产生位置”为例示而已。

另外，只要在异声检测时使车身强制振动就可以，所以也可以代替由检查员实际进行的行驶，而通过加振装置使车辆10振动。

a/d转换电路14和ecu16被配置在车辆10的车室内等适合位置处。ecu16由具备至少一个处理器(cpu)16a、和rom、ram等存储器16b的微型计算机构成。

如图1所示，处理器16a根据存储在存储器16中的程序来操作，并且以基准声音数据记录部16a1、被检查声音数据取得部16a2、特征声音数据取得部16a3、以及异声检测部16a4而发挥作用的方式构成。

基准声音数据记录部16a1将未产生异声的状态下的基准声音作为基准声音数据记录，其中，未产生异声的状态下的基准声音是在与检查对象(车辆10)相同种类的对象(同样的车辆10)中事先收录的，基准声音数据具有按多个频带的相位和振幅。

在此，“具有按多个频带的相位和振幅”的数据是指fft(快速傅里叶转换)数据或者stft(短时傅里叶转换)数据。

被检查声音数据取得部16a2从在行驶路22上行驶期间在检查对象(车辆10)中发生的被检查声音(车内噪声)取得同样具有按多个频带的相位和振幅的被检查声音数据。

特征声音数据取得部16a3同样在与多个频带相同的频带中比较被检查声音数据和基准声音数据，并保持被检查声音数据的相位而基于基准声音数据的振幅变更被检查声音数据的振幅，更具体地说，通过基于被检查声音数据与基准声音数据的振幅之比来变更被检查声音数据的振幅而取得特征声音数据。

异声检测部16a4基于取得的特征声音数据来检测异声。异声检测部16a4具备转换部16a41和学习部16a42，其中，转换部16a41把由特征声音数据取得部16a3取得的特征声音数据转换为特征声音的声音信号，学习部16a42对由转换部16a41转换过的特征声音的声音信号进行机械学习。

图2是表示本实施方式的异声检测装置的操作，即，ecu16的操作的流程图。

在说明该图之前，参照图3以后的图来对异声进行说明。

如前所述，“异声”是指通常行驶时的车内噪声，即发动机声、风哮声、路面噪音等行驶时的车内噪声以外的如果适当制造的话本不应该产生的各种各样的声音，例如掉落螺栓等的滚动声、摩擦声、未结合的连接器的振动声等。

像这样，异声因多种多样的原因产生。图3是四种异声的测定数据。其中，最上方是以框架上的掉落螺栓的滚动声为例、第二个是以树脂材料上的掉落螺栓的滚动声为例、第三个是以因连接器的结合遗漏而引起的振动声为例、第四个是以由车身等的摩擦声构成的异声为例来表示它们的频谱特性的测定数据。图中，实线表示基准声音(正常车辆行驶声音)，虚线表示异声(异声车辆行驶声音，尖峰、异声成分)。

如图所示，这些异声不具有特定的峰值，并且因种类不同而波形不同，很难用特定的算法检测。

图4是表示图3所示的异声中的框架上的掉落螺栓(最上方)的正常车辆和异声车辆的时间-声压测定数据及其时间-频率的fft(映射)数据的说明图。fft(映射)数据中，点表示频谱，表示在整个低频区域中都存在路面噪音，并且正常车辆和异声车辆的路面噪音的能量都较大。异声车辆的fft(映射)数据中，在频率轴方向上点成为多个条状的地方是产生异声的地方，表示相对于低频区域的路面噪音的能量而言，异声的能量相对较小。

图5是图3的框架上的掉落螺栓的频谱特性图，如图5所示，正常车辆行驶声音和异常车辆行驶声音在发生异声的频率以外是重叠的，在前面所述的fft的特性上，异声位置也被平滑化，表示难以辨别正常车辆行驶声音与异声车辆行驶声音的差异。

这样一来，需要在检测异声时抑制正常车辆也会产生的路面噪音等杂音。因此，本实施方式以尽可能抑制异声检测中不需要的杂音，从而提高异声的检测精度的方式构成。

下面返回图2说明实施方式的异声检测装置的操作。

首先，在s10中，从存储器16b的rom读出正常车辆的行驶声音(基准声音，用符号a表示)，该正常车辆的行驶声音是在规定时间(例如大约30[s](秒))内事先收录的检查对象的车辆10中确认为未产生异声的行驶声音，进入s12，将读出的收录声音分割为每2[s]的帧，进入s14，将分割过的收录声音按每个帧转换为fft数据并存储在存储器16c的ram的数据库中(s：処理步骤)。

另一方面，在s16中，检查员在与上述规定时间相同的时间内收录(取得)使检查对象(车辆10)在行驶路22上行驶时的检查行驶声音(被检查声音，与用符号a表示的行驶声音种类相同)。接下来进入s18，以用符号b表示收录的检查行驶声音的方式，同样分割为每2[s]的帧，进入s20，按每个帧转换为用符号c表示的fft数据。

接下来进入s22，制作与基准声音(正常车辆行驶声音)fft数据的差量比较相应的滤波器(进行过滤)，进入s24，如符号d所示，在fft数据区域按每个频率加工振幅，从而取得特征声音数据。

接下来进入s26，进行逆fft从特征声音数据复原特征声音。即，使用公知的傅里叶逆转换式将fft数据复原为原来的时间序列信号(声音信号，用符号e表示)。在此情况下，由逆转换得到的信号抑制了异声检测中不需要并且干扰的杂音，因而准确地说，相当于重新生成与原来的时间序列信号类似的信号。

接下来进入s28，对取得的原来的时间序列信号使用高通滤波器来去除低频成分，从而进一步消减噪音。需要说明的是，s28的处理不是必须的，可以去掉。而且也可以替代高通滤波器而适当地使用低通滤波器或带通滤波器。

接下来进入s30，从进行公知的mfcc(melfrequencycepstralcoefficient，梅尔频率倒谱系数)分析而得到的声音信号提取异声分类所需的特征量。在s26中进行逆fft是因为mfcc也与fft相同进行频率解析。需要说明的是，也可以替代mfcc而使用其他分析方法。

接下来进入s32，进行深度学习等的机械学习来检测异声(判定有无异声)。

参照图6以后的图说明上述处理。

图6是表示fft的转换式、相位及振幅的说明、以及某振幅和相位(例如振幅为10、相位为55°)时的复数表现值的说明图。fft的转换式是将时间序列数据分解为各种频率的正弦波的式子。

图7是将正常车辆和异声车辆的时间序列数据、fft映射、以及复数表现值进行对比表示的说明图。在图7中附记于帧的n(n＝1，2，...，n)是表示帧的顺序。fft按每个帧(2[s])进行。图8是抽出图7的一部分来表示的说明图。图9是表示该实施方式的差量的求解方法的说明图。

如前所述，为了提高异声的检测精度，需要尽可能抑制在正常车辆中也会产生的杂音。发明人深入了解后，考虑如果在正常车辆的数据(基准声音数据)和异声车辆的数据(被检查声音数据)中可观察到异声成分的帧中恰当地取得两者的差量，就能够有效抑制杂音，而形成了本发明。

如图7和图8所示，以在帧2中观察到了异声成分为例。此时，如图9中①所示，仅利用振幅信息的情况下，可取得差量但丢弃了相位信息，所以不能有效抑制杂音。

另外，如图9中②所示，单纯使用差量的情况下，如右侧的复平面所示，不能消除相位的偏移，不能有效抑制杂音，导致特征声音的音质变化。

为此，在本实施方式中，如图9中③所示，保持被检查声音数据(异声车辆)的相位，而将被检查声音数据的振幅根据与基准声音数据(正常车辆)的差量来缩小，换言之，基于基准声音数据的振幅来变更。更具体地说，基于被检查声音数据的振幅与基准声音数据的振幅的差量和被检查声音数据的振幅之比来变更被检查声音数据的振幅。

这样一来，如右侧的复平面中所示，由于未改变相位信息，所以不会使复原的特征声音的音质发生变化，因而能够有效抑制杂音。即，由于能够从特征声音去除杂音成分，所以能有效抑制杂音，并且能够从杂音中有效检测异声。

在本实施方式中，按各个帧的每个频率成分分别保持被检查声音数据(异声车辆)的相位，而根据与基准声音数据(正常车辆)的差量来缩小被检查声音数据的振幅。需要说明的是，规定频率(例如500[hz])以下的低频带范围基本上由发动机声等占据，因而可以省略。即，也可以在与超过规定频率的频带相同的频带中比较被检查声音数据和基准声音数据。

图10中表示原来的被检查声音数据(原来数据)和增强了通过上述处理得到的异声成分的特征声音数据。可以看出，原来的检查声音数据中杂音(路面噪音成分)较大，但在通过上述处理得到的特征声音数据中，杂音得到消减。

图11中以频谱表示图2的被检查声音数据等。图中实线表示基准声音fft数据，虚线表示被检查声音fft数据，单点划线表示特征声音数据。

再次回到图2的流程图的说明，在s28中对图11的特征声音数据进行高通滤波器処理，在s30中进行mfcc分析处理，并且在s32中基于mfcc分析处理过的特征声音数据进行深度学习等机械学习来检测异声。

需要说明的是，异声的检测(判定有无异声)的方法不止于此，也可以与参照图11所述的基准声音数据进行比较，或者也可以在此基础上，每当检测到异声时将特征声音数据(或者复原的特征声音)依次存储于数据库中，并将收录的被检查声音数据与存储的特征声音数据(或者特征声音)进行比较，当相同或类似时，判定为有异声。

如上所述，本实施方法的检测检查对象(车辆10)的异声的异声检测装置(或者异声检测方法)如下构成，(所述异声检测装置)具备：基准声音数据记录部(16a1)或者基准声音数据记录步骤(s10至s14)，其将与所述检查对象相同种类的对象(车辆10)中未产生所述异声的状态下的基准声音作为基准声音数据记录，所述基准声音数据具有按多个频带的相位和振幅；被检查声音数据取得部(16a2)或者被检查声音数据取得步骤(s16至s20)，其从在所述检查对象中产生的被检查声音取得被检查声音数据，所述被检查声音数据具有按所述多个频带的相位和振幅；特征声音数据取得部(16a3)或者特征声音数据取得步骤(s22至s24)，其在与所述多个频带相同的频带中比较所述被检查声音数据和所述基准声音数据，并保持所述被检查声音数据的相位而基于所述基准声音数据的振幅来变更所述被检查声音数据的振幅，由此取得特征声音数据；以及异声检测部(16a4)或者异声检测步骤(s26至s32)，其基于取得的所述特征声音数据而检测所述异声。

这样构成为在与多个频带相同的频带中比较被检查声音数据和基准声音数据，并保持被检查声音数据的相位而基于基准声音数据的振幅变更被检查声音数据的振幅来取得特征声音数据，并且基于取得的特征声音数据来检测异声，因此，能够从特征声音去除杂音成分，因而能够有效抑制杂音，还能从通常行驶时的车内噪声中以较好的精度检测异声。

另外，所述异声检测部(16a4)或者异声检测步骤(s24至s30)具备将通过所述特征声音数据取得部(16a3)取得的特征声音数据转换为特征声音的声音信号的转换部(16a41)或者转换步骤(s26至s32)，并基于所述转换过的特征声音的声音信号检测所述异声，因而在上述效果的基础上，还能够对特征声音进行mfcc分析处理，从而能够以更好的精度检测异声。

另外，所述特征声音数据取得部(16a3)或者特征声音数据取得步骤(s22至s24)通过基于所述被检查声音数据和所述基准声音数据的振幅之比来变更所述被检查声音数据的振幅而取得所述特征声音数据，因而在上述效果的基础上，还能够以更好的精度检测异声。

另外，所述异声检测部(16a4)或者特征声音检测步骤(s26至s32)具备学习部(16a42，s32)，所述学习部机械学习由所述转换部(16a41)或者转换步骤(s26至s32)转换过的特征声音的声音信号，因而在上述效果的基础上，还能够通过深度学习等机械学习而以更好的精度检测异声。

另外，所述特征声音数据取得部(16a3)或者特征声音数据取得步骤(s22至s24)在与超过所述多个规定频率的频带相同的频带中比较所述被检查声音数据和所述基准声音数据，因而在上述效果的基础上，还能够降低运算量。

另外，所述异声检测装置如下构成：具有由微型计算机构成的电子控制单元(ecu)，微型计算机具备至少一个处理器(cpu)16a和由rom、ram等构成的存储器16b，处理器16a根据存储在存储器16b中的程序进行如下操作：将与所述检查对象相同种类的对象(车辆10)中未产生所述异声的状态下的基准声音作为基准声音数据记录(s10至s14)，所述基准声音数据具有按多个频带的相位和振幅；从在所述检查对象中产生的被检查声音取得被检查声音数据(s16至s20)，所述被检查声音数据具有按所述多个频带的相位和振幅；在与所述多个频带相同的频带中比较所述被检查声音数据和所述基准声音数据，并保持所述被检查声音数据的相位而基于所述基准声音数据的振幅来变更所述被检查声音数据的振幅，由此取得特征声音数据(s22至s24)；基于取得的所述特征声音数据而检测所述异声(s26至s32)。

需要说明的是，虽然在上述实施方式中使用了fft作为时间频率特性数据，但是并不局限于此，也可以使用小波转换等。另外，图1中所示的麦克风12的个数也不限于图中的例示。

以上结合优选的实施方式对本发明进行了说明，但是，本领域的技术人员应理解，可以在不脱离本发明技术方案所记载的范围的情况下进行各种各样的修改和变更。