异声判定装置以及异声判定方法与流程

本发明涉及异声判定装置以及异声判定方法，更具体地说，涉及以完成时的车辆作为检查对象，判定其有无产生异声(异常声音)的装置及方法。

背景技术：

完成时的车辆的异声，惯常是检查员通过在比利时路(石子路)之类的差路上行驶而使车身强制振动时听取有无产生在通常行驶时的车内噪音以外的异声来进行检查(判定)。

在此，如上所述，“异声”是表示通常行驶时的车内噪声，即发动机声、风哮声、路面噪音等行驶时的车内噪声以外的如果适当制造的话本不应该产生的杂音，例如掉落螺栓等的滚动声、摩擦声、未结合的连接器的振动声等。

由于这种经由检查员的检查受检查员听力差异的影响，并且人员的工作量也大，所以理想的是不经由人工而自动地判定异声。关于这一点，专利文件1中提出了由从机械系统产生的异声(异常声音)判定(诊断)机械系统故障的技术方案。

专利文件1所记载的技术是用麦克风收录从机械系统发出的声音，并将收录到的声音用事先选定的多个带通滤波器分解为多个频率成分并得出二次方功率后，用低通滤波器提取二次方功率的包络线。随后，得出规定的频率成分的相关性，并根据所得到的相关性的高低判断故障。

【现有技术文献】

【专利文献1】jp专利第3101017号公报

技术实现要素：

【发明要解决的问题】

虽然专利文献1通过上述结构来通过异声判定故障，但是在分解为各个频率成分时，带通滤波器的带宽频率的附近如果混入其他成分，则判定精度变差。然而，在未知异声的情况下，无法事先选定适当的频率成分，所以很难进行精度较好的判定。而且，由于使用低通滤波器，无法以较好的精度判定如掉落声那样瞬间的异声。

因此，本发明的课题的目的是提供一种异声判定装置以及异声判定方法，该异声判定装置以及判定方法消除上述缺陷，无需事先选择适当的频率成分，就能以较好的精度包括未知异声在内判定检查对象中有无产生异声。

【用于解决课题的方案】

为完成上述课题，本发明的判定检查对象中有无产生异声的异声判定装置如下构成，其具备：检查对象声音数据收录部，其收录所述检查对象的声音数据；声音数据时间频率分解部，其将收录的所述检查对象的声音数据分解为每单位时间的多个频带；相关系数算出部，其将分解为所述每单位时间的多个频带的声音数据按照每个所述频带分别进行比较并算出表示两者的相关程度的相关系数；和异声判定部，其基于算出的所述相关系数来判定有无产生所述异声。

另外，为完成上述课题，本发明的判定检查对象中有无产生异声的异声判定方法如下构成，其具备：检查对象声音数据收录步骤，其收录所述检查对象的声音数据；声音数据时间频率分解步骤，其将收录的所述检查对象的声音数据分解为每单位时间的多个频带；相关系数算出步骤，其将分解为所述每单位时间的多个频带的声音数据按照每个所述频带分别进行比较并算出表示两者的相关程度的相关系数；和异声判定步骤，其基于算出的所述相关系数来判定有无产生所述异声。

附图说明

图1是整体表示本发明的实施方式的异声判定装置的概略图。

图2是表示图1的异声判定装置的操作的流程图。

图3是表示图1的检查对象在规定时间内收录的声音数据的说明图。

图4是表示图3的声音数据的stft变换数据、将其按照多个频带分解后的数据、以及其相关系数矩阵的说明图。

图5是表示图1的检查对象的收录的声音数据的通常的快速傅里叶变换(fft)数据的说明图。

图6是表示在图1的检查对象中收录的声音数据的短时傅里叶变换数据的说明图。

图7是表示图4的相关系数矩阵的合计值的说明图。

图8是表示关于三种异声的相关系数矩阵的说明图。

图9是对于异声中的框架上的掉落螺栓的滚动声施行了提案方法的情况与未施行提案方法的情况进行对比表示的与图7类似的说明图。

图10是对于异声中的树脂材料上的掉落螺栓的滚动声施行了提案方法的情况与未施行提案方法的情况进行对比表示的与图9类似的说明图。

【符号说明】

10车辆

12麦克风

14a/d转换电路

16电子控制单元

16a处理器

16a1检查对象声音数据收录部

16a2声音数据时间频率分解部

16a3相关系数算出部

16a4异声判定部

16b存储器

20比利时路

22行驶路

具体实施方式

下面，根据附图说明本发明的实施方式的用于实施异声判定装置以及判定方法的方式。

图1是整体表示本实施方式的异声判定装置的概略图。

如图所示，异声判定装置具备：作为检查对象的车辆10、更具体地说是刚刚在制造工厂完成的车辆10的车室内配置的四个麦克风12；将从麦克风12输出的四个声音信号分别进行a/d转换而转换成数字信号的a/d转换电路14；以及a/d转换电路14的输出被输入的电子控制单元(electroniccontrolunit，以下称为“ecu”)16。

在本实施方式中，检查员驾驶车辆10在包括比利时路(石子路)等差路20在内的规定行驶道路22上行驶，用麦克风12收录在使车身强制振动时产生的车内噪声，并根据a/d转换后输入到ecu16的声音数据来自动判定(检查)有无产生通常行驶时的车内噪声以外的异声。另外，图1中的“异声产生位置”为例示而已。

另外，只要在异声判定时使车身强制振动就可以，所以也可以代替由检查员实际进行的行驶，而通过加振装置使车辆10振动。

a/d转换电路14和ecu16被配置在车辆10的车室内等适合位置处。ecu16由具备至少一个处理器(cpu)16a、和rom、ram等的存储器16b的微型计算机构成。

如图1所示，处理器16a根据存储在存储器16中的程序来操作，并且在判定检查对象(车辆10)中有无产生异声的异声判定装置中，以检查对象声音数据收录部16a1、声音数据时间频率分解部16a2、相关系数算出部16a3、以及异声判定部16a4而发挥作用的方式构成。

在此，如前所述，“异声”是表示通常行驶时的车内噪声，即发动机声、风哮声、路面噪音等行驶时的车内噪声以外的如果适当制造的话本不应该产生的各种各样的声音，例如掉落螺栓等的滚动声、摩擦声、未结合的连接器的振动声等。

检查对象声音数据收录部16a1通过麦克风12在规定时间(例如30[s]秒)期间收录检查对象(车辆10)的声音数据。声音数据时间频率分解部16a2将收录的检查对象的声音数据分解为每单位时间的多个频带。

相关系数算出部16a3将分解为每单位时间的多个频带的声音数据按照每个频带分别进行比较并算出表示两者的相关程度的相关系数。异声判定部16a4基于算出的相关系数来判定有无产生异声。

图2是更详细地表示本实施方式的异声判定装置的操作，即ecu16的检查对象声音数据收录部16a1等的上述操作的流程图。

如下所述，在s10中，对于由检查对象(车辆10)产生的频率范围(例如从0至51200[hz]的频率)的声音数据由麦克风12在规定时间(例如30[s])内进行收录。

更具体地说，读出在规定时间内进行收录并存储在存储器16b的ram的适合区域的检查对象的声音数据(s：处理步骤)。图3示出该声音数据。在该图中，纵轴为声压[db]，横轴为时间[s]。

随后，进入s12，对收录的声音数据按照每单位时间(例如1[s])进行短时傅里叶变换(stft)。图4的(a)中示出stft变换数据。在该图中，纵轴为频率[hz]，横轴为时间[s]。

随后，进入s14，将每单位时间的多个频带，更具体地说是以每单位时间每100[hz]分解的声音数据按照每个频带分别比较并算出表示两者的相关程度的相关系数，并且根据算出的相关系数算出相关系数矩阵。图4的(b)中示出按照每个频带(每100z])分解的声音数据。图4的(b)的各个频带中的纵轴为声压[db]、横轴为时间[s]。图4的(c)中示出它们的相关系数矩阵。相关系数矩阵表示频率之间彼此的相关性。图4的(d)中示出其计算公式。在图4的(d)中，sxy是x和y的协方差，sx是x的标准偏差，sy是y的标准偏差，n是2变量数据，xi和yi是各个数值，和是各自的平均值。

在s14的处理中，具体地说，将100hz成分与200hz成分进行比较，随后将100hz成分与300hz成分进行比较、......200hz成分与100hz成分进行比较、......300hz成分与......等等，将从100hz成分至12500hz成分的1024个频率成分依次进行比较并依次算出相关系数和相关系数矩阵。

参照图5和图6说明从s12至s14的处理的理由。图5是示出对收录的声音数据进行了通常的快速傅里叶变换(fft)时的数据的说明图，图6是示出进行了限定时间进行的短时傅里叶变换(stft)时的数据的说明图。

如图5所示，在施行通常的fft的情况下，声音数据的值是时间平均值，所以难以表现正常车辆和异声车辆之间的声压的变动。特别是，如果异声例如是掉落物成分(掉落螺栓的滚动声等)，则是断续产生的。另外，由于路面噪音等通常行驶时的噪声非常大，所以异声成分相对较小。

因此，发明人深入了解后，着眼于由掉落物等特定声源引起的异声在各频率成分上均具有相关性，而想到将收录的检查对象的声音数据分解为每单位时间的多个频带，并将分解后的声音数据按照每个频带分别比较并算出表示两者的相关程度的相关系数(矩阵)，并且基于算出的相关系数(矩阵)来判定，从而能够以较好的精度仅提取异声成分，而作出了本发明。

即，根据掉落物等特定声源引起的异声如图4中(a)、(b)、(c)所示那样在多个频带上相关性变强的事实，着眼于通过算出表示相关程度的相关系数(矩阵)而能够以较好的精度仅提取异声成分。

另外想说明的是，在相关系数矩阵中，用符号p表示的中高频率范围主要与掉落物引起的声音相关，而用符号q表示的低频率范围主要与通常的行驶噪声引起的声音相关。

在图2的流程图中，随后进入s16，将得到的相关系数(更具体地说是相关系数矩阵值)沿y轴进行合计。图7是针对频率表示所得到的合计值的说明图。图7中，纵轴位相关系数，横轴为频率。

随后进入s18，基于在s16中算出的y轴上的相关系数(更具体地说是相关系数矩阵)的分布、更具体地说是基于相关系数矩阵的合计值，进行深度学习等的机械学习而判断有无产生异声。

如上所述，根据发明人的见解，将收录的检查对象的声音数据分解为每单位时间的多个频带，并将分解的声音数据按照每个频带进行比较而算出两者的相关系数，这时，对于由特定声源引起的异声，相关系数的值因异声成分而变大。因此，相关系数的值变大也就是说，提取到异声成分，换句话说，能够判定有异声。

另一方面，有可能由暂时性的噪音等引起而算出相关系数，所以不止于用算出相关系数来判定有无产生异声，而且判断算出的相关系数的合计值是否超过适当设定的阈值，当判断为超过时，则判定有无产生异声。

在此，参照图7说明图4的(c)的符号p、q所表示的异声的频率特性。

图7是将相关系数矩阵的合计值与正常车辆进行对比表示的说明图。可以看出，图7中用符号q表示的低频率范围是混合有通常行驶时的噪声的范围，所以异声有无判定的精度会低一些，而在其以上的中高频率范围p中通过进行上述处理，以较好的精度提取出异声。

在此，关于异声的种类的判别进行说明，异声是由多种多样的原因产生的。图8是关于3种异声的相关系数矩阵，并且是以这些异声为例表示它们的相关系数矩阵的说明图。其中，该图的(a)是框架上的掉落螺栓的滚动声形成的异声，该图的(b)是树脂材料上的掉落螺栓的滚动声形成的异声，该图的(c)是未结合的连接器的振动声形成的异声。

图9和图10是将其中的框架上的掉落螺栓的滚动声与树脂上的掉落螺栓的滚动声进行对比表示的说明图，图9和图10的左侧是未进行上述提案方法的处理的情况下的表示频谱特性的测量数据，右侧是进行了提案方法的处理的情况下的表示频谱特性的测量数据。图中实线表示正常车辆行驶声音、虚线表示异声车辆行驶声音(异声成分)。从这些图可以看出，提案方法以较好的精度提取了异声成分。

如上所述，该实施方式如下构成：一种判定检查对象(车辆10)中有无产生异声的异声判定装置(或异声判定方法)，所述异声判定装置(或异声判定方法)具备：检查对象声音数据收录部(16a1)或检查对象声音数据收录步骤(s10、s12)，用于收录所述检查对象的声音数据；声音数据时间频率分解部(16a2)或声音数据时间频率分解步骤(s14)，用于将收录的所述检查对象的声音数据分解为每单位时间的多个频带；相关系数算出部(16a3)或相关系数算出步骤(s14)，用于将分解为所述每单位时间的多个频带的声音数据按照每个频带分别进行比较并算出表示两者的相关程度的相关系数；和异声判定部(16a4)或异声判定步骤(s16、s18)，用于基于算出的所述相关系数来判定有无产生异声。

如此，将收录的所述检查对象的声音数据分解为每单位时间的多个频带，并将分解的声音数据按照每个频带分别进行比较并算出表示两者的相关程度的相关系数，并且基于算出的相关系数来判定有无产生异声，由此，如果是由特定声源引起的异声，则能够在不事先选择适当的频率成分的情况下，以较好的精度判定在检查对象中有无产生异声(包括未知异声在内)。

进一步，由于能够仅从检查对象的行驶声音来进行判定而无需事先收录正常车辆的行驶声音作为对检查对象的基准音，所以在检查对象的种类较多的情况下尤其有利。

另外，由于构成为所述异声判定部(16a4)或异声判定步骤(s16、s18)根据算出的所述相关系数算出每个频带的所述相关系数矩阵，并基于算出的所述相关系数矩阵来判定有无产生异声，所以在上述效果的基础上，还使根据相关系数判定有无产生异声变得容易。

另外，由于构成为所述异声判定部(16a4)或异声判定步骤(s16、s18)基于算出的所述相关系数矩阵来判定所述异声的种类，所以在上述效果的基础上，还使在判定了产生异声之后的产生原因的确定、修理等处理变得容易。

另外，由于构成为所述异声判定部(16a4)或异声判定步骤(s16、s18)通过将算出的所述相关系数进行合计来判定有无产生异声，所以在上述效果的基础上，通过将例如合计得到的值与例如适当没定的阈值进行比较而使数据的偏差变得明显，并且在决定判定阈值时使用机械学系的情况下，可以期待因维数减少而降低计算成本，因此，能够以更好的精度判定有无产生异声。

由于构成为所述异声判定部(16a4)或异声判定步骤(s16、s18)在算出的所述相关系数的合计值超过阈值时基于算出的所述相关系数判定有无产生异声，所以在上述效果的基础上，能够排除由暂时性的噪音等带来的影响。

另外，所述异声判定装置如下构成：具有由微型计算机构成的电子控制单元(ecu)，微型计算机具备至少一个处理器(cpu)16a和由rom、ram等构成的存储器16b，处理器16a和存储器16b收录所述检查对象的声音数据(s10、s12)，并将收录的所述检查对象的声音数据分解为每单位时间的多个频带(s14)，并将分解为所述每单位时间的多个频带的声音数据按照每个所述频带分别进行比较并算出表示两者的相关程度的相关系数(s14)，并基于算出的所述相关系数来判定有无产生异声(s16、s18)。

此外，虽然上述声音数据的时间频率分解使用stft，但是不限于此，只要能够将数据分解为时间-频率即可，也可为小波变换等任意形式的变换。

以上结合优选的实施方式对本发明进行了说明，但是，本领域的技术人员应理解，可以在不脱离本发明技术方案所记载的范围的情况下进行各种各样的修改和变更。