基于车联网的车载终端语音信号处理方法
【专利摘要】本发明提供了一种基于车联网的车载终端语音信号处理方法，该方法包括：将语音信号的时域混合变换成频域混合，对其中每个频点进行频域分离；通过幅值补偿消除各频点增益差异所导致的幅值模糊，通过短时FFT逆变换将频域信号变换成时域信号，得到时域下对应的语音信号。本发明提出了一种基于车联网的车载终端语音信号处理方法，减弱了背景噪声对车载语音识别系统的干扰，有效地改善了在噪声环境下车载语音识别系统的性能。
【专利说明】
基于车联网的车载终端语音信号处理方法
技术领域
[0001] 本发明设及语音信号处理，特别设及一种基于车联网的车载终端语音信号处理方 法。
【背景技术】
[0002] 语音识别是通过利用识别算法让机器能够准确地识别出人类所发出的语音命令 并执行相应的操作。目前，随着语音信号处理技术的发展，一些较成熟的语音识别系统相继 诞生。然而在车载现场环境下使用时，其识别性能会急剧下降。假设一个孤立词识别系统是 由纯净语音训练得到的，那么它在相对安静环境下进行语音识别，其识别率可达到100%， 但是如果在W90Km/h行驶的汽车内，其识别率下降到了30%。从上述对比数据中可W发现， 在行驶中的车辆等噪声环境下语音识别系统性能无法满足人们的需求。在真实环境中，语 音信号不可避免地受到各种外部噪声的干扰，而运些噪声的存在会使得带噪语音与原先由 纯净语音训练出的模型之间失配，从而影响车载语音识别系统性能。
【发明内容】
[0003] 为解决上述现有技术所存在的问题，本发明提出了一种基于车联网的车载终端语 音信号处理方法，包括：
[0004] 将语音信号的时域混合变换成频域混合，对其中每个频点进行频域分离;通过幅 值补偿消除各频点增益差异所导致的幅值模糊，通过短时FFT逆变换将频域信号变换成时 域信号，得到时域下对应的语音信号。
[0005] 优选地，所述将语音信号的时域混合变换成频域混合，对其中每个频点进行频域 分离，进一步包括：
[0006] 首先对采样信号进行FFT变换，可得：
[0007] X(f)=A(f)S(f)
[000引其中，X(f)和S(f)分别表示采样信号和源信号经FFT变换后得到的频域信号，A(f) 是各混合滤波器频率响应构成的矩阵，经过FFT之后，语音信号从时域下的卷积混合变成频 域下的瞬时混合;对每个频点fk化=0，1，…，)通过瞬时独立成分分析进行频域分离，如 下所示：
[0009] X(fk)=A(fk)S(fk),k = 〇a,-",L-l
[0010] 其中L表示FFT变换后频域下的频点个数，k为频点序号
[0011] 经过FFT变换后，采样信号从时域变到频域，同时也使得待处理数据的数值从实数 域变到了复数域，然后利用多变量数据的四维累加量矩阵，并对其做特征分解，从而实现对 信号的分离，即：
[001^ 对一组采样信号X=[X1，X2…XN]进行白化处理，N为声源数量，找到一个使得的自 相关矩阵为单位矩阵I的线性变换矩阵B，其中，
[0013] Z = Bx = BAs = Vs
[0014] 令M是NX腺隹的矩阵，则Z的四阶累加矩阵为化(M)，其第ij个元素定义如下：
[0015]
[0016] 巧中，Cu刃四价累加量矩阵中巧（k，l)个位置的累加量于矩阵的第i行第j列的元 素，Hlk功矩阵M中化，1)个元素，
[0017] 令V=[Vi，V2.''Vn]，取矩阵M=[Mi，M2.''Mp]，对每个Mi求取跑(Mi),计算使得跑(Mi)非 对角元素平方和即yH化(Mi)V出现极小值的矩阵V，最后提取独立成分u=W'x = vHbx
[0018] 优选地，所述通过幅值补偿消除各频点增益差异所导致的幅值模糊，进一步包括：
[0019] 将频点fk对应的频域采样信号进行独立成分提取过程中计算得到的分离矩阵记 为W(fk)，所提取的各通道独立成分构成向量:Y(fk，T)，其中T表示滑动窗的位置，则将该频 点上的混合矩阵A(fk)计算为
[0020] A(fk)=W_i(fk)
[0021 ]利用混合矩阵A(fk)对对应频点独立成分进行补偿，计算如下：
[0022]
[0023] 其中Y^fk, T)表示幅值补偿前所提取的第j通道频域分量，Vu(fk，T)表示经过幅值 补偿后第i个频域采样信号中实际上属于第j通道频域分量的部分；
[0024] 经过幅值补偿后，fk频点对应的独立成分产生N个补偿分量，经过后续处理最终可 W得到N个对应于同一个信号源的纯净语音信号，最后从N个信号求取平均作为最终输出信 号。
[0025] 本发明相比现有技术，具有W下优点：
[00%]本发明提出了一种基于车联网的车载终端语音信号处理方法，减弱了背景噪声对 车载语音识别系统的干扰，有效地改善了在噪声环境下车载语音识别系统的性能。
【附图说明】
[0027] 图1是根据本发明实施例的基于车联网的车载终端语音信号处理方法的流程图。
【具体实施方式】
[0028] 下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描 述。结合运样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利 要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节W 提供对本发明的透彻理解。出于示例的目的而提供运些细节，并且无运些具体细节中的一 些或者所有细节也可W根据权利要求书实现本发明。
[0029] 本发明的一方面提供了一种基于车联网的车载终端语音信号处理方法。图1是根 据本发明实施例的基于车联网的车载终端语音信号处理方法流程图。
[0030] 本发明首先在车载语音识别系统的前端处理过程中增加了成分分析，对带噪语音 信号进行频域分离从而获得纯净的语音信号;对所获得的纯净语音信号进行端点检测；最 后提取所获语音段的特征参数，并导入车载语音识别系统中进行识别。
[0031] 车载语音识别系统包括四个单元。卷积混合单元，进行语音信号与噪声的仿真卷 积混合，W获得带噪语音信号；分离单元:对带噪语音信号进行频域分离，W获得纯净的语 音信号;端点检测单元，采用语音端点检测算法，并选择待检测的语音信号、调整端点检测 参数、并在检测后将检测到的有效语音段保存为语音文件。语音识别单元，用于语音识别、 显示识别结果和计算识别率，可W选择多个语音文件导入车载语音识别系统中识别。
[0032] 本发明利用基于动态峰度和能量双阔值的端点检测算法。首先计算出语音信号的 滑动窗峰度值，记为Kt(n)，并同时记录下中间值S2(n)，其中n是语音信号的长度。利用公式 th=max化t)/10来计算整个语音信号的峰度阔值。
[0033] 将n记为起点start,在n不断递增的过程中，开始向后检索，若n为空白段，则判断 空白段样本点数nc与空白段所允许的最大样本点常数maxnc，W及语音段样本点数SC与语 音段所允许的最小样本点常数minsc ;仅当满足nc〉maxnc并且sc>minsc，输入语音段
[St曰rt,St曰rt+sc+nc-1]C
[0034] 考虑到混合系统对源信号产生的延迟和卷积效应，本发明采用W下方法提取相对 纯净的语音特征参数。首先利用短时FF門尋带噪语音信号XI，a = l，2)从时域变换到频域， 生成LXM点采样信号矩阵，其中L表示FFT变换后频域下的频点个数，M表示对信号加窗分帖 后的帖数;然后实现混合信号的频域分离，对提取出的频域分量进行FFT逆变换得到时域独 立成分;最后对获得的MHi或特征和其对应的一阶差分系数进行线性组合，并将组合后的特 征用于后续识别过程中。在特征提取前端，独立成分分析可W有效地减少噪声对源语音信 号的干扰，使得在卷积噪声环境下所提取的语音特征参数也能较好地反映语音信号的本质 特征。
[0035] 本发明对语音信号进行FFT变换时是逐段进行的。对语音信号加窗，并让该窗在时 间轴上平移。卷积混合过程可W描述为：
[0036]
[0037] 其中P为卷积混合滤波器阶数，曰1功第j个声源到第i个传感器的冲激响应，N为声 源数量。对上式进行短时FFT变换，所得信号可W表示为：
[0038
[0039] 其中，win表示在预处理过程中所加的窗口函数，T为窗口函数的位置;fs为采样频 率，f为离散频点，其取值为f = fsl/L; 1 = 0，1，…心！。
[0040] 对输入的语音进行短时FFT变换之后，将时域采样信号xi(t)变换到时频域，得到 一个L*M点的采样信号矩阵：
[0041]
[0042] 将同频点fk(kG[0，L-l])的Xi(fk)作为该频点进行独立成分提取的新采样数据， 对新采样数据进行频域分离矩阵W(fk)的估计，进而实现对信号频域分量Yi(fk)的提取。
[0043] 其中独立成分分析算法对各频点进行频域分离，得到了短时频域分量Yi(f，T)，再 消除幅值和排序模糊性之后得到化(f，T)，它们是对纯净频域源信号Si(f，T)的逼近。
[0044] 接下来就是将信号从频域转换到时域，则对化(f，T)进行短时FFT逆变换，即按列 对化(f，T)时频矩阵求逆离散FFT运算，得到在不同时窗位置（Tm，m = 0，1，...M-1)上的时间 信号- T….
[0045]
[0046] 然后按Tm从小到大的顺序对m(f ,Tm)进行拼接，得到源的完整时间信号，即：
[0047] Ui(t)=Ui(t,T〇；)+Ui(t-Tl,T：i；) + '''+Ui(t-TM-l,TM-l)
[0048] 如果进行拼接处理时，相邻窗口内的时间信号出现部分重叠，则对重叠区域的数 据采用相加求平均的处理方法。
[0049] 为了提取语音M化参数，首先对经过频域去卷积的处理的语音信号进行预加重处 理，再使其通过M化滤波器组，对每组输出结果做对数运算后再进行DCT变换，最后输出即为 语音信号的MFL域特征。
[0050] 此外，为了获得语音信号的动态信息，算法对提取出的M化参数进行了差分运算， 计算过程如下：
[0化1 ]
[0052] 其中R是ffiL系数的阶数，d反映信号的动态特征，a表示加权因子，K为进行一阶差 分求取的帖的长度，Cm表示信号倒谱。经过上式计算可W获得与MHi或特征参数阶数R相同 的差分MEL参数。最后将所得MEL参数和差分MEL参数进行组合得到2*R维的新组合特征作为 语音信号特征矢量。
[0053] 其中，频域去卷积处理是用于实现卷积混合信号的分离，具体包括，首先利用短时 FFT将时域下的卷积混合变换成频域下的瞬时混合，然后采用独立成分分析对其中每个频 点进行频域分离。最后为了获得时域下对应的语音信号，还通过短时FFT逆变换将频域信号 变换成时域信号。
[0054] 首先对采样信号进行FFT变换，可得：
[0055] X(f)=A(f)S(f)
[0056] 其中，X(f)和S(f)分别表示采样信号和源信号经FFT变换后得到的频域信号，A(f) 是各混合滤波器频率响应构成的矩阵，经过FFT之后，语音信号从时域下的卷积混合变成了 频域下的瞬时混合。对每个频点fk(k = 0，l，…，i-1)利用瞬时独立成分分析算法进行频域 分离，如下所示
[0057] X(fk)=A(fk)S(fk)，k = 0，l，...，k化为频点序号
[0058] 经过FFT变换后，采样信号从时域变到频域，同时也使得待处理数据的数值从实数 域变到了复数域，对于复数域的独立成分分析，本发明引入了多变量数据的四维累加量矩 阵，并对其做特征分解，从而实现对信号的分离。
[0059] 令;义=[义1，义2。'別]为一组采样信号，对其进行白化处理，即找到一个使得的自相 关矩阵为单位矩阵I的线性变换矩阵B。其中，
[0060] Z = Bx = BAs = Vs
[00611 Am旦MVM紙的化化耐。的而RA寅巾。化化AirWwn甘笛i i水元素定义如下；
[0062；
[0063] 式中，Cu为四阶累加量矩阵中第化，1)个位置的累加量子矩阵的第i行第j列的元 素。mki为矩阵M中化，1)个元素。
[0064] 令V=[Vi，V2-Vn]，取矩阵M=[Mi，M2-Mp]，对每个Mi求取化(Mi),计算使得化(Mi)非 对角元素平方和即yH化(Mi)V出现极小值的矩阵V，最后提取独立成分u=W'x = vHbx
[0065] 对于幅值模糊性的出现，本发明通过幅值补偿来消除运种幅值模糊性问题，补偿 算法如下：
[0066] 设W(fk)是对频点fk对应的频域采样信号进行独立成分提取过程中计算得到的分 离矩阵，则所提取的各通道独立成分构成向量:Y(fk，T)，其中T表示滑动窗的位置，则该频 点上的混合矩阵A(fk)可计算为
[0067] A(fk)=W_i(fk)
[0068] 利用混合矩阵A(fk)对对应频点独立成分进行补偿，计算如下：
[0069]
[0070] 其中Y^fk, T)表示幅值补偿前所提取的第j通道频域分量，Vu(fk，T)表示经过幅值 补偿后第i个频域采样信号中实际上属于第j通道频域分量的部分。经过幅值补偿后，fk频 点对应的独立成分会产生N个补偿分量，经过一系列的后续处理，最终可W得到N个对应于 同一个信号源的纯净语音信号。最后从N个信号求取平均作为最终输出信号。
[0071 ]在对各频点进行频域分离后得到的对应频点的分离结果是随机分配的，所W在分 离之后对各频点的分离结果进行重新组合时可能会出现不同频点分离信号对应不同的源 信号。本发明采用一种基于相邻频点相关性检测的方法来消除排序模糊性的问题。假设经 独立成分提取后得到的信号分量为Y(fk) = [Yi(fk，T)瓜化，t)]t
[0072] 则根据幅值补偿公式可得
[0073]
[0074]
[0075] 假设Ri(fk，T)为独立成分Yi(fk，T)的包络：
[0076]
[0077] 式中d表示平均宽度。根据上式可得包络函数3也，1)=[虹化，1)，1?2化，1)]。通过 对相邻频点的包络函数R(fk，T)和R(fk+1，T)进行匹配，并根据匹配结果对频域分量进行排 序。
[007引排序算法如下：
[0079] 首先根据选定的匹配方法计算包络参数。定义相邻频点fk和fk+i之间的包络参数 Pij定义如下：
[0080]
[0081 ]式中M表示在对信号进行加窗FFT变换后的语音帖数。
[0082] 根据所定义的包络参数构造调整矩阵P。对于相邻频点fk和fk+i的包络系数m构成 一个如下调整矩阵
[0083]
[0084] 根据调整矩阵判断是否要进行重新排序。若P11+P22〉P12+P21，则表示相邻频点中，同 源独立成分位置一致，则无需调整。若P11+P22小于P12+P21，则表示相邻频点中，同源独立成分 的位置不一致，需要重新进行排序。若经过幅值补偿后的输出成分为
[0085] V(fk) = [Vl 化，T)，V2(fk，T)]T
[0086] V化+1) = [ Vl 化+1，T)，V2 (fk+l，T) ]T
[0087] 贝恃Ij用P对后一个频点fk+i的V(fk+i)进行左乘，即 [008引 PXV(fk+i)^V(fk+i)
[0089] 综上所述，本发明提出了一种基于车联网的车载终端语音信号处理方法，减弱了 背景噪声对车载语音识别系统的干扰，有效地改善了在噪声环境下车载语音识别系统的性 能。
[0090] 显然，本领域的技术人员应该理解，上述的本发明的各单元或各步骤可W用通用 的计算系统来实现，它们可W集中在单个的计算系统上，或者分布在多个计算系统所组成 的网络上，可选地，它们可W用计算系统可执行的程序代码来实现，从而，可W将它们存储 在存储系统中由计算系统来执行。运样，本发明不限制于任何特定的硬件和软件结合。
[0091] 应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的 原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何 修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨 在涵盖落入所附权利要求范围和边界、或者运种范围和边界的等同形式内的全部变化和修 改例。
【主权项】
1. 一种基于车联网的车载终端语音信号处理方法，其特征在于，包括： 将语音信号的时域混合变换成频域混合，对其中每个频点进行频域分离;通过幅值补 偿消除各频点增益差异所导致的幅值模糊，通过短时FFT逆变换将频域信号变换成时域信 号，得到时域下对应的语音信号。2. 根据权利要求1所述的方法，其特征在于，所述将语音信号的时域混合变换成频域混 合，对其中每个频点进行频域分离，进一步包括： 首先对采样信号进行FFT变换，可得： X(f)=A(f)S(f) 其中，X(f)和S(f)分别表示采样信号和源信号经FFT变换后得到的频域信号，A(f)是各 混合滤波器频率响应构成的矩阵，经过FFT之后，语音信号从时域下的卷积混合变成频域下 的瞬时混合;对每个频点fk(k = O，1，…，L-I)通过瞬时独立成分分析进行频域分离，如下所 示： X(fk) =A(fk)S(fk)，k = 0,1，…，L-1 其中L表示FFT变换后频域下的频点个数，k为频点序号 经过FFT变换后，采样信号从时域变到频域，同时也使得待处理数据的数值从实数域变 到了复数域，然后利用多变量数据的四维累加量矩阵，并对其做特征分解，从而实现对信号 的分呙，即： 对一组采样信号X= [Χ1，Χ：τ··ΧΝ]进行白化处理，N为声源数量，找到一个使得的自相关 矩阵为单位矩阵I的线性变换矩阵B，其中， Z = Bx = BAs = Vs 令M是NXN维的矩阵，则z的四阶累加矩阵为Qz(M)，其第i.i个元素定义如下：式中，Cu为四阶累加量矩阵中第(k，l)个位置的累加量子矩阵的第i行第j列的元素，mkl 为矩阵M中（k，l)个元素， 令V= [V1J^Vn]，取矩阵M= [Μχ,Μ^Μρ]，对每个Mi求取Qz(Mi)，计算使得Qz(Mi)非对角 元素平方和即Vh Qz(M1)V出现极小值的矩阵V，最后提取独立成分U=W'x = VhBx。3. 根据权利要求2所述的方法，其特征在于，所述通过幅值补偿消除各频点增益差异所 导致的幅值模糊，进一步包括： 将频点fk对应的频域采样信号进行独立成分提取过程中计算得到的分离矩阵记为W (fk)，所提取的各通道独立成分构成向量:Y(fk，i)，其中τ表示滑动窗的位置，则将该频点上 的混合矩阵A(f k)计算为 A(fk)=ff_1(fk) 利用混合矩阵A(fk)对对应频点独立成分进行补偿，计算如下：其中以fk，T)表示幅值补偿前所提取的第j通道频域分量，V^(fk，T)表示经过幅值补偿 后第i个频域采样信号中实际上属于第j通道频域分量的部分； 经过幅值补偿后，fk频点对应的独立成分产生N个补偿分量，经过后续处理最终可以得 到N个对应于同一个信号源的纯净语音信号，最后从N个信号求取平均作为最终输出信号。
【文档编号】G10L15/20GK106023987SQ201610280913
【公开日】2016年10月12日
【申请日】2016年4月28日
【发明人】谢欣霖, 陈波
【申请人】成都之达科技有限公司, 成都同创合科技有限公司, 成都同创合一科技有限公司