一种泛音生成方法、装置，及声音增强方法及装置的制作方法

专利名称：一种泛音生成方法、装置，及声音增强方法及装置的制作方法
技术领域：
本发明涉及利用傅立叶变换的泛音生成方法及装置、通过降低采样率的泛音生成方法及装置、声音增强方法及装置，尤其，利用傅立叶变换代替具有较高的复杂度、具有较难实现的高精密度的多通带滤波器，增强低音，通过降低采样率及帧重复增强高音。
背景技术：
随着信号处理技术及相关装置的飞跃性发展，为了追求更具立体感的声音，多种信号处理方法被开发出。尤其，为了给用户提供根据现实感并接近于原音的声音，最近提供着多种低频及高频声音增强方法。
像低价位耳机之类的声音播放系统，与中高频带声音信号相比，低频带声音信号明显减衰。为解决此问题，现有的低音增强装置利用均衡器(equalizer)增强声音信号中的低频带成分。但是，当直接增强低频带成分时，为防止削波(clipping)需要削弱(attenuate)信号的大小并会存在对声音信号的动态范围(dynamic range)减少等问题。
最近开发的低频及高频声音增强方法大部分采用将具有基本频率成分的声音信号输入到非线性系统并生成泛音信号的方法。这是根据已公知的缺少的基波理论(theory of the missing fundamental)。根据该理论，以基波的泛音(harmonics)信号取代具有基波(fundamental frequency)的声音信号的话，听取者察觉不到音调(pitch)的差异。
但是，为生成泛音信号，就得利用非线性系统，非线性系统由于不遵循重叠的原理，如果输入具有两个以上的频率成分的声音信号，就会生成互调成分(inter-modulation component)并发生互调失真(inter-modulationdistortion)。
现有的声音增强装置为防止互调成分的生成，在声音信号输入到非线性系统之前，通过具有较高精密度的多通带滤波器(multi-band filter of finegranularity)过滤声音信号生成分割(segment)为窄带(narrowband)的信号。
但是，现有的具有较高精密度的多通带滤波器的声音增强装置具有很高的复杂度(high-complexity)并且存在较难实现的问题。

发明内容
本发明的目的在于提供利用傅立叶变换及正弦波生成代替具有较高精密度的多通带滤波器，具有较低复杂度并容易实现的低音增强用泛音生成方法及装置。
本发明另一目的在于提供利用傅立叶变换及正弦波生成代替具有较高精密度的多通带滤波器，具有较低复杂度并容易实现的高音增强用泛音生成方法及装置。
本发明另一目的在于提供利用上述低音增强用泛音生成装置和高音增强用泛音生成装置，提供更具立体感的声音的声音增强装置。
为实现上述目的的本发明的利用傅立叶变换的泛音生成装置包括对输入的声音信号进行傅立叶变换(fourier transform)，输出对上述声音信号的任意频率成分的傅立叶系数值的傅立叶变换部；生成具有与上述傅立叶系数值相应的大小和频率的正弦波信号的正弦波生成部；生成上述正弦波信号的泛音信号的泛音生成部。
为实现上述目的的本发明的利用傅立叶变换的泛音生成方法包括对输入的声音信号进行傅立叶变换并计算出对上述声音信号的任意频率成分的傅立叶系数值的傅立叶变换执行步骤；生成具有与上述算出的各傅立叶系数值相应的大小和频率的正弦波信号的正弦波生成步骤；生成上述正弦波信号的泛音信号的泛音生成步骤。
为实现上述目的的本发明中的通过降低采样率的泛音生成装置包括对输入的声音信号以预先设置的帧大小，以预先设置的倍数降低采样率(downsampling)，生成上述声音信号的泛音信号的降低采样率部；对上述生成的泛音信号进行帧重复处理(frame repetition processing)，对上述泛音信号进行插值的帧重复部。
为实现上述目的的本发明的通过降低采样率的泛音生成方法包括对输入的声音信号以预先设置的帧大小，以预先设置的倍数降低采样率(downsampling)，生成上述声音信号的泛音信号的降低采样率步骤；对上述生成的泛音信号进行帧重复处理，对上述泛音信号进行插值的帧重复步骤。
为实现上述目的的本发明的声音增强装置包括对输入的声音信号进行傅立叶变换(fourier transform)，输出对上述声音信号的任意频率成分的傅立叶系数值的傅立叶变换部；生成具有与上述傅立叶系数值相应的大小和频率的正弦波信号，生成上述正弦波信号的泛音信号并输出的低频带增强部；对输入的声音信号进行高通滤波，以预先设置的帧大小，以预先设置的倍数降低采样率(down sampling)，生成上述声音信号的泛音信号，对上述生成的泛音信号进行帧重复处理(frame repetition processing)，从而对上述泛音信号进行插值，并输出上述生成的高频增强信号的高频带增强部；对上述低频增强信号、上述高频增强信号及上述声音信号的傅立叶系数值，进行能够反映声音从音源传播到听取者的途中发生的上述泛音信号的变化的HRTF处理，输出合算的信号的头部相关转换函数(HRTFhead related transfer function)部。
为实现上述目的的本发明的声音增强方法包括对输入的声音信号进行傅立叶变换(fourier transform)，输出对上述声音信号的任意频率成分的傅立叶系数值的傅立叶变换步骤；生成具有与上述傅立叶系数值相应的大小和频率的正弦波信号的第一低频带增强步骤；生成上述正弦波信号的泛音信号并输出的第二低频带增强步骤；对输入的声音信号进行高通滤波的第一高频带增强步骤；以预先设置的帧大小，以预先设置的倍数降低采样率(down sampling)，生成上述声音信号的泛音信号的第二高频带增强步骤；对上述生成的泛音信号进行帧重复处理(frame repetition processing)，从而对上述泛音信号进行插值，输出上述生成的高频增强信号的第三高频带增强步骤；对上述低频增强信号、上述高频增强信号及上述声音信号的傅立叶系数值，进行能够反映声音从音源传播到听取者的途中发生的上述泛音信号的变化的HRTF处理，输出合算的信号的HRTF处理步骤。


图1是根据本发明一实施例的低音增强用泛音生成装置的方框图；图2是根据本发明另一实施例的低音增强用泛音生成装置的方框图；图3是根据本发明另一实施例的低音增强用泛音生成装置的方框图；图4是根据本发明一实施例的高音增强用泛音生成装置的方框图；图5是根据本发明一实施例的声音增强装置的方框图；图6是根据本发明一实施例的HRTF部的结构方框图；图7是根据本发明一实施例的泛音生成部的输入输出曲线图；图8是高音增强用泛音生成装置的输入输出的声音信号频谱分析图；图9是根据本发明一实施例的低音增强用泛音生成方法的顺序图；图10是根据本发明另一实施例的低音增强用泛音生成方法的顺序图；图11是根据本发明另一实施例的低音增强用泛音生成方法的顺序图；图12是根据本发明一实施例的高音增强用泛音生成方法的顺序图。
附图主要符号说明100低音增强用泛音生成装置110，210，310定相部120，320FFT部125低通滤波器130正弦波生成部 135集合部140泛音生成部150带通滤波部160，270，350HRTF部 170，360合算部200高音增强用泛音生成装置220第1带通滤波器230降低采样率部 240帧重复部
250平滑部260第2带通滤波器330低频带增强部 340高频带增强部351低频带部 352高频带部353主信号部 400扬声器具体实施方式
以下，参照附图详细说明本发明较佳实施例。
输入本发明中的装置的声音信号为连续信号(continuous signal)以预先设置的频率采样的离散信号(discrete signal)。
图1是根据本发明一实施例的低音增强用泛音生成装置的方框图。
如图1所示，本发明一实施例的低音增强用泛音生成装置100包括定相(phasing)部110，快速傅立叶变换(FFTfast fourier transform)部120，正弦波生成部130；泛音生成部140，带通滤波部150；HRTF部160及合算部170。
上述定相部110通过左右信道接收多信道声音信号，例如立体声信号的输入，为降低各信道声音信号间的相关性(correlation)，对输入的上述立体声信号进行定相并通过上述左右信道向上述FFT部120。
如果对立体声信号进行定相，降低各信道的声音信号之间的相关性，能够通过两个扬声器向听取者提供更具立体感(specious)的声音。
上述进行定相的声音信号可用下述数学试1表示。
数学式1公式1)L2＝L1-aR1公式2)R2＝R1-aL1在此，L1及R1表示左右信道输入的立体声信号，L2及R2表示左右信道输出的立体声信号，a表示定相系数。
除上述定相方法之外，也有其他的公知的定相方法可实现本发明，上述定相方法为公知的技术，因此以下省略其说明。
上述FFT部120通过上述左右信道从上述定相部110接收上述进行定相的声音信号，对上述各信道的声音信号进行傅立叶变换，例如作为离散傅立叶变换(DFT)的高速傅立叶变换，向上述正弦波生成部130输出上述声音信号的任意频率成分的傅立叶系数值，上述任意频率成分最好是低频成分。
一般来说，音乐声音信号具有OKHz至22KHz的频带。为了采样上述音乐声音信号不发生混淆现象(aliasing)，以奈奎斯特(Nyquist)频率44KHz以上的频率采样。当利用以44KHz对上述音乐声音信号采样的1024个样本执行FFT时，由上述FFT算出的1024个傅立叶系数之间的频率间隔为约40Hz。因此，上述低波段，如0Hz至300Hz波段频率成分的傅立叶系数成为首7个傅立叶系数。
上述输入的声音信号的每1024样本算出7个傅立叶系数，即一组傅立叶系数，1024个声音信号样本中剩下的1023个声音信号样本的傅立叶系数组可利用平滑函数(smoothing function)算出或插值(interplate)。上述平滑函数可使用线性平滑函数。例如利用1024个声音信号样本算出的一组的傅立叶系数和利用其次1024个声音信号样本算出的其次组的傅立叶系数中，将相同频率成分的傅立叶系数以直线连接，可求出剩下的1023个声音信号样本的傅立叶系数组。但是，随着上述输入的声音信号的低频成分增加，当然为插值上述傅立叶系数可以使用强调低频成分的许多非线性平滑函数。根据上述平滑函数，对上述正弦波生成部130生成的正弦波函数进行振幅调制(amplitude modulation)。
上述FFT部120通过各不同的7个信道将上述每次声音信号样本的上述7个傅立叶系数值向正弦波生成部130输出。
上述FFT部120可采用每40Hz具有通带(pass band)，阻带(stop band)的顶点(peak)值大小为13dB的多通带滤波器(multi band filter)。即，上述FFT部120可包括，上述执行多通带滤波的多通带滤波器(未图示)，和从上述带通滤波器每1024个声音信号样本接收7个傅立叶系数的传递，插值剩下的各1023声音信号样本的各7个傅立叶系数，并向上述正弦波生成部130输出的平滑函数部(未图示)。
上述正弦波生成部130通过上述各7个信道从上述FFT部120接收上述各7个傅立叶系数值，生成具有与上述各傅立叶系数值相应大小的频率的7个正弦波信号，通过各7个信道向上述泛音生成部140输出。
由上述正弦波生成部130生成的正弦波信号可通过下述数学式2表示。
数学式2lf(k,n)=a(k,n)sin(2πknN)+b(k,n)cos(2πknN)]]>在此，k是频率索引，n是时间索引，N是样本数，a(k，n)是根据平滑函数生成的第k个FFT系数的实数部，b(k，n)是由平滑函数生成的第k个FFT系数的虚数部，lf(k，n)是第n个时间索引中对第k个频率索引的正弦波生成部130的输出。
上述泛音生成部140通过上述各7个信道从上述正弦波生成部130接收上述各7个正弦波信号，生成上述各7个正弦波信号的泛音信号，通过各独立的7个信道向上述带通滤波部150。
上述泛音生成部140为非线性系统，例如，具有图7所示的输入输出特性的非对称软压缩系统(asymmetrical soft compression system)。上述非线性软压缩系统与其他非线性系统相比，生成相对较少的高频带的泛音信号，并发生相对较少的互调失真。
上述带通滤波部150通过上述各7个信道从上述泛音生成部140接收泛音信号的输入，对上述各信道的泛音信号进行带通滤波，只输出上述各信道泛音信号中以预先设置的倍数，例如第一及第二倍数的泛音信号(first and secondharmonics signals)，通过各分离的7各信道向上述HRTF部160输出。
上述HRTF部160通过上述各7个信道进行上述带通滤波的泛音信号的输入，对上述各信道的泛音信号进行能够反映声音从音源传播到听取者的途中发生的上述泛音信号的变化的HRTF处理，并向上述合算部170输入。
如果仔细说明，如图6所示，上述HRTF部160由时间迟延部及减衰部构成，上述时间迟延部及减衰部反映，按上述各信道，上述泛音信号的频率成分通过空间传播时发生的信号的时间迟延及减衰。尤其是，上述HRTF部160除上述听取者的相互听觉强度差异(inter-aural intensity difference，IID)或相互听觉时间迟延差异(inter-aural time difference，ITD)之外，还反映根据音源的位置而不同的许多因子。上述特性根据信号的频率其特性不同，上述HRTF部160按上述各信道类别，根据各泛音信号的频率成分具有不同迟延系数N和减衰系数S1及S2。
图6所示，上述立体泛音信号的左侧输入信道，即L1为左侧声音输出部，例如意味着左侧扬声器输出的泛音信号，上述立体泛音信号的右侧输出信道，即R1为右侧声音输出部，例如意味着右侧扬声器输出的泛音信号。上述S1表示信号从上述声音输出部直线传播到听取者时发生的信号的减衰，上述S2表示信号从上述声音输出部对角线传播到上述听取者时发生的信号的减衰。即，上述S1及S2反映上述IID。另外，上述迟延系数N反映ITD，即与信号直线传播给听取者相比的对角线传播时发生的时间迟延。
对上述各泛音信号所属的频带的HRTF的平均增益(average gain)设置为上述S1及S2，对上述各泛音信号所属频带的上述HRTF的迟延时间设置为上述N。
上述合算部170合算从上述HRTF部160输入的上述经过HRTF处理的各信道泛音信号并输出。
一般来说，泛音是将低通滤波的信号输入到非线性系统而生成。非线性系统不适用重叠原理(law of superposition)，如果输入具有许多频率成分的信号，生成互调成分，进而在生成的信号中会有不在预料中的频率信号加进去，发生互调失真。例如，当非线性系统半波整流器(half-wave rectifier)输入包括DC成分的信号时，生成的泛音的总能量依赖于DC的能量级别，最坏的时候，不生成任何泛音。
为最小化上述互调成分的生成，将输入到上述非线性系统的信号分割成窄带信号后，将各分割的信号输入到非线性系统。为此，可使用具有较精细的频率特性的多通带滤波器，但这种多通带滤波器具有较高的复杂度，而且较难实现。
上述低音增强用泛音生成装置100采用执行傅立叶变换的上述FFT120和利用傅立叶系数生成正弦波信号的上述正弦波生成部130来代替具有上述精细的频率特性的多通带滤波器，提供具有相对较低复杂度并更容易实现的泛音生成装置。
上述低音增强用泛音生成装置100可用于生成高频成分的泛音信号，但最好是用于生成低频成分的泛音信号。因为，用于低音增强的低频带具有0Hz至300Hz的300Hz大小，相反用于高音增强的高频带具有12KHz至22KHz的10KHz大小。为了对具有10KHz大小的波段全部进行增强处理，如果采用上述增强用泛音装置100，需要采用比上述7个傅立叶系数更多的傅立叶系数，并需要按各个傅立叶系数使用不同的信道。因此，如果为了增强高音而要实现上述泛音生成装置100，需要使用具有相当高的运算处理能力的装置。
图2是根据本发明另一实施例的低音增强用泛音生成装置的方框图。
根据该实施例的低音增强用泛音生成装置100大体上与图1的低音增强用泛音生成装置100，因此会以区别点为重点进行说明，相同的附图标记表示相同的结构。
如图2所示，本发明另一实施例的低音增强用泛音生成装置100包括，定相部110，FFT部120，正弦波生成部130，集合部135，泛音生成部140，带通滤波部150，HRTF部160及合算部170。
如图1所示的FFT部120，上述FFT部120通过上述左右信道从上述定相部110接收上述定相的声音信号，对各信道的声音信号进行FFT，算出对上述声音信号的低频带成分的7个傅立叶系数值后，通过各独立的7个信道将上述7个傅立叶系数值向上述正弦波生成部130输出。
上述正弦波生成部130通过各独立的7个信道将具有上述各傅立叶系数值相应的大小和频率的正弦波信号向上述集合部135输出。
上述集合部135通过上述各信道从上述正弦波生成部130接收上述生成的正弦波信号，将各正弦波信号中的一部分信道的正弦波信号合成为一个信号，通过一个信道向上述泛音生成部140输出，其余信道的信号还是通过各信道向上述泛音生成部140。
在上述集合部135中，将通过两个以上的信道输出的正弦波信号合成为一个信道输出的理由是，减少上述信道的数量，并减少上述泛音生成装置100的演算量。但是，当减少上述信道的个数并输入到上述泛音生成装置100时，由上述合成的信道生成的泛音信号中包含较多的互调成分，因此发生较大的互调失真现象。
人们感觉声音信号时，分割成特定频带类别并感知，在上述特定频带内，即使存在根据泛音信号生成的互调成分，无法敏锐的感知到。因此，当按照上述特定频带合成上述信道并生成上述泛音信号时，可实现演算量相对较少并听取者无法识别互调失真的差异的低音增强用泛音生成装置100。
图3是根据本发明另一实施例的低音增强用泛音生成装置的方框图。
根据本实施例的低音增强用泛音生成装置100大体上与图1的低音增强用泛音生成装置100相同，因此会着重说明区别点，相同附图标记表示相同的结构。
如图3所示，本发明另一实施例的低音增强用泛音生成装置包括，定相部110，FFT部，低通滤波器125，正弦波生成部130，泛音生成部140，带通滤波部150，HRTF部160及合算部170。
上述低通滤波器125通过上述左右信道从上述定相部110接收上述定相的信号，对上述各信道的声音信号进行低通滤波，只输出预先设置的超低频信号(sub-bass frequency signal)，通过上述各左右信道向上述泛音生成部140输出。上述低通滤波器125最好是无限脉冲相应(IIRinfinite impulse response)滤波器。
如图1所示的FTT部120，上述FFT部120通过左右信道从上述定相部110接收上述定相的声音信号，对上述各信道的声音信号进行FFT，算出对上述声音信号的低频成分的7个傅立叶系数值。之后，上述FFT部120通过各独立的信道将不属于上述超低频带的中低频成分(mid-bass frequency components)的傅立叶系数输出到上述正弦波生成部130。
上述正弦波生成部130通过上述各独立的信道从上述FFT部120接收傅立叶系数值，生成具有上述各傅立叶系数值相应的大小及频率的正弦波信号，通过各独立的信道输出到上述泛音生成部140。
上述泛音生成部140通过一个信道从上述低通滤波器125接收上述通过左右信道进行低通滤波的声音信号，并生成上述输入的声音信号的频率成分的泛音信号并通过一个信道输出到上述带通滤波部150。另外，上述泛音生成部140通过上述各信道从上述正弦波生成部130接收上述正弦波信号，生成对上述各信道的正弦波信号的泛音信号，通过各独立的信道输出到上述带通滤波部150。
上述低音增强用泛音生成装置100与如图1所示的泛音生成装置100不同，对属于超低频带的频率成分不执行傅立叶变换、独立生成泛音信号，通过一个信道输入到上述泛音生成部140并生成泛音信号。相反，对属于中低频带的频率成分，如同图1所示的泛音生成装置100，将利用傅立叶变换生成的正弦波信号输入到上述泛音生成部140，生成泛音信号。
通常认为，超低频带的频率成分对人类的耳朵来说是感觉而不是听。即，当声音信号属于超低频带时，听取者无法像属于中低频带的频率成分那样敏锐地感知到。因此，可实现一种低音增强用泛音生成装置100，其对声音信号进行低通滤波并求出超低频带的频率成分后，通过一个信道生成泛音信号，因此演算量相对较少，听取者无法感觉到互调失真的差异。
图4是根据本发明一实施例的高音增强用泛音生成装置的方框图。
如图4所示，本发明一实施例的高音增强用泛音生成装置200包括定相部210，第一带通滤波器220，降低采样率部230，帧重复部240，平滑部250，第二带同滤波器260及HRTF部270。
上述定相部210通过左右信道接收多信道声音信号，例如，立体声信号的输入，为降低各信道声音信号之间的相关性，对输入的上述立体声信号进行定相，通过上述左右信道输出到上述第一带通滤波器220。上述定相部210执行与图1至图3所示的定相部110相同的功能及动作，因此，以下省略其详细说明。
上述第一带通滤波器220从上述定相部210接收上述进行定相的声音信号，对上述声音信号进行带通滤波，只输出预先设置的通带，例如6KHz至11KHz波段的频率成分，输出到上述降低采样率部230。上述低1带通滤波器220的通带的最小及最高频率最好是将欲输出的泛音信号所属的频带的最小及最高频率值除以上述降低采样率部230的降低采样率倍数的值，其理由如下述说明。
上述降低采样率部230对从上述第一带通滤波器220输入的声音信号以预先设置的帧大小、预先设置的倍数进行降低采样率，例如采用1024个样本或采用2倍，生成上述输入的声音信号的泛音信号后输出到上述帧重复部240。
上述降低采样率部230的输入声音信号为X(z)，降低采样率的声音信号为Y(z)时，上述降低采样率的声音信号根据下述数学式3定义。
数学式3Y(z)=Σn=CM-1X(z1Me-j2πnM)]]>其中，X(z)是输入信号，Y(z)是降低采样率的声音信号，z是z区域变数，n是样本个数，M是下降采样率倍数。
即，上述降低采样率部230在上述输入的声音信号的每2048个样本中，只采样首1024个样本，将其余1024个样本抛弃。上述降低采样率的声音信号包括泛音信号，该泛音信号具有比包含在上述输入的声音信号的频率成分高上述降低采样率倍数，例如2倍的频率。
因此，当要通过上述高音增强用泛音生成装置200生成12KHz至22KHz的泛音信号时，上述第一带通滤波器220最好具有6KHz至11KHz的带通。
当对声音信号进行降低采样率并生成泛音信号时，与采样其他非线性系统生成泛音信号的情况不同，能够生成没有互调成分、没有互调失真的较佳的泛音信号。
上述帧重复部240从上述降低采样率部230接收上述降低采样的泛音信号，对上述生成的泛音信号执行帧重复处理，插值上述泛音信号后输出到上述平滑部250。
即，上述帧重复部240在上述输入的泛音信号中，用采样的之前帧的声音信号样本填补由于上述降低采样率而发生的帧大小般的空白部分。例如，在上述输入的声音信号的每2048样本中，用采样的首1024个样本填补由上述降低采样率部230抛弃的剩余空白部分。
上述平滑部250从上述帧重复部240接收增强的声音信号的输入，对上述插值的泛音信号执行平滑处理并输出，该平滑处理就是平滑上述泛音信号中帧重复的部分，即帧边界(frame edge boundary)。
其目的在于防止在上述帧重复的部分发生信号的急剧的变化，输出更加自然的声音信号。上述平滑部250将每个帧的最后样本和其次帧的第一及第二样本的平均值设置为其次帧的第一次样本的声音信号值。
当执行上述帧重复处理时，由于帧边界会生成不需要的频率成分。使用帧的大小并基波的周期更大的帧并执行上述平滑处理，可防止上述帧边界效果。
上述第二带通滤波器260从上述平滑部250接收上述插值的泛音信号，对上述插值的信号执行带通滤波，只输出上述插值的泛音信号中预先设置的倍数的泛音信号，例如第一泛音信号，然后输出到上述HRTF部270。其目的在于除去除所需要的泛音信号之外的频率成分。
当要通过上述高音增强用泛音生成装置200生成例如12KHz至22KHz的泛音信号时，上述第二带通滤波器220最好具有12KHz至22KHz的通带。
上述HRTF部270从上述第二带通滤波器260接收上述泛音信号，对上述输入的泛音信号执行HRTF处理并输出，该HRTF处理反映声音从音源传播到听取者的途中发生的上述泛音信号的变化。
上述HRTF部270由时间迟延部及减衰部构成，上述时间迟延部及减衰部反映，按上述各信道，上述泛音信号的频率成分通过空间传播时发生的信号的时间迟延及减衰。上述HRTF部270执行与图1至图3所示的定相部110执行相同的功能及动作，因此以下省略其详细说明。
通常，当复原根据MP3等压缩算法压缩的音乐文件并播放时，会丧失属于高频带，例如大约12KHz或15KHz以上的高频带的频率成分，无法正确地播放原音。属于上述丧失的高频带的频率成分的信息不存在，因此没有办法播放原音自身。但是，利用上述复原的声音信号的频率成分生成的泛音信号与属于上述丧失的高频带的频率成分信号相当类似的可能性很高。因此，当使用上述高音增强用泛音生成装置200插值声音信号时，能播放与高频带相比更忠实于原音的声音信号。
图8是高音增强用泛音生成装置200的输入输出的声音信号频谱分析图。首先，纵轴表示大小，横轴表示频率。如图8所示，将具有8KHz和9KHz的频率成分的信号输入到以2倍降低采样率的上述高音增强用泛音生成装置200，结果可得知输出了具有16KHz及18KHz的频率成分的泛音信号。其他互调成分的大小很小，可以忽略。如果使用其他非线性系统代替上述高音增强用泛音生成装置200，会出现17KHz相当大小的互调成分。
上述泛音生成装置200更适用于增强高频带的频率成分。因为，低频带信号时，在相同的时间区间内包含的信息量远比高频带信号少，为增强低频信号，执行上述降低采样率的帧大小需要非常大。例如，频率为20Hz的信号，上述帧大小大约要大于1000样本。当上述帧大小过大时，为处理保存上述样本，需要更多内存，而且还会发生由于时间延迟的回音效果(echo effect)。
图5是根据本发明一实施例的声音增强装置的方框图。
如图5所示，本发明一实施例的声音增强装置300包括定相部310，FFT部320，低频带增强部330，高频带增强部340，HRTF部350及合算部360。
上述定相部310通过左右信道接收多信道声音信号，例如立体声信号。为降低各信道的声音信号间的相关性，对输入的上述立体声信号进行定相，通过上述左右信道输出到上述FFT部320及上述低频带增强部330。上述定相部310执行与图1至图4所示的定相部110相同的功能及动作，因此，以下省略其详细说明。
上述FFT部320通过上述左右信道从上述定相部310接收上述定相的声音信号，对各信道的声音信号进行FFT，通过各独立的信道将上述声音信号的低频带成分的傅立叶系数值输出到正弦波生成部130，通过各独立的信道将由上述FFT算出的所有傅立叶系数值输出到HRTF部350。
上述FFT部320除了将上述由FFT算出的所有傅立叶系数值输出到上述HRTF部350之外，执行与图1至图4所示的FFT部120相同的功能及动作，因此以下省略其详细说明。
上述低频带增强部330通过上述各信道从上述FFT部320接收上述声音信号的低频带频率成分的傅立叶系数值，生成低频增强信号并输出，其包括正弦波生成部(未图示)，泛音生成部(未图示)及带通滤波部(未图示)。
详细说明的话，上述低频带增强部330的正弦波生成部生成具有通过上述各信道输入的傅立叶系数值相应的大小和频率的正弦波信号，通过各独立的信道输出到上述泛音生成部。
上述泛音生成部按上述各信道类别生成上述输入的正弦波信号的泛音信号，输出到上述带通滤波部。
上述带通滤波部通过上述各信道从上述泛音生成部接收泛音信号，对各信道的泛音信号执行带通滤波，只输出上述各信道的泛音信号中预先设置的倍数，例如第一及第二倍数的泛音信号，通过各分离的信道输出到上述HRTF部350的低频带部351。
上述低频带增强部330的正弦波生成部、泛音生成部及带通滤波部执行与图1至图3所示的正弦波生成部130、泛音生成部140及带通滤波部150相同的功能及动作，以下省略其详细说明。
上述高频带增强部340从上述定相部310接收上述执行定相的声音信号，生成并输出高频增强信号，其包括第一带通滤波器(未图示)，降低采样率部(未图示)，帧重复部(未图示)，平滑部(未图示)及第二带通滤波器(未图示)。
详细说明的话，上述高频带增强部340的第一带通滤波器从上述定相部310接收上述定相的声音信号，对上述声音信号执行带通滤波，值输出预先设置的通带，例如6KHz至11KHz波段的频率成分，之后输出到上述降低采样率部。
上述降低采样率部对所输入的声音信号以预先设置的帧大小、预先设置的倍数执行降低采样率，生成上述声音信号的泛音信号。
上述帧重复部对上述生成的泛音信号执行帧重复处理，插值上述泛音信号，将上述插值的泛音信号输出到上述第二带通滤波器。
上述平滑部从上述帧重复部接收插值的声音信号，对上述插值的泛音信号执行平滑上述泛音信号中的帧边界的平滑处理并输出。
上述第二带通滤波器从上述平滑部接收上述插值的泛音信号，对上述插值的信号执行带通滤波，只输出上述插值的泛音信号中的预先设置的倍数的泛音信号，例如第一泛音信号，生成上述高频增强信号后输出到上述HRTF部350的高频带部353。
上述高频带增强部340的第一带通滤波器、降低采样率部、帧重复部、平滑部及第二带通滤波器与图1至图4所示的第一带通滤波器220、降低采样率部230、帧重复部240、平滑部250及第二带通滤波器260相同的功能和动作，因此以下省略其详细说明。
上述HRTF部350对上述低频增强信号，上述高频增强信号及上述声音信号的傅立叶变换系数执行HRTF处理并输出到上述合算部360，其包括，低频带部351，主信号部352及高频带部353。
详细说明的话，上述HRTF部350的低频带部351通过各信道从上述低频带增强部330接收上述带通滤波处理的泛音信号，执行HRTF处理，其由时间迟延部及减衰部构成，上述时间迟延部及减衰部反映，按上述各信道，上述泛音信号的频率成分通过空间传播时发生的信号的时间迟延及减衰。上述高频带部353通过一个信道从杀过念书高频带增强部330接收上述带通滤波的泛音信号并执行HRTF处理，由时间迟延部及减衰部构成，上述时间迟延部及减衰部反映，上述泛音信号的频率成分通过空间传播时发生的信号的时间迟延及减衰。上述低频带部351及上述高频带部353各执行与图1至图3所示的HRTF部160及图4所示的HRTF部270相同的功能及动作，以下省略其详细说明。
上述主信号部352通过各独立的信道接收由上述FFT算出的所有傅立叶系数值，执行HRTF处理，输出到上述合算部360，其包括，HRTF处理部(未图示)及IFFT部(inverse fast fourier transform part反向快速傅立叶变换部)(未图示)。
上述HRTF处理部接收上述傅立叶系数值，执行频率区域上的HRTF处理，将上述HRTF处理的傅立叶系数值输出到上述IFFT部。
上述IFFT部从上述HRTF接收HRTF处理的傅立叶系数值，对上述输入的傅立叶系数值执行IFFT，将与上述傅立叶系数值相应的时间区域数据-声音信号输出到上述合算部360。
上述合算部360从上述低频带部351，主信号部352及高频带部353接收HRTF处理的声音信号并进行合算后，将上述声音信号输出到扬声器400等声音播放装置。
上述声音增强装置300为了低频带增强，无需另使用具有精细的通带的多通带滤波器，利用用于HRTF处理主声音信号的FFT部320执行低频带增强，具有低复杂度、容易实现的优点。
图9是根据本发明一实施例的低音增强用泛音生成方法的顺序图。
如图9所示，低音增强用泛音生成装置100的定相部110通过左右信道接收多信道声音信号，例如立体声信号，为降低各信道声音信号之间的相关性，对上述立体声信号执行定相处理，通过上述左右信道输出到上述FFT部120(见步骤S100)。
然后，低音增强用泛音生成装置100的FFT部120通过上述左右信道从上述定相部110接收上述定相的声音信号，对上述各信道的声音信号执行傅立叶变换，例如作为离散傅立叶变换的高速傅立叶变换，通过各独立的信道将上述声音信道的任意频率成分，最好时低频带频率成分的傅立叶系数值并输出到上述正弦波生成部130(见步骤S110)。
之后，低音增强用泛音生成装置100的正弦波生成部130通过上述各信道从上述FFT部120接收上述各傅立叶系数值，生成具有与上述各傅立叶系数值相应的大小和频率的正弦波信号，通过各分离的信道输出到上述泛音生成部140(见步骤S120)。
之后，低音增强用泛音生成装置100的集合部135通过上述各信道从上述正弦波生成部130接收上述生成的正弦波信号，将各正弦波信号中的一部分信道的正弦波信号合成为一个信号，通过一个信道输出到上述泛音生成部140，其余信道的信号还是按照原样通过各信道输出到上述泛音生成部140(见步骤S130)。
之后，低音增强用泛音生成装置100的泛音生成部140通过上述各信道从上述正弦波生成部130接收上述各正弦波信号，生成对上述各正弦波信号的泛音信号，通过各独立的信道输出到上述带通滤波部150(见步骤S140)。
之后，低音增强用泛音生成装置100的带通滤波部150通过上述各信道从上述泛音生成部140接收泛音信号，对上述各信道的泛音信号执行带通滤波，只输出上述各信道的泛音信号中预先设置的倍数，例如第一及第二倍数的泛音信道，通过各分离的信道输出到上述HRTF部160(见步骤S150)。
之后，低音增强用泛音生成装置100的HRTF部160通过上述各信道接收上述带通滤波的泛音信号，对上述各信道的泛音信号，执行HRTF处理，输出到上述合算部170(见步骤S160)。
之后，低音增强用泛音生成装置100的合算部170将通过上述各信道从上述HRTF部160接收的泛音信号合算为一个信道，通过一个信道输出(见步骤S170)。
图10是根据本发明另一实施例的低音增强用泛音生成方法的顺序图。
如图10所示，低音增强用泛音生成装置100的定相部110通过左右信道接收多信道声音信号，例如立体声信号，为降低各信道声音信号之间的相关性，对上述立体声信号执行定相处理，通过上述左右信道输出到上述FFT部120(见步骤S200)。
之后，低音增强用泛音生成装置100的低通滤波器125通过上述左右信道从上述定相部110接收上述定相的信号，对上述各信道的声音信号进行低通滤波，只输出预先设置的超低频信号(sub-bass frequency signal)，通过上述各左右信道向上述泛音生成部140输出(见步骤S210)。上述低通滤波器125最好是无限脉冲相应(IIRinfinite impulse response)滤波器。
另外，低音增强用泛音生成装置100的FFT部120通过左右信道从上述定相部110接收上述定相的声音信号，对上述各信道的声音信号进行FFT，算出对上述声音信号的低频成分的7个傅立叶系数值。之后，上述FFT部120通过各独立的信道将不属于上述超低频带的中低频成分(mid-bass frequency components)的傅立叶系数输出到上述正弦波生成部130(见步骤S220)。
之后，低音增强用泛音生成装置100的正弦波生成部130通过上述各独立的信道从上述FFT部120接收傅立叶系数值，生成具有上述各傅立叶系数值相应的大小及频率的正弦波信号，通过各独立的信道输出到上述泛音生成部140(见步骤S230)。
之后，低音增强用泛音生成装置100的泛音生成部140通过一个信道从上述低通滤波器125接收上述通过左右信道进行低通滤波的声音信号，并生成上述输入的声音信号的频率成分的泛音信号并通过一个信道输出到上述带通滤波部150。另外，上述泛音生成部140通过上述各信道从上述正弦波生成部130接收上述正弦波信号，生成对上述各信道的正弦波信号的泛音信号，通过各独立的信道输出到上述带通滤波部150(见步骤S240)。
之后，低音增强用泛音生成装置100的带通滤波部150通过上述各7个信道从上述泛音生成部140接收泛音信号的输入，对上述各信道的泛音信号进行带通滤波，只输出上述各信道泛音信号中以预先设置的倍数，例如第一及第二倍数的泛音信号(first and second harmonics signals)，通过各分离的7各信道向上述HRTF部160输出(见步骤S250)。
之后，低音增强用泛音生成装置100的HRTF部160通过上述各信道接收上述带通滤波的泛音信号，对上述各信道的泛音信号，执行HRTF处理，输出到上述合算部170(见步骤S260)。
之后，低音增强用泛音生成装置100的合算部170将通过上述各信道从上述HRTF部160接收的泛音信号进行合算，通过一个信道输出(见步骤S270)。
图11是根据本发明另一实施例的低音增强用泛音生成方法的顺序图。
如图11所示，高音增强用泛音生成装置200的定相部210通过左右信道接收多信道声音信号，例如立体声信号，为降低各信道声音信号之间的相关性，对上述立体声信号执行定相处理，通过上述左右信道输出到上述第一带通滤波器220(见步骤S300)。
之后，高音增强用泛音生成装置200的第一带通滤波器220从上述定相部210接收上述进行定相的声音信号，对上述声音信号进行带通滤波，只输出预先设置的通带的频率成分，输出到上述降低采样率部230(见步骤S310)。
之后，高音增强用泛音生成装置200的降低采样率部230从上述第一带通滤波器220接收并对上述生成的泛音信号进行帧重复处理，插值上述泛音信号后输出到上述平滑部250(见步骤S320)。
之后，高音增强用泛音生成装置200的帧重复部240在上述输入的泛音信号中，用采样的之前帧的声音信号样本填补由于上述降低采样率而发生的帧大小般的空白部分(见步骤S330)。
之后，高音增强用泛音生成装置200的平滑部250从上述帧重复部240接收增强的声音信号，对上述插值的泛音信号执行平滑处理并输出，该平滑处理就是平滑上述泛音信号中帧重复的部分，即帧边界(frame edge boundary)(见步骤S340)。
之后，高音增强用泛音生成装置200的第二带通滤波器260从上述平滑部250接收上述插值的泛音信号，对上述插值的信号执行带通滤波，只输出上述插值的泛音信号中预先设置的倍数的泛音信号，例如第一泛音信号，然后输出到上述HRTF部270(见步骤S350)。其目的在于除去除所需要的泛音信号之外的频率成分。
之后，高音增强用泛音生成装置200的HRTF部270从上述第二带通滤波器260接收上述泛音信号，对上述输入的泛音信号执行HRTF处理并输出，该HRTF处理反映声音从音源传播到听取者的途中发生的上述泛音信号的变化(见步骤S360)。
图12是根据本发明一实施例的高音增强用泛音生成方法的顺序图。
如图12所示，声音增强装置300的定相部310通过左右信道接收多信道声音信号，例如立体声信号。为降低各信道的声音信号间的相关性，对输入的上述立体声信号进行定相，通过上述左右信道输出到上述FFT部320及上述低频带增强部330(见步骤S400)。
之后，声音增强装置300的FFT部320通过上述左右信道从上述定相部310接收上述定相的声音信号，对各信道的声音信号进行FFT，通过各独立的信道将上述声音信号的低频带成分的傅立叶系数值输出到正弦波生成部130，通过各独立的信道将由上述FFT算出的所有傅立叶系数值输出到HRTF部350(见步骤S410)。
之后，声音增强装置300的低频带增强部330通过上述各信道从上述FFT部320接收上述声音信号的低频带频率成分的傅立叶系数值，生成低频增强信号并输出(见步骤S420)。
之后，声音增强装置300的高频带增强部340从上述定相部310接收上述执行定相的声音信号，生成并输出高频增强信号(见步骤S430)。
之后，声音增强装置300的HRTF部350对上述低频增强信号，上述高频增强信号及上述声音信号的傅立叶变换系数执行HRTF处理并输出到上述合算部360(见步骤S440)。
之后，声音增强装置300的合算部360从上述低频带部351，主信号部352及高频带部353接收HRTF处理的声音信号并进行合算后，将上述声音信号输出到扬声器400等声音播放装置(见步骤S450)。
3D声音系统(3D sound system)公认为是继单声道及立体声系统之后的新一代声音信号播放系统。3次元增强的声音信号会给听取者传达更具现实感的感受。
本发明可适用于MP3播放器，移动通信终端的嵌入式平台(embeddedplatform)的数字信号处理器或微处理器等。另外，本发明也可作为声音增强插件程序，适用于个人电脑。本发明可适用于生成3次元处理的更具立体感的音乐文件。
本领域技术人员通过上述说明内容可得知，不脱离本发明技术思想的范围内可以作各种变换及修改。
从而，本发明的技术范围并不是仅限于实施例所记载的内容，而是由权利要求范围决定。
本发明的低音增强用泛音生成方法及装置利用傅立叶变换及正弦波生成代替具有高精细度的多通带滤波器，具有复杂度低、容易实现的效果。
本发明的高音增强用泛音生成方法及装置利用降低采样率及真重复方法代替具有高精细度的多通带滤波器，具有复杂度低、容易实现的效果。
本发明的声音增强装置使用低音增强用泛音生成装置和高音增强用泛音生成装置，具有能提供更具立体感的声音的效果。
以上
具体实施例方式
仅用于说明本发明，而非用于限定本发明。
权利要求
1.一种利用傅立叶变换的泛音生成装置，其特征在于，包括对输入的声音信号进行傅立叶变换，输出对所述声音信号的任意频率成分的傅立叶系数值的傅立叶变换部；生成具有与所述傅立叶系数值相应的大小和频率的正弦波信号的正弦波生成部；生成所述正弦波信号的泛音信号的泛音生成部。
2.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于所述傅里叶变换为高速傅里叶变换。
3.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于所述傅里叶变换部利用平滑函数对所述任意的频率成分的傅立叶系数进行插值并输出。
4.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于所述泛音生成部是非对称软压缩系统。
5.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于，还包括定相部，为降低所述各信道的声音信号之间的相关性，对输入的所述多信道声音信号执行定相并输出到所述傅立叶变换部，其中所述输入的声音信号为多信道声音信号。
6.根据权利要求5所述的利用傅立叶变换的泛音生成装置，其特征在于所述定相根据下述公式1及公式2执行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道输入的立体声信号，L2及R2表示左右信道输出的立体声信号，a表示定相系数。
7.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于，还包括滤波部，对所述泛音信号执行带通滤波，只输出所述生成的泛音信号中预先设置的倍数的泛音信号。
8.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于所述傅立叶变换部输出对预先设置的多个频率成分的傅立叶系数值，所述正弦波生成部输出具有与所述各傅立叶系数值相应的大小和频率的正弦波信号。
9.根据权利要求8所述的利用傅立叶变换的泛音生成装置，其特征在于，还包括集合部，将所述生成的各正弦波信号中一部分正弦波信号合成为一个信号并输出。
10.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于还包括低通滤波器，对所述定相部输入的声音信号进行低通滤波，只输出预先设置的超低频信号；所述傅立叶变换部将不属于所述超低频带的低频成分的傅立叶系数值输出到所述正弦波生成部。
11.根据权利要求8所述的利用傅立叶变换的泛音生成装置，其特征在于所述低通滤波器为无限脉冲相应滤波器。
12.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于，还包括头部相关转换函数部，对所述生成的泛音信号执行头部相关转换函数处理，该头部相关转换函数反映声音从音源传播到听取者的途中发生的所述泛音信号的变化。
13.根据权利要求1所述的利用傅立叶变换的泛音生成装置，其特征在于所述频率成分是低频带的频率成分。
14.一种利用傅立叶变换的泛音生成方法，其特征在于包括对输入的声音信号进行傅立叶变换并计算出对所述声音信号的任意频率成分的傅立叶系数值的傅立叶变换执行步骤；生成具有与所述算出的各傅立叶系数值相应的大小和频率的正弦波信号的正弦波生成步骤；生成所述正弦波信号的泛音信号的泛音生成步骤。
15.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于所述傅里叶变换为高速傅里叶变换。
16.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于所述傅立叶变换执行步骤为，利用平滑函数对所述任意的频率成分的傅立叶系数进行插值并输出。
17.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于所述生成的泛音是由非对称软压缩系统生成。
18.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于，还包括定相步骤，在所述傅立叶变换执行步骤之前，为降低所述各信道的声音信号之间的相关性，对输入的所述多信道声音信号执行定相并输出，其中所述输入的声音信号为多信道声音信号。
19.根据权利要求18所述的利用傅立叶变换的泛音生成方法，其特征在于所述定相根据下述公式1及公式2执行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道输入的立体声信号，L2及R2表示左右信道输出的立体声信号，a表示定相系数。
20.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于，还包括滤波步骤，在所述泛音生成步骤之前，对所述泛音信号执行带通滤波，只输出所述生成的泛音信号中预先设置的倍数的泛音信号。
21.根据权利要求14所述的利用傅立叶变换的泛音生成装置，其特征在于所述傅立叶变换步骤中算出对预先设置的多个频率成分的傅立叶系数值，所述正弦波生成步骤中输出具有与所述各傅立叶系数值相应的大小和频率的正弦波信号。
22.根据权利要求21所述的利用傅立叶变换的泛音生成方法，其特征在于，还包括集合步骤，将所述生成的各正弦波信号中一部分正弦波信号合成为一个信号并输出。
23.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于还包括低通滤波步骤，对所述定相部输入的声音信号进行低通滤波，只输出预先设置的超低频信号；在所述傅立叶变换执行步骤中算出不属于所述超低频带的中低频成分的傅立叶系数值。
24.根据权利要求23所述的利用傅立叶变换的泛音生成方法，其特征在于所述低通滤波为无限脉冲相应滤波。
25.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于，还包括头部相关转换函数步骤，在所述泛音生成步骤之后，对所述生成的泛音信号执行头部相关转换函数处理，该头部相关转换函数反映声音从音源传播到听取者的途中发生的所述泛音信号的变化。
26.根据权利要求14所述的利用傅立叶变换的泛音生成方法，其特征在于所述频率成分是低频带的频率成分。
27.一种利用降低采样率的泛音生成装置，其特征在于包括对输入的声音信号以预先设置的帧大小，以预先设置的倍数降低采样率，生成所述声音信号的泛音信号的降低采样率部；对所述生成的泛音信号进行帧重复处理，对所述泛音信号进行插值的帧重复部。
28.根据权利要求27所述的利用降低采样率的泛音生成装置，其特征在于，还包括定相部，为降低所述各信道的声音信号之间的相关性，对输入的所述多信道声音信号执行定相并输出到所述降低采样率部，其中所述输入的声音信号为多信道声音信号。
29.根据权利要求27所述的利用降低采样率的泛音生成装置，其特征在于所述定相根据下述公式1及公式2执行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道输入的立体声信号，L2及R2表示左右信道输出的立体声信号，a表示定相系数。
30.根据权利要求27所述的利用降低采样率的泛音生成装置，其特征在于，还包括第一带通滤波器，对输入的声音信号执行带通滤波，只输出预先设置的波段的频率成分，输出到所述降低采样率部。
31.根据权利要求27所述的利用降低采样率的泛音生成装置，其特征在于，还包括平滑部，对所述插值的泛音信号执行平滑处理，该平滑处理平滑所述泛音信号中帧重复的部分。
32.根据权利要求31所述的利用降低采样率的泛音生成装置，其特征在于所述平滑部根据下述公式执行平滑处理，公式)b＝(a+b+c)/3，其中，a是任意帧的最后泛音信号样本值，b是所述任意帧的其次帧的首个泛音信号样本值，c是所述任意帧其次帧的第二个泛音信号值。
33.根据权利要求27所述的利用降低采样率的泛音生成装置，其特征在于，还包括第二带通滤波器，对所述插值的信号执行带通滤波，只输出预先设置的倍数的泛音信号。
34.根据权利要求27所述的利用降低采样率的泛音生成装置，其特征在于，还包括头部相关转换函数部，对所述插值的泛音信号执行头部相关转换函数处理，该头部相关转换函数反映声音从音源传播到听取者的途中发生的所述泛音信号的变化。
35.根据权利要求27所述的利用降低采样率的泛音生成装置，其特征在于所述输入的声音信号是高频声音信号。
36.一种利用降低采样率的泛音生成方法，其特征在于，包括对输入的声音信号以预先设置的帧大小，以预先设置的倍数降低采样率，生成所述声音信号的泛音信号的降低采样率步骤；对所述生成的泛音信号进行帧重复处理，对所述泛音信号进行插值的帧重复步骤。
37.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于，还包括定相步骤，在所述降低采样率步骤之前，为降低所述各信道的声音信号之间的相关性，对输入的所述多信道声音信号执行定相并输出到所述降低采样率部，其中所述输入的声音信号为多信道声音信号。
38.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于所述定相根据下述公式1及公式2执行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道输入的立体声信号，L2及R2表示左右信道输出的立体声信号，a表示定相系数。
39.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于，还包括第一带通滤波步骤，在所述降低采样率步骤之前，对输入的声音信号执行带通滤波，只输出预先设置的波段的频率成分。
40.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于，还包括平滑处理步骤，在所述帧重复步骤之后，对所述插值的泛音信号执行平滑处理，该平滑处理平滑所述泛音信号中帧重复的部分。
41.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于所述平滑处理步骤根据下述公式执行平滑处理，公式)b＝(a+b+c)/3，其中，a是任意帧的最后泛音信号样本值，b是所述任意帧的其次帧的首个泛音信号样本值，c是所述任意帧其次帧的第二个泛音信号值。
42.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于，还包括第二带通滤波步骤，在所述帧重复步骤之后，对所述插值的信号执行带通滤波，只输出预先设置的倍数的泛音信号。
43.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于，还包括头部相关转换函数处理步骤，在所述帧重复步骤之后，对所述插值的泛音信号执行头部相关转换函数处理，该头部相关转换函数反映声音从音源传播到听取者的途中发生的所述泛音信号的变化。
44.根据权利要求36所述的利用降低采样率的泛音生成方法，其特征在于所述输入的声音信号是高频声音信号。
45.一种声音增强装置，其特征在于包括对输入的声音信号进行傅立叶变换，输出对所述声音信号的任意频率成分的傅立叶系数值的傅立叶变换部；生成具有与所述傅立叶系数值相应的大小和频率的正弦波信号，生成所述正弦波信号的泛音信号并输出的低频带增强部；对输入的声音信号进行高通滤波，以预先设置的帧大小，以预先设置的倍数降低采样率，生成所述声音信号的泛音信号，对所述生成的泛音信号进行帧重复处理，从而对所述泛音信号进行插值，并输出所述生成的高频增强信号的高频带增强部；对所述低频增强信号、所述高频增强信号及所述声音信号的傅立叶系数值，进行能够反映声音从音源传播到听取者的途中发生的所述泛音信号的变化的头部相关转换函数处理，输出合算的信号的头部相关转换函数部。
46.根据权利要求45所述的声音增强装置，其特征在于所述低频带增强部利用非对称软压缩系统生成泛音信号。
47.根据权利要求45所述的声音增强装置，其特征在于，还包括定相部，为降低所述各信道的声音信号之间的相关性，对输入的所述多信道声音信号执行定相并输出到所述傅立叶变换部及所述高频带增强部，其中所述输入的声音信号为多信道声音信号。
48.根据权利要求45所述的声音增强装置，其特征在于所述定相根据下述公式1及公式2执行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道输入的立体声信号，L2及R2表示左右信道输出的立体声信号，a表示定相系数。
49.根据权利要求45所述的声音增强装置，其特征在于所述低频带增强部对所述泛音信号执行带通滤波，只输出所述生成的泛音信号中预先设置的倍数的泛音信号。
50.根据权利要求45所述的声音增强装置，其特征在于所述低频带增强部输出对预先设置的多个频率成分的傅立叶系数值，所述正弦波生成部输出具有与所述各傅立叶系数值相应的大小和频率的正弦波信号。
51.根据权利要求45所述的声音增强装置，其特征在于所述低频带增强部将所述生成的各正弦波信号中一部分正弦波信号合成为一个信号并输出。
52.根据权利要求45所述的声音增强装置，其特征在于所述高频带增强部对输入的声音信号执行带通滤波，只输出预先设置的波段的频率成分，之后执行降低采样率。
53.根据权利要求45所述的声音增强装置，其特征在于所述高频带增强部对所述插值的泛音信号执行平滑处理，该平滑处理平滑所述泛音信号中帧重复的部分。
54.根据权利要求45所述的声音增强装置，其特征在于所述高频带增强部根据下述公式执行平滑处理，公式)b＝(a+b+c)/3，其中，a是任意帧的最后泛音信号样本值，b是所述任意帧的其次帧的首个泛音信号样本值，c是所述任意帧其次帧的第二个泛音信号值。
55.根据权利要求45所述的声音增强装置，其特征在于，还包括所述高频带增强部对所述插值的信号执行带通滤波，只输出预先设置的倍数的泛音信号。
56.一种声音增强方法，其特征在于包括对输入的声音信号进行傅立叶变换，输出对所述声音信号的任意频率成分的傅立叶系数值的傅立叶变换步骤；生成具有与所述傅立叶系数值相应的大小和频率的正弦波信号的第一低频带增强步骤；生成所述正弦波信号的泛音信号并输出的第二低频带增强步骤；对输入的声音信号进行高通滤波的第一高频带增强步骤；以预先设置的帧大小，以预先设置的倍数降低采样率，生成所述声音信号的泛音信号的第二高频带增强步骤；对所述生成的泛音信号进行帧重复处理，从而对所述泛音信号进行插值，输出所述生成的高频增强信号的第三高频带增强步骤；对所述低频增强信号、所述高频增强信号及所述声音信号的傅立叶系数值，进行能够反映声音从音源传播到听取者的途中发生的所述泛音信号的变化的头部相关转换函数处理，输出合算的信号的头部相关转换函数处理步骤。
57.根据权利要求56所述的声音增强方法，其特征在于所述第二低频带增强步骤利用非对称软压缩系统生成泛音信号。
58.根据权利要求56所述的声音增强方法，其特征在于，还包括定相步骤，在所述傅里叶变换步骤之前，为降低所述各信道的声音信号之间的相关性，对输入的所述多信道声音信号执行定相并输出，其中所述输入的声音信号为多信道声音信号，所述第1高频带增强步骤的所述输入的声音信号为已执行所述定相的声音信号。
59.根据权利要求56所述的声音增强方法，其特征在于所述定相根据下述公式1及公式2执行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道输入的立体声信号，L2及R2表示左右信道输出的立体声信号，a表示定相系数。
60.根据权利要求56所述的声音增强方法，其特征在于，还包括带通滤波步骤，在所述第2频带增强步骤之后，对所述泛音信号执行带通滤波，只输出所述生成的泛音信号中预先设置的倍数的泛音信号。
61.根据权利要求56所述的声音增强方法，其特征在于所述第二低频带增强步骤中，输出对预先设置的多个频率成分的傅立叶系数值，输出具有与所述各傅立叶系数值相应的大小和频率的正弦波信号。
62.根据权利要求56所述的声音增强方法，其特征在于，还包括在所述第二低频带增强步骤之后，将所述生成的各正弦波信号中一部分正弦波信号合成为一个信号并输出的步骤。
63.根据权利要求56所述的声音增强方法，其特征在于，还包括第一带通滤波步骤，在所述第一高频带增强步骤之前，对输入的声音信号执行带通滤波，只输出预先设置的波段的频率成分，之后执行降低采样率。
64.根据权利要求56所述的声音增强方法，其特征在于，还包括帧重复步骤，在所述第三高频带增强步骤之后，对所述插值的泛音信号执行平滑处理，该平滑处理平滑所述泛音信号中帧重复的部分。
65.根据权利要求56所述的声音增强方法，其特征在于所述平滑处理根据下述公式执行，公式)b＝(a+b+c)/3，其中，a是任意帧的最后泛音信号样本值，b是所述任意帧的其次帧的首个泛音信号样本值，c是所述任意帧其次帧的第二个泛音信号值。
66.根据权利要求56所述的声音增强方法，其特征在于，还包括第二带同滤波步骤，在所述第三高频带增强步骤之后，对所述插值的信号执行带通滤波，只输出预先设置的倍数的泛音信号。
全文摘要
本发明涉及一种泛音生成方法、装置，及声音增强方法及装置，尤其，利用傅立叶变换代替具有较高的复杂度、具有较难实现的高精密度的多通带滤波器，增强低音，通过降低采样率及帧重复增强高音。本发明提供一种利用傅立叶变换的泛音生成装置，其包括对输入的声音信号进行傅立叶变换，输出对上述声音信号的任意频率成分的傅立叶系数值的傅立叶变换部；生成具有与上述傅立叶系数值相应的大小和频率的正弦波信号的正弦波生成部；生成上述正弦波信号的泛音信号的泛音生成部。
文档编号G10H1/16GK1932970SQ20061015403
公开日2007年3月21日 申请日期2006年9月13日 优先权日2005年9月13日
发明者南允爱, 康泰益, 维奇·H·山科尔 申请人:乐金电子(中国)研究开发中心有限公司