专利名称：扬声器敏感声音重放的制作方法
技术领域：
本发明涉及用小型扬声器特别是无线通信系统移动终端中包含的小型扬声器重放声音或音乐文件。
许多移动终端，例如个人数字助理(PDA)、移动电话、便携式计算机等，都可以存储声音或音乐文件的多音音频数据，以供许多目的使用，例如输出声信号、报警或振铃音、游戏或个人娱乐的背景声音。通过使用一种或多种类型的电声变换器将声音从音频数据重放出来，由此在许多装置上可以选择特定的变换器例如扬声器或耳机用于重放。在本申请的上下文中，术语“扬声器”是指以开放式体积辐射声音的电声变换器，而术语“耳机”表示将声音辐射到小的受限体积中的电声变换器。
声音或音乐数据可用各种文件格式存储。两种类型文件是目前最普遍使用的。第一种类型含有的采样音频数据是未压缩形式如“wave””文件或是压缩形式如“mp3”文件。虽然压缩将文件大小减小了约一个量级，但大多数移动终端上非常有限的存储空间仍要求更小的声音或音乐文件。这个要求可由乐谱文件来满足，这些文件以表示音符、乐器以及清晰度信息的数据形式存储声音。最流行的数据格式是MIDI数据格式。
MIDI文件含有要如何再现声音的规范。它可被认为是电可读格式的一张乐谱。它包含有关在重放各MIDI文件中存储的数据所表示的乐谱时要考虑的声道、所用的装置以及声学参数的信息。集合术语“声学参数”表示定义例如音高、音符或其余值分别为响度等级、音速(tempus)、音色或特殊效果如颤音或混响的陈述。
为了将乐谱文件如MIDI文件转换成声音，必须将文件中给出的信息解释为并形成为表示采样数字声音的数据。为此，使用了一种所谓的多音合成器，它将文件中含有的乐谱再现为如例如单声道或立体声波文件中所用的那些的采样数据。多音合成器可以在数字信号处理器的软件中或在单独的专用硬件中实现。
乐谱的再现通常基于所谓的参数文件，例如波表。参数文件包括以数字采样数据形式的乐器的声音采样，例如某台钢琴的声音采样。每个声音采样包含要模拟乐器的一个或多个时间周期的代表性信号。频谱参数文件还保存准备作模拟的乐器的频率、相位和谐波。
在称为FM(调频)合成的不同方法中，使用不同频谱进行合成，每个频谱表示要模拟的一种特定乐器。该频谱由正弦波经其它正弦波信号进行频率调制而生成，然后可再由另外的正弦波信号调制，等等。该频谱存储起来，并由此可在FM频谱文件中使用。
在移动终端中，最好将音乐片段以MIDI文件形式存储在存储器中，因为与含有采样音频数据的文件相比，MIDI文件大小极小。PCM(脉冲代码调制)格式的音频文件，如“.wav”文件，每分钟音乐要用多达10兆字节，而同样的音乐可存储在不到10千字节的MIDI文件中。这是可能的，如上所述，由于MIDI文件仅含有多音即所谓的MIDI合成器重建各声音所需的指令，而不需要声音数据本身。
希望音频应用中所用的扬声器能尽可能接近原始声音地重放声音。这仅在高于扬声器谐振频率的平坦响应区(此时其阻抗接近电阻性)才有可能。扬声器谐振频率越低，能最接近原声重放的最低频率就越低。具有低谐振频率的扬声器通常比移动终端中通常可用的有限空间大得多。
适于移动终端内有限空间的扬声器通常具有约500Hz和约2kHz之间的谐振频率。由此低于谐振频率的音频频率在被扬声器转换成声音时衰减严重。结果，乐曲的低音部分被截掉了，令听音乐的人大为扫兴。
现在有一种下截止频率约为或高于300Hz的扬声器，称为“小型扬声器”。扬声器的下截止频率定义为在低于该频率时，电音频信号的转换效率比具有高于该频率的要低。下截止频率通常接近于谐振频率，但又与其不同。
音乐片段和多音声音中给出的很大且经常是主要部分的音频能量发现是在较低的频谱中。用小型扬声器进行各音频数据的重放会压抑(muffle)该较低频谱中的声音分量。这样所得到的音乐感受当然很不愉快，因为大部分丰富的声音丢了。有时一首音乐甚至再现得无法识别了。
所以本发明的目的是改进由音乐文件的音频数据所表示的声音在被小型扬声器重放时的可听度。
上述目的是由在独立权利要求中定义的本发明来实现的。
本发明包括一种方法，用于根据无线通信系统中移动终端扬声器的传输特性来改进音乐文件的重放，根据此方法，在音乐文件中识别表示谱分量低于扬声器传输频率的声音的音频数据，并根据此方法，改进从已识别音频数据的声音重放，以使与由未改进的重放所获得的声音相比，改进的重放所产生的声谱在扬声器传输频率范围内具有增加的能含量。
本发明还由一种装置来表示，该装置用于根据无线通信系统中移动终端扬声器的传输特性从音乐文件中再现采样数据，由此该装置包括存储部件，用于存储音乐文件和有关一个或多个扬声器传输特性的数据；选择部件，用于从存储部件中选择用于特定扬声器的数据；低频声音识别部件，用于根据所选择的数据在音乐文件中识别表示谱分量低于扬声器传输频率范围的声音的音频数据；控制部件，用于控制从已识别音频数据的声音重放的改进，以使与由未改进的重放所获得的声音相比，改进的重放产生的声谱在扬声器传输频率范围内具有增加的能含量；以及合成部件，用于从改进的乐谱中合成采样数据。
上述目的还由移动终端来实现，该移动终端与无线通信系统一起使用并适于从音乐文件中重放音频数据，所述移动终端包括根据本发明用于从音乐文件再现采样数据的装置；变换部件，用于将从所述装置获得的采样数据变换成各个模拟电信号；以及扬声器，用于将模拟电信号转换成各个声信号。
而且，上述目的还利用一种软件产品来实现，该软件产品包括一系列状态元素，它们适于由移动终端的数据处理部件来处理，以便可在其上执行根据权利要求1到9之一的方法。
本发明有利地利用人们的听力来感觉复杂声音信号的基频，即使该基频不是耳朵接收的音频频谱的一部分也行。从而，听众能够虚拟地听到声音的正确音高，只要泛音允许听觉“重建”基音即可。人们听觉的这种特性称为虚拟音高，并在例如“心理声学、事实与模型”(E.Zwicker和H.Fastl，Psychoacoustics，Facts and Models，SpringerVerlag Berlin Heidelberg，New York，London，Paris，Tokyo，HongKong，Barcelona，1990，P110-116)中描述了。通过将从音乐文件重放的声谱的主要能量移到扬声器特别是小型扬声器的传输范围内，就支持人们的听觉重建声谱中听不见的部分。而且，通过强调声谱的高频部分改进了重放声音的可听度，使扬声器的辐射效率提高了。
本发明的有利实施例是其它权利要求的主题。
在本发明的优选实施例中，重放的改进基于使用改进的参数文件，例如改进的波表，它含有频谱适于所用小型扬声器传输频率范围的采样。在不用参数文件而用FM合成进行音乐重放时，改进的声音重放就基于同样改进的FM谱文件。
本发明还可通过以下方法实现改进声音的重放是基于将音乐文件中给出的用于从已识别音频数据中重放声音的乐器的规范换为具有更欢快音色的乐器的替代规范。替代规范的乐器由此有利地与原始指定的乐器属于同一类别的乐器，以保持重播音乐片段的改编(arrangement)特性。在进一步的发展中，如果不止一个替代规范可用来与音乐文件中的原始规范交换，则根据原始指定的乐器要重播的音域来选择替代规范。这样，就相对于乐谱特定序列的特性优化了重放。
声音重放的直接改进是基于将声谱变调(transpose)到较高频率范围，以保持乐谱的特性，但将声谱的主要能含量移到重放扬声器的传输范围内。这对于适合于将声谱的低端重新定位在扬声器传输频率范围内的移位音程最有效。
为了用扬声器实现高声压，变调声谱的主要能含量有效地位于从5kHz到10kHz的频率范围内。
乐谱文件的格式最好对应于MIDI数据文件格式，因为在要求小型音乐文件时这种格式最通用。
用于改进乐谱的所述方法最好由根据本发明装置的控制部件来实现。控制部件还可将改进的乐谱存储在该装置存储部件中的乐谱文件中，供特定扬声器再使用。在本发明的优选实施例中，在从乐谱文件中再现采样数据时，控制部件改进该乐谱。
使音乐文件的重放适合于电声变换器的传输特性提供了用小型扬声器重放多音乐曲的可能，以及可与高保真度变换器相比的声音质量。这特别关系到无线通信系统的移动终端，因为它们太小，无法集成能提供足够宽传输范围的较大型扬声器。通常用于这些装置的小型扬声器不能重放由一系列乐器产生的复杂声音，以致在各移动终端上重播时，有时很难听出某段音乐。
在以下说明中，将结合具体实施例和附图更详细地说明本发明。
图1示出以时间和频率表示的单簧管的音频信号；图2示出根据本发明的方法流程图；图3a示出图1的音频信号频谱与小型扬声器传输特性的关系；图3b示出用所示传输特性的小型扬声器转换图3a的音频信号所得到的声信号的频谱；图4示出根据本发明实施例变调的图3a的音频信号的频谱；
图5示出根据本发明的装置。
图1中示出从单簧管获得的音频信号1。上部分图示出大约两个信号周期的音频信号1的时间表示1a，而下部分图示出相关的频率分布1b。从图示可知，音频信号1由基本振荡10叠加了几个谐波11、12、13、14等组成，形成复杂的音调混合，即所谓的声音。
根据相关文献中所用的符号，音调表示具有单一谱线的纯正弦波振荡。口语表达中“音调”是指几个正弦波振荡的叠加，并准确地称为“声音”，在本说明中这样用。声音是具有不连续频谱的严格周期性事件。它由基音10和几个音频频率为基本音频频率整数倍的泛音11、12、13、14等组成。基音强度和各泛音强度之比就是某种乐器的特性。它定义各乐器的音色或音品。声音的基频负责感觉音高。
人耳的工作像一个傅立叶分析器，对接收的声音进行谐波分析。这使它能够根据检测的泛音推导出所感觉声音的基音。当基音在接收的音频频谱中完全消失时，耳朵在某种程度上甚至能感觉到原始的声音。从不完全接收的声音中由此感觉的正确音高称为虚拟音高。有关虚拟音高的详细说明请见“心理声学、事实与模型”(E.Zwicker和H.Fastl，Psychoacoustics，Facts and Models，Springer Verlag BerlinHeidelberg，New York，London，Paris，Tokyo，Hong Kong，Barcelona，1990，P110-116)。
如果人耳没有通过虚拟音高使声音的缺失谱分量变完整的能力，就不可能检测到通过电话线传输的人类语音的声调。人类语音的基音，特别是男声的，在电话线所用的300Hz到3.4kHz传输频率范围以外。只有虚拟音高完成才使人们能够感觉到语音的声调。
感觉虚拟音高要遵守的一个条件是声音可听谱分量的足够能含量。换句话说，当声音重放期间有太多的声音泛音被压抑时，人耳的虚拟音高能力就不可能恢复音频频谱的缺失部分。
在用截掉了低频音调的小型扬声器从乐谱文件例如MIDI文件中重放乐谱时，如果相关泛音的强度足够高，则人耳就能恢复声音原始的丰富华美。根据本发明，要对含有乐谱的音乐文件重放，应根据一种方法在重放之前对其进行改进，在图2的流程图中示出了该方法的基本步骤。
在步骤S0，例如从移动终端的存储器中选择某个音乐文件用于在具有一个或多个电声变换器的那个移动终端上重放之后，在步骤S1，使关于用于重放的变换器的传输特性的数据可用。如果选择用于重放的电声变换器是根据以上定义的扬声器，则在下一步骤S2，从预先可用的数据中确定下截止频率。
接着，在步骤S3，浏览乐谱，找出表示对应于低频声音的音符的音频数据，这是基音位于所选扬声器传输频率范围以下的声音，并由此低于其下截止频率。然后在步骤S4，通过定义一种能在扬声器传输频率范围内增加声谱能含量的重放模式，对至少对应于各低频声音的音频数据的重放进行改进。这可用以下方式实现通过改进音频数据本身的内容，或通过改进对合成音乐文件所用的参数或FM文件的赋值。改进之后，在步骤S5，将乐谱传送到多音合成过程。
改进音乐文件重放的一种有效途径是改进对用于合成的参数文件例如波表或FM文件的赋值。这些文件可统称为合成基础文件，因为这两种类型形成了多音合成器解释音乐文件中声音信息的基础。假定打算将以接近其原始保真度来重放音乐文件的第一合成基础文件用于用小型扬声器来重放该音乐文件，则声音的较低频分量会被截掉，结果重放的音乐不好听，甚至无法忍受。
这种效果示于图3a和3b。图3a示出包括根据图1单簧管声音的基音10和最初四个泛音11、12、13和14的频谱1b。该图给出各分量的强度I对频率f的关系。泛音的各频率f1、f2、f3和f4是基频f0的整数倍。虚线2表示用于重放基础声音的小型扬声器的传输特性。它是以其增益g对传输频率f的半对数表示示出。图3b示出小型扬声器重放的声音频谱，以声压强度I′对传输频率f示出。同样，用虚线表示小型扬声器的传输特性2。由图可见，相对于重放的泛音31、32、33、34和35，重放的基音30的强度被抑制了。
为了克服声音失真，在移动终端上提供了含有更欢快音色声音采样的第二合成基础文件。在这些采样中，与原始第一合成基础文件的采样相比，一般将声音的谱能量移到较高谐波上。每当用小型扬声器重放音乐文件时，就用第二合成基础文件合成音乐文件的音频数据。
保有可用的不同合成基础文件就可有利地使音乐文件的重放适合于具有不同传输特性的各种扬声器。特别是在使用耳机时，将用含有用于高保真度重放音乐文件的采样的第一合成基础文件，而具有较欢快音色声音采样的第二合成基础文件将例如选作通过移动终端的免提扬声器重放。
在本发明的又一实施例中，将乐谱文件中给出的要用于重放某一序列低频发声音符的乐器的规范换为定义较欢快音色的不同乐器的替代规范，用于重放。换句话说，当主音频能量在低频声音的基音内时，就交换乐器的登记(registration)。由于替代规范的乐器具有较欢快的音色，因此由泛音频谱表示的其声能通常高于原始登记乐器的声能。于是，登记或指定用于特定序列的受压抑发声乐器就由类似的但发声更欢快、更清脆的乐器替代。某一类型钢琴例如可由更欢快的钢琴甚至可能是大键琴来替代。
各乐器替代不必在整个乐谱中进行，但有利的是，可限制在所考虑乐器在低音域演奏的乐谱中的某些声音。因此对乐谱进行扫描，找出具有在受压抑乐器上演奏的低音符的声音，它们在扬声器的传输频率范围内不会产生相当大的音频能量。在较高音域的声音则保留了，其乐器规范不变，而例如低音长笛在用小型扬声器重放时会用双簧管替代，以改进此声音的可听度。
乐器替代或重定规范分别由扬声器逐一完成。也就是说，代替原始指定乐器的乐器类型取决于实际使用的扬声器的传输特性。对此，最好将交叉参考表存储在重放装置上。交叉参考表包括对各种原始乐器规范的可能替代乐器规范的列表，由此将每个特定的替代规范指配给具有特定传输特性的扬声器。由于选择最适合的替代乐器取决于重放乐谱所用电声变换器的下截止频率fc，因此对于原始登记的乐器都保存有几种替代或代替乐器。因此优先权给予和原始指定乐器属于同一类别的替代乐器。如果这样还不能再现预期的结果，则优选属于同一类的乐器规范，例如用小提琴来替代中提琴。
在本发明的又一有利实施例中，通过将乐谱向上变调某一频程，使乐谱总体上适合于小型扬声器的传输特性。该频程基本上由低频声音的基音与小型扬声器的下截止频率之间的频率间隔来定义。通过将乐谱向上变调，声谱中的所有或几乎所有频率都向上移到小型扬声器的频率范围内，如图4所示。图3a所示原始声谱的基音10在所示实例中被移到下截止频率fc之上的新频率f′1处。泛音也相应地移动同样的频程f′1-f1，分别到新的位置f′2、f′3和f′4。结果，所产生声信号的主能量就位于小型扬声器的传输频率范围内。
变调音程可根据乐谱改编来选择。改编相对低的音乐将比已改编相当高的、只有少数音域显示低频声音的音乐用更大的音程来变调。
本发明不限于仅实现多音乐谱的满意重放。特别是在重放用作振铃声或报警信号等的多音乐谱时，需要使用显示最高程度效率的扬声器频率范围。只有这样才有可能达到最高声压，使各种声音甚至在嘈杂环境中或在移动终端放在口袋或包中时也能可靠地感觉到。小型扬声器在5kHz到10kHz的频率范围内最有效。因此将根据上述方法之一来改进多音振铃声或报警声的重放，条件为由此产生的声谱的主要能含量落在5kHz到10kHz的频率范围内。
根据上述规定对乐谱的改进由图5所示装置100实现。它包括存储部件101，用于存储例如MIDI文件形式的一个或多个乐谱文件、有关一个或多个电声变换器例如在包含装置100的重放设备上可用的小型扬声器传输特性的数据。它还可存储有关合成以及有关重放改进过程的数据，例如上述交叉参考表或已调整的FM参数和波表。
还设置有选择部件102，其适于选择有关用户为重放乐谱所选的特定电声变换器特性的数据。由于许多移动终端提供不止一个电声变换器用于声音重放，例如除听筒以外的高保真度头戴耳机、小型扬声器或者如带扬声器的座充的附件，用户就能够选出他认为最适合既定场合的一个。如果用户选择高保真度头戴耳机来听乐谱，则选择部件102就从存储部件101中选择含有关于各头戴耳机重放频率范围的信息的数据。由于所选头戴耳机能够重放整个音频频谱，因此就不对乐谱进行改进了，而是以其原始型式重播。当用小型扬声器重播时，从存储部件101中选择定义其传输特性的信息，然后对乐谱的重放进行相应的改进。
乐谱可包含任何类型的声音数据，例如多音振铃信号、小段插曲(signature tune)、一首音乐等。设备上用于表示特定功能的乐谱通常事先由用户或设备制造商指配给该功能。其它的，特别是为娱乐而重播的那些通常由用户手动选择，或者例如通过WAP(无线应用协议)下载。在通过上述选项之一选择重放时，低频声音识别部件103分别搜索乐谱文件中对应于音频频率的基音低于预先所选扬声器传输频率范围的低频声音的音频数据或音符。
根据上述过程之一对声音重放的改进由控制部件104来控制。根据之前所选数据改进之后，声谱的能含量移动，以与扬声器的传输频率范围有更好的重叠。控制部件104可以用处理部件有效实现，以使上述过程可在由控制部件104执行的软件中实现。改进的和/或未改进的音频或声音数据最终合成为采样音频数据是由合成部件105实现的。
用于实现控制部件104的软件还可以物理自主形式保存在例如数据载体或数据流上。
装置100最好是移动终端的一部分，其将合成部件105产生的采样音频数据转变成各模拟电信号，该电信号再由移动终端的小型扬声器转换成相应的声信号。
控制部件104还可使用改进参数来改进音乐文件中的音频数据。改进的音频数据可被恢复，以替换原始音乐文件中的原始音频数据，但最好在含有改进音频数据的存储部件101中创建音乐文件的新拷贝。这个文件以后重新用于用各小型扬声器重放各乐曲。该解决方案特别优选用于移动终端上常使用的多音小段插曲。由于音乐文件的原始拷贝在存储部件101上仍可用，因此可将具有宽重放频率范围的HiFi头戴耳机连接到移动终端并重放音乐文件，而不作任何改进，因为这只会降低可能的保真度。在这种情况下，原始乐谱被认为已经优化为以尽可能接近真实乐器声音的声谱重放。
对于大部分音乐文件，音乐文件重放的改进最好在合成部件从其中再现采样数据时进行。在本发明的又一实施例中，音乐文件的改进可在移动终端的空闲情况下完成，此时它只有很少的资源被用。两种方法都能使音乐文件重放适合于扬声器的传输特性，而不必将同一乐曲的不同型式存储在移动终端上。
权利要求
1.用于根据无线通信系统中移动终端扬声器的传输特性改进音乐文件重放的方法，包括以下步骤-识别所述音乐文件中表示谱分量低于所述扬声器传输频率范围的声音的音频数据；-改进从已识别音频数据的声音重放，以使与由未改进的重放所获得的声音相比，改进的重放产生的声谱在所述扬声器传输频率范围内具有增加的能含量。
2.如权利要求1所述的方法，其特征在于所述改进的声音重放是基于改进的参数文件。
3.如权利要求1所述的方法，其特征在于所述改进的声音重放是基于改进的FM谱文件。
4.如权利要求1、2或3所述的方法，其特征在于所述改进的声音重放是基于将所述音乐文件中给出的用于从所述已识别音频数据中重放声音的乐器的规范换为具有更欢快音色的乐器的替代规范。
5.如权利要求4所述的方法，其特征在于所述替代规范的乐器属于与原始指定乐器同一类别的乐器。
6.如权利要求4或5所述的方法，其特征在于如果不止一个替代规范可用于与所述音乐文件中的原始规范交换，则基于所述原始指定乐器要重播的音域来选择所述替代规范。
7.如权利要求1到6中任一项所述的方法，其特征在于所述改进的声音重放是基于将声谱变调到较高频率范围。
8.如权利要求7所述的方法，其特征在于所述变调移动所述声谱，以使所述声谱的低端位于所述扬声器的传输范围内。
9.如权利要求8所述的方法，其特征在于变调声谱的主要能含量位于从5kHz到10kHz的频率范围内。
10.如权利要求1到9中任一项所述的方法，其特征在于所述音乐文件的格式对应于MIDI数据文件格式。
11.用于根据无线通信系统中移动终端扬声器的传输特性从音乐文件中再现采样数据的装置，所述装置(100)包括-存储部件(101)，用于存储所述音乐文件和有关一个或多个扬声器传输特性的数据；-选择部件(102)，用于从所述存储部件中选择用于特定扬声器的数据；-低频声音识别部件(103)，用于根据选择的数据识别所述音乐文件中表示谱分量低于扬声器传输频率范围的声音的音频数据；-控制部件(104)，用于控制从已识别音频数据的声音重放的改进，以使与由未改进的重放所获得的声音相比，改进的重放产生的声谱在所述扬声器传输频率范围内具有增加的能含量；以及-合成部件(105)，用于合成来自改进的乐谱的采样数据。
12.如权利要求11所述的装置，其特征在于所述控制部件(104)根据权利要求1到9中任一项所述的方法改进音乐文件的重放。
13.如权利要求11或12所述的装置，其特征在于所述控制部件(104)适于将表示由改进的重放所获得的声音的音频数据存储在所述装置(100)的存储部件(101)中的音乐文件中。
14.如权利要求11到13中任一项所述的装置，其特征在于所述控制部件(104)适于在各个音乐文件通过所述扬声器重播时改进声音的重放。
15.与无线通信系统一起使用并适于从音乐文件中重放音频数据的移动终端，所述移动终端包括-装置(100)，用于根据权利要求10到14中一项从所述音乐文件中再现采样数据；-变换部件，用于将从所述装置(100)获得的所述采样数据变换成各个模拟电信号，以及-扬声器，用于将所述模拟电信号转换成各个声信号。
16.软件产品，包括一系列状态元素，所述状态元素适于由移动终端的数据处理部件进行处理，以便可在其上执行根据权利要求1到9中任一项所述的方法。
全文摘要
本发明改进音乐文件的重放，使音乐文件中所含音频数据的重放适应于无线通信系统移动终端上小型扬声器的特性，以改进音乐文件中所含各种音乐或多音声音的可听度。于此，在音乐文件中识别表示谱分量低于扬声器传输频率范围的声音的音频数据，并改进从已识别音频数据的声音重放，以使与由未改进的重放所获得的声音相比，改进的重放产生的声谱在扬声器传输频率范围内具有增加的能含量。
文档编号H04S1/00GK1857028SQ200480027304
公开日2006年11月1日 申请日期2004年9月7日 优先权日2003年9月25日
发明者T·勒希纳 申请人:索尼爱立信移动通讯股份有限公司