专利名称：将声音转换为图像并在屏幕上显示的电话和方法
技术领域：
本发明涉及将声音转换为图像并在屏幕上显示的电话和方法，更具体地，涉及将声音转换为图像并在屏幕上显示的电话和方法，用于将主叫用户和被叫用户之间的手机铃声和呼叫声音用颜色显示在屏幕上。
背景技术：
当前，移动通讯终端(下面称为“手机”)，例如手机、PCS电话或IMT-2000电话，已经广泛使用，并且移动电话中使用了多种功能。
随着手机与通讯服务公司之间的市场竞争日益加剧，额外服务的可销售性和竞争性的研究和开发已经积极展开。
手机的额外功能包括发送文字消息、各种铃声服务以及游戏。
如果具有相同呼叫声音的多部手机，即相同铃声的多部手机，位于相邻区域。当主叫用户试图呼叫一部手机时，每部手机用户都要确认是否是他/她自己的手机被呼叫。
为了满足手机用户对特殊铃声的需要，已经出现了用户可以选择不同铃声的手机。并且，手机从铃声服务供应商下载并设定特殊铃声，或者直接将人的声音设定为铃声。
刚开始时，一般使用单声道的蜂鸣器声音作为铃声。目前，已经提供按照SMAF(合成音乐手机应用格式日本YAMAHA提供的多媒体内容等级的数据格式)的MIDI和弦铃声，例如4重YAMAHAMA1、16重YAMAHAMA2(MMF)。
2.5代手机CDMA2000 1x以及3代手机IMT2000具有彩屏，如全色运动图像、图形、动画等等。
但是，手机用户是通过听觉识别手机铃声或呼叫声，而不是从视觉上识别它。
发明内容
因此，本发明的提出，是解决先前技术中出现的上述的问题。因此，本发明的目的是提供将声音转换为图像并在屏幕上显示的电话和方法，能够显示电话的铃声或呼叫声，例如手机。
本发明的另一个目的是提供将声音转换为图像并在屏幕上显示的电话和方法，通过将声音显示成电话中的图像提高电话的可销售性。
本发明的另一个目的是提供将声音转换为图像并在屏幕上显示的电话和方法，能将被叫用户的声音纯度和情绪指数显示为字符和彩色图像。
为了达到上述目的，本发明提供一种电话，包括接收呼叫信号的接收器；存储呼叫声音信息的存储部分；输出呼叫声音信息的呼叫声音输出部分；显示彩色图像的彩色显示装置；以及控制器，当接收器收到呼叫信号时从存储部分中读出呼叫声音信息，并且控制器响应于读出的呼叫声音信息控制呼叫声音输出部分的操作，分析读出的呼叫声音信息获取声音分析信息，并且响应于声音分析信息将对应的呼叫声音图像显示在彩色显示装置上。
优选地，呼叫声音信息是合成声音活动音频2格式信息，控制器从合成声音活动音频2格式信息中获取具有程序变更、声道音量、扫描调制端口(panport)、音符以及声道信息的声音分析信息，并且响应于声音分析信息将合成声音活动音频2格式信息转换成具有图像形状、图像尺寸、X轴位置、颜色、Y轴位置和数字的图像信息。
更优选地，呼叫声音信息是语音信息，控制器将语音信息进行傅立叶变换，从傅立叶变换的信息中获取音调(pitch)(基频fundamental frequency)、共振峰频率、每个共振峰频率的能量作为声音分析信息，并且响应于声音分析信息将傅立叶变换信息转换成具有图像颜色、图像数字、Y轴位置、图像位置的图像信息。
而且，提供一种电话，包括接收呼叫信号的接收器；存储呼叫声音信息的存储部分；输出呼叫声音的呼叫声音输出部分；包括照明单元并用于显示灰度等级信息的灰度等级显示装置；以及控制器，当接收器收到呼叫信号时从存储部分中读出呼叫声音信息，并且控制器响应于读出的呼叫声音信息控制呼叫声音输出部分的操作，分析读出的呼叫声音信息获取声音分析信息，并且响应于声音分析信息将照明单元的对应照明颜色显示在灰度等级显示装置上。
并且，提供一种电话，包括输入/输出呼叫声音信号的听筒；发送/接收呼叫声音信号的收发器；显示彩色图像的彩色显示装置；以及控制器，用于通过听筒或收发器检测通话声音输入，通过听筒或收发器输出或发送输入的通话声音，分析输入的通话声音信号获取声音分析信息，并将对应于获取的声音分析信息的通话声音信号显示在彩色显示装置上。
优选地，控制器按帧对呼叫声音信息进行傅立叶变换，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息将傅立叶变换的信息转换成具有图像颜色、图像数字、Y轴位置和图像位置的图像信息。
更优选地，控制器按帧对呼叫声音信息进行傅立叶变换得到每帧的能量，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息判断说话者的情绪指数，将与判断的情绪指数对应的字符信息显示在彩色显示装置上。
最优选地，控制器根据能量和音调输出说话者的基频和基准频率(reference frequency)，按预定的时间单位输出平均能量和平均基频，并根据平均能量和平均基频的变化率判断说话者的情绪变化。
而且，控制器按帧对呼叫声音信号进行傅立叶变换得到每帧的能量，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息判断说话者的纯度指数，将与判断的纯度指数对应的字符信息显示在彩色显示装置上。
并且，提供一种用于电话中呼叫声音的声音/图像转换方法，其中电话包括彩色显示装置并且当收到呼叫信号时或响应于呼叫按键输入产生呼叫声音，方法包括以下步骤读呼叫声音数据；根据读出呼叫声音数据的格式对呼叫声音的声音分析信息进行采样；形成与采样的声音分析信息对应的彩色图像数据；以及将彩色图像数据与呼叫声音的输出合成并将彩色图像显示在电话的彩色显示装置上。
提供一种包括彩色显示装置的电话中的通话声音的声音/图像转换方法，方法包括以下步骤接收被叫用户的通话声音数据；从收到的被叫用户通话声音数据中对通话声音的声音分析信息进行采样；形成与采样的声音分析信息对应的通话声音图像；以及将通话声音图像与呼叫声音的输出合成并将彩色图像显示在电话的彩色显示装置上。
在本发明的一个实施例中，通话声音显示图像包括通话声音图像、情绪指数字符以及纯度字符。
结合附图，从以下的描述中可以更好地理解本发明，并且更充分地认识到本发明的各种目的和优点。在附图中图1是表示根据本发明一个实施例的电话结构的框图；图2到6是表示每个声音分析信息和图像信息相对于MA2格式的复合呼叫声音的对应关系的表；图7表示根据本发明一个实施例的手机中复合呼叫声音图像；
图8是表示根据本发明一个实施例的电话中复合呼叫声音的声音/图像转换方法的流程图；图9是表示根据本发明一个实施例的电话中语音呼叫声音的声音/图像转换方法的流程图；图10表示每个声音分析信息和图像信息相对于语音呼叫声音和图像显示的对应关系；图11是根据本发明一个实施例在将音频转换为可见频率时，用于表示对应于每个音频的颜色的直角颜色坐标系；图12到18表示根据本发明一个实施例呼叫声音的各种图像显示状态；图19表示根据本发明一个实施例通过液晶板彩色照明变化显示呼叫声音；图20是表示根据本发明一个实施例电话中通话声音的声音/图像转换方法的流程图；图21表示根据本发明一个实施例情感指数和标志对应关系的一个例子；图22表示根据本发明一个实施例纯度指数与标志对应关系的一个例子；图23和24表示根据本发明一个实施例与呼叫声音对应的显示图像的一个例子。
具体实施例方式
下面参考附图详细描述本发明。
图1是表示根据本发明一个实施例的手机结构的框图。手机包括收发器100、听筒200、显示装置300、按键板400、存储器500和控制器600。
收发器100通过天线102和双工机104以及接收器106接收从移动通讯基站发射的RF信号。接收器106将接收的RF信号与频率合成器108提供的频率信号混合，并提取CDMA信号。CDMA信号供给解码器110。
解码器110将接收器106的CDMA信号解调制，并将解调制的CDMA信号还原成声道解码数据。解码器110通过CDMA解码算法将声道解码数据解码并输出分组数据(packet data)。分组数据供给控制器600。
编码器112利用CDMA编码算法将控制器的分组数据声道编码，并将声道编码的数据供给发射器114。
发射器114将编码器112的声道编码数据转换成CDMA信号，并将CDMA信号调制。发射器114将调制的CDMA信号与频率合成器108提供的频率信号混合，产生RF信号。RF信号通过双工机104和天线102发射到空中。
听筒200通过语音处理器202将控制器600的语音数据和ADPCM数据转换成模拟语音信号。语音放大器204和扬声器206将语音处理器202的模拟语音信号输出为语音。
听筒200的语音处理器202将麦克风208输入的语音信号转换成数字语音数据，即ADPCM数据，并将转换的数字语音数据供给控制器600。
听筒200的语音合成器210将控制器600的呼叫声音数据合成并产生模拟呼叫声音信号。模拟呼叫声音信号通过语音放大器204和扬声器206输出为铃声。
语音合成器210包括语音合成芯片(例如，日本YAMAHA Co.，Ltd.的YMU759芯片)，它处理呼叫声音数据和MIDI呼叫声音数据并产生语音信号。呼叫声音数据是语音的PCM或ADPCM，MIDI呼叫声音数据是MA1或MA2格式的计算机合成声音。
显示装置300通过LCD驱动器302将控制器600的图像数据转换成LCD驱动数据。LCD驱动数据供给LCD板304并通过LCD板显示成图像。
LCD板304使用灰度等级或彩色显示方法显示图像。
在灰度等级显示方法中，字符、数字和图标等显示在屏幕上，并使用彩色照明单元306。彩色照明单元306利用红和绿灯或红、绿和蓝灯提供液晶板的彩色照明，例如通过发光二极管的组合。
一般手机的按键板使用按键板400。按键板400向控制器600提供按键输入信号。按键板400选择声音/图像转换和显示功能，下载呼叫声音数据，或执行选择图像的功能键输入。
存储器500包括辅助fresh memory、随机存取存储器(RAM)以及只读存储器(ROM)。下载的呼叫声音数据存储在辅助fresh memory。手机的操作程序存储在ROM中。
控制器600包括中央处理器602、声码器604和声音/图像转换器606。
中央处理器602包括微计算机或接口电路，并且执行手机的操作系统。
声码器604602接收收发器100的分组数据。声码器604602利用Qualcomm码激励线性预测(QCELP)解码算法将压缩的数据解码，并将扩展的声音数据供给听筒200的语音处理器202。声码器604602利用QCELP编码算法压缩听筒200提供的语音数据，并产生分组数据。分组数据供给收发器100的编码器112。
在QCELP算法中，将语音信号的共振峰频率信息和音调信息提取、压缩并编码为特征信息。在解码操作中，根据接收的共振峰信息和音调信息，产生与原始声音接近的语音信号。
声音/图像转换器606接收呼叫声音数据和通话声音数据，并根据的声音/图像转换算法产生相应的图像数据，并通过中央处理器602将图像数据供给显示装置300。
下面描述本发明的声音/图像转换算法。
1.具有MA2格式的复合呼叫声音的图像转换算法YAMAHA Co.，Ltd.提供的MA2格式的顺序数据是通过重复1-2字节持续数据和2-N字节事件数据形成的。
事件数据根据数据类型分为控制信息、音符信息、NOP信息以及专用信息。
控制信息包括在第二和第三字节中的声道代码、控制标识(ID)、类型代码以及设定值等等。控制信息根据类型代码分为程序变更、八音度(octave)漂移、声道音量、扫描调制端口以及表现。
程序变更是将相应声道的乐器音调设定为128种乐器音调中的任何一种的信息。八音度漂移是将相应声道的八音度漂移量设定为10种漂移量中的任何一种的信息。声道音量是将相应声道的音量设定为32种音量等级中的任何一种的信息。扫描调制端口(pan port)将立体声场中L和R立体声源的每个分贝值设定为44种等级中的任何一种。表现是将在重现音乐时改变相应声道音量的信息。
音符消息信息包括声道代码、八音度代码、音符代码以及选通时间代码(gate time code)。八音度代码包括具有低、中低、中高和高的4级八音度信息。音符代码具有12音阶信息。选通时间代码具有设定音阶中相应声音的音长信息。
专用消息信息包括2字节头代码、1字节消息大小、1字节制作者ID、1字节格式ID、n字节数据以及1字节数据尾。专用消息设定音调数据或直接具有访问控制信息。
因此，MIDI呼叫声音的图像转换将上述音乐信息对应于以下的图像信息。Y轴液晶显示屏对应音高，即声音的频率。X轴液晶显示屏对应立体声源的分贝值。声音分析信息和图像信息相互匹配，如下面的表1所示。
图2到6是表示每个声音分析信息和图像信息相对于MA2格式的复合呼叫声音的对应关系的表。
参看图2，4个八音度范围分别对应于4个亮度值。参看图3，中高八度范围内的每个音阶具有对应的RGB值和颜色。参看图4，具有LR立体声值的全景(移动立体声录音法)值对应屏幕上X轴的坐标值。参看图5，声道音量对应图像尺寸。参看图6，程序变更值对应图像形状。
图7表示根据本发明一个实施例的手机中复合呼叫声音图像。参看图7，当4重合成呼叫声音是由鼓、大钢琴、萨克斯管和小提琴4声道乐器的合成声音所形成时，与每种乐器声道对应的图像由Y轴坐标屏幕中的立体声场显示为声场情绪。每个声道中相对于音频组成的颜色多少和图像形状，根据屏幕Y轴上的频率高度，得到不同的显示。
仅当每个MIDI声音的音长持续时显示图像。
参看图8，中央处理器602检查是否收到呼叫信号或者是否输入通话按健(步骤S100)。当未收到呼叫信号或者未输入通话按键时，维持通话等待状态。
当步骤S100中检查到收到呼叫信号或者输入通话按键，则中央处理器602从存储器500中读出呼叫声音数据，并将读出的呼叫声音供给语音合成器210和声音/图像转换器606。即，中央处理器602读出呼叫声音数据，这是用户从下载并存储在存储器中的各种呼叫声音数据中设定的(步骤S102)。
中央处理器602判断读出的呼叫声音数据是否是MA2的呼叫声音数据，这是用户从下载并存储在存储器500中的各种呼叫声音数据中设定的(步骤S104)。当读出的呼叫声音数据不是MA2的呼叫声音数据时，中央处理器602将读出的声音数据识别为语音呼叫声音数据，并执行语音呼叫声音处理程序(步骤S105)。当读出的呼叫声音数据是MA2的呼叫声音数据时，执行具有MA2格式的复合呼叫声音的图像转换算法，并从呼叫声音数据中提取声音分析信息(步骤S106)。接着，形成对应于提取的声音分析信息的图像(步骤S108)。
表1
当形成的图像数据供给中央处理器602时(步骤S110)，中央处理器602将图像数据转换成RGB数据。中央处理器602将RGB数据与其它显示数据合成，产生图像数据。图像数据供给LCD驱动器302，并通过LCD板304显示(步骤S112)。
中央处理器602控制LCD板304，使图像数据的显示与呼叫声音的输出同时进行。
声音/图像转换器606先前形成图2到6所示的表作为查询表，并根据声音分析信息的寻址产生相应图像的RGB数据。
2.语音呼叫声音的图像转换算法人的语音或自然声音记录为ADPCM或PCM数据，并且ADPCM或PCM数据存储在存储器中。语音呼叫声音信息形成时间轴上取样的数字数据，从而在响应呼叫信号时输出为呼叫声音。
YAMAHA Co.，Ltd.的YMU759芯片具有将ADPCM数据形成的语音呼叫声音重现并输出语音的功能。
参看图9，当收到语音呼叫声音时，声音/图像转换器606接收ADPCM数据的呼叫声音信息并将之转换为16位的PCM数据(步骤S116)。
转换的PCM数据被快速傅立叶变换为帧，并转换为频率数据(步骤S118)。
每一帧得出频率数据的峰值和音调(基频)。频率数据的峰值用滤除算法进行过滤。过滤的峰值按能量大小进行分类，并过滤到小于30的预定次数(步骤S120)。频率数据的每个过滤峰值包括相应帧语音信号的共振峰频率。从频率区域中检测音调，得到基频(步骤S122)。基频通过声音/图像转换算法进行声音/图像转换，得到可见频率(步骤S124)。
步骤S124的声音/图像转换算法由以下的方程1定义方程1F=Fl×2x*]]>BF∝xx=log2(FiFl)+C]]>式中，F是得出的可见频率，Fl是基准可见频率，整数次方x是一个八音度值，BF是颜色的亮度，x*是一个小数次方并且是一个八音度中的声场值，fi是采样的基准音频，fl是基准音频，C是常数并且是实数0≤C≤1。
例如，基准音频f是329.6Hz，对应于4八音度的“mi”。常数C是0.29乘以对应于“红”的基准频率(reference frequency)。当最小音频fl和最小可见频率Fl分别定为20Hz和350Hz时，可见频率为441THz，得到的颜色亮度为4.33(43.3％)，正比于由方程1计算的x值。
当在步骤S124得到的可见频率的颜色以及与每个频率能量对应的图像尺寸信息形成为图像数据，并且形成的图像数据提供给中央处理器602(步骤S126)，中央处理器602将图像数据转换成RGB数据。中央处理器602将RGB数据与另外的显示数据合成，产生图像数据。图像数据供给LCD驱动器302，并通过LCD板304显示(步骤S128)。
中央处理器602控制LCD板304显示图像数据，同时输出语音呼叫声音。
图10表示每个声音分析信息和图像信息相对于语音呼叫声音和图像显示的对应关系。参看图10，图10a)表示采样的语音信号，图10b)表示快速傅立叶变换的语音信号的频谱，与频率数据的峰值对应的圆图像表示在图10c)的屏幕上。
在图10c)中，与频率数据峰值对应的每个圆的尺寸正比于每个频率的能量。每个圆的颜色由方程1确定。圆的互相重叠部分表示每个圆的颜色混合。
与每个音频对应的颜色是图11所示的、根据八音度和音阶的颜色坐标系中的颜色。
图12到18表示根据本发明一个实施例呼叫声音的各种图像显示状态。
在图12和13中，与每个音频对应的图像对应于屏幕y轴排列，并且显示的面积正比于每个音频的能量幅度。
在图14中，所有频率的混合颜色从屏幕中心显示。混合颜色随着时间逝去放射状向屏幕边缘逐渐显示。
图15表示根据被显示为图像的每个音频的能量大小具有不同面积的方形的组合，以Mondrian图画的形式形成整个屏幕。
图16表示在声音/颜色转换系统圆(将声音与颜色对应的放射圆坐标)上的4八音度声音。最低的八音度显示在最外侧的方形带上。最高的八音度显示在最内侧的方形带上。每个声音的音阶显示为与方形带对应的声音。
在图17中，图像，如蝴蝶、花和星星，具有对应于被显示的声音音阶的颜色，在随机坐标系中显示。先前显示的图像不消失，下一个显示的图像重叠在先前显示的图像上。
在图18中，规则三角形的图像具有与声音音阶对应的颜色。
并且，在不偏离本发明精神和范围的情况下可以使用各种形式，例如彩色条形式以及镶嵌形式。
因此，手机用户不但从听觉上也从视觉上欣赏铃声，在视觉上是根据铃声在液晶板上有节奏地变化的彩色图像。
3.根据彩色照明单元手机铃声的彩色显示在此实施例中描述具有彩色液晶板的手机。
但是，在具有灰度等级显示的液晶板的手机中，铃声也可显示成可见的。
即，手机包括彩色照明单元306。彩色照明单元306包括具有至少两个不同颜色的照明源。彩色照明单元306对液晶板304提供彩色照明。例如，彩色照明单元306通过红发光二极管、绿发光二级管和蓝发光二极管的组合输出彩色照明。
因此，在本发明的一个实施例中，在驱动彩色照明单元306的彩色发光二极管时，响应于通过算法得出的每个声音对应的RGB值的每个增益信息，对每个彩色发光二极管的亮度进行控制。这样，响应于铃声，如图19所示，在LCD显示窗口上发光颜色输出为有节奏变化的65000种颜色。
4.通话声音的图像转换算法如图20所示，根据通话声音的图像转换显示，手机中被叫用户的语音输出为图像，同时将根据被叫用户语音分析的情绪状态和纯度表示为图标。
声码器604将数据解码并产生ADPCM数据。ADPCM数据提供给语音处理器202。
声音/图像转换器606对声码器604的输出数据按帧采样，产生1024个样本并将它们转换成PCM数据(步骤S130)。
得出按帧的平均能量Ea(Ea=1NΣi=1N(Esi)2)]]>(步骤S132)。Es是每个样本值的能量，N是帧中所有样本数量(1024)。
判断当前帧的平均能量Eaj减去前一帧的平均能量Ea(j-1)是否大于6dB(步骤S134)。
当存在通话声音时，得出开始3帧的平均能量，计算基准能量Er。接着，提出随后3帧的平均能量AEk(步骤S136)。
将每帧的样本值进行快速傅立叶变换(步骤S138)。使用得到音调的公知算法，根据傅立叶变换的频率数据得出音调，即基频ff(步骤S140)。
4-1.语音图像形成提取基频ff。与提取的基频ff的能量幅度Eff成正比的圆排列在语音屏幕区的中心。在语音时间轴的波形重叠圆的圆周，输出语音图像。屏幕的基色显示为与基频ff对应的颜色。使用方程1获取与基频ff对应的颜色。
如上所述，形成通话声音图像数据(步骤S142)。
4-2.情绪指数图像形成当一个人激动时，根据情绪指数将大声说话，从而改变音量和基频。根据本发明的一个实施例，根据帧的能量值和基频计算情绪指数。
利用初始3帧的基频ff1、ff2和ff3确定基准频率ff。基准频率ff确定为初始3帧的平均基频ffa。
平均基频确定为除去初始3帧基频中最大值基频后其余两个基频的平均值。
当确定的平均基准频率为80Hz到600Hz时，将确定的平均基准频率定为基准频率。当确定的平均基准频率超出80Hz到600Hz之间时，将两个基频中较大的一个确定为基准频率fr。
当基准能量Er和基准频率fr确定时，在随后的3帧中得到平均能量AEk和平均基频fak。
相对于得到的基频Er得出平均能量变化率(Erate)，即Erate＝AEk/Er。
相对于得到的基准频率fr得出平均基频变化率(frate)，即frate＝fak/fr。
根据平均能量的变化率(Erate)和平均基频的变化率(frate)确定的10级情绪指数如表2所示。
当情绪指数确定时，如图21所示，读出与情绪指数对应的图标数据，形成图像(步骤S144)。
根据用户选择可以确定一种情绪指数图标。
表2
4-3.纯度指数图像形成在本发明的一个实施例中，声音纯度的显示正比于颜色的色度。即，清晰声音的显示接近于一个基频。不纯的声音具有基频和谐频。
因此，在每帧的频谱中，清晰声音具有采样的低频，不纯的声音具有采样的高频。根据方程1，在每个频率中相应颜色的数量变多。其中混合得越多，混合颜色的色度越小。
由方向1得到每帧采样峰值的RGB数据f1(RGB)、f2(RGB)和f3(RGB)。RGB数据与每个峰的能量值相乘作为增益，得到RGB的总数，从而得到每帧的总RGB值。
T(RGB)＝e1f1+e2f2+e3f3+...
能量值调整为0到1之间的值。
总RGB值具有相应帧的色度信息，指示与每个频率对应的所有颜色互相混合。因此，从总RGB值中得出每个R值、每个G值和每个B值中的最大值(MAX)和最小值(MIN)。算出最大值(MAX)和最小值(MIN)的和(SUM)与差(DIF)。和(SUM)除以510得到亮度(LUM)。
当最大值(MAX)和最小值(MIN)彼此相等时，色度为0。
当亮度(LUM)等于或大于0.5时，色度由差(DIF)除以和(SUM)算出的值确定。当亮度(LUM)小于0.5时，色度由差(DIF)除(510-SUM)算出的值确定。
如表3所示，10级纯度指数表示为相应的10级色度。
当确定纯度指数时，如图22所示，读出与纯度指数对应的图标数据，形成纯度图像数据(步骤S146)。由用户的选择确定一种显示的图标。
当形成通话声音图像、情绪指数图像以及纯度图像时，声音/图像转换器606将通话声音图像、情绪指数图像和纯度图像供给中央处理器602(步骤S148)。中央处理器602将声音/图像转换器606的通话声音图像、情绪指数图像以及纯度图像合成，形成一个显示的屏幕。此显示屏幕显示在液晶板上，如图20和21所示。
表3
当参看图23时，在通话声音显示区，圆形的被叫用户语音波形显示为与基频(5八音度B音阶)区对应的亮紫色。与情绪指数7对应的字符图标显示在情绪指数显示区。与纯度0对应的字符显示在纯度指数区。
参看图24，在通话声音显示区，圆形的被叫用户语音波形显示为与基频(3八音度B音阶)区对应的暗紫色。与情绪指数7对应的字符显示在情绪指数显示区。与纯度+2对应的字符显示在纯度指数区。
图24的声音波形比图23的大。因此，用户可以用眼睛看到被叫用户的音量大小。图24和25的亮度根据5八音度和3八音度彼此互不相同。用户可以辨认被叫用户当前情绪处于激动还是安静状态。用户可以通过图标和指数辨认被叫用户的语音是清晰的还是不纯的。
5.通话声音图像转换的另外实施例声码器104的解码操作中提取的共振峰频率信息和音调频率信息供给声音/图像转换器606。通过方程1得到与共振峰频率信息和音调频率信息对应的颜色。此时，不需要声音/图像转换器606执行快速傅立叶变换操作。
并且，声音/图像转换器将程序移植到控制器中，并用软件形成它。声音/图像转换器可以与定制的半导体集成在一起。声音/图像转换器和语音合成器可以由定制的半导体具体化为硬件。
如上所述，根据本发明，由于手机的呼叫声音，即铃声，以音频输出并以视频显示在屏幕上，为手机提供了新增加的功能，提高了可销售性。
而且，由于被叫用户的语音显示为图像，显示了被叫用户情绪和语音纯度，为手机用户提供了额外的娱乐，提高了产品的可销售性。
虽然参考特殊的实施例具体图解和描述了本发明，但本领域一般技术人员应该理解的是，在不偏离权利要求限定的本发明精神和范围的条件下，可以做出形式上和细节上的不同变化。
权利要求
1.一种电话，包括接收呼叫信号的接收器；存储呼叫声音信息的存储部分；输出呼叫声音信息的呼叫声音输出部分；显示彩色图像的彩色显示装置；以及控制器，当接收器收到呼叫信号时控制器从存储部分中读出呼叫声音信息，并且控制器控制响应于读出的呼叫声音信息的呼叫声音输出部分的操作，控制器分析读出的呼叫声音信息获取声音分析信息，并且控制器响应于声音分析信息将对应的呼叫声音图像显示在彩色显示装置上。
2.如权利要求1所述的电话，其中呼叫声音信息是合成声音活动音频2格式信息，控制器从合成声音活动音频2格式信息中获取具有程序变更、声道音量、扫描调制端口、音符以及声道信息的声音分析信息，并且响应于声音分析信息将合成声音活动音频2格式信息转换成具有图像形状、图像尺寸、X轴位置、颜色、Y轴位置和数字的图像信息。
3.如权利要求1所述的电话，其中呼叫声音信息是语音信息，控制器将语音信息进行傅立叶变换，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息将傅立叶变换的信息转换成具有图像颜色、图像数字、Y轴位置和图像位置的图像信息。
4.一种电话，包括接收呼叫信号的接收器；存储呼叫声音信息的存储部分；输出呼叫声音的呼叫声音输出部分；包括照明单元并用于显示灰度等级信息的灰度等级显示装置；以及控制器，当接收器收到呼叫信号时控制器从存储部分中读出呼叫声音信息，并且控制器响应于读出的呼叫声音信息控制呼叫声音输出部分的操作，控制器分析读出的呼叫声音信息获取声音分析信息，并且响应于声音分析信息将照明单元的相应照明颜色显示在灰度等级显示装置上。
5.如权利要求4所述的电话，其中呼叫声音信息是合成声音活动音频2格式信息，控制器从合成声音活动音频2格式信息中获取具有程序变更、声道音量和音符的声音分析信息，并且响应于声音分析信息将合成声音活动音频2格式信息转换成照明单元的照明颜色控制信息。
6.如权利要求4所述的电话，其中呼叫声音信息是语音信息，控制器将语音信息进行傅立叶变换，从傅立叶变换的信息中获取具有音调(基频)、共振峰频率、每个共振峰频率能量的声音分析信息，并且响应于声音分析信息将傅立叶变换的信息转换成照明单元的照明颜色控制信息。
7.一种电话，包括输入/输出呼叫声音信号的听筒；发送/接收呼叫声音信号的收发器；显示彩色图像的彩色显示装置；以及控制器，用于检测通过听筒或收发器输入的通话信号，通过听筒或收发器输出或发送输入的通话信号，分析输入的通话声音信号获取声音分析信息，并将对应于获取的声音分析信息的通话声音信号显示在彩色显示装置上。
8.如权利要求7所述的电话，其中控制器按帧对呼叫声音信息进行傅立叶变换，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息将傅立叶变换的信息转换成具有图像颜色、图像数字、Y轴位置和图像尺寸的图像信息。
9.如权利要求7所述的电话，其中控制器按帧对呼叫声音信息进行傅立叶变换得到每帧的能量，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息判断说话者的情绪指数，将与判断的情绪指数对应的字符信息显示在彩色显示装置上。
10.如权利要求9所述的电话，其中控制器根据能量和音调输出说话者的基频和基准频率，按预定的时间单位输出平均能量和平均基频，并根据平均能量和平均基频的变化率判断说话者的情绪变化。
11.如权利要求10所述的电话，其中平均基频确定为除去初始3帧基频中具有最大值的基频后其余两个基频的平均值，并且当确定的平均基准频率超出80Hz到600Hz的范围时，将两个基频中较大的一个确定为基准频率。
12.如权利要求10所述的电话，其中预定的时间单位是3帧。
13.如权利要求7所述的电话，其中控制器按帧对呼叫声音信息进行傅立叶变换得到每帧的能量，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息判断说话者的纯度指数，将与判断的纯度指数对应的字符信息显示在彩色显示装置上。
14.如权利要求13所述的电话，其中控制器得到每帧的总颜色色度并将与色度等级成正比的纯度输出。
15.一种用于电话中呼叫声音的声音/图像转换方法，其中电话包括彩色显示装置并且当收到呼叫信号时或响应于呼叫按键输入产生呼叫声音，方法包括以下步骤读呼叫声音数据；根据读出呼叫声音数据的格式对呼叫声音的声音分析信息进行采样；形成与采样的声音分析信息对应的彩色图像数据；以及将彩色图像数据与呼叫声音的输出合成并将彩色图像显示在电话的彩色显示装置上。
16.一种用于电话中呼叫声音的声音/图像转换方法，其中电话包括显示装置的照明单元并且当收到呼叫信号时或响应于呼叫按键输入产生呼叫声音，方法包括以下步骤读呼叫声音数据；根据读出呼叫声音数据的格式对呼叫声音的声音分析信息进行采样；形成与采样的声音分析信息对应的照明控制数据；以及响应于照明控制数据控制显示装置照明单元的照明颜色。
17.一种包括彩色显示装置的电话中的通话声音的声音/图像转换方法，方法包括以下步骤接收被叫用户的通话声音数据；从收到的被叫用户通话声音数据中对通话声音的声音分析信息进行采样；形成与采样的声音分析信息对应的通话声音图像；以及将通话声音图像与呼叫声音的输出合成并将彩色图像显示在电话的彩色显示装置上。
18.如权利要求17所述的方法，其中形成通话声音图像的步骤按帧对通话声音数据进行傅立叶变换得到每帧的能量，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息判断说话者的情绪指数，将与判断的情绪指数对应的字符信息显示在彩色显示装置上。
19.如权利要求17所述的方法，其中形成通话声音图像的步骤按帧对通话声音数据进行傅立叶变换得到每帧的能量，从傅立叶变换的信息中获取音调(基频)、共振峰频率、每个共振峰频率能量作为声音分析信息，并且响应于声音分析信息判断说话者的纯度指数，将与判断的纯度指数对应的字符信息显示在彩色显示装置上。
20.如权利要求17所述的方法，其中形成通话声音图像的步骤按帧对通话声音数据进行傅立叶变换得到每帧的能量，从傅立叶变换的信息中得到音调(基频)，将与得到的基频对应的颜色显示为基色，通话声音的波形具有在彩色显示装置上具有基色的圆形，圆形的尺寸正比于音量。
21.一种电话，包括输入/输出通话声音信号的听筒；发送/接收通话声音信号的收发器；显示彩色图像的彩色显示装置；以及控制器，用于通过听筒或收发器检测通话信号的输入，将输入的通话声音信号输出到听筒，将输入的通话声音信号解码得到共振峰频率和音调信息，并将对应于得到的共振峰频率和音调信息的通话声音信号显示在彩色显示装置上。
全文摘要
本发明涉及一种将声音转换为图像并在屏幕上显示的电话以及方法。接收器接收呼叫信号。接收器接收到呼叫信号。存储部分存储呼叫声音信息。呼叫声音输出部分输出呼叫声音。彩色显示装置显示彩色图像。控制器在接收器收到呼叫信号时读出呼叫声音信息。控制器通过呼叫声音输出部分产生呼叫声音以响应所读取的呼叫声音信息。控制器按帧的单位分析读出的呼叫声音信息并获取声音分析信息。控制器响应于声音分析信息将相应的呼叫声音图像显示在彩色显示装置上。因此，将声音转换为图像并将图像在屏幕上显示的电话和方法，将呼叫声音显示在屏幕上，从而为用户提供娱乐，并改进所生产商品的特征。
文档编号H04M19/04GK1524350SQ02810631
公开日2004年8月25日 申请日期2002年3月29日 优先权日2001年3月29日
发明者金吉昊 申请人:哈茉尼彩色音技术开发公司