专利名称：移动终端及其控制方法
技术领域：
本发明涉及用于在显示的网页上搜索对象的移动终端及对应的方法。
背景技术：
目前，除了基本的呼叫服务以外，移动终端还提供了很多其他服务。例如，目前用户可以访问因特网、玩游戏、观看视频、听音乐、捕捉图像和视频、录制音频文件等。移动终端目前还提供广播节目，这样用户可以观看电视秀、体育节目、视频等。 另外，移动终端还提供web浏览功能。然而，由于移动终端的显示器尺寸较小，所以很难选择在特定网页上显示的项目或链接。也很难使用web浏览功能来搜索信息。
发明内容
因此，本发明的一个目的是解决上述及其他问题。 本发明的另一 目的是提供用于在web浏览模式中通过语音命令来执行信息搜索的移动终端及对应的方法。 本发明的又一 目的是提供用于通过语音命令从web浏览模式进入到信息搜索模式的移动终端及对应的方法。 本发明的另一 目的是提供用于在web浏览模式中通过语音命令来在信息搜索窗口中输入搜索词的移动终端及对应的方法。 本发明的再一 目的是提供用于在web浏览模式中通过语音命令来指示搜索执行的移动终端及对应的方法。 本发明的另一 目的是提供用于通过语音命令来选择在web浏览模式中搜索的信息，并且显示与选定信息相关的网页的移动终端及对应的方法。 本发明的又一目的是提供用于基于语音命令在当前显示的网页上搜索信息的移动终端及对应的方法。 为了实现这些和其他优点并根据本发明的目的，如此处实施和宽泛描述的，本发明在一方面提供了一种移动终端，包括无线通信单元，被配置为访问网页；显示单元，被配置为显示所访问的网页；接收单元，被配置为接收输入的语音信息；以及控制器，被配置为将输入的语音信息转换为文本信息、在所显示的网页上搜索包括所转换的文本信息的对象、以及控制显示单元区别于显示在网页上的其他信息而显示包括所转换的文本信息的已找到对象。 另一方面，本发明提供了一种控制移动终端的方法，并且该方法包括在移动终端的显示器上显示所访问的网页、接收输入的语音信息、将输入的语音信息转换为文本信息、在所显示的网页上搜索包括所转换的文本信息的对象、并且区别于显示在网页上的其他信息而显示包括所转换的文本信息的已找到对象。 根据以下提供的具体描述，本发明可应用性的进一步范围将变得明显。然而，应当理解，仅为了说明而提供指示本发明的优选实施例的具体描述和特定示例，因为，通过该具体描述，在本发明的精神和范围之内的各种变化和修改对本领域的技术人员将变得明显。
附图被包括以提供对本发明的进一步理解并且被并入到本说明书中并构成本说
明书的一部分，
了本发明的实施例，并与描述一起解释本发明的原理。
在附图中 图1是根据本发明实施例的移动终端的框图； 图2A是根据本发明实施例的移动终端的正面透视图； 图2B是根据本发明实施例的移动终端的背面透视图； 图3A和3B是示出根据本发明实施例的移动终端的操作状态的正面视图； 图4是示出由接近传感器所测量到的接近程度的概念视图； 图5是说明根据本发明实施例，在移动终端中的菜单语音控制方法的流程图； 图6A包括显示屏幕的概况，说明根据本发明实施例，用于在移动终端中激活语音
识别功能的方法； 图6B和6C包括显示屏幕的概况，说明根据本发明实施例，用于在移动终端中输出帮助信息的方法； 图7A是说明根据本发明实施例，用于在移动终端中识别语音命令的方法的流程图； 图7B是说明根据本发明实施例，用于在移动终端中识别语音命令的方法的概况；
图8包括显示屏幕的概况，说明根据本发明实施例，用于配合移动终端中的语音识别率来显示菜单的方法； 图9包括显示屏幕的概况，说明根据本发明实施例，用于在移动终端中识别语音命令的方法； 图10是说明根据本发明实施例，在移动终端中识别语音命令所使用的数据库的组织的概况； 图10是根据本发明，对于移动终端的语音命令识别作为参考来使用的数据库的配置的概况； 图11是示出根据本发明实施例的移动终端的web浏览器的概况； 图12是示出根据本发明实施例，用于在web浏览模式中通过语音命令来搜索信息
的方法的流程图； 图13是示出根据本发明实施例，用于设置在网页上显示的对象的数据库的方法的概况； 图14是示出根据本发明实施例，在移动终端中从web浏览模式进入信息搜索模式的方法的概况； 图15A到15C是示出根据本发明实施例的方法的概况，该方法用于显示移动终端已经进入信息搜索模式的状态； 图16A和16B是示出根据本发明实施例，用于在信息搜索模式中输入搜索词的方法的概况； 图17是示出根据本发明实施例，用于在信息搜索模式中显示已输入的搜索词的方法的示例视图； 图18A和18B是示出根据本发明实施例，用于指示信息搜索的方法的示例视 图19是示出根据本发明实施例，用于在网页中搜索用户期望的信息的方法的流程图；以及 图20A和20B是示出根据本发明实施例，用于在作为信息搜索结果而获取的信息之中选择特定信息的方法的概况。
具体实施例方式
以下，将参照附图来更详细地描述与本发明相关的移动终端。进一步，本说明书中描述的移动终端可以包括蜂窝电话、智能电话、膝上型电脑、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统等。 图1是根据本发明实施例的移动终端100的框图。如图所示，移动终端100包括无线电通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口 170、控制器180、和电源190。图1中所显示的组件并非均为必要部分，并且在移动终端中包括的组件数量也可以变化。 另外，无线电通信单元110包括至少一个如下模块，该模块实现移动终端100与无线电通信系统之间或者移动终端100与移动终端100所处网络之间的无线电通信。例如，在图1中，无线电通信单元110包括广播接收模块111、移动通信模块112、无线因特网模块113、局域通信模块114和位置信息模块115。 广播接收模块111通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。进一步，广播信道可包括卫星信道和地面信道。而且，广播管理服务器可以是产生并传送广播信号和/或广播相关信息的服务器，或接收先前创建的广播信号和/或广播相关信息并将该广播信号和/或广播相关信息传送给终端的服务器。广播信号不仅可以包括TV广播信号、无线电广播信号和数据广播信号，还可以包括TV广播信号和无线电广播信号的组合形式的信号。 另外，广播相关信息可以是关于广播信道、广播节目、或广播服务提供商的信息。还可以通过移动通信网络来提供广播相关信息。在该实例中，可以由移动通信模块112来接收广播相关信息。广播相关信息还可以以多种形式存在。例如，广播相关信息可以以数字多媒体广播(匿B)系统的电子节目指南(EPG)的形式，或者以手持数字视频广播(DVB-H)系统的电子服务指南(ESG)的形式来存在。另外，广播接收模块111使用各种广播系统来接收广播信号。具体而言，广播接收模块111可使用诸如地面数字多媒体广播(匿B-T)系统、卫星数字多媒体广播(匿B-S)系统、仅媒体下行链路(MediaFLO)系统、DVB-H系统、和地面综合业务数字广播(ISDB-T)系统之类的数字广播系统来接收数字广播信号。还可以将广播接收模块111构造为适用于除上述数字广播系统以外的提供广播信号的广播系统。还可将通过广播接收机模块111接收到的广播信号和/广播相关信息存储在存储器160之中。 进一步，移动通信模块112将无线电信号传送到移动通信网络上的基站、外部终端、和服务器之中的至少一个或从其接收无线电信号。根据文本和/或多媒体消息的传输和接收，无线电信号可包括语音呼叫信号、视频电话呼叫信号、或各种形式的数据。
无线因特网模块113对应于用于无线因特网访问的模块，并且可以被包括在移动终端100之中，或从外部附连到移动终端100。可以将无线LAN(WLAN) (Wi-Fi)、无线宽带(Wibro)、全球微波互联访问(Wimax)、高速下行链路分组接入(HSDPA)等用作为无线因特网技术。局域通信模块114对应于用于局域通信的模块。可以将蓝牙、无线电频率识别(RFID)、红外线数据协会(IrDA)、超宽带(UWB)和ZigBee用作为局域通信技术。
另外，位置信息模块115确认或获取移动终端100的位置。全球定位系统(GPS)模块是位置信息模块115的代表性示例。进一步，GPS模块115可以在测量距离信息时，计算关于在一个点(对象)和至少三颗卫星之间距离的信息以及关于时间的信息，并且应用三角法来获得距离信息，以根据在预定时间上的纬度、经度和高度坐标获得关于该点(对象)的三维位置信息。另外，还可以使用如下方法，即用三颗卫星计算位置和时间信息，并用另一颗卫星来对计算出的位置和时间信息进行校正。另外，GPS模块115实时连续计算当前位置，并且使用该位置信息来计算速度信息。 参照图1， A/V输入单元120用于输入音频信号或视频信号，并且包括照相机121和麦克风122。照相机121对在视频电话模式或照相模式中通过图像传感器获取的静止图像或活动图像的图像帧进行处理。可在包括于输出单元150之中的显示单元151上显示处理后的图像帧。另外，可将经照相机121处理的图像帧存储在存储器160之中，或通过无线通信单元110传送给外部设备。根据移动终端100的构造，该终端还可以包括至少两个照相机。 进一步，麦克风122在呼叫模式、录制模式或速度识别模式中接收外部音频信号，并将接收到的音频信号处理为电子音频数据。还可以将音频数据转换为可以通过移动通信模块112传送给移动通信基站，并在呼叫模式中进行输出的形式。当接收到外部音频信号时，麦克风122可以采用各种噪声消除算法来消除已产生的噪声。 另外，用户输入单元130从用户接收输入数据，用于控制终端的操作。用户输入单元130可以包括小键盘、圆顶开关、触摸板(恒定电压/电容)、摇动轮(jog wheel)、摇动开关(jog switch)等。感测单元140感应移动终端100的当前状态，诸如移动终端100的打开/闭合状态、移动终端100的位置、用户是否触摸了移动终端100、移动终端100的方向、和移动终端100的加速/减速，并产生检测信号来控制移动终端100的操作。例如，当移动终端100是滑盖电话时，感测单元140可感测该滑盖电话是打开的还是闭合的。另外，感测单元140可感测电源190是否供电以及接口 170是否连接到外部设备。感测单元140还可以包括接近传感器141。 另外，输出单元150产生视觉、听觉或触觉输出，并且可以包括显示单元151、音频输出模块152、警报装置153和触觉模块154。显示单元151显示由移动终端100所处理的信息。例如，当移动终端处于呼叫模式时，显示单元151显示与电话呼叫有关的UI或图形用户接口 (GUI)。当移动终端100处于视频电话模式或拍照模式时，显示单元151还显示已捕捉或/和接收到的图像、UI或GUI。 显示单元151还可包括下述中的至少一个液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器和三维显示器。这些显示器中的一些可以是透明型或透光型，其被称为透明显示器。透明显示器还包括透明液晶显示器。显示单元151的背面结构也可以是透光型。根据该结构，用户透过移动终端100的主体的由显示单元151占用
7的区域，可以看到位于移动终端100的主体后面的对象。 进一步，根据移动终端100的构造，该终端可以包括至少两个显示单元151。例如，移动终端100可以包括如下多个显示器，这些显示器以预定距离被布置在单个表面上或者被集成。另外，可以将多个显示器布置在不同的面上。另外，当显示单元151和感测触摸的传感器(此后称为触摸传感器)形成分层的结构时，在下文中将其称为触摸屏，则除了输出设备以外，还可以将显示单元151用作为输入设备。例如，触摸传感器的形式可以为触摸膜、触摸片、或触摸板。 并且，可以将触摸传感器这样构造，使得其将施加到显示单元151的特定部位上的压力的变化或在显示单元151的特定部位上产生的电容变化转换为电输入信号。也可以将触摸传感器这样构造，使得其可以感测触摸的压力以及触摸的位置和区域。当将触摸输入施加到触摸传感器时，将对应于触摸输入的信号传送给触摸控制器。然后，触摸控制器对该信号进行处理，并将对应于处理后的信号的数据传送给控制器180。因此，控制器180可以检测显示器151的被触摸部分。 参照图1，接近传感器141可以位于移动终端100的内部区域之中、由触摸屏围绕、或靠近触摸屏。接近传感器141在不进行机械接触的情况下，使用电磁力或红外线感测靠近预定感测表面的对象或位于接近传感器141附近的对象。进一步，接近传感器141相比接触传感器具有更长的寿命，并具有广泛的应用。接近传感器141还包括透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡型接近传感器、电容式接近传感器、磁性接近传感器、红外接近传感器等。 另外，将容性触摸屏这样构造，使得根据指针的接近而变化的电场来检测指针的接近。在该实例之中，可以将触摸屏(触摸传感器)分类为接近传感器。为了便于解释，在以下描述中，将指针靠近触摸屏但是不与触摸屏接触，以便识别出指针在触摸屏上的位置的动作称为"接近触摸"，并且将使指针接触触摸屏的动作称为"接触触摸"。而且，指针在触摸屏上的接近触摸点指的是触摸屏上的这样一个点，当指针接近触摸该触摸屏时，在该点上指针垂直地对应于触摸屏。 进一步，接近传感器141感测接近触摸和接近触摸模式(例如接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、或接近触摸移动状态等)。也可以在触摸屏上显示对应于感测到的靠近触摸动作和接近触摸模式的信息。并且，在呼叫信号接收模式、电话呼叫模式或录制模式、语音识别模式和广播接收模式中，音频输出模块152可将从无线电通信单元110接收到的或存储在存储器160中的音频数据输出。音频输出模块152还输出与移动终端100中执行的功能相关的音频信号(例如，呼叫信号进入音调、消息进入音调等)。音频输出模块152可以包括接收机、扬声器、或蜂鸣器等。
警报装置153可输出信号来指示移动终端100中事件的发生。在移动终端100中产生的事件的示例包括接收呼叫信号、接收消息、键信号的输入、触摸的输入等。警报装置153还可以输出形式不同于视频信号或音频信号的信号，例如，用于通过振动来指示事件产生的信号。还可以通过显示单元151或音频输出模块152来输出视频或音频信号。
另外，触觉模块154产生用户可以感觉到的各种触觉效果。触觉效果的代表性示例是振动。触觉模块154所产生的振动的强度和模式也是可以被控制的。例如，可以将不同振动进行组合并输出，或顺序输出。除了振动以外，触觉模块154还可以产生各种触觉效果，包括根据布置小针向接触皮肤表面垂直移动的剌激效果、根据通过喷气孔或吸气孔的 喷气力或吸力的剌激效果、根据摩擦皮肤的剌激效果、根据电极接触的剌激效果、使用静功 率的剌激效果、以及根据使用能够吸收或辐射热量的元件来再生冷热的效果。进一步，触觉 模块154不仅可以通过直接接触来传送触觉效应，也可以使得用户通过对自己手指或手臂 的肌肉运动知觉的感应来感受触觉效果。根据移动终端的构成，移动终端100还可以包括 至少两个或两个以上的触觉模块154。 另外，存储器160存储用于操作控制器180的程序，并且临时存储输入/输出数 据(例如，电话簿、消息、静止图像、活动图像等)。存储器160还可以存储关于各种模式的 振动和声音的数据，当触摸输入被施加到触摸屏上时，所述数据被输出。存储器160可以 包括下述至少一种闪存、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD或 XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦写可编程 R0M(EEPR0M)、可编程R0M(PR0M)磁存储器、磁盘和光盘。移动终端100还可以结合web存 储器来操作，该web存储器在因特网上执行存储器160的存储功能。 进一步，接口 170用作连接到移动终端100的所有外部设备的路径。接口 170接 收来自外部设备的数据或功率，并且将该数据或功率传送给移动终端100的内部组件，或 将移动终端100的数据传送给外部设备。例如，接口 170还可以包括有线/无线头戴耳机 端口 、外部充电器端口 、有线/无线数据端口 、存储卡端口 、用于连接具有用户标识模块的 设备的端口 、音频I/O端口 、视频I/O端口 、耳机端口等。 另外，标识模块是存储用于对使用移动终端100的权限进行鉴权的信息的芯片， 并且可以包括用户标识模块(UIM)、订户标识模块(SM)和通用订户标识模块(USM)。可 以用智能卡的形式来生产包括标识模块的设备(下文中将其称为标识设备)。相应地，标识 设备可通过端口连接到移动终端100。 而且，接口 170可以用作这样的路径，即当移动终端IOO连接到外部托架时，通过 该路径将来自外部托架的功率提供给移动终端IOO，或者用作这样的路径，即通过该路径将 用户通过托架输入的各种命令信号提供给移动终端100。可以将从托架输入的各种命令信 号或功率用作为用于确认移动终端100是否被正确安放在托架中的信号。
控制器180控制移动终端的整体操作。例如，控制器180对语音通信、数据通信和 视频电话执行控制和处理。在图1中，控制器180包括用于播放多媒体的多媒体模块181。 可以将多媒体模块181包括在控制器180内，或可以使其分离于控制器180。进一步，控制 器180可以执行模式识别处理，该模式识别处理能够将施加到触摸屏上的手写输入或绘图 输入识别为字符或图像。另外，电源190在控制器180的控制下接收外部功率或内部功率， 并提供移动终端的组件进行操作所需的功率。 进一步，例如，可以在可由计算机或类似设备读取的记录介质上，使用软件、硬件 及其组合来实施本发明的各个实施例。根据硬件实施，可以使用专用集成电路(ASIC)、数字 信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列 (FPGA)、处理器、控制器、微控制器、微处理器、用于执行功能的电子单元之中的至少一个来 实施本发明的实施例。也可以用控制器180来实施实施例。 根据软件实施，可以用执行至少一个功能或操作的分离的软件模块来实施诸如过 程或功能的实施例。可以根据用合适的软件语言所编写的软件应用来实施软件代码。另外，软件代码可以存储在存储器160中并由控制器180来执行。 接着，图2A是根据本发明实施例的移动终端或手持终端100的正面透视图。如图 所示，手持终端100具有直板式终端主体。然而，本发明不受限于直板式终端，并且可以被 应用于具有至少两个相对活动组合的主体的各种类型的终端，包括滑盖式终端、折叠式终 端、摆动式终端、旋转式终端。 另外，终端主体包括形成终端100的外表的机壳(外壳、壳体、机盖等)。在本实施 例中，将机壳划分为前机壳101和后机壳102。并且将各种电子组件布置在前机壳101和 后机壳102之间形成的空间内。可将至少一个中间机壳附加地布置在前机壳101和后机壳 102之间。机壳也可以通过注塑成型由塑料形成，或由诸如不锈钢(STS)或钛(Ti)的金属 材料制成。 另外，将显示单元151、音频输出单元152、照相机121、用户输入单元130的用户输 入单元131和132 (图1)、麦克风122和接口 170布置在终端主体内，具体而言，布置在前机 壳101内。而且，显示单元152占据前机壳101的主表面的绝大部分。将音频输出单元152 和照相机121布置在接近显示单元151的一端或两端的区域，并且用户输入单元131和麦 克风122位于接近显示单元151另一端的区域。另外，将用户输入单元132和接口 170布 置在前机壳101和后机壳102的侧面。 进一步，用户输入单元130被操作来接收用于控制手持终端100的操作的命令，并 且可以包括多个操作单元131和132。操作单元131和132可称为操纵部分，并采用用户 在具有触觉感觉时对操作单元131和132进行操作的任何触觉方式。操作单元131和132 还可以接收各种输入。例如，操作单元131接收诸如开始、结束和滚动之类的命令，并且第 二操作单元132接收诸如控制从音频输出单元152输出的声音的音量或者将显示单元151 转换为触摸识别模式的命令。 接着，图2B是根据本发明实施例，图2A所示的手持终端的背面透视图。参照图 2B，将照相机121'附加地安装在终端主体的背面，即后机壳102。照相机121'的拍照方向 与图2A所示的照相机121的拍照方向相反，并且可以具有不同于图2A所示的照相机121 的像素的像素。例如，优选地是，照相机121具有较低的像素，这样其可以捕捉用户的面部 图像并将该图像传送给视频电话的接收方，而照相机121'具有较高的像素，因为在很多实 例中，其捕捉一般对象的图像并且不立即传送该图像。还可以将照相机121和121'附连到 终端主体，这样可以将其进行旋转或弹出。 将闪光灯123和镜子124附加地布置在照相机121'附近。当照相机121'拍摄对 象的图片时，闪光灯123照亮该对象，而镜子124用于在用户想要使用照相机121'来自拍 时，在镜子中看自己的面部。在终端主体的背面，附加地提供音频输出单元152'。因此，音 频输出单元152'可以与图2A所示的音频输出单元152 —起来实现立体声功能，并且可以 在终端用于电话呼叫时，用于扬声器电话模式。除了用于电话呼叫的天线以外，还将广播信 号接收天线124附连到终端主体的一侧。可以将构成图1所示的广播接收模块111的一部 分的天线124安放在终端主体内，这样可以将天线124从终端主体拉出。
进一步，将用于把功率提供给手持终端100的电源190安放在终端主体内。可以 将电源190包括于终端主体内部或可拆卸地附连到终端主体。也将用于感测触摸的触摸板 135附连到后机壳102。如显示单元151—样，触摸板135可以是透光型的。在该实例中，如
10果显示单元151通过其两面输出视觉信息，则可以通过触摸板135来识别该视觉信息。也 可以由触摸板135来控制通过显示单元151的两面输出的信息。另外，将显示器附加附连 到触摸板135，这样甚至可以将触摸屏布置在后机壳102内。 触摸板135也结合前机壳101的显示单元151来操作。触摸板135可以位于显示 单元151之后与显示单元151平行，并且在尺寸上可以等于或小于显示单元151。现在将 参照图3A和3B来描述显示单元151和触摸板135的互操作。更详细地，图3A和3B是手 持终端100的正面视图，用于说明根据本发明实施例的手持终端的操作状态。另外，显示单 元151可以显示以字符、数字、符号、图形或图标为形式的各种类型的视觉信息。为了输入 信息，用小键盘的形式按预定布置来显示字符、数字、符号、图形或图标中的至少一种。可以 将该小键盘称为"软键"。 进一步，图3A示出，施加到软键的触摸是通过终端主体的正面来输入的。可以通 过显示单元151的整个区域来操作显示单元151。否则，可以将显示单元151划分为多个区 域并对其进行操作。在后一个实例之中，可以将显示单元151构造成使得多个区域互操作。 例如，输出窗口 151a和输入窗口 151b分别显示在显示单元151的上部和下部。输入窗口 151b显示代表数字的软键151c，用于输入诸如电话号码的数字。当触摸软键151c时，将对 应于被触摸软键的数字显示在输出窗口 151a上。当用户操作第一操作单元116时，尝试连 接对应于显示在输出窗口 151a上的电话号码的呼叫。 接着，图3B示出，施加到软键的触摸是通过终端主体的背面来输入的。图3B还示 出终端主体的全景，而图3A示出终端主体的特写。也就是说，可以将显示单元151构造为 根据终端主体所处的方向来转换输出的图像。进一步，图3B示出手持终端在文本输入模式 中的操作。如图所示，显示单元151显示输出窗口 135a和输入窗口 135b。将指示字符、符 号和数字中至少一个的多个软键135c布置在输入窗口 135b中。还可以用OWERTY键的形 式来布置软键135c。 当通过触摸板135来触摸软键135c时，对应于被触摸软键135c的字符、数字和符 号被显示在输出窗口 135a上。当触摸软键135c时，与通过显示单元151的触摸输入相比， 通过触摸板135的触摸输入可以防止软键135c被用户的手指覆盖。当显示单元151和触 摸板135是透明时，用户可以看见位于终端主体后面的手指，于是可以更加准确地执行触 摸输入。 另外，可以将显示单元151或触摸板135构造为使其用滚动方式接收触摸输入。 也就是说，用户可以滚动显示单元151或触摸板135来移动显示在显示单元151上的对象， 例如位于图标上的光标或指针。另外，当用户在显示单元151或触摸板135上移动其手指 时，手指的移动路径可以被视觉地显示在显示单元151上。这在编辑显示在显示单元151 上的图像时将是有用的。而且，当在预定时间段内同时触摸显示单元151(触摸屏)和触摸 板135时，可以执行终端的特定功能。这可以包括当用户使用拇指和食指夹住终端主体时。 例如，该特定功能可以包括激活或去激活显示单元151或触摸板135。 现在将参照图4更加详细地解释参照图1描述的接近传感器141。也就是说，图4 是用于解释接近传感器141的接近程度的概念图。如图4所示，当诸如用户手指的指针靠 近触摸屏时，位于触摸屏内部或靠近其的接近传感器141感测到该靠近，并输出接近信号。 可以将接近传感器141构造为使其根据接近触摸屏的指针和触摸屏之间的距离(称为"接近程度")来输出接近信号。将当指针靠近触摸屏时，输出接近信号的距离称为检测距离。 可以通过使用具有不同检测距离的多个接近传感器，并将从接近传感器分别输出的接近信 号进行比较来获知接近程度。 进一步，图4示出触摸屏的部分，在该部分中，布置了能够感测到三个接近程度的 接近传感器。可以在触摸屏中布置能够感测少于三个或多于四个接近程度的接近传感器。 具体而言，当指针完全与触摸屏接触时(DO)，将其识别为接触触摸。当指针位于距离触摸屏 的距离Dl以内时，将其识别为第一接近程度的接近触摸，并且当指针位于在离触摸屏为距 离Dl和距离D2之间的范围内时，将其识别为第二接近程度的接近触摸。进一步，当指针位 于在离触摸屏的距离D2和距离D3之间的范围内时，将其识别为第三接近程度的接近触摸， 并且当指针离触摸屏超过距离D3时，将其识别为接近触摸的取消。因此，控制器180可以 根据指针相对触摸屏的接近距离和接近位置而将接近触摸识别为各种输入信号，并且可以 根据该输入信号来执行各种操作控制。 在以下描述中，参照各个实施例来解释可应用于以上配置的移动终端100的控制 方法。然而，可以独立地或通过组合来实施以下实施例。另外，在以下描述中，假定显示器 151包括触摸屏。 将根据本发明的移动终端配置为将用于语音识别的算法和用于语音到文本(STT) 的算法存储在存储器160中。进一步，语音识别功能和STT功能相互协作，以将用户的语音 转换为文本格式。可以在终端的执行屏幕上输出转换后的文本。因此，用户可以通过对终 端说话来执行诸如产生用于文本消息或邮件的文本的功能。控制器180还可以激活语音识 别功能并自动驱动STT功能。 接下来，图5是说明根据本发明实施例，用于移动终端的菜单语音控制方法的流 程图。如图5所示，控制器180确定语音识别功能是否已经被激活(S101)。进一步，可以通 过用户选择移动终端上的硬件按钮、或显示在显示器151上的软触摸按钮来激活语音识别 功能。用户还可以通过操纵显示在显示器151上的特定菜单、通过产生特定的声音或音效、 通过短或长距离无线信号、或通过诸如手势或体势的用户身体信息来激活语音识别功能。
更具体地说，特定的声音或音效可以包括具有的水平超过特定水平的撞击声。进 一步，可以通过使用声音水平检测算法来检测特定的声音或音效。另外，声音水平检测算法 优选地比语音识别算法更加简单，并因此消耗移动终端的资源更少。而且，可以独立于语音 识别算法或电路来实施声音水平检测算法(或电路)，或者可以对其进行实施以规定语音 识别算法的一些功能。另外，可以通过无线通信单元110来接收无线信号，并且可以通过感 测单元140来接收用户的手势或体势。所以，在本发明的实施例中，可以将无线通信单元 110、用户输入单元130、和感测单元140称为信号输入单元。进一步，可以用类似方式来终 止语音识别功能。 让用户物理激活语音识别功能尤其有利，因为用户会更加明白自己将要使用语音 命令来控制终端。也就是说，因为用户必须首先执行对终端的物理操作，所以他或她直观地 意识到自己准备将语音命令或指令输入到终端中，并且因此说得更加清楚或缓慢以由此激 活特定的功能。因此，由于用户说得更加清楚或更加缓慢，所以，例如准确识别语音质量的 概率就增加了。也就是说，在本发明的实施例中，通过对终端上按钮的物理操纵来执行语音 识别功能，而不是通过对终端说话来激活语音识别功能。
进一步，控制器180可以基于用户触摸触摸屏的特定按钮或一部分的次数、用户 触摸触摸屏的特定按钮或一部分的时间来开始或终止语音识别功能的激活。用户还可以使 用由本发明提供的适当菜单选项来设置控制器180如何激活语音识别功能。例如，用户可 以在终端上选择的菜单选项包括1)基于选择语音激活按钮的次数X来设置语音识别的激 活，2)基于选择语音激活按钮的时间量X来设置语音识别的激活，3)当选择按钮X和Y时， 设置语音识别的激活等。然后，为了可变地设置控制器180如何确定语音激活功能被激活 了，用户可以输入值X和Y。所以，根据本发明的实施例，用户主动地进行其自身的移动终端 的语音激活功能，这增加了控制器180将确定对应于用户的语音指令的正确功能的概率， 并且这允许用户根据自己的需要来调整语音激活功能。 控制器180还可以在指定按钮(多个)被触摸或选择时，保持语音识别功能的激 活状态，并且当指定按钮(多个)被释放时，停止语音识别功能。替代性地，控制器180可 以在指定按钮(多个)被触摸或选择后的预定时间段内，保持语音识别功能的激活，并且当 预定时间段结束时，停止或终止语音识别功能。在另一实施例中，控制器180可以在语音识 别功能保持在激活状态时，将接收到的语音指令存储在存储器160中。
另外，如图5所示，将用于作为识别语音命令的意义的参考来使用的数据库的域 规定为与终端上的特定功能或菜单相关的信息(S102)。例如，数据库的规定域可以是与当 前显示在显示单元151上的菜单相关的信息，或与所显示菜单中的一个的子菜单相关的信 息。进一步，由于规定了数据库的域，所以提高了对输入语音命令的识别率。域的示例包括 电子邮件域、接收到呼叫的域、和多媒体域等。 而且，可以将与子菜单相关的信息配置为数据库中的数据。例如，可以用关键词的 形式来配置信息，并且多个信息可以对应于一个功能或菜单。另外，根据信息的特征，数据 库可以是多个数据库，并且可以被存储在存储器160中。进一步，可以通过学习处理来有利 地升级或更新数据库(多个)中的信息。还可以将各个数据库中的每个域规定到与当前正 被输出的功能或菜单相关的域内，以增强语音命令的识别率。随着菜单步骤继续向前，域还 可以改变。 —旦激活了语音识别功能(在S101中的是)并且已经规定了域(S102)，则控制器 180确定用户是否已经输入了语音命令(S103)。当控制器180确定用户已经输入了语音命 令(S103中的是)时，则控制器180基于特定的数据库来分析通过麦克风122输入的语音 命令或指令的上下文和内容，由此判断语音命令的意义(S104)。 进一步，控制器180可以基于已访问域的语言模型和声学模型来确定该语音指令 或命令的意义。更详细地，语言模型与词语本身相关，而声学模型对应于说出该词语的方式 (例如，说出词语或短语的频率成分)。通过与移动终端100的特定域和状态一起使用语言 和声学模型，控制器180可以有效地确定输入语音指令或命令的意义。
进一步，在控制器180将输入的语音命令存储在存储器160中的情况下，当用户释 放语音识别功能的激活时，控制器180可以立即开始对输入语音命令的意义进行判断的处 理，或者当语音命令被输入时，可以同时执行语音激活功能。另外，如果语音命令尚未被完 全输入(S103中的否)，则控制器180仍可以执行其他功能。例如，如果用户通过触摸菜单 选项等或按下终端上的按钮来执行另一动作(S109中的是)，则控制器180执行对应的所选 功能(SllO)。
进一步，在控制器180在步骤S104中确定输入语音命令的意义之后，控制器180 输出该意义的结果值(S105)。也就是说，结果值可以包括如下控制信号，所述控制信号用于 执行与对应于已确定意义的功能或服务相关的菜单、用于控制移动终端的特定组件，等。结 果值还可以包括数据，用于显示与已识别语音命令相关的信息。 控制器180还可以请求用户确认输出的结果值是准确的(S106)。例如，当语音命 令具有较低的识别率或被确定具有多种意义时，控制器180可以输出与各个意义相关的多 个菜单，然后执行由用户选择的菜单(S107)。而且，控制器180可以询问用户是否执行具有 较高识别率的特定菜单，然后根据用户的选择或响应来执行或显示对应的功能或菜单。
另外，控制器180还可以输出语音消息，来请求用户选择特定菜单或选项，诸如 "你想要执行消息组成功能吗？回答是或否"。然后，控制器180基于用户的响应来执行或不 执行对应于特定菜单或选项的功能。如果用户在特定时间段内(例如5秒)不响应，则控 制器180还可以立即执行特定菜单或选项。因此，如果没有来自用户的响应，则控制器180 可以通过将不响应判断为肯定回答来自动执行功能或菜单。也就是说，可以通过再次接收 语音命令的输入来执行(S108)错误处理步骤，或可以通过显示多个具有超过一定水平识 别率的菜单或多个可能被判断为具有相似意义的菜单来执行(S108)错误处理步骤。然后，
用户可以选择多个菜单中的一个。而且，当具有超过一定水平的识别率的功能或菜单的数 量少于预置数(例如2个)时，则控制器180可以自动执行对应的功能或菜单。
接下来，图6A是根据本发明实施例，示出用于激活移动终端的语音识别功能的方 法的概况。如显示屏410中所示，用户可以通过触摸软按钮411来激活语音识别功能。用 户还可以通过释放软按钮411来终止语音识别功能。更详细地说，用户可以通过触摸软按 钮411来激活语音识别功能，并且持续触摸软按钮411或硬按钮412，直到已经完成语音指 令为止。也就是说，当已经完成语音指令时，用户可以释放软按钮411或硬按钮412。所以， 控制器180意识到语音指令何时要被输入以及语音指令何时已经完成。如以上所讨论的， 因为用户直接涉及于该确定，所以增加了输入语音命令的解释的准确性。
例如，还可以将控制器180配置为在用户第一次触摸软按钮411时识别语音激活 特征的开始，然后在用户触摸软按钮411两次时识别语音指令已经完成。其他选择方法也 是可能的。进一步，如图6A中的显示屏410所示，除了使用软按钮411以外，还可以通过操 纵终端上的硬按钮412来执行语音激活和去激活。 另外，显示屏410中示出的软按钮411可以是用户按下或释放来激活/去激活语 音识别功能的单个软按钮，或者可以是当被选择时产生诸如"l.开始语音激活，和2.停止 语音激活"菜单列表的菜单按钮。例如，也可以在待机状态期间显示软按钮411。在另一示 例中，并且如在显示屏420中所示，用户还可以通过触摸屏幕的任意位置来激活和去激活 语音识别功能。图6A的显示屏430说明了另一示例，其中用户通过产生大于特定水平的特 定声音或音效来激活和去激活语音识别功能。例如，用户可以拍掌来产生这种撞击声。
因此，根据本发明的实施例，可以用两种模式来实施语音识别功能。例如，语音识 别功能可以被实施为第一模式，用于检测超过一定水平的特定声音或音效，并且被实施为 第二模式，用于识别语音命令并确定语音命令的意义。如果在第一模式中，声音或音效大于 一定水平，则激活第二模式以由此识别该语音命令。 图6A中的显示屏440说明了用户激活和去激活语音识别功能的又一方法。在该示例中，将控制器180配置为将用户的身体移动解释为开始和停止语音识别功能。例如，如 在显示屏440中所示，可以将控制器180配置为将用户把自己的手向显示器移动解释为激 活语音识别功能的指令，而将用户把自己的手从显示器移开解释为终止语音激活功能的指 令。也可以使用短距离或长距离无线信号来开始和停止语音识别功能。
因此，根据本发明实施例，由于开始并停止了语音识别功能，所以不是连续执行语 音识别功能。也就是说，当将语音识别功能连续保持在激活状态中时，移动终端上的资源量 相比本发明的实施例有所增加。进一步，如以上参照图5所讨论的，当语音识别功能被激活 时，控制器180将用作为语音命令识别参考的特定数据库的域规定到与显示器151上的菜 单列表相关的域内。然后，如果从菜单列表选择或执行特定菜单，则可以将数据库的域规定 在与选定菜单或特定菜单的子菜单相关的信息内。 另外，当通过语音命令或触摸输入来选择或执行特定菜单时，控制器180可以用 语音消息、或弹出窗口或气球的形式来输出与特定菜单的子菜单相关的帮助信息。例如，如 图6B所示，当用户通过触摸或语音操作选择"多媒体菜单"时，控制器180将与"多媒体菜 单"的子菜单(例如，广播、照相机、文本阅读器、游戏等)相关的信息显示为气球形状的帮 助信息441。替代性地，控制器180可以输出包括帮助信息的语音信号442。然后，用户可
以使用语音命令或通过触摸操作来选择所显示的帮助选项中的一个。 图6C说明用户使用其身体移动(在该示例中，用户的手势)来选择菜单项的实施 例。更详细而言，当用户将其手指向菜单项443移得更近时，控制器180显示与菜单443相 关的子菜单444。例如，控制器180可以通过感测单元140来识别用户身体移动的信息。另 外，可以显示已显示的帮助信息，以使得根据用户的距离来控制透明度和亮度。也就是说， 随着用户的手靠得更近，可以进一步高亮已显示的项目。 如以上所讨论的，可以将控制器180配置为基于各种不同的方法来确定语音识别 功能的开始和停止。例如，用户可以选择/操纵软或硬按钮，触摸触摸屏上的任意位置等。 控制器180还可以在预定的时间量内保持语音识别功能的激活，然后在预定时间量结束时 自动结束激活。而且，控制器180还可以仅在执行特定按钮或触摸操作时保持激活，然后当 输入被释放时自动结束激活。控制器180还可以在语音命令不再被输入达特定时间量时， 结束激活处理。 接下来，图7A是示出根据本发明实施例，用于在移动终端中识别语音命令的方法 的流程图。参照图7A，当语音识别功能被激活时，控制器180将可以用作语音命令识别的参 考的数据库的域规定在与显示在显示器151上的菜单、菜单的子菜单相关的域，或与当前 执行的功能或菜单相关的域内(S201)。用户还可以使用准确的菜单名称或使用自然语言 (例如，英语口语)来输入语音命令(S202)。然后，控制器180将输入的语音命令存储在存 储器160中(S203)。进一步，当在规定的域下输入语音命令时，控制器180通过使用语音识 别算法，基于规定的域来分析语音命令的上下文和内容。而且，还可以将语音命令转换为文 本类型的信息来进行分析(S204)，然后将其存储于存储器160的特定数据库中。然而，可以 省略将语音命令转换为文本类型的信息的步骤。 然后，为了分析语音命令的上下文和内容，控制器180检测语音命令的特定词语 或关键词(S205)。基于检测到的词语或关键词，控制器180分析语音命令的上下文和内容， 并通过参照存储在特定数据库中的信息来确定或判断语音命令的意义(S206)。另外，如以上讨论的，用作为参考的数据库包括规定的域，并且执行基于数据库来判断对应于语音命 令的意义的功能或菜单(S207)。例如，如果假定在执行文本消息写入功能之后使用STT功 能来输入文本，则可以将用于语音命令识别的这类信息的优先级设置为与修改文本相关的 命令或者与搜索其他方来接收文本消息或此类消息的传输相关的命令。而且，由于将用于 语音识别的数据库规定为与当前执行的功能或菜单相关的每条信息，所以改进了识别语音 命令的识别率和识别速度，并且减少了在终端上使用的资源量。进一步，识别率指示与预置 到特定菜单的名称的匹配程度。 也可以通过与语音命令的特定功能或菜单相关的信息的数量来判断对输入的语 音命令的识别率。因此，当信息与包括在语音命令中的特定的功能或菜单(例如，菜单名 称)精确匹配时，提高了对输入的语音命令的识别率。 更详细而言，图7B是示出根据本发明实施例，用于识别移动终端的语音命令 的方法的概况。如图7B所示，用户输入的语音命令为由六个词"I want to send text message (我想要发送文本消息)"组成的自然语言。在该示例中，可以基于与特定菜单(例 如，文本消息)相关的有意义词语(例如，send(发送)、text(文本)、message(消息))的 数量来判断识别率。另外，控制器180可以基于存储在数据库中的信息，确定包括在语音命 令中的词语是否是与特定功能或菜单相关的有意义的词语。例如，包括在自然语言语音命 令(例如，I want to send textmessage (我想要发送文本消息))中的与特定菜单不相关 的无意义的词语可能是主语(I)或介词(to)。 而且，自然语言一般是由人所使用的语言，并且具有的概念与人工语言相反。进一 步，可以通过使用自然语言处理算法来处理自然语言。自然语言可能包括或不包括与特定 菜单相关的准确名称，这有时在完全准确识别语音命令方面引起困难。所以，根据本发明的 实施例，当语音命令具有超过一定水平(例如，80%)的识别率时，控制器180判断识别是 准确的。进一步，当控制器180判断多个菜单具有相似的意义时，控制器180显示所述多个 菜单，并且用户可以选择已显示菜单中的一个来执行其功能。另外，可以首先显示或相比其 他菜单区别显示具有相对较高识别率的菜单。 例如，图8是示出根据本发明实施例，用于显示用于移动终端的语音识别率的菜 单的方法的概况。如图8所示，具有较高识别率的菜单图标显示在显示屏510的中央部分， 或是如显示屏520所示，可以用较大的尺寸或较深的颜色来显示。也可以首先显示具有较 高识别率的菜单图标，接着由较低识别率的菜单用顺序或连续的方式跟随其后。进一步，控 制器180可以以较高识别率的顺序，通过改变菜单的尺寸、位置、颜色、亮度中的至少一个 或者通过高亮来区别显示多个菜单。也可以适当改变或控制菜单的透明度。
另外，如图8的下面部分中所显示的，可以将具有较高用户选择率的菜单更新或 设置为具有识别率。也就是说，控制器180存储用户选择的历史(S231)并执行学习处理 (S232)，由此对用户选择的菜单选项而不是其他菜单选项的特定识别率进行更新(S233)。 所以，可以将用户选择频繁使用的菜单的次数应用于菜单的识别率。所以，根据用户选择特 定菜单的次数，在发音或内容上用相同或相似方式来输入的语音命令可能具有不同的识别 率。进一步，控制器180还可以存储用户执行特定功能的时间。例如，用户可以在周一到周 五每次醒来时，检查电子邮件或错过的消息。也可以使用该时间信息来提高识别率。也可 以使用终端的状态(例如，待机模式等)来提高识别率。例如，当用户首次开启其移动终端时，当终端从闭合位置打开时等等，用户可能检查电子邮件或错过的消息。 接着，图9是示出根据本发明另一实施例，用于识别移动终端的语音命令的方法
的概况。如图9所示，用户激活语音识别功能，并输入语音命令"I want to send text
message (我想要发送文本消息)"。然后，控制器180将用于语音命令识别的数据库的域规
定到与已显示的子菜单相关的域内。然后，控制器180解释语音命令(S241)，并且在此示例
中，显示概率比特定值(例如，80%)更大的多个菜单(S242)。如图9中的显示屏610所
示，控制器显示四个多媒体菜单。 控制器180还区别显示具有最高概率的菜单(例如，在本示例中，特定菜单选项 621 "发送文本")。然后，用户可以选择已显示菜单中的任意一个来执行对应于所选菜单的 功能。在图9所示的示例中，用户选择发送文本菜单选项621，并且，如显示屏620所示，控 制器180显示与选定的发送文本菜单选项621相关的子菜单。而且，如在图9的下面部分 中的步骤(S242)所显示的，当仅有单个菜单被确定为大于预定的概率时，控制器180还可 以立即执行功能。也就是说，当发送文本菜单选项621被确定为是仅有的具有比预定的阈 值更高的识别率或概率的菜单时，控制器180在不用用户必须选择发送文本菜单选项621 的情况下，如显示屏620中所示，立即显示与文本发送相关的信息。 进一步，如以上参照图6B所讨论的，当根据操作状态或模式(例如，用于指示语音 识别功能的模式)，通过语音命令或触摸输入来选择或执行特定菜单时，控制器180还可以 用语音或文本格式，将与子菜单相关的气球形状的帮助信息输出给用户。另外，用户可以使 用在环境设置菜单中提供的适当菜单选项来设置用于输出帮助的操作模式。因此，用户可 以在不需要或不具有较高级别技能的情况下，操作本发明的终端。也就是说，对于操作终端 中提供的多个不同菜单，很多年长的人可能是没有经验的。然而，通过使用本发明的终端， 一般对于终端中提供的用户界面的复杂性不熟悉的用户可以轻松地操作移动终端。
另外，当控制器180识别语音命令具有多种意义时(S卩，当自然语言语音命令(例 如，I want to send text message (我想要发送文本消息))不包括准确的菜单名称时，例 如当菜单包括在'发送消息'分类中，但是不具有'发送照片'、'发送邮件'、和'发件箱'中 的准确名称时)，控制器180显示识别率比某个值(例如，80% )更高的多个菜单。
接着，图10是示出根据本发明的实施例，由控制器180用来识别移动终端的语音 命令的多个数据库的概况。在该实施例中，数据库存储控制器180用于判断语音命令的意 义的信息，并且根据信息特征可以是任何数量的数据库。进一步，可以在控制器180的控制 下，通过连续学习处理来更新根据信息特征来配置的各个数据库。例如，学习处理试图将用 户的语音与对应的词语相匹配。例如，当将用户说出的词"waiting"误认为词"eighteen" 时，用户将词"eighteen"纠正为"waiting"。因此，用户后面输入的相同发音会被识别为 "waiting，，。 如图10所示，根据信息特征的各个数据库包括第一数据库161、第二数据库162、 第三数据库163、和第四数据库164。在该实施例中，第一数据库161存储的语音信息用于以 音素或音节、或词素为单位识别通过麦克风输入的语音。第二数据库162存储的信息(例 如，语法、发音准确性、句子结构等)用于基于识别出的语音信息来判断语音命令的全部意 义。第三数据库163存储与移动终端的功能或服务的菜单相关的信息，而第四数据库164存 储要从移动终端输出的消息或语音信息，以便接收用户对判断的语音命令的意义的确认。
17
另外，根据针对语音命令识别而预置的域，可以将第三数据库163规定在与特定 分类的菜单相关的信息之内。而且，各个数据库可以存储声音(发音)信息、和对应于该发 音信息的音素、音节、语素、词、关键词、或句子。因此，控制器180可以通过使用多个数据库 161到164中的至少一个来确定或判断语音命令的意义，并且执行与判断的语音命令的意 义相对应的功能或服务相关的菜单。进一步，本发明可以通过使用特定形状的指示符或图 标，来显示具有语音命令识别功能或STT功能应用到其上的操作状态或模式。然后，一旦输 出指示符或图标，可以通过特定的声音或语音来通知用户。 接着，将解释根据本发明的实施例的控制移动终端的方法。可以独立或相互结合、 和/或与用户界面(UI)结合来使用已讨论的实施例。另外，根据本发明实施例的移动终端 包括web浏览器功能，并且被配置为访问无线因特网。当执行web浏览器时，控制器180显 示先前已经在环境设置选项中设置的默认网页(此后，将称为"主页")。然后，用户可以打 开直接输入到web浏览器中的地址窗口中的地址的网页，或是记录为书签的地址的网页。 当网页对应于分离的弹出窗口时，在主网页的上层显示弹出窗口。 例如，图11是示出根据本发明实施例的移动终端的web浏览器700的概况。如示 出的，web浏览器700包括用于输入网页的地址的地址输入窗口 710，以及用于执行web冲 浪操作的多个功能按钮区720。进一步，功能按钮区720包括向前按钮721，用于显示在当 前打开网页(例如，第二网页)之前打开的网页(例如，第一网页)，以及向后按钮722，用 于显示在当前打开的网页之后打开的网页(例如，第三网页)。也可以将主页按钮、收藏夹 按钮、刷新按钮等包括在该区域中。 另外，网页一般在水平方向至少具有800像素的分辨率。所以，移动终端包括的显 示模块也在水平方向具有800像素的分辨率，以提供完全的浏览能力。然而，移动终端的显 示模块在垂直方向最多包括450像素，这比一般监视器的像素要少。所以，为了查看移动终 端上的信息，用户必须经常上下滚动来查看在垂直方向上显示的已显示450个垂直像素之 外的更多信息。另外，当执行完全web浏览功能时可能产生的一个问题是，当与分辨率比较 时，终端的屏幕尺寸太小了。所以，网页和对应的信息用较小的字体来显示，并且难以阅读 和选择。当显示器是触摸屏时，用户可以触摸特定的链接或项目，以获得关于选定链接或项 目的更多信息，但是由于信息是用较小的尺寸来显示的，所以用户常常触摸到错误的链接 或项目。 例如，如果用户查看关于足球的主页，则用户可以查看关于不同足球新闻的多个 链接(例如，不同的队、实时比分等)。然后，用户可以触摸特定的链接来查看关于选定链接 的更多信息。然而，由于终端的显示器尺寸太小，所以链接和其他网页信息縮小了并且在显 示时靠在一起很近。所以，用户常常无意地触摸到错误的链接。这是尤其不利的，因为访问 了错误的额外信息，在糟糕的无线环境这会花费一些时间，并且如果用户试图按下返回页 按钮，则主页往往会冻结，且用户必须完全重启web访问功能。 另外，当天气寒冷时，用户常常在戴着手套时试图触摸web链接或其他相关的web 项。然而，因为触摸屏被限制为仅识别用户的手指，所以用户必须脱下自己的手套来操作触 摸屏终端。这在冬天天气十分寒冷的城市里面尤为不利。还可以将触摸屏配置为识别来自 触针或其他相关触摸笔的触摸。然而，对于用户来说，收回触针并且随后触摸项目是不方便 的。触针经常被放错地方或丢失，结果是使用户更加不方便。进一步，用户常常想要使用移动终端上的web浏览功能来搜索信息。然而，由于屏幕太小，并且因为用于输入搜索信息的 小键盘也很小，所以用户输入搜索命令很困难。本发明通过提供如下方法来解决上述问题， 该方法不仅通过触摸输入而且通过语音命令来便利在恥b浏览模式中的信息搜索处理。更 详细而言，图12是示出根据本发明实施例，用于在web浏览模式中，通过语音命令来搜索信 息的方法的流程图。 另外，如以上讨论的，本发明的移动终端可以通过无线因特网来访问网页。也就是 说，如图11所示，控制器180可以通过使用无线通信单元110来访问无线因特网，并且将网 页显示在web浏览器的预置区(网页显示区)730上(图12中的S301)。进一步，当执行 web浏览器时，控制器180可以自动激活语音识别功能和STT功能。控制器180还可以将 已显示网页的对象(例如，文本、图像、窗口等)构造为数据库。更详细而言，根据网页的类 型，数据库可以包括多个数据库，并且可以被存储在存储器160中。可以将数据库的对象规 定为显示在屏幕上的对象中。而且，当根据用户的指令扩大或縮小网页时，控制器180可以 适当地重新配置数据库。所以，控制器180可以基于数据库的对象的信息来识别用户语音 命令。 因此，如图12所示，当用户在web浏览模式中输入语音命令时(S302中的是)，控 制器180判断或确定该语音命令的意义(S303)。也就是说，控制器180使用STT功能将语 音命令转换为文本，并且基于转换后的文本来判断语音命令的意义。例如，为了确定语音命 令的意义，控制器180可以参照使用网页的对象信息所构造的数据库。另外，用户可以用对 象名称(标题)或者包括对象名称的短语或句子的形式来输入语音命令。用户还可以在 发布语音命令之前扩大网页的一部分，以使得控制器180更加容易地判断该语音命令的意 义、改进对该语音命令的识别率、更加具体地规定要在语音命令模式中识别的对象等。
然后，如图12所示，如果在web浏览模式中，控制器180确定输入的语音命令具有 与信息搜索操作相关的意义(S304中的是)，则控制器180进入信息搜索模式(S305)。另 外，信息搜索模式指示的模式用于搜索与输入到网页的搜索词输入窗口中的搜索词相关的 信息，该网页具有信息搜索功能。信息搜索模式也可以指示用于搜索包括在当前显示的网 页中的内容的模式。 在进入信息搜索模式之后，控制器180可以显示关于已进入状态的信息。因此，用 户可以识别出移动终端已经进入信息搜索模式，并且可以随后输入搜索信息。进一步，用户 可以用词、短语、或句子的形式来输入搜索信息。用户可以通过手动键入信息或通过使用语 音命令输入搜索信息来输入搜索信息。当用户借助于语音命令输入搜索信息时(S306中的 是)，控制器180使用STT功能将语音命令转换为文本(S307)。控制器180还可以在搜索 词输入窗口上自动显示转换后的文本(S308)。 另外，控制器180可以输出与移动终端的操作状态相关的指导消息。例如，指导 消息可以是指示移动终端已经进入信息搜索模式的消息、指示可以输入搜索词的消息，或 是确认输入的搜索词是否正确的消息等等。然后，当用户输入搜索指示命令时(S309中的 是)，控制器180执行信息搜索操作(S310)。而且，一般不是由移动终端来执行搜索操作， 而是一旦有了搜索操作的指示，则控制器180将搜索词和搜索指令发送给web服务器，并从 该web服务器接收关于搜索词的结果。然后，控制器180显示结果(S311)。进一步，当通过 控制器180用网页的形式来显示所搜索的信息时，用户可以用语音命令方式或者用键或触摸输入方式来选择显示在网页上的所搜索的对象中的任意一个。因此，可以显示信息的详 细内容。 接着，将更加详细地解释在web浏览模式中搜索信息的方法。具体而言，图13是
示出根据本发明实施例，用于设置在网页上显示的对象的数据库的方法的概况。如以上讨 论的，并且参照图13，为了在web浏览模式中识别语音命令，控制器180可以将网页的对象 (例如，文本，图像、窗口等)构造为数据库165。也就是说，可以在web浏览模式中输入的 语音命令可以是用于选择网页的特定对象并显示链接到该选定对象的信息的命令，用于 在网页的搜索窗口上输入搜索词并搜索相关信息的命令，或者用于搜索当前显示的网页的 内容的命令。 在web浏览模式中，参考了用网页的对象所构造的数据库，以识别以语音命令方 式输入的对象，由此提高了对语音命令的识别率和识别速度。另外，为了构造数据库，控制 器180可以参考网页的源。例如，当网页具有"超文本标记语言(HTML)"的源时，可以基于 该源来分析对象(例如，文本、图像、窗口 )和链接到对象的信息(例如，另一网页的地址)。 而且，可以将数据库的对象规定为当前在屏幕上显示的对象。因此，当根据用户的指令放大 或縮小了网页时，控制器180可以重新配置数据库。根据特定网页，数据库还可以包括两个 或两个以上的数据库，并且可以被存储在存储器160中。 接着，图14是示出根据本发明实施例，在移动终端中，从web浏览模式进入信息搜 索模式的方法的概况。而且，在该实施例中，显示的网页包括用户可以用来搜索信息的搜索 词输入窗口 741。另外，进入信息搜索模式指示选择搜索词输入窗口 741，或替代地指示从 当前显示在屏幕上的网页的内容搜索所需的信息。现在将解释这两种不同类型的搜索模 式。首先，可以用硬件或软键输入模式或用触摸输入方式，在网页的对象中选择搜索词输入 窗口 741。替代性地，如图14中的附图标记742所示，当用户输入指示"搜索"的语音命令 时，可以在网页的对象中选择搜索词输入窗口 741。替代性地，可以在访问网页时自动激活 或选择搜索词输入窗口。因此，移动终端可以通过各种输入方式来进入信息搜索模式。
接着，图15A-15C是示出根据本发明实施例的如下方法的概况，该方法用于显示 移动终端已经进入信息搜索模式的状态。具体而言，当移动终端已经通过语音命令方式或 通过其他输入方式进入信息搜索模式时，控制器180可以将已进入的状态，即网页的搜索 词输入窗口 741已经被选定的状态，通知给用户。例如，如图15A所示，控制器180在搜索 词输入窗口 741上显示具有特定形状的指示符751，以将移动终端已经进入信息搜索模式 通知给用户。可以将指示符751实施为静止图像或活动图像(例如，闪烁效果)。指示符 751也可以具有各种形状或大小。 参照图15B，控制器180使用语音或文本来输出指导消息753，以向用户通知移动 终端已经进入信息搜索模式。具体而言，在图15B中，控制器180输出附图标记752所指示 的消息"你已进入信息搜索模式"，或附图标记753所指示的消息"请输入搜索词"。还可以 用气球消息的形式来显示使用文本而不是语音的指导消息753。也就是说，如图15C所示， 控制器180可以在搜索词输入窗口 741中显示文本消息754，以指示已经进入了搜索模式。 另外，控制器180还可以用放大的尺寸或改变的颜色来有利地显示搜索词输入窗口 741。例 如，当在移动终端进入信息搜索模式之前，搜索词输入窗口 741具有与背景色相同的颜色 时，在移动终端进入信息搜索模式之后，控制器180可以将搜索词输入窗口 741的颜色有利地改变为红色。因此，由于控制器180区别显示了搜索窗口 741，所以用户可以很快看到已经成功地进入搜索模式。 接着，图16A和16B是示出根据本发明实施例，用于在信息搜索模式中输入搜索词的方法的概况。例如，如图16A和16B所示，用户可以经由图15所示方法中的一个，识别出移动终端已经进入了信息搜索模式，并且可以使用语音命令来将搜索词输入到搜索词输入窗口741中。然后，控制器180使用STT功能，将输入的语音命令转换为文本。另外，转换后的文本与一般的语音命令有所不同。也就是说，搜索词的意义不是基于数据库来判断的，而是仅在口述操作中转录，直到完全输入了搜索词为止。 进一步，控制器180还可以在输入窗口 741中显示转换后的搜索词，这样用户可以验证搜索词是正确的。还可以在任何显示区上而不是在搜索词输入窗口 741上显示搜索词。然而，出于简便的目的，以下描述将参照在搜索词输入窗口 741上显示的所输入的搜索词。所以，参照图16A，用户可以输入一个词(例如，电影)761，或由两个或两个以上的词(例如，最近流行的电影)组成的短语或句子762。然后，当在超过一个特定时间(第一特定时间)的时间间隔内输入每个词时，控制器180在转换为文本的词之间插入空白区，由此完成句子。然而，当在超过另一特定时间(第二特定时间)没有输入搜索词时，控制器180可以确定搜索词已被完全输入。 另外，参照图16B，可以将搜索词与布尔算子一起(例如，AND，OR)输入。当搜索词(例如，电影与剧院)包括布尔算子(例如，AND)时，则可以仅将布尔算子转换为不同于其他搜索词的英语。也就是说，将搜索词(例如，电影、剧院)转换为每个国家的文本语言，而将布尔算子(例如，AND)仅转换为英语(例如，AND)765。因此，布尔算子可以起到布尔算子的作用。例如，当将用韩语输入的搜索词转换为韩语文本时，控制器180判断是否已输入了布尔算子。如果已输入了布尔算子，则控制器180将布尔算子转换为英语。
以下，图17是示出根据本发明实施例，用于在信息搜索模式中显示已输入的搜索词的方法的概况。当如上所述用语音命令方式或通过其他方法来输入搜索词时，控制器180在搜索词输入窗口 741上输入搜索词。也就是说，控制器180在搜索词输入窗口 741上显示搜索词。因此，用户可以检查是否已经准确地输入了搜索词。进一步，控制器180可以显示在用语音命令方式输入的搜索词中具有最高识别准确度的搜索词。然而，当有两个或两个以上搜索词(此后，称为"候选搜索词")具有误差范围内的较小误差时，如图17的顶部所示，控制器180可以显示候选搜索词(例如，候选搜索词1、候选搜索词2等)772。另外，候选搜索词可以具有根据识别准确度确定的优先级，并且可以用已经确定的顺序来显示。候选搜索词还可以具有根据优先级的号码。 因此，如图17的中间部分所示，用户可以用语音命令方式选择候选搜索词774或候选搜索词的号码773。替代性地，用户可以用键输入方式来选择号码773。用户还可以用直接触摸方式来选择候选搜索词中的一个。 一旦搜索词已被完全输入，则如图17的下面部分所示，控制器180在搜索词输入窗口上显示选定的候选搜索词777。然后，控制器180可以通过输出使用文本或语音的指导消息来指示搜索词已被完全输入。例如，如图17的下面部分所示，控制器180可以输出消息775，诸如"你已经输入了搜索词"，来指示搜索词已被完全输入，并且输出对应的消息776，诸如"你想要执行搜索操作吗？"，来询问是否执行搜索操作。进一步，可以用气球消息的形式来显示使用文本的指导消息。
接着，图18A和18B是示出根据本发明实施例，用于指示信息搜索的方法的概况。如参照图17所讨论的，一旦搜索词已被完全输入，则用户可以输入指示搜索操作的命令。可以用语音命令方式或用硬件或软键输入方式来输入该命令。例如，如图17所示，用户可以通过对询问其是否想要执行搜索操作的指导消息776进行响应(是或否)来用语音命令方式请求执行搜索操作。 替代性地，如图18A所示，如附图标记781所指示的，用户可以与搜索词(例如，"移动终端") 一起输入预置的词或命令"OK"。例如，当用户在特定时间内用语音命令方式输入词"移动终端"和"OK"时，搜索词输入和搜索词操作均由控制器180来执行。替代性地，在输入搜索词后经过预置的时间之后，控制器180可以指示执行搜索操作。在另一示例中，控制器180可以基于图18B所示的附图标记783所标识的预置语音命令"搜索"，来执行搜索操作。 然后，一旦接收到指示执行搜索操作的命令，控制器180就可以使用文本或语音来输出指导消息782 (例如，"搜索将开始"或"正在执行搜索")，或是输出具有相同意义的指示符。因此，用户可以识别出移动终端的当前状态，以确定正在执行搜索。而且，如以上讨论的，一般不是由移动终端来执行搜索操作，而是控制器180将搜索词和搜索指令发送给web服务器，然后从该web服务器接收关于搜索词的结果，并随后显示结果。相应地，用户可以从显示的搜索结果中选择他们需要的任何对象。然后，显示链接到该对象的网页，由此允许用户查看自己所需要的信息的细节。 以下，将解释从显示的网页中搜索信息的方法。也就是说，如以上讨论的，在实施完全浏览能力时，由于显示器尽管分辨率高但尺寸小，故移动终端用很小的尺寸来显示文本。所以，用户查看文本困难。图19是示出根据本发明实施例，用于在网页中搜索用户所需的信息的方法的流程图。另外，将省略关于先前已经描述的相同操作的细节。
如图19所示，一旦显示了网页(S401)，则控制器180将已显示网页的对象构造为数据库(S402)。例如，可以将已显示的网页表示为HTML。然后，包含在HTML中的信息可以用于创建数据库中的数据对象。然后，一旦输入了语音命令(S403中的是)，控制器180就从数据库中搜索对应于语音命令的对象(S404)。例如，控制器180可以在构造网页的HTML中搜索包括转换后的语音命令的对象或文本。进一步，假定语音命令是指示要被搜索的网页的内容的命令。为了提高对语音命令的识别率，控制器180可以将在用语音命令方式输入之后可以被识别的信息的范围规定到显示在网页上的对象内。控制器180还将信息的范围规定到已显示在网页上的对象中的，显示在当前屏幕上的对象内。然后，一旦对应于语音命令的对象被搜索，控制器180就显示搜索的结果(S405)。而且，搜索结果可以是对象或包括对象的短语或句子。 进一步，可以区别于在网页上显示的其他信息而显示搜索结果。例如，在图20B中，用户已请求对当前显示的网页来搜索短语"新闻选择"。然后，控制器180将输入的语音命令转换为文本，并且在包括代表已显示网页的对象的数据库中搜索包括词语"新闻"或"选择"中任何一个的对象。如图20B所示，控制器180在网页的对应部分上，用变化的对象特征区别显示找到的结果791和792，这样用户可以在当前显示网页的搜索期间，快速并轻易地看到已经找到的对象。例如，控制器180可以用放大的尺寸、颜色改变、背景颜色显示、透明度改变、字体改变、或下划线来高亮效果等显示搜索结果。也可以通过除以上方法以外
22的各种强调方法来显示搜索结果。 另外，如图20A所示，可以在特定的显示区790上显示搜索结果。此处，可以在划分为多个部分的屏幕上，或是用覆盖方式在网页上，显示特定的显示区790。也可以用"在屏显示(On Screen Display) " (OSD)方式来显示搜索结果。进一步，可以对搜索结果进行编号。然后，如图20A所示，用户可以通过用语音命令或键输入方式，或用直接触摸方式来选择号码，从而自动或手动选择搜索结果中的一个(图19中的S406)。因此，可以显示链接到选定对象的信息(S408)。而且，一旦用户输入命令来取消搜索时，则可以释放搜索结果的显示状态。另外，当在显示搜索结果之后在预置时间内没有输入选定的命令时，则可以自动释放搜索结果的显示状态。替代性地，一旦用户选择了搜索结果中的一个，则可以自动释放其余搜索结果的显示状态(S407)。另外，图20A和20B还示出根据本发明实施例，用于在作为信息搜索结果而获取的信息中选择特定信息的方法。 如以上讨论的，一旦用户指示了与网页的特定对象相关的搜索，则控制器180在数据库中搜索特定的对象和包括该对象的短语，并且显示搜索的结果。然后，当输入了选择搜索结果中一个的命令时，就显示对应的搜索结果，并且自动显示链接到该搜索结果的信息(网页)。由于显示了选定的搜索结果，则用户可以检查是否选择了需要的搜索结果。当选择搜索结果之后经过特定时间时，可以显示链接到搜索结果的信息。此处，可以通过覆盖具有特定形状的指示符、或通过改变颜色、尺寸、或厚度来用高亮状态显示选定的对象。另外，在显示了选定搜索结果之后的预置时间内，用户可以输入命令来取消选定的搜索结果。一旦输入了命令，可以取消链接到选定搜索结果的网页的显示状态。 在根据本发明的一个或多个实施例的移动终端中，在web浏览模式中，可以通过语音命令来执行信息搜索，由此增强了用户的便利。另外，在具有较小屏幕的移动终端的web浏览模式中，通过使用触摸输入方法和语音命令输入方法甚至可以轻易地执行信息搜索。另外，用户可以有利地搜索当前显示的网页上的项目或对象。该项目或对象在网站包括文本信息时可以是纯文本，或可以是到其他网站的链接。所以，例如，用户可以输入词语"人民"，并且控制器180将在包括词语"人民"的网页上区别显示所有的项目、文本、对象等。所以，用户不必对网站视觉搜索需要的信息，该搜索常常是乏味和繁琐的。
另外，在用户说出用于搜索已显示网页的语音信息之前，控制器180可以首先进入信息搜索模式，来搜索当前显示的网页。例如，可以基于语音命令(例如，"进入搜索模式")、键输入(例如，在移动终端上的分离的硬键)、或直接触摸已显示网页的预定部分来进入信息搜索模式。因此，用户可以选择性确定何时进入搜索模式，这样不会在用户说话并且不想进入搜索模式时，无意进入搜索模式。只要显示了网页，还可以自动进入搜索模式。
以上实施例和优点仅为示例性的，并且不被解释为限制本公开。可以将本教导轻易地应用其他类型的装置。本描述意欲是说明性的，而不是限制权利要求的范围。很多替代、修改、和变化对本领域的技术人员将是明显的。可以用各种方式来将此处描述的示例性实施例的特征、结构、方法、和其他特性进行组合，以获取附加和/或替代性示例性实施例。
因为在不偏离本发明特征的前提下，可以用多种形式实施本发明特征，所以应当理解，除非特别指明，否则以上描述的实施例不受限于以上描述的任何细节，而是应在所附
权利要求所限定的范围之内进行宽泛地解释，所以处于权利要求的边界和界限内的所有变化和修改，或是这些边界和界限的等效内容因此意欲由所附权利要求来涵盖。
权利要求
一种移动终端，包括无线通信单元，被配置为访问网页；显示单元，被配置为显示所访问的网页；接收单元，被配置为接收输入的语音信息；以及控制器，被配置为将所述输入的语音信息转换为文本信息，以及在所显示的网页中搜索包括所转换的文本信息的对象，以及控制所述显示单元来区别于在所述网页上显示的其他信息而显示已找到的包括所转换的文本信息的对象。
2. 如权利要求1所述的移动终端，其中所述控制器被进一步配置为通过放大所述已 找到对象的尺寸、改变所述已找到对象的颜色、改变所述已找到对象的背景颜色显示、改变 所述已找到对象的透明度、对所述已找到对象加下划线、改变所述已找到对象的字体和高 亮所述已找到对象中的至少一个，来区别地显示所述已找到对象。
3. 如权利要求1所述的移动终端，其中所述控制器被进一步配置为通过将所述已找到 对象分组在一起来区别地显示所述已找到对象。
4. 如权利要求3所述的移动终端，其中所述控制器被进一步配置为在所述显示单元的 预定显示区内显示所分组的已找到对象。
5. 如权利要求1所述的移动终端，其中所述控制器被进一步配置为通过将所述已找到 对象用覆盖方式显示在已显示网页上或分离的弹出窗口中来区别地显示所述已找到对象。
6. 如权利要求1所述的移动终端，其中当对应的已找到对象包括到分离网页的链接 时，所述控制器被进一步配置为当用语音命令、键输入、或直接触摸所述对应的已找到对象 来选择所述对应的已找到对象时，就自动访问所述分离的网页。
7. 如权利要求1所述的移动终端，其中所述控制器被进一步配置为在预定的时间量之 后，或当所述已找到对象中的一个被选择时，就停止对所述已找到对象进行区别显示。
8. 如权利要求1所述的移动终端，其中所述控制器被进一步配置为将所述已显示网页 的对象构造为能够被搜索的数据库。
9. 如权利要求1所述的移动终端，其中所述控制器被进一步配置为在所述接收单元接 收所述语音信息之前，进入信息搜索模式，以搜索当前显示的网页。
10. 如权利要求9所述的移动终端，其中基于语音命令、键输入、或直接触摸所述已显 示网页的预定部分来进入所述信息搜索模式。
11. 一种控制移动终端的方法，所述方法包括 在所述移动终端的显示器上显示所访问的网页； 接收输入的语音信息； 将所述输入的语音信息转换为文本信息； 在所显示的网页中搜索包括所转换的文本信息的对象；以及区别于显示在所述网页上的其他信息而显示已找到的包括所转换的文本信息的对象。
12. 如权利要求11所述的方法，其中所述区别显示步骤通过放大所述已找到对象的尺 寸、改变所述已找到对象的颜色、改变所述已找到对象的背景颜色显示、改变所述已找到对 象的透明度、对所述已找到对象加下划线、改变所述已找到对象的字体和高亮所述已找到 对象中的至少一个来区别地显示所述已找到对象。
13. 如权利要求11所述的方法，其中所述区别显示步骤通过将所述已找到对象分组在一起来区别地显示所述已找到对象。
14. 如权利要求13所述的方法，其中所述区别显示步骤在所述显示单元的预定显示区 内区别地显示所分组的已找到对象。
15. 如权利要求11所述的方法，其中所述区别显示步骤通过将所述已找到对象用覆盖 方式显示在已显示网页上或分离的弹出窗口中来区别地显示所述已找到对象。
16. 如权利要求11所述的方法，其中当对应的已找到对象包括到分离的网页的链接 时，所述方法进一步包括当用语音命令、键输入、或直接触摸所述对应的已找到对象来选 择所述对应的已找到对象时，就自动访问所述分离的网页。
17. 如权利要求ll所述的方法，进一步包括在预定时间量之后，或当所述已找到对象中的一个被选择时，停止区别地显示所述已 找到对象。
18. 如权利要求ll所述的方法，进一步包括 将所述已显示网页的对象构造为能够被搜索的数据库。
19. 如权利要求ll所述的方法，进一步包括在所述接收步骤接收所述语音信息之前，进入信息搜索模式以搜索当前显示的网页。
20. 如权利要求19所述的方法，其中基于语音命令、键输入、或直接触摸所述已显示网页的预定部分来进入所述信息搜索模式。
全文摘要
本发明公开了一种移动终端及其控制方法。一种移动终端包括无线通信单元，被配置为访问网页；显示单元，被配置为显示所访问的网页；接收单元，被配置为接收输入的语音信息；以及控制器，被配置为将输入的语音信息转换为文本信息、在已显示网页上搜索包括所转换的文本信息的对象、并且控制显示单元区别于在网页上显示的其他信息而显示包括所转换的文本信息的已找到对象。
文档编号H04M1/725GK101729656SQ20091014064
公开日2010年6月9日 申请日期2009年6月10日 优先权日2008年10月29日
发明者梁丞镇 申请人:Lg电子株式会社