移动终端及其控制方法
【专利摘要】本发明提供一种移动终端和控制移动终端的方法。根据一个实施例的移动终端当进入语音识别模式时，分析通过音频输入单元接收到的语音信号，根据所分析的语音信号，选择要被执行的至少一个应用，和要在应用中使用的至少一项内容，其中从被显示在屏幕的内容项中选择至少一项内容，并且根据所分析的语音信号通过使用所选择的至少一项内容执行所选择的至少一个应用。
【专利说明】移动终端及其控制方法
[0001]相关申请的交叉引用
[0002]本申请要求于2013年2月19日提交的韩国专利申请N0.10-2013-0017282的在先 申请日期:和优先权的权益，其全部内容通过引用被包含在此。
【技术领域】
[0003]本申请涉及一种移动终端和控制移动终端的方法，该移动终端通过分析语音识别应用根据被输入的语音信号提供执行的结果。
【背景技术】
[0004]在与包括移动终端的各种电子设备有关的硬件技术和软件计算上的相当大的进步已经使电子设备能够提供或存储广范围的功能和信息项。因此，这已经使提供在电子设备中的屏幕能够提供广泛的各种信息项。
[0005]而且在被装备有触摸屏的移动终端的情况下，仅通过用户的触摸操作提供对被显示在触摸屏上的各种信息项的访问。
[0006]能够执行多任务的最新的电子设备，根据基于文本的语音命令执行特定功能并且提供执行的结果。
[0007]因此，需要开发用户界面，其中，在显示屏幕上当前编辑的内容被方便地选择用于语音命令中的直接使用。
【发明内容】
[0008]本发明涉及一种移动终端和控制移动终端的方法，该移动终端选择要在语音识别模式下执行的应用，通过使用关于被显示的内容的数据执行所选择的应用，并且提供执行的结果。
[0009]根据本发明的方面，提供一种移动终端，包括，触摸屏；音频输入单元；以及控制器，该控制器被配置成，当进入语音识别模式时，分析通过所述音频输入单元接收到的语音信号，根据所分析的语音信号，选择要被执行的至少一个应用，和要在应用中使用的至少一项内容，其中从被显示在屏幕的内容项中选择至少一项内容，并且根据所分析的语音信号通过使用被选择的至少一项内容执行所选择的至少一个应用。
[0010]在移动终端中，其中控制器进一步被配置成，当进入语音识别模式时，显示控制在其上控制语音识别模式的控制窗口，当接收特定输入时将控制窗口转换成可移动的浮动窗口的形式，并且显示与至少一项内容的至少一个区域重叠的被转换的浮动窗口。
[0011]在移动终端中，其中选择要在应用中使用的至少一项内容的步骤包括将被转换的浮动窗口移向至少一项内容的至少一个区域。
[0012]在移动终端中，其中选择要在应用中使用的至少一项内容的步骤包括将被转换的浮动窗口移向至少一项内容的至少一个区域。
[0013]在移动终端中，其中控制器进一步被配置成，当接收相对于浮动窗口的拖动输入时，沿着拖动输入的轨迹移动浮动窗口，以给出视觉区分的方式，显示其至少一个区域与移动的浮动窗口重叠的至少一项内容，并且当释放拖动输入时，确定被重叠的至少一项内容作为被选择的至少一项内容。
[0014]在移动终端中，其中控制器进一步被配置成，当利用浮动窗口接收特定输入时，缩小或者扩大浮动窗口的大小，以给出视觉区分的方式，显示与被改变其大小的浮动窗口重叠的至少一项内容，并且将重叠的被重叠的至少一项内容确定为所选择的至少一项内容。
[0015]在移动终端中，其中控制器进一步被配置成，当接收对于触摸屏的边界区域的浮动窗口拖动输入时，在边界区域上显示指示浮动窗口的软键。
[0016]在移动终端中，如果至少一项内容是照片，则控制器使用照片的缩略图文件，作为被选择的至少一项内容，并且如果至少一项内容被显示在Web浏览器的屏幕内，则控制器使用Web浏览器的屏幕的URL地址，或者到Web浏览器的屏幕的链接地址作为被选择的至少一项内容。
[0017]在移动终端中，其中控制器进一步被配置成，以弹出窗口或者触摸屏的屏幕的一个区域，或者触摸屏的整个区域的形式，显示应用的执行屏幕。
[0018]在移动终端中，其中控制器进一步被配置成，当完成应用的执行或者取消执行时，返回语音识别模式。
[0019]在移动终端中，其中控制器进一步被配置成，当通过触摸被显示在从特定应用的执行屏幕中的触摸屏幕的上部滑动的状态条上的快捷图标进入语音识别模式时，在特定应用的执行屏幕的上或者下区域显示控制窗口。
[0020]在移动终端中，其中控制器进一步被配置成，当进入语音识别模式时将触摸屏划分成两个区域，第一区域和第二区域，并且在触摸屏的第一区域上显示至少一项内容，并且在触摸屏的第二区域上显示控制窗口。
[0021]根据本发明的另一方面，提供一种移动终端，包括触摸屏；音频输入单元；以及控制器，该控制器被配置成，当进入语音识别模式时，以其至少一个区域与显示在触摸屏上的至少一项内容重叠的可移动的浮动窗口的形式，显示在其上控制语音识别模式的控制窗口，通过分析通过音频输入单元接收到的语音信号，选择要被执行的至少一个应用，以及通过使用浮动窗口和所分析的音频信号选择要在应用中使用的至少一项内容，并且根据所分析的语音信号通过使用所选择的至少一项内容执行应用。
[0022]根据本发明的又一方面，提供一种控制移动终端的方法，包括，在显示内容项的状态下接收语音信号；分析接收到的语音信号；根据所分析的语音信号，选择要被执行的至少一个应用，和要在应用中使用的至少一项内容，其中从被显示的显示的内容项中选择至少一项内容；并且根据所分析的语音信号通过使用被选择的至少一项内容执行所选择的至少一个应用。
[0023]在控制移动终端的方法中，其中选择至少一个内容的步骤包括:将控制窗口转换成浮动窗口的形式；将浮动窗口移动成其至少一个区域与显示的至少一项内容重叠；以及将被重叠的至少一项内容确定为被选择的至少一个内容。
[0024]根据本发明的移动终端和控制移动终端的效果如下。根据本发明的一个实施例，当在执行特定应用的同时还执行到语音识别模式的切换，并且根据输入的语音信号执行特定应用时，被包括在当执行特定应用时显示的屏幕中的内容能够被直接地使用。[0025]根据本发明的一个实施例，通过将示出语音识别模式的控制窗口转换成透明的浮动窗口的形式并且显示被转换的控制窗口，在没有限制特定应用的执行屏幕的情况下也能够使用语音识别模式。
[0026]根据本发明的一个实施例，能够容易地选择要在语音识别模式下使用的内容，并且用户能够实时视觉地检查所选择的内容。
【专利附图】
【附图说明】
[0027]附图被包括以提供对本发明进一步的理解，并且被包含到本申请中且构成本申请的一部分，附图图示了本发明的一个或多个实施例，并且与说明书一起用于解释本发明的原理。
[0028]图1是根据实施例的移动终端的框图。
[0029]图2是图示根据本发明的控制移动终端的方法的流程图。
[0030]图3是图示根据本发明的第一实施例的控制移动终端的方法的流程图。
[0031]图4A至图SC均是用于描述根据本发明的第一实施例的控制移动终端的方法的图。
[0032]图9是图示根据本发明的第二实施例的控制移动终端的方法的流程图。
[0033]图1OA至图14C均是用于描述根据本发明的第二实施例的控制移动终端的方法的图。
[0034]图15是图示根据本发明的第三实施例的控制移动终端的方法的流程图。
[0035]图16A至图16B均是用于描述根据本发明的第三实施例的控制移动终端的方法的图。
【具体实施方式】
[0036]现在将参考附图来更加充分地描述布置和实施例，在附图中可以示出示例性实施例。然而，实施例可以以许多不同的形式实施，并且不应该被解释为限制于在此处阐述的实施例；而是，可以提供实施例，使得本公开将是全面的和完整的，并且将充分地向本领域技术人员传达概念。
[0037]在下面将参考附图来描述移动终端。在以下的描述中，对移动终端的组件可以给出后缀“模块”和“单元”仅是出于描述便利的考虑，并且不具有相互区别的含义或者功能。
[0038]移动终端可以包括蜂窝电话、智能电话、膝上计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统等。
[0039]图1是根据实施例的移动终端的框图。也可以提供其它实施例、配置和布置。
[0040]如所示出的，移动终端100可以包括无线通信单元110 (或者无线电通信单元)、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口 170、控制器180和电源190。在图1中示出的组件可以是必要部件，和/或移动终端100中包括的多个组件可以改变。现在可以描述移动终端100的组件。
[0041]无线通信单元110可以包括使得能够在移动终端100和无线电通信系统之间或者在移动终端100和移动终端100所位于的网络之间进行无线电通信的至少一个模块。例如，无线通信单元Iio可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114 (或者局域通信模块)和定位信息模块115 (或者位置信息模块)。
[0042]广播接收模块111可以通过广播信道从外部广播管理服务器来接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和陆地信道，并且广播管理服务器可以是产生和发送广播信号和/或广播相关信息的服务器、或者接收事先创建的广播信号和/或广播相关信息并且将广播信号和/或广播相关信息发送给终端的服务器。
[0043]广播信号可以不仅包括TV广播信号、无线电广播信号和数据广播信号，而且可以包括以TV广播信号和无线电广播信号的组合形式的信号。广播相关信息可以是关于广播频道、广播节目或者广播服务提供商的信息，并且可以甚至通过移动通信网络来提供。在后者的情形下，广播相关信息可以由移动通信模块112接收。
[0044]广播相关信息可以以各种形式存在。例如，广播相关信息可以以数字多媒体广播(DMB)系统的电子节目指南(EPG)的形式，或者以手持式数字视频广播(DVB-H)系统的电子服务指南(ESG)的形式存在。
[0045]广播接收模块111可以使用各种广播系统来接收广播信号。更具体地，广播接收模块111可以使用诸如陆地数字多媒体广播(DMB-T)系统、卫星数字多媒体广播(DMB-S)系统、仅媒体前向链路(MediaFLO)系统、DVB-H和陆地综合服务数字广播(ISDB-T)系统的数字广播系统来接收数字广播信号。广播接收模块111可以从除了以上描述的数字广播系统之外提供广播信号的广播系统来接收信号。
[0046]通过广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160中。移动通信模块112可以在移动通信网络上向基站、外部终端和服务器中的至少一个发送无线电信号/从基站、外部终端和服务器中的至少一个接收无线电信号。无线电信号可以包括语音呼叫信号、视频电话呼叫信号或者根据文本/多媒体消息的发送和接收的各种形式的数据。
[0047]无线互联网模块113可以对应于用于无线互联网接入的模块，并且可以包括在移动终端100中，或者可以外部地附接到移动终端100。无线LAN (WLAN或者W1-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行链路分组接入(HSDPA)等可以用作无线互联网技术。
[0048]短程通信模块114可以对应于用于短程通信的模块。此外，蓝牙?、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)和/或紫蜂?可以用作短程通信技术。
[0049]定位信息模块115可以确认或者获得移动终端100的定位或者位置。定位信息模块115可以通过使用全球导航卫星系统(GNSS)来获得位置信息。GNSS是描述无线电导航卫星系统的术语，该无线电导航卫星系统围绕地球旋转并且向预先确定类型的无线电导航接收器发送基准信号，使得无线电导航接收器能够确定它们在地球表面或者接近地球表面上的位置。GNSS可以例如包括美国的全球定位系统(GPS)、欧洲的伽利略(GaliIeo)、俄罗斯的全球轨道导航卫星系统(GL0NASS)、中国的北斗(COMPASS)和日本的准天顶卫星系统(QZSS)0
[0050]全球定位系统(GPS)模块是定位信息模块115的代表性示例。GPS模块可以计算关于在一个点或者对象和至少三颗卫星之间距离的信息、以及关于测量距离信息时的时间的信息，并且对获得的距离信息应用三角法以根据在预定时间的纬度、经度和高度来获得关于点或者对象的三维位置信息。[0051]还可以采用使用三颗卫星计算位置和时间信息、以及使用另一颗卫星校正所计算的位置和时间信息的方法。另外，GPS模块可以连续地实时计算当前位置，并且使用定位或者位置信息来计算速率信息。
[0052]A/V输入单元120可以输入(或者接收)音频信号和/或视频信号。A/V输入单元120可以包括相机121和麦克风122。相机121可以处理在视频电话模式或者拍摄模式中通过图像传感器获得的静止图像或者运动图像的图像帧。被处理的图像帧可以被显示在显不器151上，显不器151可以是触摸屏。
[0053]由相机121处理的图像帧可以被存储在存储器160中，或者可以通过无线通信单元Iio被发送到外部设备。移动终端100也可以包括至少两个相机121。
[0054]麦克风122可以在呼叫模式、记录模式和/或语音识别模式下接收外部音频信号，并且麦克风122可以将接收到的音频信号处理成电音频数据。然后，音频数据可以被转换为能够通过移动通信模块112发送到移动通信基站的形式，并且在呼叫模式下被输出。麦克风122可以采用各种噪声去除算法(或者噪声消除算法)用于去除或者减少在接收外部音频信号时产生的噪声。
[0055]用户输入单元130可以从用户接收用于控制移动终端100的操作的输入数据。用户输入单元130可以包括键盘、薄膜开关、触摸板(恒定电压/电容)、滚动轮、滚动开关等。
[0056]感测单元140可以感测移动终端100的当前状态，诸如移动终端100的打开/关闭状态、移动终端100的位置、用户是否触摸移动终端100、移动终端100的方向、和移动终端100的加速/减速，并且感测单元140可以产生用于控制移动终端100的操作的感测信号。例如，在滑盖电话的示例中，感测单元140可以感测滑盖电话是否打开或关闭。此外，感测单元140可以感测电源190是否供应电力，和/或接口 170是否连接到外部设备。感测单元140也可以包括接近传感器。感测单元140可以感测移动终端100的运动。
[0057]输出单元150可以产生视觉、听觉和/或触知输出，并且输出单元150可以包括显不器151、音频输出模块152、报警器153和触觉模块154。显不器151可以显不由移动终端100处理的信息。当移动终端100处于呼叫模式中时，显示器151可以显示与电话呼叫相关的用户界面(UI)和/或图形用户界面(GUI)。当移动终端100处于视频电话模式或者拍摄模式中时，显示器151也可以显示捕捉到的和/或接收到的图像、Π或者GUI。
[0058]显示器151可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器和/或三维显示器中的至少一个。显示器151可以是透明类型或者光透射类型。也就是说，显示器151可以包括透明显示器。
[0059]透明显示器可以是透明液晶显示器。显示器151的背面结构也可以是光透射类型。因此，用户可以透过由显示器151占据的移动终端100的主体的透明区域可以看到位于(移动终端100的)主体后面的对象。
[0060]移动终端100也可以包括至少两个显示器151。例如，移动终端100可以包括以预定距离布置在单个面上的多个显示器151或者集成的显示器。多个显示器151也可以布置在不同的侧面上。
[0061]当显示器151和感测触摸的传感器(此后称为触摸传感器)形成被称为触摸屏的分层结构时，该显示器151除了输出设备之外还可以用作输入设备。例如，触摸传感器可以是触摸膜、触摸片和/或触摸板的形式。[0062]触摸传感器可以将施加于显示器151的特定部分的压力的变化、或者在显示器151的特定部分处产生的电容的变化转换为电输入信号。触摸传感器可以感测触摸的压力以及触摸的位置和面积。
[0063]当用户将触摸输入施加于触摸传感器时，与触摸输入相对应的信号可以被发送到触摸控制器。然后，触摸控制器可以处理该信号，并且将与被处理的信号相对应的数据发送给控制器180。因此，控制器180可以检测显示器151的被触摸的部分。
[0064](感测单元140的)接近传感器可以位于由触摸屏围绕的移动终端100的内部区域中和/或触摸屏附近。接近传感器可以在没有机械接触的情况下使用电磁力或者红外线来感测接近预先确定的感测面的对象，或者位于接近传感器附近的对象。接近传感器可以具有比接触传感器更长的寿命，并且因此可以在移动终端100中具有广泛的应用。
[0065]接近传感器可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容接近传感器、磁性接近传感器和/或红外接近传感器。电容触摸屏可以被构造为使得通过根据指示器的接近的电场的变化来检测指示器的接近。触摸屏(触摸传感器)可以被分类为接近传感器。
[0066]为了容易解释，指示器接近触摸屏而没有实际触摸触摸屏的动作可以被称为接近触摸，并且指示器接触触摸屏的动作可以被称为接触触摸。在触摸屏上的指示器的接近触摸点可以对应于在其处指示器垂直于触摸屏的触摸屏的点。
[0067]接近传感器可以感测接近触摸和接近触摸方式(例如，接近触摸距离、接近触摸方向、接近触摸速率、接近触摸时间、接近触摸位置、接近触摸移动状态等)。与所感测的接近触摸动作和接近触摸方式相对应的信息然后可以被显示在触摸屏上。
[0068]音频输出模块152可以在呼叫信号接收模式、电话呼叫模式或者记录模式、话音识别模式和广播接收模式下输出从无线通信单元110接收到的或者存储在存储器160中的音频数据。音频输出模块152可以输出与在移动终端100中执行的功能相关的音频信号，诸如呼叫信号到来音和消息到来音。音频输出模块152可以包括接收器、扬声器、蜂鸣器等。该音频输出模块152可以通过耳机插孔输出声音。用户可以通过将耳机连接到耳机插孔来收听声音。
[0069]报警器153可以输出用于指示移动终端100的事件的产生的信号。例如，当接收呼叫信号、接收消息、输入键信号和/或输入触摸时，可以产生报警。报警器153也可以以不同于视频信号或者音频信号的形式输出信号，例如，用于通过振动来指示事件的产生的信号。视频信号和/或音频信号也可以通过显示器151或者音频输出模块152输出。
[0070]触觉模块154可以产生用户能够感觉的各种触觉效果。触觉效果的一个示例是振动。也可以控制由触觉模块154产生的振动的强度和/或方式。例如，不同的振动可以被组合和输出，或者可以被顺序地输出。
[0071]触觉模块154可以产生各种触觉效果，除了振动之外，还包括:根据相对接触皮肤表面垂直移动的针的布置的刺激效果、根据空气通过喷射孔或者吸入孔的喷射力或者吸入力的刺激效果、摩擦皮肤的刺激效果、根据电极接触的刺激效果、使用静电力的刺激效果以及根据使用能够吸热或者放热的元件再现寒冷和温暖的效果。
[0072]触觉模块154可以不仅通过直接接触发送触觉效果，而且可以允许用户通过用户的手指或者胳膊的运动知觉来感觉触觉效果。该移动终端100也可以包括多个触觉模块154。
[0073]存储器160可以存储用于控制器180的操作的程序和/或临时地存储输入/输出数据，诸如电话簿、消息、静止图像和/或运动图像。存储器160也可以存储关于当触摸输入被施加到触摸屏时输出的各种方式的振动和声音的数据。
[0074]存储器160可以至少包括闪存存储器、硬盘型存储器、多媒体卡微型存储器、诸如SD或者XD存储器的卡型存储器、随机存取存储器(RAM)、静态RAM (SRAM)、只读存储器(ROM)、电可擦可编程ROM (EEPR0M)、可编程ROM (PR0M)、磁存储器、磁盘和/或光盘。移动终端100也可以与在互联网上执行存储器160的存储功能的网络存储相关地操作。
[0075]接口 170可以用作到连接到移动终端100的外部设备的路径。接口 170可以从外部设备接收数据或者电力，并且将数据或者电力发送到移动终端100的内部组件，或者将移动终端100的数据发送到外部设备。例如，接口 170可以包括有线/无线头戴式受话器(headset)端口、外部充电器端口、有线/无线数据端口、存储器卡端口、用于连接具有用户识别模块的设备的端口、音频I/O端口、视频I/O端口和/或耳机端口。
[0076]接口 170也可以与用户识别模块对接，该用户识别模块是存储用于验证使用移动终端100权限的信息的芯片。例如，用户识别模块可以是用户识别模块(UIM)、订户识别模块(SIM)和/或通用订户识别模块(USIM)。识别设备(包括用户识别模块)也可以以智能卡的形式来制造。因此，识别设备可以通过接口 170的端口被连接到移动终端100。
[0077]接口 170也可以是当移动终端100连接到外部托架时来自外部托架的电力通过其而被提供给移动终端100的路径、或者通过托架由用户输入的各种命令信号通过其而被发送到移动终端100的路径。从托架输入的各种命令信号或者电力可以用作用于确认移动终端100是否正确地设置在托架中的信号。
[0078]控制器180可以控制移动终端100的整体操作。例如，控制器180可以执行用于语音通信、数据通信和/或视频电话的控制和处理。控制器180也可以包括用于播放多媒体的多媒体模块181。多媒体模块181可以被包括在控制器180中，或者可以与控制器180分离。
[0079]控制器180可以执行能够将施加于触摸屏的手写输入或者绘图输入识别为字符或者图像的模式识别处理。在控制器180的控制下，电源190可以接收外部电力和内部电力，并且提供移动终端100的组件操作所需的电力。
[0080]根据硬件实现，实施例可以使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或用于执行功能的电气单元中的至少一个来实现。实施例可以由控制器180实现。
[0081]根据软件实现，诸如过程或者功能的实施例可以利用执行至少一个功能或者操作的单独的软件模块来实现。软件代码可以根据以适当的软件语言编写的软件应用来实现。软件代码可以存储在存储器160中，并且由控制器180执行。
[0082]可以在参考图1描述的移动终端100中实现在本说明书中公开的实施例。
[0083]在本说明书中描述被假定为是触摸屏151的显示模块151。如上所述，触摸屏151可以执行显示信息的功能和 输入信息的功能。然而，显然地强调，本发明不限于此。
[0084]另外，在本说明书中的触摸手势指的是通过对触摸屏151执行接触接触或者接近触摸作出的手势，并且触摸输入指的是通过触摸手势的使用接收到的输入。
[0085]通过动作类型将触摸手势归类成轻敲、拖动、轻弹、按压、多触摸、捏缩(pinch-1n)、捏方文(pinch-out)等等。
[0086]轻敲是通过在触摸屏151上轻微地推动一次的动作，并且指的是诸如作为通用计算机的输入设备的鼠标的点击的触摸手势。
[0087]另外，拖动是通过触摸触摸屏151上的特定区域并且在此状态下沿着触摸屏151拖拉而作出的动作。。当拖动对象时，对象可以在被显示同时在拖动方向中被连续移动。
[0088]另外，轻弹是通过触摸触摸屏151上的特定区域并且然后在特定的方向(向上、向下、向左、向右、对角线方向)上以突然快速的移动而将其移动所做出的动作。当接收从轻弹产生的触摸输入时，移动终端100基于轻弹方向、轻弹速度等等对特定动作执行处理。例如，基于轻弹方向，可以对电子书执行翻页动作。
[0089]另外，按压是通过触摸触摸屏151上的特定区域并且然后连续地保持触摸持续预定的时间或者更长的时间所做出的动作。
[0090]另外，多触摸是通过在触摸屏151上同时触摸多个点做出的动作。
[0091]另外，捏缩是通过在减少它们之间的距离的方向上拖动触摸屏151上的多触摸的区域所做出的动作。即，捏缩是通过在减少它们之间的距离的方向上朝着另一区域拖动触摸屏151上的多触摸的区域的至少一个区域所做出的动作。
[0092]另外，捏放是在增加它们之间的距离的方向上拖动触摸屏上的多触摸的区域所做出的动作。即，捏放是通过在增加它们之间的距离的方向上朝着另一区域拖动触摸屏151上的多触摸的区域的至少一个区域所做出的动作。
[0093]图2是根据本发明的控制移动终端的方法的流程图。
[0094]参考图2，根据本发明的移动终端(在图1中100)的控制器(图1中的180)在至少一项内容被显示的状态下接收语音信号(S100)，当进入语音识别模式时分析通过音频输入单元接收到的语音信号并且通过分析接收到的语音信号选择要被执行的应用和要被使用的至少一项内容(S200)，并且通过使用被选择的至少一项内容执行应用(S300)。本发明将项目和内容用作相同的意义。
[0095]本发明特征在于，被包括在当前显示的屏幕上的内容或者关于该内容的信息被选择作为特定的内容，并且在语音识别模式下从当前显示的屏幕中选择的特定内容被使用。
[0096]具体地，控制器(图1中180)在显示在其上要显示特定应用的执行屏幕的状态下接收语音信号，并且分析语音信号，并且通过使用当前被显示的至少一项内容选择供所分析的语音信号使用的内容。根据所分析的语音信号，通过使用所选择的内容，控制器(在图1中180)选择要被执行的应用。
[0097]例如，在输入表示当前显示的照片不得不被发送到其信息被记录在地址簿上的特定人的语音信号的情况下，控制器(图1中的180)分析语音信号，并且从而选择消息应用作为要被执行的应用并且选择当前显示的照片的文件作为要被使用的内容。
[0098]控制器(图1中180)执行消息应用，并且将所选择的照片的文件发送到其信息被记录在地址簿中的特定人。
[0099]在所选择的应用的执行完成或者取消的情况下，控制器(图1中的180)执行返回语音识别模式的切换。[0100]换言之，在语音识别模式下，在第一应用的执行屏幕正被显示在触摸屏上的情况下，控制器(图1中的180)通过使用当前被显示在触摸屏上的内容执行第二应用，并且从而执行语首命令。
[0101]当完成语音命令的执行时，控制器(图1中的180)后退显示示出的控制窗口的屏幕，在该控制窗口上出现第一应用的执行屏幕、或者第一应用的执行屏幕以及语音识别模式。
[0102]在这一点上，进入语音识别模式的处理可以是正在进行中的第一应用的处理，或者在第一应用的执行之前的处理。
[0103]下面具体地描述根据本发明的实施例。
[0104]图3是图示根据本发明的第一实施例的控制移动终端的方法的流程图。图4A至图8C均是用于描述控制根据本发明的第一实施例的移动终端的方法的图。
[0105]参考图3，根据本发明的第一实施例的控制移动终端的方法是下述实施例，其中在进入语音识别模式之后执行特定应用，并且通过使用被包括在特定应用的执行屏幕中的内容执行另一应用。
[0106]根据第一实施例，当接收第一特定输入时，控制器(图1中的180)进入语音识别模式，并且在屏幕上显示控制窗口(S110)。
[0107]语音识别模式是下述模式，其中从麦克风(图1中的122)接收到的语音信号被分析，并且通过根据所分析的语音信号的意义执行特定功能来提供执行的结果。语音识别模式也是其中执行基于文本的语音识别应用的模式。控制窗口是在其上控制语音识别模式的固定的窗口或者屏幕。
[0108]具体地，当接收第一特定输入时，控制器(在图1中180)进入语音识别模式，并且激活麦克风(图1中122)以通过麦克风接收语音信号。
[0109]在这一点上，第一特定输入是通过其选择主屏幕上的语音识别应用图标的触摸输入，或者通过其选择状态条上的快捷图标的触摸输入。
[0110]当执行语音识别应用时，控制器(图1中180)在触摸屏的屏幕的整个区域或者触摸屏的一个区域上显示控制窗口，在该控制窗口上控制语音识别模式。
[0111]在控制窗口被显示在触摸屏的屏幕的整个区域的情况下，控制窗口是语音识别应用的执行屏幕或者示出执行结果的屏幕。
[0112]在控制窗口被显示在触摸屏的一个区域上的情况下，控制单元(图1中180)在触摸屏的一个区域的高序层上显示控制窗口，或者将触摸屏区域划分成第一区域和第二区域以在第一区域上显示主屏幕并且在第二区域上显示控制窗口。
[0113]接下来，当接收第二特定输入时，控制器(图1中180)将控制窗口转换成浮动窗口的形式，并且以重叠的方式在触摸屏的一个区域上显示浮动窗口(S112)。
[0114]在这一点上，第二特定输入可以是相对于被显示在控制窗口上的软键的触摸输入、相对于移动终端(图1中的100)上的功能键的触摸输入，或者相对于被安装在移动终端(图1中的100)的横向表面上的操作键的操作输入。
[0115]当接收第二特定输入时，控制器(图1中的180)将控制窗口转换成可移动的且透明的浮动窗口的形式，并且以重叠的方式在接收第一特定输入之前出现的触摸屏的一个区域上显示第一特定输入。[0116]例如，在接收第一特定输入之前出现的屏幕是主屏幕的情况下，控制器(图1中的180)以重叠的方式在主屏幕的一个区域上显示浮动窗口。
[0117]因为浮动窗口被形成为透明或者半透明的窗口，所以用户视觉地区别被显示在主屏幕的一个区域上的至少一个图标和窗口小部件，或者包括背景屏幕的内容。
[0118]因此，在浮动窗口被显示的状态下，控制器(图1中的180)通过触摸被显示在主屏幕上的图标或者窗口小部件执行特定应用。
[0119]当浮动窗口被移动时，控制器(图1中的180)通过触摸被显示在主屏幕上的浮动窗口的下部的窗口小部件或者图标来执行特定应用。
[0120]当特定的应用被执行时，控制器(图1中的180)以重叠的方式，在被包括在其上执行特定应用的执行屏幕中的至少一项内容的一个区域上显示浮动窗口(S114)。
[0121]在通过触摸被显示在主屏幕上的图标或者窗口小部件执行特定应用的情况下，控制器(图1中的180)显示特定应用的执行屏幕并且以重叠的方式在特定应用的执行屏幕的一个区域上显示浮动窗口。
[0122]因此，透过透明或者半透明的浮动窗口，特定应用的执行屏幕对用户来说是可视的。
[0123]控制器(图1中的180)通过被激活的麦克风(图1中的122)接收语音信号(S150)。在这一点上，语音信号表示语音命令，其中通过使用当前被显示在触摸屏上的多项内容的整个内容或者一部分执行通过被存储在移动终端(图1中的100)中的另一应用，以便于执行特定功能。
[0124]控制器(图1中的180)将通过麦克风(图1中的122)接收到的语音信号转换成文本，通过分析文本转换的语音信号的意义选择要被执行的应用和要被使用的内容(S200)，并且通过使用所选择的内容执行应用。
[0125]例如，当语音信号意指“将此屏幕上传到Cyworld”时，控制器(图1中的180)捕获当ill显不的特定应用的执彳丁屏.，执彳丁被存储在移动终端(图1中的100)中的Cyworld应用，并且上传捕获到的照片的文件。
[0126]S卩，通过分析接收到的语音信号的意义，从当前显示的屏幕，控制器(图1中的180 )选择要被使用的特定内容，并且通过使用关于特定内容的信息来执行应用。在上述示例中，特定内容可以是当前被显示在触摸屏上的照片的文件。
[0127]在所选择的特定内容是照片或者捕获到的屏幕的情况下，照片的缩略图文件、或者捕获到的屏幕被用作关于特定内容的信息。在所选择的特定内容是使用Web浏览器找到的新闻事件的情况下，新闻事件的屏幕的URL地址或者到新闻事件的屏幕的链接地址被用作关于特定内容的信息。取决于所选择的内容的类型，或者要被使用的应用，关于特定内容的信息包括音频文件、视频文件、照片文件、URL地址、电话号码、邮件地址等等。
[0128]通过使用关于所选择的特定内容的信息，控制器(图1中的180)执行发送、共享和上传数据的功能。
[0129]参考图4A和图4B，当接收特定输入时，控制器(图1中的180)进入语音识别模式。
[0130]具体地，当从主屏幕Wl接收相对于语音识别应用的图标的触摸输入时，控制器(图1中的180)执行语音识别应用以进入语音识别模式。
[0131]另外，当状态条SB被滑动到触摸屏的下部分(①)并且然后接收到在状态条SB上的滑动应用(②)当中相对于到语音识别应用的快捷图标a’的触摸输入时，控制器(图1中的180)执行语音识别应用以进入语音识别模式。
[0132]参考图5A至图5C，控制器(图1中的180)显示控制窗口 CWl，在控制窗口 CWl上控制语音识别模式。
[0133]具体地，控制器(图1中的180)在触摸屏的整个屏幕上显示控制窗口 CW1，以重叠的方式在主屏幕Wl的下区域上显示控制窗口 CW1，或者在划分触摸屏之后在触摸屏的一个区域上显示控制窗口 CWl。
[0134]以重叠的方式被显示在主屏幕Wl的下区域上显示的控制窗口 CWl是固定的不透明的弹出窗口的形式的窗口，并且与控制窗口 CWl重叠的主屏幕Wl的区域对于用户来说不是可视的。
[0135]在控制窗口 CWl被显示在触摸屏的一个被划分的区域上的情况下，主屏幕Wl被显示在第一屏幕区域上并且控制窗口 CWl被显示在第二窗口上。在这一点上，以1:1的比率或者以不同的比率，触摸屏被划分成第一屏幕区域和第二屏幕区域。
[0136]参考图6A至图6E，当接收相对于控制窗口 CWl的特定输入时，控制器(图1中的180)将控制窗口 CWl转换成浮动窗口 FW以显示。
[0137]在这一点上，特定输入可以是相对于被显示在控制窗口 CWl上的软键的触摸输入(图6A)。当接收特定输入时，控制器(图1中的180)将控制窗口 CWl转换成可移动且透明的浮动窗口的形式，以便于进行显示(图6B)。
[0138]以在重叠的低序层上被显示在主屏幕Wl上的窗口小部件或者图标是可视的方式，浮动窗口 FW被形成为透明的或者半透明层。
[0139]当执行特定的应用(例如，图库应用)时，控制器(图1中的180)在触摸屏上显示特定应用的执行屏幕W2，并且以重叠的方式在特定应用的执行屏幕W2的一个区域上显示浮动窗口 FW。
[0140]在这样的情况下，透过透明浮动窗口 FW，特定应用的执行屏幕W2对于用户来说是可视的。
[0141]能够调节大小的第一指示符Π被显示在浮动窗口 FW的角上，并且能够从触摸屏隐藏浮动窗口 FW的第二指示符f2被显示在浮动窗口 FW的特定区域。
[0142]通过将第二指示符f2拖动到触摸屏的边缘末端，控制器(图1中的180)隐藏浮动窗口 FW并且在触摸屏的边缘区域上仅显示第二指示符f2 (图6E)。
[0143]因此，当执行特定应用时，在浮动窗口 FW没有掩埋特定应用的执行屏幕的情况下，控制器(图1中的180)可以继续在触摸屏上显示浮动窗口 FW。
[0144]参考图7A和图7D，通过分析接收到的语音信号，控制器(图1中的180)选择被显示的照片，作为要被使用的内容，并且选择消息应用，作为要被执行的应用。因此，控制器(图1中的180)通过使用所选择的内容执行应用。
[0145]例如，在通过麦克风(图1中的122)输入意义为“将此照片发送给妈妈”的语音信号的情况下，根据文本的意义，控制器(图1中的180)将语音信号转换成文本并且选择要被使用的内容和应用。
[0146]根据语音信号的意义，控制器(图1中的180)选择对应于“此照片”的内容，作为要被使用的内容，并且选择对应于“发送”的应用，作为要被使用的应用。[0147]控制器(图1中的180)可以将对应于“此照片”的内容，选择为被包括在当前显示的屏幕中的照片的缩略图文件，并且可以将应用选择为消息应用。
[0148]因此，控制器(图1中的180)执行消息应用，从语音信号的意义中搜索用于与“妈妈”相对应的信息的地址簿，并且将被包括在当前显示的屏幕中的照片的缩略图文件发送到对应于“妈妈”的电话号码。
[0149]控制器(图1中的180)显示消息应用的执行屏幕(图7A中的W6)，和控制窗口 CW2，并且当从消息应用(图7A)的执行屏幕(图7A中的W6)触摸输入附加的消息输入窗口时，其显示键盘K (图7B)。当通过键盘K完成消息的输入(例如，“我的照片”)(图7C)时，控制器(图1中的180)显示执行屏幕(图7C中的W6)，从执行屏幕中选择消息的发送或者取消，并且当选择发送时，其显示发送的结果(图7D中的W6)和控制窗口 CW2 (图7D)。
[0150]使用触摸屏的整个屏幕，控制器(图1中的180)显示根据语音信号选择的应用的执行屏幕(图7A至图7D中的W6)，但是以弹出窗口的形式，通过在被显示在图6D中的特定应用的执行屏幕上的浮动窗口 FW的上部显示所选择的应用的执行屏幕，可以在没有切换屏幕的情况下也显示所选择的应用的执行屏幕。
[0151]参考图8A和图SC，通过分析接收到的语音信号，控制器(图1中的180)选择被显示的照片，作为要被使用的内容，并且选择脸谱(Facebook)应用，作为要被执行的应用，并且从而通过使用所选择的内容执行应用。
[0152]例如，在通过麦克风(图1中的122)输入意义为“将此照片上传到脸谱”的语音信号的情况下，控制器(图1中的180)从语音信号的意义中选择对应于“此照片”的内容，作为要被使用的内容，并且选择对应于“上传到脸谱”的应用，作为要被使用的应用。
[0153]在上面描述的实施例特别地用于描述本发明，并且其各种修改是可能的，诸如被显示在触摸屏上的内容被指定并且通过使用被指定的内容执行被存储在移动终端中的应用的情况。
[0154]控制器(图1中的180)可以将对应于“此照片”的内容选择为被包括在当前显示的屏幕中的照片的缩略图文件，并且可以将应用选择为消息应用。
[0155]控制器(图1中的180)显示脸谱应用的执行屏幕(图8A中的W7)和控制窗口 CW2，并且当从消息应用(图8A)的执行屏幕(图8A中的W7)触摸输入附加的消息输入窗口时，控制器(图1中的180)显示键盘K (图SB)。当通过键盘K取消消息输入时，控制器(图1中的180)显示执行屏幕(图SB中的W7)，从该执行屏幕选择更新或者取消。当更新被选择时，控制器(图1中的180)显示发送的结果(图8D中的W7)，和控制窗口 CW2 (图8D)。
[0156]使用触摸屏的整个屏幕，控制器(图1中的180)显示根据语音信号选择的应用的执行屏幕(图8A至图SC中的W7)，但是以弹出窗口的形式，通过在被显示在图6D中的特定应用的执行屏幕上的浮动窗口 FW的上部显示所选择的应用的执行屏幕，可以在没有切换屏幕的情况下也显示所选择的应用的执行屏幕。
[0157]在这一点上，在上面具体地描述了其中当前显示的照片作为消息被发送的实施例，和其中当前显示的照片被上传(更新)到脸谱的实施例，但是可以通过根据语音信号分析选择除了当前显示的照片之外的当前显示的内容项并且执行被存储在移动终端中的其它应用来执行语音命令。
[0158]图9是图示根据本发明的第二实施例的控制移动终端的方法的流程图。图1OA至图14C均是用于描述根据本发明的第二实施例控制移动终端的方法的图。
[0159]参考图9，根据本发明的第二实施例的控制移动终端的方法是下述实施例，其中在执行特定应用的状态下，执行到语音识别模式的切换，并且在其上控制语音识别模式的固定控制窗口被转换成是可移动的且透明的浮动窗口，并且然后被包括在特定应用的执行屏幕中的内容被选择为浮动窗口，即，被选择为要被使用的内容，并且使用所选择的内容新执行另一应用。
[0160]根据第二实施例，控制器(图1中的180)在触摸屏上显示被包括在当前执行的特定应用的执行屏幕中的至少一项内容(S120 )。
[0161]当接收第一特定输入时，控制器180 (图1中的180)进入语音识别模式，并且在屏幕上显示控制窗口(S122)。
[0162]语音识别模式是下述模式，其中分析从麦克风(图1中的122)接收到的语音信号，并且根据所分析的语音信号的意义通过执行特定功能提供执行的结果。语音识别模式也是执行基于文本的语音识别应用的模式。控制窗口表示在其上控制语音识别模式的固定窗口或者屏幕。
[0163]具体地，当接收第一特定输入时，控制器(图1中的180)进入语音识别模式，并且激活麦克风(图1中的122)以通过麦克风接收语音信号。
[0164]在这一点上，第一特定输入是触摸输入，通过该触摸输入选择状态条上的快捷图标。
[0165]当语音识别应用被执行时，控制器(图1中的180)在触摸屏的一个区域上显示在其上控制语音识别模式的控制窗口。在控制窗口被显示在屏幕的一个区域的情况下，控制器(图1中的180)在主屏幕的一个区域的高序层上显示控制窗口，或者以弹出窗口的形式在主屏幕的一个区域上显示控制窗口，或者将触摸屏区域划分成第一区域和第二区域以在第一区域上显示主屏幕并且在第二屏幕上显示控制窗口。
[0166]现在，当接收第二特定输入时，控制器(图1中的180)将控制窗口转换成浮动窗口的形式并且以重叠的方式在屏幕的一个区域上显示浮动窗口(S124)。
[0167]在这一点上,第二特定输入是相对于被显不在控制窗口上的软键的触摸输入、相对于移动终端(图1中的100)上的功能键的触摸输入、或者相对于被安装在移动终端(图1中的100)的横向表面上的操作键的操作输入。
[0168]当接收第二特定输入时，控制器(图1中的180)将控制窗口转换成是可移动的且透明的浮动窗口的形式，并且以重叠的方式，在接收第一特定输入之前出现的触摸屏的一个区域上显示第一特定输入。
[0169]例如，在接收第一特定输入之前出现的屏幕是特定应用的执行屏幕的情况下，控制器(图1中的180)以重叠的方式在特定应用的执行屏幕的一个区域上显示浮动窗口。因为浮动窗口被形成为透明的或者半透明的，所以用户可视化地区别被显示在特定应用的执行屏幕的一个区域上的至少一项内容。
[0170]因此，控制器(图1中的180)可以在显示浮动窗口的状态下继续执行特定应用。
[0171]在执行特定应用的情况下，控制器(图1中的180)显示被切换的执行屏幕，并且以重叠的方式在被切换的特定应用的执行屏幕的一个区域上显示浮动窗口。
[0172]因此，透过透明的或者半透明的浮动窗口，特定应用的执行屏幕对于用户来说是可视的。
[0173]通过移动浮动窗口，控制器(图1中的180)选择被包括在当前显示的特定应用的执行屏幕中的多项内容中的至少一项内容(S140)。
[0174]通过将浮动窗口的位置移向与要被选择的内容重叠的区域，控制器(图1中的180)选择内容，或者通过将浮动窗口的位置移向与要被选择的内容相邻的区域来选择内容。通过调节浮动窗口的大小，控制器(图1中的180)调节包括要被选择的内容的区域的大小。
[0175]控制器(图1中的180)通过激活的麦克风(图1中的122)接收语音信号(S150)。在这一点上，语音信号表示其中通过使用当前被显示在触摸屏上的多项内容的全部或者一些执行被存储在移动终端(图1中的100)中的另一应用，以便于执行特定功能。
[0176]控制器(图1中的180)将通过麦克风(图1中的122)接收到的语音信号转换成文本，通过分析被文本转换的语音信号的意义，选择要被执行的应用和要被使用的内容(S200 )，并且通过使用所选择的内容执行应用。
[0177]例如，当语音信号意指“将此屏幕上传到Cyworld”时，控制器(图1中的180)捕获当前显示的特定应用的执行屏幕，并且在执行被存储在移动终端(图1中的100)中的Cyworld应用之后，上传捕获到的照片的文件。
[0178]S卩，通过分析接收到的语音信号的意义，控制器(图1中的180)从当前显示的屏幕中选择要被使用的内容，并且通过使用关于内容的信息来执行应用。
[0179]在所选择的内容是照片或者捕获到的屏幕的情况下，照片的缩略图文件、或者捕获到的屏幕被用作关于内容的信息。在所选择的内容是使用Web浏览器找到的新闻事件的情况下，新闻事件的屏幕的URL地址或者到新闻事件的屏幕的链接地址被用作关于内容的信息。取决于所选择的内容的类型、或者取决于要被使用的应用，关于内容的信息包括音频文件、视频文件、照片文件、URL地址、电话号码、邮件地址等等。
[0180]通过使用关于所选择的内容的信息，控制器(图1中的180)执行发送、共享以及上传数据的功能。
[0181]参考图1OA或者图10B，控制器(图1中的180)通过触摸被显示在主屏幕Wl上的特定应用的图标执行特定应用，以便于在触摸屏上显示特定应用的执行屏幕W3。
[0182]例如，当被显示在主屏幕Wl上的Web浏览器应用被执行(图10A)时，控制器(图1中的180)在触摸屏(图10B)上显示被包括在Web浏览器的执行屏幕W3上的内容。被包括在Web浏览器的执行屏幕W3中的内容包括新闻头条、详细新闻、被链接的新闻等等。
[0183]参考图1lA和图11B，当接收到特定输入时，控制器(图1中的180)进入语音识别模式以显示控制窗口 CWl。
[0184]具体地，当状态条SB被滑动到触摸屏的下部(①)并且然后接收到在状态条SB上的滑动应用(②)当中相对于到语音识别应用的快捷图标a’的触摸输入时，控制器(图1中的180)执行语音识别应用以进入语音识别模式(图11A)。
[0185]以重叠的方式被显示在特定应用的执行屏幕W3的下区域上的控制窗口 CWl是以弹出窗口的形式的固定的非透明的窗口，并且从而与控制窗口 CW重叠的屏幕W3的区域对于用户来说不是可视的(图11B)。
[0186]参考图12A和图12B，当接收到相对于控制窗口 CWl的特定输入时，控制器(图1中的180)将控制窗口 CWl转换成浮动窗口 FW以进行显示。
[0187]在这一点上，特定输入是相对于被显示在控制窗口 CWl的特定区域上的软键(图12A)的触摸输入，或者通过其从左向右在被触摸的状态下移动控制窗口 CWl的空白区域的触摸输入。
[0188]当接收特定输入时，控制器(图1中的180)将控制窗口 CWl转换成是可移动的且透明的浮动窗口 FW的形式，以便于进行显示(图12B)。在这一点上,浮动窗口 FW被显示在控制窗口 CWl被定位的区域上，或者触摸屏的另一区域上。
[0189]在被转换的浮动窗口 FW被显示在控制窗口 CWl被定位的区域上的情况下，通过使用诸如显示比控制窗口 CWl更小的尺寸的浮动窗口 FW或者以双重方式显示边界的技术，控制器(图1中的180)以可视化地识别浮动窗口 FW到可移动的浮动窗口 FW的转换这样的方式显示浮动窗口 FW。
[0190]以被显示在重叠的行序层上的特定应用的执行屏幕W3上的内容是可视的方式，浮动窗口 FW被形成为透明的或者半透明的层。
[0191]在这样的情况下，透过透明浮动窗口 FW特定应用的执行屏幕W3对于用户来说是可视的。
[0192]能够调节大小的第一指示符fl被显示在浮动窗口 FW的角落上，并且能够从触摸屏隐藏浮动窗口 FW的第二指示符f2被显示在浮动窗口 FW的特定区域上。
[0193]因此，在执行特定应用的同时，在浮动窗口 FW没有掩埋特定应用的执行屏幕的情况下，控制器(图1中的180)可以在触摸屏上继续显示浮动窗口 FW。
[0194]参考图13A或者图13C，当接收相对于浮动窗口 FW的拖动输入时，控制器(图1中的180)沿着拖动轨迹移动浮动窗口 FW。
[0195]具体地，当在被触摸的状态下拖动浮动窗口 FW的空白区域时，控制器(图1中的180)沿着拖动的轨迹将浮动窗口 FW移向特定区域，并且当释放拖动输入时，将浮动窗口 FW的位置定位到释放拖动输入的区域(图13A至图13B)。
[0196]例如，在通过执行Web浏览器应用显示在其上示出新闻头条的屏幕W3的情况下，控制器(图1中的180)以特定的新闻头条和浮动窗口 FW相互重叠的方式移动浮动窗口 FW(图 13B)。
[0197]当浮动窗口 FW被移动时，控制器(图1中的180)选择其一个区域与浮动窗口 FW重叠的至少一项内容，作为要被使用的特定内容，或者选择被定位在浮动窗口 FW的上部或者下部的内容，作为要被使用的特定内容。
[0198]在这一点上，以在视觉上可区别的方式，控制器(图1中的180)显示被包括在内容中的区域或者所选择的区域。
[0199]例如，与其它区域相比较，控制器(图1中的180)以其被亮化的方式显示所选择的内容或者被包括在内容中的区域的边界，或者以其呈现不同的颜色的方式，显示被选择的内容或者被包括在内容中的区域，或者以其处于不同的亮度水平的方式，显示所选择的内容或者被包括在内容中的区域。另外，在与浮动窗口 FW相邻的内容被选择的情况下，控制单元(图1中的180)以其被亮化的方式显示所选择的内容的边界，并且附加地显示在浮动窗口 FW和所选择的内容之间连接的标记f 3。
[0200]参考图14A至图14C，控制器(图1中的180)调节浮动窗口 FW的大小。[0201]具体地，在第一指示符fl被触摸的状态下，控制器(图1中的180)将被显示在浮动窗口 FW上的第一指示符fl拖动到特定的点，以调节浮动窗口 FW的大小。
[0202]当接收通过其将被显示在浮动窗口 FW上的第一指示符f I拖动到在浮动窗口 FW外部的特定点的输入时，控制器(图1中的180)扩大浮动窗口 FW的大小(图14B)。当接收通过其将第一指示符fl拖动到浮动窗口 FW内部的特定点的输入时，控制器(图1中的180)缩小浮动窗口 FW的大小(图14C)。
[0203]通过扩大或者缩小浮动窗口 FW的大小，控制器(图1中的180)改变被选择的内容。当接收表示在语音识别模式中使用所选择的内容的语音信号时，控制器(图1中的180)选择通过浮动窗口 FW选择的内容，作为要被使用的内容。
[0204]图15是图示根据本发明的第三实施例的控制移动终端的方法的流程图。图16A至图16B均是用于描述根据本发明的第三实施例的控制移动终端的方法的图。
[0205]参考图15，根据本发明的第三实施例的控制移动终端的方法是下述实施例，其中，在执行特定应用的状态下，执行到语音识别模式的切换，以可移动且透明的浮动窗口的形式显示在其上控制语音识别模式的固定的控制窗口，被包括在特定应用的执行屏幕中的内容被选择作为浮动窗口，即，被选择作为要被使用的内容，并且通过使用所选择的内容新执行另一应用。
[0206]根据第三实施例，控制器(图1中的180)在触摸屏上显示被包括在当前执行的特定应用的执行屏幕中的多项内容的至少一项内容(S130 )。
[0207]当接收第一特定输入时，控制器(图1中的180)进入语音识别模式，并且在屏幕上以浮动窗口的形式显示控制窗口(S132)。
[0208]根据第二实施例，需要将固定的控制传窗口转换成浮动窗口的形式的处理，但是根据第三实施例，将固定的控制窗口转换成浮动窗口的形式的处理被省略。
[0209]语音识别模式是下述模式，其中从麦克风(图1中的122)接收到的语音信号被分析，并且根据所分析的语音信号的意义通过执行特定功能提供执行的结果。语音识别模式也是其中执行基于文本的语音识别应用的模式。控制窗口表示在其上控制语音识别模式的屏幕。
[0210]具体地，当接收第一特定输入时，控制器(图1中的180)进入语音识别模式，并且激活麦克风(图1中的122)以通过麦克风(图1中的122)接收语音信号。
[0211]在这一点上，第一特定输入是触摸输入，通过其选择状态条上的快捷图标。
[0212]当执行语音识别模式时，以与特定应用的执行屏幕的一个区域重叠的方式，控制器(图1中的180)以可移动且透明的浮动窗口的形式直接地显示。
[0213]S卩，透过透明或者半透明的浮动窗口，特定应用的执行屏幕对于用户来说是可视的。
[0214]通过移动浮动窗口，控制器(图1中的180)选择被包括在当前显示的特定应用的执行屏幕中的多项内容中的至少一项内容(S140 )。
[0215]控制器(图1中的180)通过将浮动窗口的位置移向与要被使用的内容重叠的区域来选择内容，或者通过将浮动窗口的位置移向与要被选择的内容相邻的区域来选择内容。通过调节浮动窗口的大小，控制器(图1中的180)调节包括要被选择的内容的区域的大小。
[0216]控制器(图1中的180)通过被激活的麦克风(图1中的122)接收语音信号。在这一点上，语音信号表示其中通过使用当前被显示在触摸屏上的多项内容的全部或者一些执行被存储在移动终端(图1中的100)中的另一应用以便于执行特定功能的语音命令。
[0217]控制器(图1中的180)将通过麦克风(图1中的122)接收到的语音信号转换成文本，通过分析文本转换的语音信号的意义选择要被执行的应用和要被使用的内容(S200)，并且通过使用所选择的内容执行应用。
[0218]例如，当语音信号意指“将此屏幕上传到Kakao故事”时，控制器(图1中的180)捕获当前显示的特定应用的执行屏幕，并且在上传被存储在移动终端(图1中的100)中的Kakao故事应用之后，其上传捕获到的照片的文件。
[0219]S卩，通过分析接收到的语音信号的意义，控制器(图1中的180)从当前显示的屏幕选择要被使用的内容，并且通过使用关于内容的信息来执行应用。
[0220]在所选择的特定内容是照片或者捕获到的屏幕的情况下，照片的缩略图文件、或者捕获到的屏幕被用作关于内容的信息。在所选择的特定内容是使用Web浏览器找到的新闻事件的情况下，新闻事件的屏幕的URL地址或者到新闻事件的屏幕的链接地址被用作关于内容的信息。取决于所选择的内容的类型，或者取决于要被使用的应用，关于内容的信息包括音频文件、视频文件、照片文件、URL地址、电话号码、电子邮件地址等等。
[0221]通过使用关于所选择的内容的信息，控制器(图1中的180)执行发送、共享和上传数据的功能。
[0222]第三实施例在配置上不同于第二实施例之处在于，在语音识别模式下没有显示控制窗口的情况下，以与特定应用重叠的方式直接地显示浮动窗口，并且因此下面具体地描述此不同。
[0223]参考图16A和图16B，当在执行特定应用的执行屏幕W5的状态下状态条SB被滑动到触摸屏的下部(①)并且然后接收到状态条SB上的滑动应用(②)当中相对于到语音识别应用的快捷图标a’的触摸输入时，控制器(图1中的180)执行语音识别应用以进入语音识别模式(图16A)。
[0224]透明的且可移动的浮动窗口 FW以重叠的方式被显示在特定应用的执行屏幕W5的下区域。
[0225]因此，对于用户来说与浮动窗口 FW重叠的屏幕W5的区域在视觉上是可识别的，并且浮动窗口 FW没有掩埋特定应用的执行屏幕W5。结果，可以继续执行特定应用。
[0226]当在语音识别模式下中，通过执行所选择的内容作为被选择的应用，所选择的应用的执行，即发送或者共享，完成时，在特定应用的执行屏幕上，根据本发明的控制器(图1中的180)后退显示下述屏幕，在该屏幕中，在其上控制语音识别模式的控制窗口(或者浮动窗口)重叠。
[0227]上述控制移动终端的方法可以编写为计算机程序，并且可以在使用计算机可读记录介质执行该程序的数字微处理器中实现。该控制移动终端的方法可以通过软件执行。该软件可以包括执行需要的任务的代码段。程序或者代码段也可以被存储在处理器可读介质中，或者可以通过传输介质或者通信网络根据与载波相组合的计算机数据信号被发送。
[0228]计算机可读记录介质可以是任何数据存储设备，其能够存储之后能够由计算机系统读取的数据。计算机可读记录介质的示例可以包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、DVD土ROM、DVD-RAM、磁带、软盘、光数据存储设备。计算机可读记录介质也可以分布在耦合计算机系统的网络上，使得计算机可读代码以分布方式存储和执行。
[0229]移动终端可以包括第一触摸屏，该第一触摸屏被配置成显示第一对象；第二触摸屏，该第二触摸屏被配置成显示第二对象；以及控制器，该控制器被配置成，接收被施加到第一对象的第一触摸输入，并且当在保持第一触摸输入的同时接收被施加到第二对象的第二触摸输入时，将第一对象链接到与第二对象相对应的功能。
[0230]可以提供一种控制移动终端的方法，包括:在第一触摸屏上显示第一对象；在第二触摸屏上显示第二对象；接收被施加到第一对象的第一触摸输入；以及当保持第一触摸输入保持的同时接收被施加到第二对象的第二触摸输入时将第一对象链接到与第二对象相对应的功能。
[0231]在本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的任何引用指的是结合实施例描述的特定特点、结构或者特征被包括在本发明的至少一个实施例中。在本说明书中的各种位置中出现这样的词语不必全部指代相同的实施例。此外，当结合任何实施例来描述特定特点、结构或者特征时，认为结合实施例中的另外一些来实现这样的特点、结构或者特征是在本领域技术人员的理解范围之内。
[0232]虽然已经参考其许多说明性实施例描述了实施例，但是应该理解，可以由本领域技术人员设计落入在本公开的原理的精神和范围内的许多其它修改和实施例。更具体地，在本公开、附图和所附权利要求的范围内的主题组合布置的组件部分和/或布置方面，各种变化和修改是可能的。除了在组件部分和/或布置方面的变化和修改之外，替代物的使用对于本领域技术人员来说也将是显而易见的。
【权利要求】
1.一种移动终端，包括: 触摸屏； 音频输入单元；以及 控制器，所述控制器被配置成: 当进入语音识别模式时，分析通过所述音频输入单元接收到的语音信号， 根据所分析的语音信号，选择要被执行的至少一个应用，和要在所述应用中使用的至少一项内容，其中从被显示在所述触摸屏的内容项中选择所述至少一项内容；并且 根据所分析的语音信号通过使用所选择的至少一项内容执行所选择的至少一个应用。
2.根据权利要求1所述的移动终端，其中所述控制器进一步被配置成: 当进入所述语音识别模式时，显示在其上控制所述语音识别模式的控制窗口 ； 当接收特定输入时，将所述控制窗口转换成可移动的浮动窗口的形式；并且 显示与所述至少一项内容的至少一个区域重叠的被转换的浮动窗口。
3.根据权利要求2所述的移动终端，其中选择要在所述应用中使用的至少一项内容的步骤包括，将所转换的浮动窗口移向所述至少一项内容的所述至少一个区域。
4.根据权利要求 2所述的移动终端，其中所述控制器进一步被配置成: 当接收相对于所述浮动窗口的拖动输入时，沿着拖动输入的轨迹移动所述浮动窗口 ；以给出视觉区分的方式，显示至少一项内容，所述至少一项内容的至少一个区域与被移动的浮动窗口重叠；并且 当释放所述拖动输入时，确定重叠的至少一项内容作为被选择的至少一项内容。
5.根据权利要求3所述的移动终端，其中所述控制器进一步被配置成: 当接收对所述浮动窗口的特定输入时，缩小或者扩大所述浮动窗口的大小； 以给出视觉区分的方式，显示与改变其大小的所述浮动窗口重叠的至少一项内容；并且 将重叠的被重叠的至少一项内容确定为所选择的至少一项内容。
6.根据权利要求2所述的移动终端，其中所述控制器进一步被配置成，当接收到所述触摸屏的边界区域的所述浮动窗口的拖动输入时，在所述边界区域上显示指示所述浮动窗口的软键。
7.根据权利要求1所述的移动终端， 如果至少一项内容是照片，则所述控制器使用所述照片的缩略图文件，作为所选择的至少一项内容，并且 如果至少一项内容被显示在Web浏览器的屏幕内，则所述控制器使用所述Web浏览器的屏幕的URL地址，或者到所述Web浏览器的屏幕的链接地址作为所选择的至少一项内容。
8.根据权利要求1所述的移动终端，其中所述控制器进一步被配置成，以弹出窗口，或者所述触摸屏的屏幕的一个区域，或者所述触摸屏的整个区域的形式，显示所述应用的执行屏幕。
9.根据权利要求1所述的移动终端，其中所述控制器进一步被配置成，当完成所述应用的执行或者取消执行时，返回到所述语音识别模式。
10.根据权利要求1所述的移动终端，其中所述控制器进一步被配置成，当通过触摸被显示在特定应用的执行屏幕中从所述触摸屏幕的上部滑动的状态条上的快捷图标来进入所述语音识别模式时，在所述特定应用的所述执行屏幕的上或者下区域显示所述控制窗□。
11.根据权利要求1所述的移动终端，其中所述控制器进一步被配置成:当进入所述语音识别模式时，将所述触摸屏划分成两个区域，第一区域和第二区域；并且 在所述触摸屏的所述第一区域上显示所述至少一项内容，并且在所述触摸屏的所述第二区域上显示所述控制窗口。
12.一种移动终端，包括: 触摸屏； 音频输入单元；以及 控制器，所述控制器被配置成: 当进入语音识别模式时，以其至少一个区域与被显示在所述触摸屏上的至少一项内容重叠的可移动的浮动窗口的形式，显示在其上控制所述语音识别模式的控制窗口 ； 通过分析经由所述音频输入单元接收到的语音信号，选择要被执行的至少一个应用，并且通过使用所述浮动窗口和所分析的音频信号，选择要在所述应用中使用的至少一项内容；以及 根据所分析的语音信号通过使用所选择的至少一项内容执行所述应用。
13.—种控制移动终端的方法，包括: 在显示内容项的状态下接收语音信号； 分析所接收到的语音信号； 根据所分析的语音信号，选择要被执行的至少一个应用，和要在所述应用中使用的至少一项内容，其中从显示的所显示的内容项中选择所述至少一项内容；以及 根据所分析的语音信号，通过使用所选择的至少一项内容执行所选择的至少一个应用。
14.根据权利要求13所述的控制移动终端的方法， 其中选择所述至少一个内容的步骤包括:将所述控制窗口转换成浮动窗口的形式，将所述浮动窗口移动成其至少一个区域与显示的所述至少一项内容重叠，以及将重叠的至少一项内容确定为所选择的至少一个内容。
【文档编号】G06F3/0481GK103995657SQ201410056702
【公开日】2014年8月20日 申请日期:2014年2月19日 优先权日:2013年2月19日
【发明者】郑昌镐, 丁俊荣 申请人:Lg电子株式会社