专利名称：通过触摸屏或语音识别控制的通信终端及其指令执行方法
技术领域：
本发明涉及一种信息终端，尤其涉及一种通过触摸屏或语音识别而控制的信息终端及其指令执行方法。
背景技术：
通常，使用IMT2000技术的便携信息终端配有触摸屏，以识别由用户触摸的屏幕坐标，并执行对应于所识别的坐标的指令。
图1是根据传统技术用于通过触摸屏识别指令的方法的流程图。参考图1，用户可以选择的项目显示在便携信息终端的触摸屏上。当用户选择显示在屏幕上的项目之一，并触摸它时(步骤10)，便携信息终端识别对应于屏幕上所触摸点的坐标x和y，并搜索对应于所识别坐标x和y的指令(步骤12)。
如果找到一个指令，则执行所找到的指令(步骤16)。如果找到两个或更多的指令，则所找到的指令再次显示在屏幕上(步骤18)，然后重复执行步骤10至14。即，如果由用户选择的项目具有多个与其相关的子指令，则便携信息终端在触摸屏上显示这些子指令，使得用户能够选择这些子指令之一。因为屏幕的限制，指令必须逐一执行。另外，必须多次选择指令，以执行用户所希望的特定任务。
同时，如果便携信息终端识别语音以执行特定指令，例如，如果由便携信息终端首先发出口语信息“请讲指令”，则该指令必须在给定时间内讲出。如果过了给定的时间，则便携信息终端不能识别该指令，并发出口语信息“请再次讲指令”(由终端产生)。如果便携信息终端还不能识别用户的语音，则它发出口语信息“在更安静的地方再试一次”或者“这是不能执行的指令”，并终止指令执行模式。因此，由于除非在给定的时间内识别特定语音，否则便携信息终端将终止指令执行模式，所以便携信息终端是不令人满意的。
发明内容
为了解决上述问题，本发明的第一个目的是提供用户一种信息终端，通过结合触摸屏和语音识别技术，该信息终端可以由用户更有效和方便地控制。
本发明的第二个目的是提供一种由所述信息终端执行的指令执行方法。
本发明的第三个目的是提供一种记录介质，在其上存储了该指令执行方法。
为了实现第一个目的，本发明提供了一种具有触摸屏的信息终端，在其上通过触摸所述屏幕输入一指令，并且执行该指令的结果得到显示。所述信息终端最好包括语音识别和学习单元，用于识别从外界输入的语音信号；和系统控制器，当在所述触摸屏上预定项目受到触摸时，其识别对应于所触摸项目的坐标的指令，并且当对应于与所识别的指令相关的多个子指令之一的语音被所述语音识别和学习单元识别时，其执行所对应的子指令。
为了实现第二个目的，本发明提供了一种由信息终端执行的指令执行方法，其中当显示在触摸屏上的多个项目之一受到选择时，通过识别所选项目的坐标或用户的语音来执行一指令。该方法包括以下步骤(a)当在所述触摸屏上所述项目之一受到选择时，识别所述用户的语音；(b)在识别出一个语音对应于多个子指令之一之后，执行对应的子指令，其中所述多个子指令对应于在步骤(a)中所选项目的坐标；和(c)在识别出没有语音对应于任何一个子指令之后，在所述触摸屏上显示所述多个子指令。
在另一个实施例中，提供了一种由信息终端执行的指令执行方法，其中当显示在触摸屏上的多个项目之一受到选择时，通过识别所选项目的坐标或用户的语音来执行一指令，该方法最好包括以下步骤(a)当在所述触摸屏上所述项目之一受到选择时，识别对应于所选项目的坐标的一个指令；(b)如果所识别的指令被确定为不具有与其相关的子指令，则执行所识别的指令；(c)如果所识别的指令被确定为具有两个或更多的子指令，则等待用户的语音的输入；(d)在接收用户的语音之后，识别该用户的语音和对应于所识别的语音的子指令，并返回步骤(b)；(e)在步骤(d)没有识别出语音对应于所述子指令的任何一个时，在所述触摸屏上显示所述子指令；和(f)在所述触摸屏上选择所述子指令之一之后，通过其坐标识别所选择的子指令并返回步骤(b)和学习所选择的子指令的语音。
通过结合附图详细描述本发明的优选实施例，本发明的上述目的和优点将变得更加明显，附图中图1是根据传统技术用于通过触摸屏识别指令的方法的流程图；图2是根据本发明的实施例的通过触摸屏和语音识别控制的信息终端的示意方框图；图3示出了根据本发明的实施例由图2的信息终端执行的指令执行过程；和图4是根据本发明的另一个实施例由图2的信息终端执行的指令执行过程的流程图。
具体实施例方式
参考图2，根据本发明的实施例的通过触摸屏和语音识别控制的信息终端包括触摸屏20、语音识别和学习单元22和系统控制器26。执行对应于由用户触摸和选择的项目的指令的结果显示在触摸屏20上。语音识别和学习单元22识别从外部接收的语音信号，将识别的结果提供给系统控制器26。而且，语音识别和学习单元22在系统控制器26的控制下学习语音信号。
如果通过触摸触摸屏20上的预定项目，语音信号得以输入到语音识别和学习单元22，则系统控制器26识别对应于所触摸项目的坐标的指令。而且，如果对应于与所识别指令相关的多个子指令之一的语音被语音识别和学习单元22识别，则系统控制器26执行对应的子指令。
另一方面，如果对应于多个子指令之一的语音没有被语音识别和学习单元22识别，则系统控制器26在触摸屏20上显示多个子指令。然后，如果用户选择了多个子指令之一，则系统控制器26控制语音识别和学习单元22，使得语音识别和学习单元22学习以下内容对应于输入的语音信号的子指令是由用户所选择的子指令。
图3示出了由图2的信息终端执行的指令执行方法。为了解释方便，下面描述由用户来编辑信息。
参考图2和3，如果用户50想要编辑存储在信息终端中的关于某人的个人信息，如图3所示，则显示其上存储了个人信息的屏幕20a。用户50在用硬笔触摸个人信息的一个项目时讲出词“编辑”(步骤1)。如果语音识别和学习单元22识别了所讲出的词“编辑”，则系统控制器26执行指令“编辑”以显示编辑屏幕20b，在其上可以编辑关于所选项目的信息(步骤2)。系统控制器26使得在执行指令“编辑”时指令“编辑”能够闪动，从而通知用户指令“编辑”正在执行。
相反地，如果语音识别和学习单元22没有识别所讲出的词“编辑”，例如，如果用户讲出了“pyonzeep”，其在韩语中意思是“编辑”，则系统控制器26在触摸屏20c上显示在当前状态下可以被执行的子指令。如图3中所示，如果子指令“呼叫”、“观看”和“编辑”显示出来，则用户50在其中选择子命令“编辑”。如果在触摸屏20c上选择了子命令“编辑”，则系统控制器26执行指令“编辑”以显示编辑屏幕20b，在其上可以编辑关于所选项目的信息(步骤4)。同时，系统控制器26控制语音识别和学习单元22，使得语音识别和学习单元22学习以下内容由用户50输入的语音输入是子命令“编辑”的语音(步骤5)。利用语音识别和学习单元22的语音学习，用户50可以执行指令“编辑”，而与讲出“编辑”和“pyonzeep”中的哪一个无关。因而，用户50可以自由改变语音指令。
图4是由图2的信息终端执行的指令执行方法的流程图。参考图2和4，在步骤30，通过触摸显示在触摸屏20上的多个项目之一，用户选择所希望的指令。在这种情况下，触摸屏20输出对应于所触摸的位置的信号到系统控制器26。系统控制器26分析在触摸屏20中生成的信号，从而识别该信号的坐标。在步骤32，系统控制器26识别对应于所识别的坐标的指令作为所希望的指令。然后，在步骤34，系统控制器26确定是否所识别的指令有多个子指令。在步骤44，如果所识别的指令没有多个子指令，则执行所识别的指令。
另一方面，如果所识别的指令有多个子指令，则语音识别和学习单元22等待对应于子指令的语音输入(步骤36)。如果输入了语音信号，则语音识别和学习单元22识别所输入语音信号，并将识别的结果提供给系统控制器26。如果确定语音识别和学习单元22识别出对应于子指令之一的语音(步骤38)，则系统控制器26返回到步骤34。在这种情况下，当识别出用户的语音时，在触摸屏20上显示所识别的子指令，从而指示该指令识别是正常进行的。
相反地，如果语音识别和学习单元22没有识别出对应于子指令之一的语音，则系统控制器26在触摸屏20上显示可以执行的子指令(步骤40)。如果用户选择了显示在触摸屏20上的子指令之一，则系统控制器26返回步骤32，以执行对应的子指令。同时，系统控制器26控制语音识别和学习单元22，以便语音识别和学习单元22学习以下内容已经输入用于执行一子指令的该语音信号是由用户所选择的子指令的语音指令(步骤42)。在语音识别和学习单元22学习对应的语音的同时，从用户输入的语音信号得以重现，从而通知用户该语音当前正在经受学习。
如上所述，根据本发明的信息终端通过使用触摸屏和语音识别来执行指令的识别和执行，从而使得该信息终端更容易使用。具体说，即使触摸屏很小而所有的信息和指令不能一起在屏幕上显示，本发明也使得用户可以容易地执行所希望的指令，而无须在屏幕上显示该指令。另外，如果当前输入的语音不对应于用户将要执行的指令，则本发明存储该情况，即当前输入的语音是将要执行的指令的语音指令，从而增加了使用的容易性。
在图中和说明书中提供了优选实施例。在这里所使用的专业术语不应该被解释为限定本发明的内容，而是要对本领域的技术人员传达本发明的概念。因此，本领域的技术人员应该理解，在不脱离所附权利要求限定的本发明实质和范围的情况下，可以进行形式和细节的各种改变。
权利要求
1.一种由信息终端执行的指令执行方法，其中当显示在触摸屏上的多个项目之一受到选择时，通过识别所选项目的坐标或用户的语音来执行一命令，该方法包括以下步骤(a)当所述项目之一在所述触摸屏上受到选择时，识别所述用户的语音；(b)在识别出一个语音对应于多个子指令之一之后，执行对应的子指令，其中所述多个子指令对应于在步骤(a)中所选项目的坐标；和(c)在识别出没有语音对应于任何一个子指令之后，在所述触摸屏上显示所述多个子指令。
2.如权利要求1所述的方法，还包括以下步骤如果显示在所述触摸屏上的所述多个子指令之一受到选择，则识别所选择的子指令，并学习所选择的子指令的语音。
3.一种由信息终端执行的指令执行方法，其中当显示在触摸屏上的多个项目之一受到选择时，通过识别所选项目的坐标或用户的语音来执行一命令，该方法包括以下步骤(a)当在所述触摸屏上所述项目之一受到选择时，识别对应于所选项目的坐标的一个指令；(b)如果所识别的指令被确定为不具有与其相关的子指令，则执行所识别的指令；(c)如果所识别的指令被确定为具有两个或更多的子指令，则等待用户的语音的输入；(d)在接收用户的语音之后，识别该用户的语音和由此对应于所识别的语音的子指令，并返回步骤(b)；(e)在步骤(d)没有识别出语音对应于所述子指令的任何一个时，在所述触摸屏上显示所述子指令；和(f)在所述触摸屏上选择所述子指令之一之后，通过其坐标识别所选择的子指令并返回步骤(b)，并且学习所选择的子指令的语音。
4.如权利要求1或3所述的方法，其中如果识别了所述用户的语音，则所识别的子指令显示在所述触摸屏上，从而指示所述子指令受到正常的识别。
5.如权利要求1或3所述的方法，其中在所选择的子指令的语音被学习的同时，由所述用户输入的语音得以重现，从而指示该语音已经得到学习。
6.一种记录介质，在其上以可以在计算机上执行的程序代码的形式，记录了在权利要求1-5任何一个之中所要求的方法。
7.一种具有触摸屏的信息终端，在其上通过触摸所述屏幕输入一指令，执行该指令的结果得到显示，所述信息终端包括语音识别和学习单元，用于识别从外界输入的语音信号；和系统控制器，当在所述触摸屏上预定项目受到触摸时，其识别对应于所触摸项目的坐标的指令；当对应于与所识别的指令相关的多个子指令之一的语音被所述语音识别和学习单元识别时，其执行所对应的子指令。
8.如权利要求7所述的信息终端，其中如果没有识别出对应于所识别的指令的子指令的语音，则所述系统控制器在所述触摸屏上显示所述多个子指令，并且如果所述多个子指令之一受到选择，则所述系统控制器控制所述语音识别和学习单元，从而所述语音识别和学习单元学习以下内容对应于所输入语音信号的子指令是所选择的子指令。
9.如权利要求7所述的信息终端，其中所述语音识别和学习单元在学习对应于所选择的子指令的语音的同时，重现所输入的语音信号。
全文摘要
提供了一种通过触摸屏和语音识别来控制的信息终端及其指令执行方法。在具有触摸屏的该信息终端上，通过触摸所述屏幕输入一指令，执行该指令的结果得到显示，所述信息终端最好包括语音识别和学习单元，用于识别从外界输入的语音信号；和系统控制器，当在所述触摸屏上的预定项目受到触摸时，其识别对应于所触摸项目的坐标的指令；当所述语音识别和学习单元识别出对应于与所识别的指令相关的多个子指令之一的语音时，其执行所对应的子指令。该信息终端通过使用触摸屏和语音识别来执行指令的识别和执行，从而使得该信息终端更容易使用。
文档编号G06F3/16GK1396520SQ02107960
公开日2003年2月12日 申请日期2002年3月25日 优先权日2001年7月7日
发明者曹秀京 申请人:三星电子株式会社