专利名称：显示手势语音交互统一界面的用户终端及其显示方法
技术领域：
本发明涉及数据处理领域，更具体地，涉及ー种显示手势语音交互统ー界面的用户终端及其显示方法，实现了用户在同一个界面下即可以输入语音，也可以输入手势。以及涉及ー种显示手势语音切換界面的用户终端及其显示方法。
背景技术：
触屏手机由于屏幕较小，通常会面临操作困难的问题。为增加操作便捷性，手势技术或者语音技术在手机上得以较好的应用。手势技术的应用，例如，海豚浏览器手势操作，UC浏览器多点手势。浏览器的手势操作，可以实现ー个特定的手势执行某个复杂操作。语音技术的应用，例如，google的语音搜索，可以实现说话完成捜索功能；uc浏览器，可以完成语音操作。 然而，无论是手势操作还是语音操作，目的都是实现用户与手机自然交互，而现有技术仅仅完成了用户与手机单通道的交互界面，把两种交互模式独立开。用户只能使用手势或者语音执行操作。
发明内容
为了解决将手势交互和语音交互融合为ー个统ー界面以及可以切换选择手势输入或者语音输入，使得用户与用户终端的交互更加自然和便捷的问题，实现了本发明。本发明的目的是提出一种显示手势语音交互统ー界面的用户终端以及ー种手势语音切換界面的用户终端及其显示方法。从而，用户在同一个界面下就可以使用语音输入或者手势输入，或者启动按钮切换语音输入或者手势输入，而无需分别点击按钮进行语音输入或者手势输入的选择，用户与用户终端之间的交互变得更加方便、及吋。根据本发明的第一方面，提出一种显示手势语音交互统ー界面的用户终端，包括输入装置，用于接收用户的语音输入与手势输入至少之ー；和显示装置，用于显示至少两个区域，其中，包括第一区域，呈现与用户输入语音有关的状态；以及第二区域，用于接收或显示用户的手势输入。根据本发明的第二方面，提出一种显示手势语音交互统ー界面的方法，包括输入步骤，接收用户的语音输入与手势输入至少之ー；和显示步骤，显示至少两个区域，其中，包括第一区域，呈现与用户输入语音有关的状态；以及第二区域，用于接收或显示用户的手势输入。根据本发明的第三方面，提出一种显示手势语音交互界面的用户终端，包括输入装置，用于接收用户的语音输入与手势输入至少之ー；和显示装置，用于显示至少ー个区域，包括通过点击可展开/收回的手势与语音控制面板的图标。根据本发明的第四方面，提出一种显示手势语音交互界面的方法，包括输入步骤，接收用户的语音输入与手势输入至少之ー；和显示步骤，显示至少ー个区域，包括通过点击可展开/收回的手势与语音控制面板的图标。
根据本发明的第五方面，提出一种识别语音输入与手势输入的用户终端，包括输入装置，用于接收用户的语音输入与手势输入至少之ー；语音识别装置，用于将用户输入的语音识别为文本；手势识别装置，用于将用户输入的手势识别为手势命令；和处理器，用于控制用户终端执行与文本对应的命令或者手势命令。根据本发明的第六方面，提出一种识别语音输入与手势输入的方法，包括输入步骤，接收用户的语音输入与手势输入至少之ー；语音识别步骤，户将用户输入的语音识别为文本；手势识别步骤，将用户输入的手势识别为手势命令；和控制步骤，控制用户终端执行与文本对应的命令或者手势命令。
从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中
图Ia示出根据本发明的实现手势语音交互统ー界面的用户终端的示意图；图Ib示出根据本发明的状态模型库的ー个示例；图2a示出根据本发明的在用户输入手势时用户终端显示手势语音交互统ー界面的流程图；图2b示出根据本发明的在用户输入语音时用户终端显示手势语音交互统ー界面的流程图；图3a示出根据本发明的手势语音交互统ー界面的一个可视示意图；图3b示出根据本发明的手势语音切換界面的一个可视示意图；图4a_4h示出根据本发明的手势语音交互统ー界面不同状态的示例；图5a_5e示出根据本发明的手势语音切換界面的ー个示例。
具体实施例方式下面，将參考附图描述本发明的优选实施例。在附图中，相同的元件将由相同的參考符号或数字表示。此外，在本发明的下列描述中，将省略对已知功能和配置的具体描述，以避免使本发明的主题不清楚。图Ia示出根据本发明的实现手势语音交互统ー界面的用户终端的示意图。用户終端I包括输入装置10，用于接收用户的语音输入或者手势输入。输入装置10可以包括麦克风、扬声器以及触摸屏。语音识别装置12，用于将用户通过例如麦克风输入的语音识别为文本；手势识别装置14，用于将用户通过例如触摸屏输入的手势识别为手势命令；处理器16，用于控制用户终端执行与所述文本对应的命令或者与手势对应的命令；以及显示装置18，用于显示统ー的手势语音交互界面。此外，用户终端I还包括键盘输入装置、通信装置、存储装置等，出于清楚的目的，在此并未示出。其中键盘输入装置可以由软件或者硬件实现。存储装置可以例如存储ー状态模型库。所述用户終端I包括但不限干有线和无线通信装置，例如移动电话，PDA(个用户数字助理)，便携式终端、计算机等。本发明的手势语音交互统ー界面可以实现在任意内容和任务驱动的用户终端上。通过采用本发明的用户终端，提供给用户一个统ー的手势语音交互界面，用户可以在ー个界面下完成语音或者手势的输入，极大地方便了用户输入过程。下面将结合图2a，2b描述用户终端显示手势语音交互统ー界面的流程。图2a示出在用户输入手势时用户终端显示手势语音交互统ー界面的流程图。统ー的手势语音交互界面包括第一区域以及第二区域，其中第一区域包括用户可以控制语音输入开关的语音输入图标。第二区域接收用户的手势输入并显示，或者显示与用户交互的语音界面。用户可以隐藏第一区域或者关闭第一区域。首先，在步骤S21，显示装置18在显示屏幕上显示初始的统一的手势语音交互界面，等待用户输入。该初始界面包括第一区域，包括用户可以控制语音输入开关的语音输入图标，可选地，可以包括隐藏/显示按钮；第二区域接收用户的手势输入。在步骤S22，输入装置10接收用户输入的手势。在步骤S23，当用户在手势语音交互界面的第二区域内进行了手势滑动时，手势识别装置14检测到用户输入的手势并发送信号给处理器16，处理器16控制显示装置18进行 显示。处理器16关闭语音识别装置14。优选地，如果用户输入的手势只是误点击了屏幕，则处理器16不关闭语音识别装置14。显示装置18在处理器16的控制下，将检测到的手势图形显示在第二区域。之后，手势识别装置14将该手势识别为对应的命令，处理器16控制命令的执行。可选地，如果手势指令识别失败，显示装置18在第二区域的提示框中给出提示用户在统一界面上可以再画一次或者将这个未能识别的手势添加为ー个新的手势。图2b示出在用户输入语音时用户终端显示手势语音交互统ー界面的流程图。统一的手势语音交互界面包括第一区域以及第二区域，其中第一区域包括用户可以控制语音输入开关的语音输入图标。第二区域接收用户的手势输入并显示，或者显示与用户交互的语音界面。用户可以隐藏第一区域或者关闭第一区域。在步骤S31，显示装置18在显示屏幕上显示初始的统一的手势语音交互界面，等待用户输入。该初始界面包括第一区域，包括用户可以控制语音输入开关的语音输入图标，可选地，可以包括隐藏/显示按钮；第二区域接收用户的手势输入。在步骤S32，在通过输入装置10接收到用户输入的语音时，显示装置18在第一显示区域显示正在接收用户输入的图标，以及之后在第二显示区域将语音识别过程以语音交互图形形式显示。例如，显示正在处理语音状态的图形。之后，语音识别装置12将该语音识别为对应的命令，处理器16控制命令的执行。如果语音识别装置12不能识别出该指令，则语音指令识别失败，显示装置18在第二显示区域的提示框中提示不能识别。图3a示出根据本发明的手势语音交互统ー界面的一个可视示意图。參考图3a，统一的手势语音交互界面包括第一区域1101以及第二区域1102，其中第一区域1101包括用户可以控制语音输入开关的语音输入图标111以及按钮112。用户可以通过按钮112隐藏第一区域1101，或者关闭第一区域1101。第二区域1102用于通过输入装置10接收用户的手势输入，并显示该手势113，或者第二区域在用户输入语音时，显示与用户交互的语音界面113。第二区域1102还包括提示框114，用于提示用户相应的操作。可选地，第二区域可以包括第一区域，以及第一区域、第二区域可以位于显示屏的上方、下方、左方、右方等。在本发明的用户终端提供的手势语音交互统ー界面上，用户可以直接关闭或打开语音识别，默认是打开状态。在用户第一次关闭语音识别按钮时，显示装置18给出用户提示“是否默认关闭语音识别”，若用户选择“是”，则语音识别默认关闭，否则语音识别仍然开启。此外，在用户终端识别出有声音同时识别出有手势滑动吋，则处理器16立即关闭语音识别装置14，从而关闭了语音识别功能。本发明采用手势输入优先，可以通过禁用语音识别避免消耗用户流量。图Ib示出根据本发明的状态模型库的ー个示例。该模型库定义了手势语音交互状态。可选地，显示装置18可以基于该状态模型库在处理器16的控制下进行显示。图4a_4h示出本发明的用户终端实现的手势语音交互统ー界面不同状态的示例。其中，图4a示出了显示装置18显示的初始的势语音交互统ー界面。图4b和4c示出了手势语音交互统ー界面上，用户可以直接画手势也可以直接输入语音。用户输入语音后语音识别装置12进行语音识别及处理，画完手势后则手势识别装置14进行手势识别和处理。图4d的界面示出用户终端的语音识别装置12正在做语音识别处理。图4e示出如果语音指令识别失败，用户可以再试一次或者将错误报告给用户终端的浏览器，浏览器可以学习用户输入的语音指令。图4f的界面示出如果手势指令识别失败，用户可以再画一次或者将这个未能识别的手势添加为ー个新的手势。图4g的界面示出若用户一段时间既没有说话也没有手势滑动(8秒(s)左右)，自动给出无法识别提示“海豚没听清楚”，同时禁用语音识别避免消耗用户流量。图4h的界面示出网络链接出错导致无法使用语音，则自动给出无法使用提示“海豚需要网絡”。本发明示出海豚浏览器作为示例，也可以采用其它的浏览器界面。本发明的用户终端还提供切換的界面让用户选择语音输入或者手势输入。图3b示出本发明的用户终端显示手势语音切換界面的一个可视示意图。參考图3b，统ー的手势语音交互界面包括第一区域1201以及第二区域1202，其中第一区域1201包括，例如，显示用户当前操作状态的区域；第二区域1202包括图标221，222与223。图标222与223例如是前进、后退图标。图标221例如是手型图标，当用户点击该图标时，显示装置18展开ー语音手势切换面板2211,当用户选择ー个交互方式时,面板收起，图标221显示为选中的交互方式。显示装置18显示用户选择的语音交互界面或者手势交互界面。图5a_5e示出本发明的用户终端实现的手势语音切換界面的另ー个示例。5a示出显示装置18显示手势语音切換界面，该界面包括第一区域，第一区域包括一图标。用户长按该图标可以展开手势和语音控制面板，从而用户可以方便地展开手势和语音控制面板并选择切換。优选地，用户终端通过长按加上记忆上次选择方式展开手势和语音控制面板并选择切換。语音和手势切换控制面板可以是扇形或者矩形。当用户选中ー个交互方式吋，手势和语音控制面板收起，图标显示为选中的交互方式，同时自动进入用户选择的语音或手势交互界面。图5b示出了在用户选中语音时的界面，其中，背景滚动显示部分常用的语音操作指令。点击“i”到达帮助界面，获取关于语音操作的使用技巧。图5c示出了指令识别界面，其中提示用户正在识别给出的指令，用户终端的语音识别装置12进行语音识别、语义识别、指令转换等处理。图5d示出了识别失败的界面，其中提示用户语音指令识别失败，指令识别失败例如，包括“网络错误”、“没听清楚”、“暂不支持该指令”。图5e示出了执行的操作，其中用户终端直接在浏览器中执行与用户输入的语音对应的命令，并提示用户执行的是什么操作。、
由于本发明的用户终端将手势与语音在一个统ー界面下显示或者提供切換面板供用户在切換面板中进行选择语音输入或者手势输入，用户与用户终端之间的交互变得更为闻效、便捷。应该指出，本发明不局限于上面所描述的实施例，还可以扩展到其它技术领域，涉及数据处理的领域均可考虑本发明，或者可以将本发明的技术方案应用到其它相关产品或者方法。虽然已经结合优选实施例对本发明进行了描述，但是这样的描述仅出于说明的目的，应该理解， 本领域技术人员在不脱离所附权利要求的精神和范围的情况下可以进行其它的修改、替换和变化。
权利要求
1.一种显示手势语音交互统ー界面的用户终端，包括 输入装置，用于接收用户的语音输入与手势输入至少之ー；和 显示装置，用于显示至少两个区域，其中，包括第一区域，呈现与用户输入语音有关的状态；以及第二区域，用于接收或显示用户的手势输入。
2.如权利要求I所述的用户终端，其中第一区域包括语音输入图标。
3.如权利要求I或2所述的用户终端，其中可以隐藏所述第一区域的语音输入图标。
4.如权利要求I至3之一所述的用户终端，在用户同时输入语音与手势时，第一区域的语音输入图标显示为关闭，表示语音输入为关闭状态。
5.如权利要求I至4之一所述的用户终端，其中在用户输入语音时，第二区域显示语音交互图形。
6.如权利要求I至5之一所述的用户终端，其中在用户输入手势时，第二区域显示包括下列至少之ー 所述手势； 新手势添加框；以及 用户重新输入手势提示框。
7.—种显示手势语音交互统ー界面的方法，包括 输入步骤，接收用户的语音输入与手势输入至少之ー；和 显示步骤，显示至少两个区域，其中，包括第一区域，呈现与用户输入语音有关的状态；以及第二区域，用于接收或显示用户的手势输入。
8.如权利要求7所述的方法，其中第一区域包括语音输入图标。
9.如权利要求7或8所述的方法，其中可以隐藏所述第一区域的语音输入图标。
10.如权利要求7至9之一所述的方法，其中在用户同时输入语音与手势时，第一区域的语音输入图标显示为关闭，表示语音输入为关闭状态。
11.如权利要求7至10之一所述的方法，其中在用户输入语音时，第二区域显示语音交互图形。
12.如权利要求7至11之一所述的方法，其中在用户输入手势时，第二区域显示包括下列至少之ー 所述手势； 新手势添加框；以及 用户重新输入手势提示框。
13.—种显示手势语音交互界面的用户终端，包括 输入装置，用于接收用户的语音输入与手势输入至少之ー；和 显示装置，用于显示至少ー个区域，包括通过点击可展开/收回的手势与语音控制面板的图标。
14.一种显示手势语音交互界面的方法，包括 输入步骤，接收用户的语音输入与手势输入至少之ー；和 显示步骤，显示至少ー个区域，包括通过点击可展开/收回的手势与语音控制面板的图标。
15.一种识别语音输入与手势输入的用户终端，包括输入装置，用于接收用户的语音输入与手势输入至少之ー； 语音识别装置，用于将用户输入的语音识别为文本； 手势识别装置，用于将用户输入的手势识别为手势命令；和 处理器，用于控制用户终端执行与所述文本对应的命令或者手势命令。
16.如权利要求15所述的用户终端，还包括 用于显示手势语音交互统ー界面的显示装置。
17.如权利要求15或16所述的用户终端，其中在用户同时输入语音与手势时，禁用语音识别装置。
18.一种识别语音输入与手势输入的方法，包括 输入步骤，接收用户的语音输入与手势输入至少之ー； 语音识别步骤，将用户输入的语音识别为文本； 手势识别步骤，将用户输入的手势识别为手势命令；和 控制步骤，控制用户终端执行与所述文本对应的命令或者手势命令。
19.如权利要求18所述的方法，还包括 用于显示手势语音交互统ー界面的步骤。
20.如权利要求18或19所述的方法，其中还包括在用户同时输入语音与手势时，不对用户输入的语音进行识别的步骤。
全文摘要
本发明提出一种显示手势语音交互统一界面的用户终端，包括输入装置，用于接收用户的语音输入与手势输入至少之一；和显示装置，用于显示至少两个区域，其中，包括第一区域，呈现与用户输入语音有关的状态；以及第二区域，用于接收或显示用户的手势输入。以及一种显示手势语音交互统一界面的方法。根据本发明的用户终端使得用户与用户终端的交互更加自然和便捷。
文档编号G06F3/16GK102646016SQ20121003104
公开日2012年8月22日 申请日期2012年2月13日 优先权日2012年2月13日
发明者刘铁锋, 杨永智, 王瑜, 袁 嘉 申请人:北京百纳信息技术有限公司