终端设备的操作模式控制方法、装置、终端设备及介质与流程

本公开涉及智能设备领域，尤其涉及一种终端设备的操作模式控制方法、装置、终端设备及介质。

背景技术：

目前，对于终端设备的主要操作模式，主要还是以用户通过肢体触摸终端设备的显示屏进行信息录入和操作。这样的操作模式禁锢用户的双手，用户在操作终端设备的同时几乎无法同时进行其他需要双手的活动。

为了减少终端设备操作过程中对用户肢体的依赖，让用户在操作终端设备的同时还能够同时进行其他需要双手参与的活动，通过语音控制替代触摸控制是其中的一个重要研究方向。

然而，目前的语音识别控制还存在对语音指令判断不准确、语音控制不够智能等问题，用户使用体验不佳。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种终端设备的操作模式控制方法、装置、终端设备及介质。

根据本公开实施例的第一方面，提供了一种终端设备的操作模式控制方法，所述方法包括：

基于接收到的在预设条件下的语音模式启动指令，进入语音操作学习模式并显示语音操作学习界面，所述语音操作学习界面用于指导用户输出语音指令；

所述语音操作学习模式完成后，进入语音操作模式，其中，在所述语音操作模式下能够在接收不到触控信息时，通过接收语音信息控制终端设备；

在所述语音操作模式下，接收语音信息；

根据接收到的所述语音信息中包含的语音指令，控制终端设备执行与所述语音指令对应的操作。

可选地，基于接收到的在预设条件下的语音模式启动指令，进入语音操作学习模式并显示语音操作学习界面，包括：

基于接收到的语音模式启动指令，判断是否满足预设条件，若是，直接启动所述语音操作模式；其中，所述预设条件为首次启动所述语音操作模式；

若否，进入语音操作学习模式并显示语音操作学习界面。

可选地，所述方法还包括：

根据语音操作模式下接收的语音信息，对所述语音信息中包含的不符合预设语言规则的目标语音内容进行修正处理，确定语音指令。

可选地，所述根据语音操作模式下接收的语音信息，对所述语音信息中包含的不符合预设语言规则的目标语音内容进行修正处理，确定语音指令，包括：

根据所述语音信息，确定所述语音信息中包含的目标语音内容；

判断所述目标语音内容的语言结构是否符合动宾结构，若是，确定所述目标语音内容为语音指令；

若否，对不符合动宾结构的所述目标语音内容进行修正处理，得到修正语音内容，确定所述修正语音内容为语音指令。

可选地，所述对不符合动宾结构的所述目标语音内容进行修正处理，包括：

根据预设修正规则，修正不符合动宾结构的所述目标语音内容的语言结构为动宾结构，其中，所述预设修正规则包括优先修正为与应用相关的动宾结构，其次修正为与终端设备的系统相关的动宾结构。

可选地，所述语音模式启动指令包括：

通过对终端设备的显示界面进行操作输入的第一启动指令，或者，通过语音方式输入的第二启动指令。

可选地，在所述语音操作学习模式下，所述控制方法还包括：

输出引导信息；

基于接收到的语音反馈信息，判断所述语音反馈信息是否与所述引导信息对应，若是，控制所述终端设备执行与所述语音反馈信息对应的操作。

可选地，在所述语音操作模式下，所述控制方法还包括：

基于终端设备的显示界面中显示的内容，确定显示界面中的目标图标的标记参数；

显示所述标记参数于与其对应的所述目标图标的预设位置处。

可选地，所述控制方法还包括：

基于用户选择的工作状态，控制所述语音操作模式在持续状态或者自动状态下运行。

可选地，在所述自动状态下，所述控制方法还包括：

若预设时长内未接收到所述语音信息，控制退出所述语音操作模式；和/或，

若终端设备的剩余电量小于或等于预设值，控制退出所述语音操作模式。

根据本公开实施例的第二方面，提供了一种终端设备的操作模式控制装置，所述装置包括：

启动模块，用于基于接收到的在预设条件下的语音模式启动指令，进入语音操作学习模式并显示语音操作学习界面，所述语音操作学习界面用于指导用户输出语音指令；

所述启动模块，还用于所述语音操作学习模式完成后，进入语音操作模式，其中，在所述语音操作模式下能够在接收不到触控信息时，通过接收语音信息控制终端设备；

接收模块，用于在所述语音操作模式下，接收语音信息；

反馈模块，用于根据接收到的所述语音信息中包含的语音指令，控制终端设备执行与所述语音指令对应的操作。

可选地，所述启动模块具体用于：

基于接收到的语音模式启动指令，判断是否满足预设条件，若是，直接启动所述语音操作模式；其中，所述预设条件为首次启动所述语音操作模式；

若否，进入语音操作学习模式并显示语音操作学习界面。

可选地，所述装置还包括处理模块，所述处理模块用于：

根据语音操作模式下接收的语音信息，对所述语音信息中包含的不符合预设语言规则的目标语音内容进行修正处理，确定语音指令。

可选地，所述处理模块具体用于：

根据所述语音信息，确定所述语音信息中包含的目标语音内容；

判断所述目标语音内容的语言结构是否符合动宾结构，若是，确定所述目标语音内容为语音指令；

若否，对不符合动宾结构的所述目标语音内容进行修正处理，得到修正语音内容，确定所述修正语音内容为语音指令。

可选地，所述处理模块具体用于：

根据预设修正规则，修正不符合动宾结构的所述目标语音内容的语言结构为动宾结构，其中，所述预设修正规则包括优先修正为与应用相关的动宾结构，其次修正为与终端设备的系统相关的动宾结构。

可选地，所述语音模式启动指令包括：

通过对终端设备的显示界面进行操作输入的第一启动指令，或者，通过语音方式输入的第二启动指令。

可选地，所述反馈模块还用于输出引导信息；

所述处理模块，用于基于接收到的语音反馈信息，判断所述语音反馈信息是否与所述引导信息对应；

所述反馈模块，用于在判断结果为是时，控制所述终端设备执行与所述语音反馈信息对应的操作。

可选地，所述处理模块还用于：

基于终端设备的显示界面中显示的内容，确定显示界面中的目标图标的标记参数；

所述反馈模块还用于：

显示所述标记参数于与其对应的所述目标图标的预设位置处。

可选地，所述处理模块还用于：

基于用户选择的工作状态，控制所述语音操作模式在持续状态或者自动状态下运行。

可选地，在所述自动状态下，所述处理模块还用于：

若预设时长内未接收到所述语音信息，控制退出所述语音操作模式；和/或，

若终端设备的剩余电量小于或等于预设值，控制退出所述语音操作模式。

根据本公开实施例的第三方面，提供一种终端设备，包括：

处理器；

用于存储处理器的可执行指令的存储器；

其中，所述处理器被配置为执行如上所述的终端设备的操作模式控制方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行如上所述的终端设备的操作模式控制方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开中的方法能够在满足预设条件下进入至语音操作模式时，启动语音操作学习模式，对用户进行指导，便于用户快速熟悉了解如何在语音操作模式下通过语音指令对终端设备进行控制。

另外，由于本公开中的语音操作模式能够在用户无法使用双手对终端设备进行操作，终端设备无法通过触控方式接收到控制信息时，使用接收到的语音信息中包含的语音指令对终端设备进行控制，真正的解放了用户的双手。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的终端设备的操作模式控制方法的流程图。

图2是根据一示例性实施例示出的终端设备的操作模式控制方法的流程图。

图3是根据一示例性实施例示出的终端设备的操作模式控制方法的流程图。

图4是根据一示例性实施例示出的终端设备的操作模式控制方法的流程图。

图5是根据一示例性实施例示出的终端设备的操作模式控制方法的流程图。

图6是根据一示例性实施例示出的终端设备的操作模式控制方法的流程图。

图7是根据一示例性实施例示出的终端设备的操作模式控制方法的流程图。

图8是根据一示例性实施例示出的终端设备的显示界面的示意图。

图9是根据一示例性实施例示出的终端设备的显示界面的示意图。

图10是根据一示例性实施例示出的终端设备的框架示意图。

图11是根据一示例性实施例示出的终端设备的操作模式控制装置的框图。

图12是根据一示例性实施例示出的终端设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

目前，对于终端设备的主要操作模式，主要还是以用户通过肢体触摸终端设备的显示屏进行信息录入和操作。这样的操作模式禁锢用户的双手，用户在操作终端设备的同时几乎无法同时进行其他需要双手的活动。

为了减少终端设备操作过程中对用户肢体的依赖，让用户在操作终端设备的同时还能够同时进行其他需要双手参与的活动，通过语音控制替代触摸控制是其中的一个重要研究方向。

然而，在当前的语音控制领域，更多的是根据用户输入的语音信息在线计算结果并返回给用户进行展示，无法根据用户语音信息中包含的指令信息对终端设备进行较为复杂的控制，对于终端设备的比如点击、拖拽、滑动等操作依然需要依靠用户通过双手触摸终端设备的显示屏才能够实现，并不能够达到解放用户双手的目的。

相关技术中，依赖于android系统，国内已经出现了一些在语音识别领域比较出色的产品，能够对用户的语音指令进行在线处理，并进行反馈。但上述产品还没有能够应用在对终端设备的直接操控过程中。

目前，苹果公司和谷歌公司推出了具有语音控制功能的终端设备，但这些终端设备存在诸多缺点。比如，不支持汉语操控、命令限定范围局限性较大、无法智能匹配可执行的操作命令、没有用户学习指导过程等，这些都极大地影响用户的使用体验。

本公开提供了一种终端设备的操作模式控制方法，该控制方法应用在比如手机、平板电脑等终端设备上。本公开中的控制方法根据用户的需求启动语音操作模式，在该模式下用户可以通过语音对终端设备进行控制，终端设备会执行与语音指令对应的操作。由于在对接收到的语音信息进行处理过程中，会对不符合预设语言规则的目标语音进行修正，可以使确定出的语音指令更加明确，不易出现用户发出语音指令后，终端设备没有任何操作的情况，终端设备与用户之间的互动效果更好，用户体验更佳。

根据一个示例性实施例，本公开提供了一种终端设备的操作模式控制方法，本实施例中的方法可以应用在比如手机、平板电脑等终端设备上，并且，本实施例中的应用场景为当用户的双手被占用，无法通过触控方式控制终端设备的状态下。如图1所示，本实施例中的控制方法包括：

s10、接收预设条件下的语音模式启动指令。

该步骤中，语音模式启动指令可以是通过语音输入方式的指令，也可以是通过触控方式输入的指令。比如，用户双手已经被占用时，用户可以通过语音输入方式输入语音模式启动指令。再比如，用户知道自己接下来要处理其他事情，双手将被占用，无法通过触控方式操作终端设备，可以在双手被占用之前，先通过触控方式输入语音模式启动指令，以启动语音操作模式。

s20、基于接收到的在预设条件下的语音模式启动指令，进入语音操作学习模式并显示语音操作学习界面。

其中，预设条件比如可以是初次发出语音模式启动指令，即第一次启动语音操作模式。再比如，预设条件还可以是前三次发出语音模式启动指令，即前三次启动语音操作模式，以在用户使用语音操作模式的初期，帮助用户快速掌握如何使用正确语音指令控制终端设备。

在进入到语音操作学习模式后，要对用户进行教学引导，在显示屏上显示语音操作学习界面。语音操作学习界面上会显示引导信息，引导信息为在语音操作模式下终端设备能够识别的语音指令，以指导用户什么才是正确的指令。

同时，学习显示界面上，当用户通过语音方式输入显示界面上显示的引导信息时，显示界面上会以文字形式显示用户语音输入的内容，以提示用户终端设备接收到了其输入的语音指令。

另外，由于用户处于语音操作学习模式下，为了让用户清楚的知道自己输入的语音指令是正确的，显示界面上还可以通过文字形式显示鼓励内容，以提升互动效果。

s30、语音操作学习模式完成后，进入语音操作模式。

其中，在语音操作模式下能够在接收不到触控信息时，通过接收语音信息控制终端设备。

语音操作学习模式下会进行多种语音指令的学习，以便于用户完全掌握所要学习的语音指令，便于提升用于在后期使用语音操作过程中能够使用正确指令，提升操作速度。

当用于已经完成了语音操作学习模式后，说明用户已经基本掌握了如何正确输入语音指令。此时可以进入至语音操作模式中，在该操作模式下，用户无需触控屏幕，只需要使用语音指令就能够对终端设备进行控制，提升用户的使用体验。

s40、在语音操作模式下，接收语音信息。

当终端设备进入到语音操作模式下时，在显示界面上会针对语音操作模式进行该模式下特殊的显示方式，以方便用户操作，比如，对显示界面上显示的各个应用进行编号。再比如，当终端设备接收到的语音信息中包含语音指令时，终端设备可以将用户输入的指令信息显示在显示界面上，便于用户确认终端设备接收到的指令是否与其输入的语音信息中包含的指令相同。

s50、根据接收到的语音信息中包含的语音指令，控制终端设备执行与语音指令对应的操作。

终端设备接收到语音信息后，确定语音信息中包含的语音指令，终端设备根据语音指令确定控制指令，并执行与控制指令对应的动作。在执行动作的同时，还可以将动作对应的语音指令显示在显示界面上。

本实施例中的控制方法，终端设备可以通过显示界面输出信息也可以通过播放方式输出信息，用户可以仅通过语音方式向终端设备输入指令，不需要触控显示屏就能够控制终端设备执行与语音指令对应的动作，当用户双手被占用时，依然可以操控终端设备。

另外，本实施例中的控制方法当用户在预设条件下通过语音模式启动指令启动语音操作模式时，会在进入到语音操作模式之前先进入语音操作学习模式，以指导用户如何通过语音对终端设备进行操控，方便用户使用，提升用户的交互体验，后续用户使用语音方式控制终端设备效率更高。

根据一个示例性实施例，如图2所示，本公开提供了一种终端设备的操作模式控制方法，本公开中的控制方法应用在比如手机、平板电脑等终端设备上，用于对终端设备的操作模式进行控制，操作模式比如可以是完全使用语音进行控制的语音控制模式，还可以是使用触控方式进行控制的触控模式等。本实施例中的控制方法包括：

s110、基于接收到的语音模式启动指令，启动语音操作模式。

由于终端设备可以具有多种操作模式，比如语音操作模式、触控操作模式等，用户可以根据自身的需求选择适合自己的模式。本实施例中主要是对于语音操作模式下的控制方法进行说明，对于语音操作模式并不一定适合所有人群，可能仅适合部分特殊人员，比如视力不佳的老人，手部受伤操作不便的人群等；或者，适合一些追求电子交互体验的人群。因此，语音操作模式并不是终端设备的默认设定模式，而是当用户有相应的需求时，通过用户输入的语音模式启动指令，启动语音操作模式。

在该步骤中，终端设备接收到的语音模式启动指令可以是通过对终端设备的显示界面进行操作输入的第一启动指令，或者，通过语音方式输入的第二启动指令。

其中，第一启动指令比如可以是通过对状态栏便捷控制入口界面中的“语音操作模式控制图标”进行触控操作，状态栏便捷控制入口界面可以通过由上至下滑动、或者由左至右滑动的方式调用，状态栏便捷控制入口界面中除了上述语音操作模式控制图标之外，还可以包括“飞行模式控制图标”、“静音模式控制图标”、“屏幕方向锁定控制图标”、“移动网络控制图标”、“无线网络控制图标”等。当用户想要进入语音操作模式时，可以通过触控操作方式点亮“语音操作模式控制图标”，即可以进入到语音操作模式下，使用语音信息对终端设备进行控制。当用户想要退出语音操作模式时，可以通过触控方式取消点亮“语音操作模式控制图标”，便可以退出语音操作模式，从新恢复到默认控制模式下对终端设备进行控制。

其中，第二启动指令比如可以是通过语音方式启动“语音操作模式”。比如，用户可以通过预定的唤醒语句(比如xx同学)唤醒终端设备的语音识别功能，并说出“启动语音操作模式”这一语音指令，就可以控制终端设备进入到“语音操作模式”，进而可以通过用户说出的语音信息对终端设备进行完全控制。当用户想要提停止使用“语音操作模式”时，可以说出“退出语音操作模式”这一语音指令，就可以退出语音操作模式，从新恢复到默认控制模式下对终端设备进行控制。

在此，需要说明的是，第二启动指令中虽然涉及到的通过语音方式进入到“语音操作模式”状态下，但终端设备对于第二启动指令的计算过程和反馈仅限于进入到“语音操作模式”下，并不涉及到其他比如“点击”、“滑动”等动作指令的控制，其实现方法和控制过程与“语音操作模式”不同。也就是说，虽然在没有进入到“语音操作模式”状态下时，终端设备也能够接收并识别语音信息，但仅限于根据语音信息的内容进行计算和反馈，并不涉及执行语音信息中包含的控制指令的操作，只要在进入到“语音操作模式”时，终端设备才能够对语音信息中包含的控制执行相应的操作。比如，在没有进入到“语音操作模式”时，用户说“滑动图片”，终端设备没有任何反应，或者反馈给用户无法进行该操作。但在“语音操作模式”下，用户说“滑动图片”，就会将显示界面中显示的图片向上或向下滑动。

s120、根据语音操作模式下接收的语音信息，对语音信息中包含的不符合预设语言规则的目标语音内容进行修正处理，确定语音指令。

当进入到语音操作模式下时，用户会通过语音控制终端设备，终端设备必然要通过麦克风采集终端设备周围的声音信号，声音信号中可能包括噪声信息和语音信息。其中，语音信息是指用户想要表达的用于对终端设备进行控制的话语，比如“大声一点”、“开摄像头”、“放歌”等。噪声信息是指与终端设备的控制无关的声音，比如，用户的咳嗽声、环境中的车流声等。当终端设备采集到声音信号后，首先要从声音信号中分离出用户想要对终端设备进行控制的语音信息，而后根据分离出的语音信息是否符合预设语音规则进行处理。

本实施例中的控制方法支持中文语音控制，由于中文在表达过程中经常会涉及到主语、谓语、宾语、短语等，其中短语又可以分为动宾结构短语、主谓结构短语等。但日常生活用户使用的语言会比较随意，并不会严格遵照短语结构的要求进行表述，或者，用户在输出语音信息时，语音信息中某些重要部分恰好被周围的噪声覆盖，导致终端设备从声音信息中分离出的语音信息中包含的用于对终端设备进行操作的内容不够明确，也即语音信息中包含的目标语音内容不符预设语言规则。其中，目标语音内容涉及到操控指令的内容，比如，“点击天气图标”、“滑动”、“打开微信”、“桌面”等。如果目标语音内容并不符合预设语言规则，预设语言规则比如可以是“动宾短语”、“主谓短语”等，如果不符合预设语言规则，即目标语音短语比如为“蓝牙”、“点击”这类的词语时，需要对目标语音内容进行修正处理，修正为符合预设语言规则的语言结构，并将修改后的语言结构定为语音指令。

s130、控制终端设备执行与语音指令对应的操作。

当步骤s120中确定了语音指令后，本步骤中终端设备会根据语音指令的具体内容执行对应的操作。比如，语音指令为“向下滑动图片”或者“滑动图片向下”，此时，终端设备的显示界面上显示的图片会向下滑动。再比如，语音指令为“返回桌面”，则终端设备的显示界面会由当前界面变为桌面界面。

本实施例中，在对语音信息进行处理过程中，对不符合预设语言规则的目标语音内容进行修正处理，以获得更加准确的语音指令，避免出现用户输出指令后，终端设备没有执行相应操作的问题。同时，由于可以对语音信息中的目标语音内容进行修正，使得语音操作模式更加智能化、人性化，避免将用户的语音输入的范围限定过窄，提升了用户的使用体验。

根据一个示例性实施例，如图3所示，本实施例中的控制方法包括以下步骤：

s210、基于接收到的语音模式启动指令，启动语音操作模式。

该步骤与上述步骤s110中的实现方式一样，在此，不再赘述。

s220、根据语音信息，确定语音信息中包含的目标语音内容。

该步骤中，由于用户在发出语音信息时，可能采用比较通俗的语言，同时有可能会说一些与终端设备的指令无关的话，为了提高语音操作模式下，操作准确性和便捷性，终端设备在接收到语音信息后，要首先确定出语音信息中包含的目标语音内容。其中，目标语音内容是与终端设备相关的内容。

比如，用户发出的语音信息为“我想要打开微信”，该语音信息中的打开微信是与终端设备的控制相关的内容，则目标语音内容为“打开微信”。再比如，用户发出的语音信息为“我想要接通蓝牙耳机进行语音通话”，则其中的“接通蓝牙耳机”和“语音通话”均是目标语音内容。

s230、判断目标语音内容的语言结构是否符合动宾结构，若是，则执行步骤s240；若否，则执行步骤s250。

由于对终端设备的各种控制指令，基本都可以使用中文中的动宾结构进行语音指令输出。但用户使用的语音不一定都是符合动宾结构的，为了提升控制指令输出的准确性，终端设备能够根据控制指令进行准确反应，要对目标语音内容的语音结构是否是动宾结构进行判断。

比如，步骤s220中“打开微信”这一目标语音内容本身就是动宾结构的短语，那么不需要再对该目标语音内容进行修正，该目标语音内容可以直接作为语音指令，则执行步骤s240。

再比如，步骤s220中“语音通话”这一目标语音内容本身并不是动宾结构的短语，为了保证终端设备能够顺利执行语音信息中与“语音通话”相关的控制指令，需要执行步骤s250，以对目标语音内容进行修正。

s240、确定目标语音内容为语音指令。

s250、对不符合动宾结构的目标语音内容进行修正处理，得到修正语音内容，确定修正语音内容为语音指令。

该步骤中，在对目标语音内容进行修正处理过程中的对不符合动宾结构的目标语音内容进行修正，根据预设修正规则，修正不符合动宾结构的目标语音内容的语言结构为动宾结构，以得到符合动宾结构的修正语音内容，便于终端设备快速执行与其对应的操作。

比如，步骤s220中“语音通话”这一目标语音内容本身并不是动宾结构的短语，通过该目标语音内容，并结合进行语音通话这一描述，可以将该目标语音内容修正为修正语音内容“启动语音通话”，从而终端设备可以快速做出启动语音通话功能的操作。

本实施例中，如果用户的语音信息中并没有明确的指令内容，那么在对目标语音内容修正过程中，可以智能的为目标语音内容匹配有可能出现的相关指令。比如，对于“语音通话”这一目标语音内容，可以根据实际场景和/或用户的语音信息中的前后场景，修正为“启动语音通话”，或者，修正为“关闭语音通话”等。

在上述修正过程中涉及到的预设修正规则包括优先修正为与应用相关的动宾结构，其次修正为与终端设备的系统相关的动宾结构。比如，用户语音信息中包含的目标语音内容为“桌面”，在对该目标语音内容“桌面”进行修正过程中，如果在终端设备的当前显示界面中显示有与“桌面”内容相关的应用程序的控件，则优先修正为“点击桌面应用控件”。并且，为了验证修正是否正确，控制终端执行“点击桌面应用控件”这一指令对应的操作(此处为步骤s260中的内容)，如果无法执行，则进一步修正为与终端设备的系统相关的动宾结构的指令，比如，修正为“返回桌面”这一指令。

再比如，当目标语音内容为“蓝牙”时，在对其进行修正时，优先修正为“点击蓝牙控件”语音指令，如果终端设备的当前显示界面中显示的内容没有涉及到“蓝牙”，导致“点击蓝牙控件”语音指令无法执行。此时，再次对“蓝牙”进行修正，修正为“关闭蓝牙控件”语音指令。

对于预设修正规则，可以理解的是，本实施例中是采用应用优先级高于系统优先级的规则对目标语音内容进行修正，除了之一规则之外，还可以设置比如系统优先级高于应用优先级的规则对目标语音内容进行修正等。

由于本申请中能够对不符合动宾结构的目标语音内容进行修正，一方面，提升了语音指令的准确性，便于终端设备快速进行操作；另一方面，还能够避免出现对语音指令限定范围过小，无法自动匹配潜在可操作指令的问题。

s260、控制终端设备执行与语音指令对应的操作。

该步骤中，当终端设备确定了语音指令后，会根据语音执行相应的操作，以反馈给用户，但是如果当前终端设备的显示界面无法执行语音指令对应的内容时，一种情况可以是直接忽略该语音指令，不执行；还有一种情况可以是执行该语音指令，发现无法执行时，保持显示界面中的当前内容不变。也就是说，只要当语音指令能够被执行时，终端设备才会执行与语音指令对应的操作，以提供给用户符合其指令的操作反馈。

另外，在此需要对本实施例中的方法进行说明的是，本实施例中对于动宾结构的语音指令(可以是用户语音信息中的符合动宾结构的目标语音内容，也可以是修正后的符合动宾结构的修正语音内容)，对于每一个应用控件或者对于系统的控制指令，每一个语音指令都根据预设的映射关系对应有一个预先存储在终端设备中的封装程序。当在语音操作模式下接收到语音指令时，调用封装程序，终端设备执行与语音指令对应的操作。

根据一个示例性实施例，如图4所示，本实施例中，在语音操作模式下，本实施例中的控制方法还包括：

s310、基于终端设备的显示界面中显示的内容，确定显示界面中的目标图标的标记参数。

该步骤中，当进入到语音操作模式下时，为了方便某些特殊用户通过语音指令对终端设备进行控制，比如，有的老人和孩子不认识字，可以使用数字对显示界面中显示的内容进行参数标记。当然，可以理解的是，除了使用数字作为标记参数外，还可以使用英文字母或者使用汉字作为标记参数。

其中，目标图标是指用户可以对其进行操控的控件图标，比如，应用控件图标、日期控件图标、天气控件图标等，也就是说，当点击该空间图标会出现进一步操作反馈的图标多可以作为目标图标。

在确定显示界面中的目标图标的标记参数时，可以根据图标设置的位置，图标的颜色，图标的使用频繁程度等进行计算后设定，只要保证当前显示界面中的每一个目标图标对应的标记参数不同即可，以确保用户操作便捷性和准确性。但对于不同显示界面中的不同目标图标可以使用相同的标记参数。

如图8和图9所示，图8中示出的是终端设备的桌面的显示界面，该界面中使用阿拉伯数字对能够进行操控的目标图标进行了标记。图9中示出的是对话框中能够进行操控的图标空间。图8和图9中均有标记参数1，但是由于是两个不同的显示界面，因此相互之间没有影响，不会造成终端设备的操控过程的混乱。

在此需要说明的是，对于目标图标中的一部分通用图标空间，既包括图标部分又包括文字部分，那么用户在输入语音指令的时候，可以使用与文字部分相关的语音指令，也可以使用与标记参数相关的语音指令。

在一个示例中，如图8所示，其中天气图标控件的文字部分是“天气”，其标记参数是1。那么在语音操作模式下，当用户输出的语音指令为“打开天气控件”时，天气应用控件被开启，终端设备在显示屏的显示界面显示天气应用的界面。同样，当用户输出的语音指令为“打开1”时，天气应用控件也会被开启，终端设备在显示屏的显示界面显示天气应用的界面。

在另一个示例中，如图9所示，其中对话框中显示有“确定”按键和“取消”按键，其中，“确定”按键的标记参数为0，“取消”按键的标记参数为1。当用户输出的语音指令为“按下确定”时，终端设备执行确定对应的操作。同样，当用户输出的语音指令为“按下0”时，终端设备执行确定对应的操作。

s320、显示标记参数于与其对应的目标图标的预设位置处。

为了方便用户观察标记参数，避免用户将标记参数与和其对应的目标图标弄混，标记参数应当显示在与其对应的目标图标的预设位置处，预设位置可以进行调整，比如标记参数显示在图标的下方、左上角、右下角等，但必须要使用户清楚的知道哪个图标与哪个标记参数对应。避免图标与标记参数对应混乱，造成用户输出的与标记参数有关的语音指令与用户的本意不同。

根据一个示例性实施例，如图5所示，本实施例中的终端设备的操作模式控制方法，在接收语音模式启动指令时，具体包括以下内容：

s410、接收语音模式启动指令。

该步骤中，语音模式启动指令可以是通过对终端设备的显示界面进行操作输入的第一启动指令，或者，通过语音方式输入的第二启动指令。

s420、判断是否是首次启动语音操作模式，若是，则执行步骤s440；若否，则执行步骤s430。

相关技术中，用户在启动语音操作模式后，没有任何使用指导教学过程，用户并不清楚如何更加准确、清楚的输出语音指令，也不知道输出的语音指令会得到终端设备怎样的操作反馈。用户只能自己进行摸索，导致用户的学习成本增加。有的用户自行琢磨一段时间后，仍然无法顺利、便捷地使用语音指令对终端设备进行操控，便会放弃使用语音操作模式，使得语音操作模式形同虚设。

本实施例中，通过判断用户是否是第一次使用语音操作模式，来确定是否要对用户进行使用指导教学。如果用户是第一次使用，那么就执行步骤s440进入到语音操作学习模式。如果不是第一使用，说明用户已经完成过语音操作学习，知道如何在语音操作模式下对终端设备进行操控，则可以直接执行步骤s430，进入到语音操作模式。

s430、直接启动语音操作模式。

该步骤执行后，用户就可以使用语音指令直接对终端设备进行操控了。

s440、启动语音操作学习模式。

该步骤执行后，终端设备的显示界面会显示预存在终端设备中的学习内容，以帮助用户更快地熟悉如何输出标准的语音指令，每一种语音指令对应终端设备的操作反馈是什么状态。便于用户快速掌握语音操作模式下的控制方法，缩短摸索时间，提高使用便捷性和后续操作效率。

s450、在语音操作学习模式完成后，启动语音操作模式。

该步骤中，由于用户启动语音操作模式的原意是想要使用语音指令对终端设备进行操控，因此，在完成语音操作学习后，启动语音操作模式，用户之后就可以通过语音指令对终端设备进行操作。

本实施例中，当用户是第一次启动语音操作模式时，为了保证用户在输出语音指令时更加准确，并且清楚的知道自己输出的语音指令对应的终端设备的操作反馈内容，设置了语音操作学习过程，避免用户自行摸索，提高了用户的学习效率，帮助用户更快掌握语音操作模式的使用方法，提高使用便捷性。

根据一个示例性实施例，如图6所示，本实施例中终端设备的操作模式控制方法，当进入到语音操作学习模式下时，控制方法还包括以下步骤：

s510、输出引导信息。

该步骤中，在进入到语音操作学习模式下后，终端设备可以通过语音方式和/或文字引导方式输出引导信息，以帮助用户进行学习。其中，引导信息应当为在语音操作模式下，终端设备能够识别的语音指令，比如动宾结构短语。

比如，终端设备播放语音“请说语音指令打开设置”，或者，终端设备在显示界面中以对话框的形式显示文字内容“请说语音指令：打开[设置]”。

s520、接收语音反馈信息。

该步骤中，终端设备输出引导指令后，通过麦克风收集周围的声音信息，接收用户反馈的语音内容。

s530、判断语音反馈信息是否与引导信息对应，若是，执行步骤s540；若否，执行步骤s550。

该步骤中，为了保证用户已经习得了如何正确输出语音指令，需要对接收到语音反馈信息进行确认，判断用户是否说出了正确的语音指令。在该步骤中与引导信息对应的具体含义是与引导信息一致。

比如，引导信息是以文字形式显示在显示界面上的“请说语音指令：打开[设置]”，那么接收到的语音反馈信息是“打开设置”时，说明语音反馈信息与引导信息一致，执行步骤s540。如果接收到的语音反馈信息是“启动设置”，说明语音反馈信息与引导信息不一致，则执行步骤s550。

s540、控制终端设备执行与语音反馈信息对应的操作。

该步骤中，当用户说出了与引导信息对应的语音反馈信息时，终端设备会执行对应的操作，以确保用户能够清楚的知道自己说出的语音指令对应的终端设备的状态，帮助用户更好地理解自己发出的语音指令的含义。

另外，当执行该步骤时，终端设备执行对应的操作时，还可以在显示界面上显示对应的鼓励文字信息，比如“干得漂亮”、“做对啦”之类的，以提供给用户正面的反馈信息，帮助用户知道自己输出的语音指令是正确的。

s550、输出引导反馈信息。

如果用户没有能够说出正确的语音指令，或者，周围环境中的噪声较大，终端设备没有清晰的采集到用户说出的语音反馈信息时，终端设备可以输出比如“请再说一次”、“请重复一次”之类的引导反馈信息，以提示用户存在问题，需要再重复进行一次，以确保用户能够掌握正确的语音指令输出方法。

在此，需要说明的是，对于引导信息可以不止一条，可以有多条，并且每一条引导信息均不相同，引导信息应当覆盖终端设备操作过程中涉及到的有可能出现的全部操控情况，以帮助用户更加方便、快捷地使用语音指令操控终端设备。

另外，由于有的用户为了节省时间，不想进行语音指令学习，在学习过程中，终端设备的显示界面上显示有“跳过”提示信息，用户可以通过点击“跳过”字样，或者语音说出“跳过”，就可以跳过当前引导信息的学习步骤。

根据一个示例性实施例中，由于终端设备在语音操作模式下工作时，需要长时间使用麦克风、处理器等高耗电电气元件，因此会消耗大量的电量。本实施例中的控制方法针对这一问题，设置了语音操作模式下的两种运行状态，一种是持续状态，另一种是自动状态。在持续状态下，只要用户不输出退出语音操作模式的语音指令，就会一直运行语音操作模式。在自动状态下，当满足一定条件后，即使用户不主动退出语音操作模式，终端设备也会自动退出语音操作模式。

在一个示例中，如图7所示，在自动模式下，本实施例中终端设备的操作模式控制方法包括以下步骤：

s610、判断预设时长内是否接收到语音信息，若是，则执行步骤s630；若否，则执行步骤s620。

在该步骤中，如果终端设备长时间没有接收到语音信息，说明用户并没有想要对终端设备进行操作的可能，为了节约终端设备的电量，此时可以选择执行步骤s620。

其中，预设时长用户可以自行设定，比如5分钟、2分钟等。

如果用户能够持续接收到语音信息，说明用户一直在使用语音指令控制终端设备，则执行步骤s630，一直保持在语音操作模式。

s620、控制退出语音操作模式。

s630、继续运行语音操作模式。

在另一个示例中，还可以根据终端设备的电量确定在自动状态下是否要退出语音操作模式。比如，在自动状态下，若终端设备的剩余电量小于或等于预设值，控制退出语音操作模式。

当然，可以理解是，上述两个示例可以同时应用在语音操作模式的自动状态下，任意一个条件满足时都可以自动退出语音操作指令，以节约终端设备的电能。

为了对本公开中的终端设备的操作模式控制方法进行详细说明，对应用本公开中的控制方法的终端设备的架构进行说明。本公开中的终端设备比如可以是手机、平板电脑等移动终端。如图10所示，以本公开中的方法应用在手机上为例，对手机的架构进行说明。

其中，手机包括声音采集模块，ui显示界面和控制单元。其中，声音采集模块比如可以是麦克风，ui显示界面比如是显示屏中显示的界面，控制单元比如可以是手机的主控板。ui显示界面和声音采集模块分别与控制单元电连接，声音采集模块将采集的声音信息传递给控制单元，控制单元将显示屏要显示的内容传输给ui显示界面。

手机还包括语音解析单元，语音解析单元与控制单元和声音采集模块电连接，语音解析单元用于对声音采集模块接收到语音信息进行处理，解析出其中的目标语音内容，并传输给控制单元。其中，语音解析单元与声音采集模块之间采用二进制流进行数据传输。

手机还包括便捷控制入口，便捷控制入口可以显示在ui显示界面上，便捷控制入口与控制单元电连接，当便捷控制入口被触发时，控制单元控制终端设备进入到语音操作模式。

手机还包括数据库框架，该数据框架与控制单元电连接，以辅助控制单元对终端设备极性操作。数据库框架中包含有基础服务数据库、命令数据库、操作分发数据库以及界面标注库。其中，基础数据库中涉及到指令库、词库、节点扫描算法、abms(accessibilitymanagerservice)封装器、ani(accessibilitynodeinfo)封装器、以及xwrapper(其他封装器)。操作命令数据库中存储有用于语音操作学习模式下的教学内容，以及与修正处理相关的动宾结构修正信息。操作分发数据库中包括systemaction单元、deviceaction单元、applicationaction单元等。其中，systemaction单元用于辅助执行实现通知栏、返回等操作。deviceaction单元用于辅助实现音量调节、蓝牙开闭等操作。applicationaction单元用于辅助实现点击、滑动、长按等操作。界面标注库用于计算并存储显示界面中的标记参数。

终端设备通过声音采集模块接收声音信息、abms(accessibilitymanagerservice)信息、ams(activitymanagerservice)信息、btm(bluetoothmanager)信息通过数据库框架接收，以使得终端设备能够在语音操作模式下稳定、可靠运行。

如图11所示，本实施例还提供了一种终端设备的操作模式控制装置，本实施例中的控制装置包括电连接的启动模块100、处理模块200、反馈模块300、接收模块400。本实施例中的控制装置用于执行上述终端设备的操作模式控制方法。

其中，本实施例中的控制装置在执行如图1中所示的终端设备的操作模式控制方法时，启动模块100用于基于接收到的在预设条件下的语音模式启动指令，进入语音操作学习模式并显示语音操作学习界面。所述启动模块100还用于所述语音操作学习模式完成后，进入语音操作模式。接收模块400用于在所述语音操作模式下，接收语音信息。反馈模块300用于根据接收到的所述语音信息中包含的语音指令，控制终端设备执行与所述语音指令对应的操作。

本实施例中的控制装置在执行如图2中示出的终端设备的操作模式控制方法时，接收模块400用于接收语音模式启动指令。启动模块100用于基于接收到的语音模式启动指令，启动语音操作模式。处理模块200用于根据语音操作模式下接收的语音信息，对语音信息中包含的不符合预设语言规则的目标语音内容进行修正处理，确定语音指令。反馈模块300用于控制终端设备执行与语音指令对应的操作。

另外，本实施例中的控制装置在执行如图如6所示的终端设备的操作模式控制方法时，反馈模块300还用于输出引导信息；处理模块还用于基于接收到的语音反馈信息，判断语音反馈信息是否与引导信息对应；反馈模块还用于在判断结果为是时，控制终端设备执行与语音反馈信息对应的操作。

如图12所示，是一种终端设备的框图。

本公开还提供了一种终端设备，包括处理器；用于存储处理器的可执行指令的存储器。其中，处理器被配置为执行上述的方法。设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。终端设备还可以是感光元件，比如光线传感器。

设备500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(i/o)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电力组件506为设备500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为设备500生成、管理和分配电力相关联的组件。

多媒体组件508包括在设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(mic)，当设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

i/o接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为设备500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如组件为设备500的显示器和小键盘，传感器组件514还可以检测设备500或设备500一个组件的位置改变，用户与设备500接触的存在或不存在，设备500方位或加速/减速和设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于设备500和其他设备之间有线或无线方式的通信。设备500可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件516还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，设备500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由设备500的处理器520执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。