一种应用程序的控制方法及终端与流程

文档序号:16207296发布日期:2018-12-08 07:16阅读:274来源:国知局
本发明涉及应用程序控制领域,尤其涉及一种应用程序的控制方法及终端。
背景技术
:智能交互,尤其是智能语音交互,是基于语音输入的新一代交互模式,通过说话就可以得到反馈结果;近年来,智能语音交互越来越多的应用至电脑,手机,pad、智能电视,智能导航,智能家居等各方面。以手机为例,手机中一般安装有大量的第三方app,而这些第三方app一般都是基于手机设备的触摸操作进行控制的,而通过触摸对第三方app进行控制具有一定的局限性。技术实现要素:本发明的实施例提供一种应用程序的控制方法及终端,能够解决现有技术中对应用程序采用触摸式控制所带来的局限性的问题。为达到上述目的,本发明的实施例采用如下技术方案:本发明实施例一方面提供一种应用程序的控制方法,该控制方法包括:在终端显示第一应用程序的第一操作界面的情况下,接收用户发出的用户操作指令,所述用户操作指令为语音指令或与所述终端的屏幕不接触的手势指令;确定所述第一操作界面上的控件中与所述用户操作指令对应的第一控件;执行所述第一控件的响应程序。可选的,所述确定所述第一操作界面上的控件中与所述用户操作指令对应的第一控件包括:识别所述用户操作指令,得到数据库中与所述第一操作界面和所述用户操作指令对应的第一控制指令;所述数据库存储有所述第一应用程序的配置文件;所述配置文件包括所述第一应用程序的至少一个操作界面的标识信息、以及所述操作界面上控件的标识信息与控制指令的对应关系,其中,所述第一应用程序的至少一个操作界面包含所述第一操作界面,所述控制指令包含所述第一控制指令;根据所述第一应用程序的配置文件包含的所述对应关系,获取与所述第一控制指令对应的第一控件的标识信息。可选的,所述根据所述第一应用程序的配置文件包含的所述对应关系,获取与所述第一控制指令对应的第一控件的标识信息包括:通过适配管理应用程序从所述第一应用程序的配置文件包含的所述对应关系中查找到与所述第一控制指令对应的第一控件的标识信息,并将所述第一控件的标识信息传输给所述终端的框架层,以使得所述框架层获取所述第一控件的标识信息。可选的,所述框架层包括:具有添加交互事件接口和读取交互事件接口的service、inputmanagerservice以及decorview;所述将所述第一控件的标识信息传输给所述终端的框架层,以使得所述框架层获取所述第一控件的标识信息包括:通过所述适配管理应用程序调用所述service的添加交互事件接口,以存储所述第一控件的标识信息并利用所述inputmanagerservice发送特定键值;通过所述decorview在确定收到所述特定键值后,调用所述service的读取交互事件接口,以读取所述第一控件的标识信息。可选的,所述控制方法还包括:显示多个应用程序的设置信息;所述设置信息用于表示所述数据库中是否包含所述应用程序的配置文件;若所述应用程序的设置信息表示所述数据库中包含该应用程序的配置文件,接收用户针对该应用程序的第一设置指令,并根据所述第一设置指令,从所述数据库中删除该应用程序的配置文件;若所述应用程序的设置信息表示所述数据库中未包含有该应用程序的配置文件,接收用户针对该应用程序的第二设置指令,并根据所述第二设置指令,向所述数据库中添加该应用程序的配置文件。可选的,所述显示多个应用程序的设置信息包括:确定所述终端上已安装的多个应用程序;确定所述数据库中具有配置文件的应用程序;根据所述终端上已安装的多个应用程序和所述数据库中具有配置文件的应用程序,显示所述终端上已安装的多个应用程序的设置信息。可选的,所述控制方法还包括:删除所述数据库中所述终端上未安装的应用程序的配置文件。可选的,所述控制方法还包括:判断所述第一应用程序是否属于设定的应用程序集合,以便在所述第一应用程序属于该应用程序集合的情况下,执行所述确定所述第一操作界面上的控件中与所述用户操作指令对应的第一控件的步骤。本发明实施例另一方面还包括一种终端,包括显示器、接收器和处理器;所述显示器用于显示第一应用程序的第一操作界面;所述接收器用于在所述显示器显示第一应用程序的第一操作界面的情况下,接收用户发出的用户操作指令,所述用户操作指令为语音指令或与所述终端的屏幕不接触的手势指令;所述处理器用于确定所述第一操作界面上的控件中与所述用户操作指令对应的第一控件;并执行所述第一控件的响应程序。可选的,所述处理器用于识别所述用户操作指令,得到数据库中与所述第一操作界面和所述用户操作指令对应的第一控制指令;所述数据库存储有所述第一应用程序的配置文件;所述配置文件包括所述第一应用程序的至少一个操作界面的标识信息、以及所述操作界面上控件的标识信息与控制指令的对应关系,其中,所述第一应用程序的至少一个操作界面包含所述第一操作界面,所述控制指令包含所述第一控制指令;所述处理器还用于根据所述第一应用程序的配置文件包含的所述对应关系,获取与所述第一控制指令对应的第一控件的标识信息。本发明实施例再一方面还提供一种计算机可读介质,其存储有计算机程序,所述计算机程序被终端执行时实现如前述的应用程序的控制方法。本发明实施例再一方面还提供一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在终端上运行时,使得所述终端执行如前述的应用程序的控制方法。本发明实施例提供一种应用程序的控制方法及终端,该应用程序的控制方法包括在终端显示第一应用程序的第一操作界面的情况下,接收用户发出的用户操作指令,用户操作指令为语音指令或与终端的屏幕不接触的手势指令;确定第一操作界面上的控件中与用户操作指令对应的第一控件;执行第一控件的响应程序。相比于现有技术在启动控件的响应程序时,需要依次在终端上开启应用软件,进入应用程序的操作界面,点击触摸显示屏上显示的控件的图标、或者通过鼠标点击显示屏上显示的控件的图标来触发控件的响应程序;而本发明实施例中不需要手指或鼠标直接作用于第一控件的图标上,而是在进入第一应用程序的第一操作界面后,通过非接触式的语音指令或手势指令来从第一操作界面上的多个控件中找到用户操作指令所指示的第一控件,继而可以触发第一控件的响应程序,实现对应用程序的控制,能够扩展应用程序的使用方式,同时能够提高用户的体验效果。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本发明实施例提供的一种应用程序的控制方法的流程图;图2为本发明实施例提供的另一种应用程序的控制方法的流程图;图3为本发明实施例提供的一种应用程序的控制方法的部分流程图;图4为本发明实施例提供的一种应用程序的控制方法的部分流程图;图5为本发明实施例提供的一种操作系统的部分逻辑结构示意图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另外定义,本发明实施例中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。本发明实施例提供一种应用程序的控制方法,该控制方法的执行主体可以是应用程序的控制装置,例如:可以是终端,也可以是终端中包含的硬件和/或软件。如图1所示,该控制方法包括:步骤s101、在终端显示第一应用程序的第一操作界面的情况下,接收用户发出的用户操作指令,用户操作指令为语音指令或与终端的屏幕不接触的手势指令。其中,终端可以是手机、计算机、笔记本、pad(英文全称为portabledevice,中文释义为:便携式设备)等。该终端支持的操作系统可以是ios系统、安卓(android)系统等,本实施例中以安卓系统为例。终端上可以安装很多应用程序(application,简称app),基于安卓系统的应用程序的安装包称为apk(androidpackage)。终端上安装的应用程序可以包含终端出厂时自带的,也可以是后续根据用户自身的需求,通过下载安装至终端上的;例如,终端上可以安装日历、浏览器、微信等应用程序。各个应用程序都有多个显示界面(即可呈现在终端屏幕上的界面),在本实施例中将包含有控件的显示界面称为操作界面。上述第一应用程序是能够在终端上安装并运行的多个应用程序中的任一个,第一操作界面是第一应用程序的多个操作界面中的任一个。可以理解的是,在用户操作指令为语音指令的情况下,一般通过麦克风接收该用户操作指令,例如,用户可以按压(一般是长按,即用于开始按压至发出语音指令后才停止按压)终端上的用于语音采集的按键,使得终端通过麦克风采集用户发出的用户操作指令。这里需要强调的是,用于语音采集的按键可以是终端上的物理按键,也可以是虚拟按键(屏幕中设置的图标),例如可以是主菜单按键(或称为菜单键)。可选的,本发明实施例提供的控制方法适用于终端安装的多个应用程序中的每一个,此时用于语音采集的按键应独立于这多个应用程序之外(即用于语音采集的按键不属于第一应用程序),以使得这些应用程序无需进行用户操作指令的识别。当用户操作指令为与终端的屏幕不接触的手势指令的情况下,一般通过摄像头接收用户操作指令。当然,在接收到用户操作指令后一般需要进行识别,对于具体的识别方式,本发明对此不作具体限定。步骤s102、确定第一操作界面上的控件中与用户操作指令对应的第一控件。通常而言,终端屏幕上显示了第一应用程序的第一控件的图标,用户可通过对屏幕触摸或通过鼠标命中第一控件,相比之下,本发明实施例中是希望终端能够支持更多的方式来命中第一控件,例如可以通过改变的第一应用程序,使得改变后的第一应用程序执行此步骤,来实现通过语音或与屏幕不接触的手势命中第一控件的目的。然而,由于终端上安装的应用程序种类往往非常繁多,若是多个都需要改变,则需要重新开发这类应用程序,这样除了工作量大之外,还涉及到与开发这些应用程序的公司合作的问题,时间和经济成本都很高。因此,本发明实施例中,为了不改变第一应用程序,可以通过能够安装在终端的程序中除第一应用程序以外的部分来执行此步骤,以命中第一控件。步骤s103、执行第一控件的响应程序。相比于现有技术在启动第一控件的响应程序时,需要依次在终端上开启第一应用软件,进入第一应用程序的第一操作界面,点击触摸显示屏上显示的第一控件的图标、或者通过鼠标点击显示屏上显示的第一控件的图标来触发第一控件的响应程序;而本发明实施例中不需要手指或鼠标直接作用于第一控件的图标上,而是在进入第一应用程序的第一操作界面后,通过非接触式的语音指令或手势指令来从第一操作界面上的多个控件中找到用户操作指令所指示的第一控件,继而可以触发第一控件的响应程序,实现对应用程序的控制,能够扩展应用程序的使用方式,同时能够提高用户的体验效果。另外,随着互联网的迅速发展,终端(例如手机)上安装的应用程序也越来越多,为了避免针对单个应用程序重新开发来实现上述通过语音指令或手势指令实现对应用程序的控制,而造成成本提升的问题,本发明实施例对,在不改变第一应用程序自身的前提下,采用安装在终端的程序中除第一应用程序以外的部分来实现(语音或者手势)对第一应用程序的控制,下面通过具体实施例对这种控制方式进行详细介绍。以安卓系统为例,终端中的系统按照逻辑结构可划分为应用层(applicationlayer)、框架层(frameworklayer)、硬件抽象层(hardwareabstractionlayer,hal)等。基于该逻辑结构,可参考图5中,本发明实施例提供了终端的系统架构中涉及应用层和框架层的部分。其中,应用层包括:一个或多个需要被用户操作指令(语音或者手势)控制的应用程序(可以是终端原厂自带的;也可以是出厂后下载安装的app,例如第三方app),这些应用程序中包含上述的第一应用程序;此外,应用层还包括适配管理应用程序(可称为适配管理app或适配管理apk)。适配管理应用程序用于根据用户操作指令,获取与用户操作指令对应的第一控件的标识信息,其可以是终端出厂自带的,也可以在终端出厂后进行下载安装。框架层包括:用于添加和读取交互事件的service(服务),decorview(窗口装饰视图),以及inputmanagerservice(输入管理服务)。其中,inputmanagerservice用于模拟一个按键事件,具体的,可以发送键值(本实施例中用于发送特定键值,特定键值为预先规定的键值)。用于添加和读取交互事件的service包括:添加交互事件接口和读取交互事件接口;示例的,可以在系统源代码systemservice.java中增加实现添加和读取交互事件功能的service。添加交互事件接口用于将第一控件的标识信息(以及与其相关的信息)存储到预定存储空间(可以是框架层的预定存储空间),并通过inputmanagerservice发送特定键值;其可被适配管理应用程序调用。读取交互事件接口用于从预定存储空间中读取第一控件的标识信息(以及与其相关的信息)。decorview用于判定接收到的键值是否为特定键值,并在确定接收到特定键值后调用读取交互事件接口;示例的,系统源代码phonewindow.java中的decorview增加本实施例中处理特定键值的逻辑,以实现其功能。以上述的系统架构为例,参考图2所,上述步骤s102可以包括:步骤s1021、识别用户操作指令,得到数据库中与第一操作界面和用户操作指令对应的第一控制指令。示例的,此步骤可以由终端中的适配管理应用程序执行。其中,上述数据库存储有第一应用程序的配置文件;该配置文件包括第一应用程序的至少一个操作界面的标识信息、以及操作界面上控件的标识信息与控制指令的对应关系,其中,第一应用程序的至少一个操作界面包含第一操作界面,控制指令包含第一控制指令。需要说明的是,上述配置文件中,操作界面的标识信息是指对操作界面起唯一标识的信息,例如,可以是操作界面的activity(安卓系统中的activity组件)名称;上述操作界面上的控件的标识信息包括对控件起唯一标识的信息,例如可以包括控件id、控件类型,还可以进一步包含关联控件id、关联控件类型等等。另外,上述配置文件中除了包含操作界面的标识信息、操作界面上控件的标识信息与控制指令的对应关系外,还可以包含有其他相关的信息,例如应用程序的包名等。上述控制指令包含在数据库中,与用户操作指令相对应。针对语音控制而言,终端接收到的语音指令是一段语音信号,终端需要识别语音信号(例如可以包含语音识别和语义识别),以在数据库中找到与语音信号语音和/或语义相同的控制指令(即终端“认识”的指令)。例如:数据库包括多个控制指令(例如包括:“搜索”、“进入”、“选择”、“播放”、“暂停”、“退出”、“上一个”、“下一个”、“发送”等。用户打开浏览器页面时,发出语音指令为:“请检索刘德华”,适配管理应用程序可以根据语音和语义识别,确定该语音指令对应的控制指令为“搜索”。针对手势控制而言,与终端的屏幕不接触的手势指令可能是“手指从左向右移动”、“手指从右向左移动”、“多个手指从外向里收缩”、“多个手指从里向外扩张”等,通过识别可以得到这些手势指令分别对应的控制指令为“上一个”、“下一个”、“缩小”、“放大”等。此步骤具体可以是:识别用户操作指令,以得到与用户操作指令对应的控制指令(简写为控制指令a);再通过数据库存储的第一应用程序的配置文件,确定第一操作界面的标识信息对应的控制指令中是否包含控制指令a,若包含,则该控制指令a为第一控制指令;若不包含,则未找到第一控制指令,可以发出重新输入用户操作指令的提醒。步骤s1022、根据第一应用程序的配置文件包含的对应关系,获取与第一控制指令对应的第一控件的标识信息。具体的,由于第一应用程序的配置文件包含有第一操作界面上控件的标识信息与控制指令的对应关系,因此,在步骤s101中终端在接收用户发出的用户操作指令后,通过对用户操作指令的识别,可以将该用户操作指令与第一应用程序的配置文件中的控制指令进行匹配,当匹配到第一应用程序的配置文件中的第一控制指令的情况下,则通过配置文件中的对应关系,获取与该第一控制指令对应的第一控件的标识信息。其中,第一控件是指第一操作界面上用于实现第一控制指令所指示功能的控件。示例的,通过步骤s1021获知第一控制指令为“搜索”,那么通过步骤s1022确定出第一操作界面上用于实现搜索功能的控件。可选的,步骤s1022包括:通过适配管理应用程序从第一应用程序的配置文件包含的对应关系中查找到与第一控制指令对应的第一控件的标识信息(即:根据第一控制指令和对应关系,可以找到第一控件的标识信息),并通过适配管理应用程序将第一控件的标识信息传输给终端的框架层,以使得框架层获取第一控件的标识信息。由于现有技术中,要想执行一控件的响应程序,也需先让框架层获取到第一控件的标识信息;在本实施例中通过借助适配管理应用程序让框架层得到第一控件的标识信息,从而与现有技术合理对接,并且不改变原有的第一应用程序,不会产生因多种应用程序的开发问题带来的弊端。基于安卓(android)系统的开源性,可深度定制的优点,本发明实施例可以在原有安卓操作系统的基础上,增加了上述用于添加和读取交互事件的service,并且对inputmanagerservice和decorview做出相应的改变,以实现上述各自的功能。可选的,步骤s1022中“通过适配管理应用程序将第一控件的标识信息传输给终端的框架层,以使得终端的框架层获取第一控件的标识信息”这一步骤可以通过用于添加和读取交互事件的service(服务),decorview,以及inputmanagerservice配合完成,包括:通过适配管理应用程序调用service的添加交互事件接口,存储第一控件的标识信息并通过inputmanagerservice发送特定键值;decorview在确定收到特定键值后,调用service的读取交互事件接口,读取第一控件的标识信息。示例的,适配管理应用程序中包含有代码,执行该代码能够调用service中的添加交互事件接口,以存储第一控件的标识信息;service和inputmanagerservice处于同一个进程,service中的添加交互事件接口,还可以调用inputmanagerservice中的injectinputevent接口来模拟按键事件,也即发送特定键值给框架层的按键事件处理部分,框架层的按键事件处理部分接收到特定键值后,会查找当前活动窗口,并通过当前活动窗口的inputchanel发送给第一应用程序的进程中,具体的,发送给第一应用程序的窗口管理部分(也可称为窗口管理器,windowmanager)。第一应用程序的窗口管理部分在接收到的特定键值后,逐层处理到decorview中的代码,执行decorview中的代码能够判断是否收到特定键值,并在确定收到特定键值后,调用读取交互事件接口,以读取第一控件的标识信息。这样一来,不需要针对应用程序重新开发即可实现语音或者手势控制,节省了人力和时间成本;并且由于无需对应用程序本身进行修改,从而避免了与第三方公司合作的弊端;另外,终端上的多个应用程序均可与终端兼容进行语音或者手势控制,从而提供给用户更多的内容和服务,提供了用户的体验性。以下实施例均是以用户操作指令为语音指令,也即整个控制为语音控制为例,对本发明做进一步的说明。在此基础上,对于执行上述步骤s1022中根据第一应用程序的配置文件包含的对应关系,获取与用户操作指令对应的第一控件的标识信息的程序而言,可以是直接安装于终端上,也可以是安装于远程服务器上,本发明对此不作具体限定;当然,对于在该部分程序安装于远程服务器的情况下,服务器需要安装相关的模拟器对终端上的应用程序进行控制,并且将相关的控件的标识信息返回给终端,从而导致终端与服务器之间需要较大的网络开销和服务器资源,并且网络延时容易造成用户的体验性不好的问题,因此本发明实施例中,优选的,执行上述步骤s1022的程序位于终端上(以下实施例均是以此为例对本发明进行说明的)。另外,如图3所示,本发明中对应用程序的控制方法还包括:显示多个应用程序的设置信息;该设置信息用于表示数据库中是否包含应用程序的配置文件。此处应当理解到,上述对于显示的多个应用程序而言,必然是终端上安装有该多个应用程序。其中,若应用程序的设置信息表示数据库中包含该应用程序的配置文件,可以接收用户针对该应用程序的第一设置指令(也可以称为删除指令),并根据第一设置指令,从数据库中删除该应用程序的配置文件。若应用程序的设置信息表示数据库中未包含有该应用程序的配置文件,可以接收用户针对该应用程序的第二设置指令(也可以称为添加指令),并根据第二设置指令,向数据库中添加该应用程序的配置文件(具体的,可以是从服务器中向数据库中添加该应用程序的配置文件)。此处应当理解到,对于上述应用程序的设置信息表示数据库中包含该应用程序的配置文件的情况下,则表明该应用程序是能够进行语音控制;但是用户可以根据实际的需要,例如用户很少或者几乎从不对某一应用程序进行语音控制,选择通过第一设置指令,从数据库中删除该应用程序的配置文件,从而能够释放一定的内存占用量。具体的,对于上述安装在终端上、但数据库中未包含有该应用程序的配置文件的情况下,通过向终端发出第二设置指令,来获取该应用程序的公钥和签名信息,进而从数据库中添加该应用程序的配置文件。当然,对于上述“显示多个应用程序的设置信息”而言,具体可以包括:(具体可以参考图4)步骤s201、确定终端上已安装的多个应用程序。步骤s202、确定数据库中具有配置文件的应用程序。步骤s203、根据终端上已安装的应用程序和数据库中具有配置文件的应用程序,显示终端上已安装的应用程序的设置信息。另外,为了减小不必要的内存占用量,如图4所示,本发明中关于应用程序的控制方法还可以包括:步骤s203’、删除数据库中终端上未安装的应用程序对应的配置文件。此处说明的是,进行上述步骤s203’时,必然也确定数据库中具有配置文件的应用程序(上述步骤s201),以及确定数据库中具有配置文件的应用程序(步骤s202),但是对于步骤s203’和步骤s203本身而言,两者之间并不存在先后顺序或者依赖关系,两个步骤为基于步骤s201和步骤s202的独立控制步骤。还应当理解到,对于终端上未安装的应用程序,而数据库中存储有该应用程序的配置文件的情况下,数据库中存储的对应终端上未安装的应用程序的配置文件是无法正常应用的,因此,通过上述删除数据库中关于终端上未安装的应用程序对应的配置文件的方式,能够达到释放内存的目的。对于上述图3、图4中关于上述应用程序的配置文件的相关控制过程一般均由前述的适配管理应用程序来进行管理控制;当然对于相关的显示(例如设置信息的显示),必然是由终端的显示器进行显示。在此基础上,为了快速、准确的执行上述步骤s102中确定第一操作界面上的控件中与用户操作指令对应的第一控件,本发明优选的,该控制方法还包括:判断第一应用程序是否属于设定的应用程序集合,以便在第一应用程序属于该应用程序集合的情况下,执行上述步骤s102;也即在对应用程序进行智能控制之前,先进行判断该应用程序能否进行语音控制。当然,对于上述步骤s102包括步骤s1021和步骤s1022的情况下,上述应用程序集合实质为,数据库中具有配置文件的应用程序集合;实际的判断方式可以为:通过配置文件中的应用程序包名、activity名称来判断终端显示的第一操作界面是否存储于数据库中,也即通过在数据库中查找当前显示的第一操作界面的activity名称,来判断当前显示的操作界面能否进行语音控制。示意的,以下以语音“搜索刘德华”为例,参考前述的优选控制方法,对本发明中的应用程序的控制方法做进一步具体的说明。当终端在显示第一应用程序的第一操作界面的情况下,接收到“搜索刘德华”的用户操作指令时,适配管理应用程序对该用户操作指令进行语音分析,解析出该用户操作指令的意图和对象实体;当然,对于语音分析部分可以采用现有技术中常用的方式进行,本发明对此不作限定。于此同时,适配管理应用程序通过判断当先显示的第一操作界面是否为语音控制界面(具体判断方式可以参考前述实施例),在该第一操作界面(也即当前运行的应用程序的操作界面)为语音控制界面的情况下,也即数据库中包含有该应用程序的配置文件(包含了操作界面的标识信息、以及操作界面上控件的标识信息与控制指令的对应关系)的情况下,在配置文件中匹配当前操作界面下与前述语音操作指令对应的控制指令(也即配置文件中关于控件的命令描述),以及通过配置文件包含的对应关系得到与控制指令对应的控件的标识信息,具体如下:当适配管理应用程序得到与控制指令对应的控件的标识信息(如上的信息)以后,会通过service的添加交互事件接口,存储该控件的标识信息,并通过inputmanagerservice发送特定键值,decorview在确定收到特定键值后(应当理解到,此时窗口管理部分代码,属于操作系统中代码部分,处理这个键值时,在判定到该特定键值为预设键值时,则确定收到特定键值),调用service的读取交互事件接口,读取该控件的标识信息,会读取用户操作指令中关于控件id、关联id的内容,并进一步的将关联id的内容被指定为“刘德华”(应当理解到,此时关联id的关联类型为文本框)。在将关联id的控件的内容设置为“刘德华”后,通过该控件对应的处理接口进行响应(也即触发对应的“搜索”按钮),从而完成一次语音控制。本发明实施例还提供一种终端,该终端包括显示器、接收器和处理器。其中,显示器用于显示第一应用程序的第一操作界面。接收器用于在显示器显示第一应用程序的第一操作界面的情况下,接收用户发出的用户操作指令,用户操作指令为语音指令或与终端的屏幕不接触的手势指令。具体的,在用户操作指令为语音指令的情况下,上述接收器可以为麦克风,以接收该用户的语音操作指令;当用户操作指令为与终端的屏幕不接触的手势指令的情况下,上述接收器可以摄像头,以接收该用户的手势操作指令。处理器用于确定第一操作界面上的控件中与用户操作指令对应的第一控件;并执行第一控件的响应程序。示例性的,上述的处理器可以是中央处理器(centralprocessingunit,cpu),通用处理器,数字信号处理器(digitalsignalprocessor,dsp),专用集成电路(application-specificintegratedcircuit,asic),现场可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等等。基于此,相比于现有技术在启动第一控件的响应程序时,需要依次在终端上开启第一应用软件,进入第一应用程序的第一操作界面,点击触摸显示屏上显示的第一控件的图标、或者通过鼠标点击显示屏上显示的第一控件的图标来触发第一控件的响应程序;而本发明实施例中不需要手指或鼠标直接作用于第一控件的图标上,而是在进入第一应用程序的第一操作界面后,通过非接触式的语音指令或手势指令来从第一操作界面上的多个控件中找到用户操作指令所指示的第一控件,继而可以触发第一控件的响应程序,实现对应用程序的控制,能够扩展应用程序的使用方式,同时能够提高用户的体验效果。在此基础上,为了避免针对单个应用程序重新开始来实现上述通过语音指令或手势指令实现对应用程序的控制,而造成成本提升的问题,本发明优选的,在不改变应用程序自身的前提下,来实现(语音或者手势)对应用程序的控制,在此情况下,上述处理器具体如下:上述处理器用于识别用户操作指令,得到数据库中与第一操作界面和用户操作指令对应的第一控制指令。其中,数据库存储有第一应用程序的配置文件;该配置文件包括第一应用程序的至少一个操作界面的标识信息、以及操作界面上控件的标识信息与控制指令的对应关系,其中,第一应用程序的至少一个操作界面包含第一操作界面,控制指令包含第一控制指令。该处理器还用于根据第一应用程序的配置文件包含的对应关系,获取与第一控制指令对应的第一控件的标识信息。进一步的,在终端上安装有操作系统,以该操作系统为安卓系统(包括应用层和框架层)为例,可以知道的是,应用层包括:一个或多个需要被用户操作指令(语音或者手势)控制的应用程序以及适配管理应用程序;通过适配管理应用程序从第一应用程序的配置文件包含的对应关系中查找到与第一控制指令对应的第一控件的标识信息,并将第一控件的标识信息传输给终端的框架层,以使得框架层获取第一控件的标识信息。具体的,可以通过用于添加和读取交互事件的service(服务),decorview,以及inputmanagerservice配合完成,包括:通过适配管理应用程序调用service的添加交互事件接口,存储第一控件的标识信息并通过inputmanagerservice发送特定键值;decorview在确定收到特定键值后,调用service的读取交互事件接口,读取第一控件的标识信息。当然,对于该终端中相关的解释说明可以对应的参考前述控制方法实施例中的对应部分;对于该终端中其他的相关设置情况,可以结合的参考前述控制方法实施例中的对应部分,设置相应的程序即可,此处不再一一赘述。本发明实施例另一方面还提供一种计算机可读介质,其存储有计算机程序,该计算机程序被终端执行时实现如前述的控制方法。示例性的,计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘,硬盘、磁带)、光介质(例如,dvd)或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。本发明实施例再一方面还提供一种包含指令的计算机程序产品,当该计算机程序产品在终端上运行时,使得终端执行如前述的控制方法。示例性的,上述的计算机程序产品包括一个或多个计算机指令。另外,本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本
技术领域
:的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1