语音交互方法以及装置与流程

本发明涉及语音识别技术领域，具体而言，涉及一种语音交互方法、装置、电子设备以及计算机可读存储介质。

背景技术：

语音是人类惯于使用的交流方式，与其他交流手段相比不仅更加自然，而且具有认知负荷小，资源占用少和交互效率高等优点。语音作为一种强大随意的控制入口，目前已经在个人电脑、移动通讯终端等各种电子设备中得到了广泛应用，用户通过录入语音，就可以在电子设备上执行所需的查询、搜索、拨打电话等操作，方便用户的使用。

现有的语音交互方式，通常需要对电子设备中支持语音操作的应用程序进行定制，语音交互过程包括以下处理环节：经过定制的应用程序显示支持语音操作的窗口后，会向操作系统提供的语音服务注册该窗口所支持的语音指令集合；当语音服务接收用户输入的语音信息后，若检测出语音信息与该应用程序已注册的语音指令集中的某语音指令相符，则将语音信息转换成相应的控制指令发送给该应用程序的相应窗口，应用程序通过预先定制的代码进行响应。

但一方面，如果针对每个应用程序的各窗口均进行定制开发语音交互功能，将极大的增加开发人员的工作量；另一方面，对于很多没有定制开发语音交互功能的应用程序，将无法具有语音交互功能，阻碍了语音交互方式在电子设备上的推广应用。

围绕语音交互这个主题，现有技术中已经有一些专利申请进行了有益的尝试，比如：

申请号为cn201410634017.2的专利申请公开了一种基于语音交互的软件运行方法及系统，所述软件与所述语音助手独立运行，所述语音助手获取所述软件运行的执行项目信息，所述语音助手将语音识别转换结果与获取的执行项目信息进行匹配，然后对于匹配的执行项目信息，根据执行项目元素信息和执行项目状态信息和语音信息，由软件进行操作执行。所述基于语音交互的软件运行方法及系统，根据软件的实时执行项目信息进行对其进行操作和使用，使语音软件真正迈向智能化，同时，与软件分开独立运行，可以一个语音助手与多个软件配合使用，大大节约系统资源。但每个应用程序均包括大量的不同操作指令，而且不同的应用程序包括的操作指令更是差异极大。这样，对于语音助手的智能化要求则非常的高。

申请号为cn201110081146.x的专利申请公开了一种能广泛应用在pc、手机、家用电器等各种终端设备上的语音识别与交互系统。整个系统包括：交互设计器、交互执行器、平台抽象库、交互插件、平台api核心库五个部分：交互设计器中提出了一种全新的交互设计方法，通过直观的操作就可以完成整个交互的设计；交互执行器用来解释执行交互脚本；交互插件用于扩展已有交互平台抽象库的功能和增加一些特殊应用；平台抽象库用于实现多平台的可移植性和与具体平台的独立性；平台api核心库通过封装具体平台操作系统的api，方便可被平台抽象库调用。但该方案可以实现的操作指令较少，难以应用于需要操作较多的应用程序。

申请号为cn201610736268.0的专利申请公开了一种基于语音交互的控制方法及系统。该方法通过唤醒信号启动语音交互系统，语音交互系统实时侦听语音信息，将侦听的语音信息转换成文字信息，对转换的文字信息进行分析，通过与系统预先存储的功能参数判断语音信息对应的文字信息的功能参数是否完整，若完整，则执行相应的操作；若不完整，根据缺少的功能参数提示用户回复要执行的操作，从而实现实时通过语音调用系统操作。采用该控制方法及系统，可随时选择不同功能操作，或者选择同一功能的不同执行参数，满足用户的不同需求。但该方案存在与cn201410634017.2类似的问题。

因此，需要提供一种适应性更高、识别更加快速准确的语音交互方法，以至少能够解决上述一个或多个技术问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明的目的在于提供一种语音交互方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本发明的一个方面，提供一种语音交互方法，所述方法包括：

查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；

根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；

接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；

确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

在本发明的一种示例性实施例中，所述基于所述控件信息获取可进行预设操作的控件为目标控件，包括：

对于当前应用程序窗口中的每一控件，获取该控件的所述控件信息中包括的触发操作类型并判断所述触发操作类型和所述预设操作是否一致；

如果所述触发操作类型和所述预设操作一致，则将对应的所述控件作为目标控件。

在本发明的一种示例性实施例中，所述预设操作为触控点击操作和/或鼠标单击操作。

在本发明的一种示例性实施例中，所述根据预设规则为各所述目标控件分别分配一短标识，包括：

按照预设顺序，为所述各所述目标控件依次分配数字标识、字母标识或者自定义标识。

在本发明的一种示例性实施例中，所述对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识，包括：

对所述语音信息进行语音识别，以将所述语音信息转换为文本信息；

对所述文本信息进行匹配操作，获取包含的待响应的所述短标识。

在本发明的一种示例性实施例中，所述对语音信息进行语音识别，包括：

通过深度神经网络模型、隐马尔科夫模型、高斯混合模型中的一种或多种模型，对所述语音信息进行语音识别。

在本发明的一种示例性实施例中，所述在所述目标位置模拟执行所述预设操作，包括：

通过模拟手动输入设备的动作，在所述目标位置执行所述预设操作；所述手动输入设备包括触摸屏和/或鼠标。

根据本发明的一个方面，提供一种语音交互装置，所述装置包括：

目标控件检测模块，用于查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；

短标识分配模块，用于根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；

短标识识别模块，用于接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；

操作模拟模块，用于确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

在本发明的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。

在本发明的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。

本发明的示例性实施例中的语音交互方法，首先为目标控件分别分配短标识；其次，识别接收到的语音信息中包括的待响应的短标识；最后，以确定待响应的短标识在当前应用程序窗口中的位置为目标位置，并在目标位置模拟执行预设操作，从而触发对应的目标控件。一方面，不是针对某一应用程序或者应用程序的某一窗口提供语音支持，而是从系统层面提供语音支持；同时，由于采用了模拟执行预设操作的方式，因此应用程序对于预设操作可以按照常规处理逻辑进行响应即可；基于这两点，开发人员无需针对程序代码作任何语音方面的适配工作，在对语音交互方式提供完善支持的同时，减少了开发人员的工作量。另一方面，本发明中统一为目标控件分配预设的不同短标识，这样，则可以对用户发出的语音信息有所预期，不但语音识别所需的特征库可以大幅度减少，而且语音识别准确率可以得到保障。因此，通过本发明可以进一步促进语音交互方式在电子设备上的推广应用。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

通过参照附图来详细描述其示例实施例，本发明的上述和其它特征及优点将变得更加明显。

图1示出了根据本发明一示例性实施例的语音交互方法的流程图；

图2示出了根据本发明一示例性实施例的短标识位置示意图；

图3示出了根据本发明一示例性实施例的语音交互装置的示意框图；

图4示意性示出了根据本发明一示例性实施例的电子设备的框图；以及

图5示意性示出了根据本发明一示例性实施例的计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本示例实施例中，首先提供了一种语音交互方法，可以应用于计算机或者移动终端等电子设备；参考图1中所示，该语音交互方法可以包括以下步骤：

步骤s110、查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；

步骤s120、根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；

步骤s130、接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；

步骤s140、确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

根据本示例实施例中的语音交互方法，一方面，不是针对某一应用程序或者应用程序的某一窗口提供语音支持，而是从系统层面提供语音支持；同时，由于采用了模拟执行预设操作的方式，因此应用程序对于预设操作可以按照常规处理逻辑进行响应即可；基于这两点，开发人员无需针对程序代码作任何语音方面的适配工作，在对语音交互方式提供完善支持的同时，减少了开发人员的工作量。另一方面，本发明中统一为目标控件分配预设的不同短标识，这样，则可以对用户发出的语音信息有所预期，不但语音识别所需的特征库可以大幅度减少，而且语音识别准确率可以得到保障。因此，通过本发明可以进一步促进语音交互方式在电子设备上的推广应用。

下面，将对本示例实施例中的语音交互方法进行进一步的说明。

在步骤s110中，查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件。

本示例实施方式中，所述当前应用程序窗口可以是前台运行的应用程序的窗口；以android操作系统为例，可以在应用程序启动时初始化一个只保存多个元素的任务栈用来存储当前页面组件(activity)与历史页面组件(activity)；其中，当前页面组件为前台运行的应用程序的组件或者由前台运行的应用程序的组件激活的其他应用程序的组件；当前页面组件之外的其他页面组件则为后台运行的应用程序的组件。当然，在本发明的其他示例性实施例中，所述当前应用程序窗口也可以包括系统窗口，例如系统桌面窗口等，本示例性实施例中对此不做特殊限定。

以移动终端设备为例，所述当前应用程序窗口包括的控件可以包括例如按钮、超链接、列表、文本输入框等。对于移动终端设备的操作系统而且，通常都提供窗口管理服务，应用程序或者系统程序可以通过与窗口管理服务进行交互，从而将窗口内容显示到屏幕上。因此，在实施本技术方案时，可以监控窗口管理服务从而获取当前应用程序窗口包含的控件以及和所述控件的控件信息。具体而言，在应用程序希望在前台呈现某一窗口时，可以向窗口管理服务发送请求，触发窗口管理服务调用相应的窗口显示处理函数；因此，可以在该函数中可以添加监控代码，获取应用程序希望在前台呈现的窗口中包含的控件以及和所述控件的控件信息。

对于当前应用程序窗口中的每一控件，其对应的控件信息可以包括控件的类型、控件名称、控件的触发操作类型、控件的布局信息以及控件id等等。本示例实施方式中，可以获取各控件的控件信息中的触发操作类型，进而可以判断触发操作类型和预设操作是否一致。本示例实施方式中，所述预设操作可以为触控点击操作和/或鼠标单击操作。举例而言，在一移动终端设备中，当前应用程序窗口中包括刷新按钮、前进按钮、超链接url1以及展示控件；对于刷新按钮、前进按钮以及超链接url1而言，其对应的触发操作类型均为触控点击操作，因此，可以判断刷新按钮、前进按钮以及超链接url1这三个控件的触发操作类型和预设操作一致，进而可以将刷新按钮、前进按钮以及超链接url1作为目标控件。

当然，在本发明其他示例性实施例中，所述预设操作也可以包括如滑动操作、长按操作或者按压操作等其他操作；相应的，所述目标控件也可以包括其他类型的控件，本示例性实施例中对此不做特殊限定。

在步骤s120中，根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识。

参考图2所示，在图2所示的应用程序窗口中，包括目标控件201至目标控件213。以短标识为三位数字为例，本示例实施方式中，可以按照从小到大的顺序，为目标控件201至目标控件213分别分配短标识001至013。此外，在本发明的其他示例性实施例中，所述短标识也可以为如字母、字母组合、字母数字组合等其他类型的短标识；或者，所述短标识也可以为用户自定义的标识；同时，本示例实施方式中对于短标识的具体长度不进行特殊限定，但不宜过长，例如优选不超过5个字符等。

需要说明的是，在图2中，是按照目标控件在应用程序窗口中的控件排布顺序以及短标识的大小顺序为目标控件分配短标识，但本发明并不以此为限。例如，对于如前进按钮、后退按钮、提交按钮、刷新按钮等常用控件，可以为其分配固定的短标识，从而降低用户的学习成本。又例如，对于任一应用程序窗口，用户在系统自动为各所述目标控件分别分配短标识之后，可以对短标识的顺序进行手动调整并保存至配置文件中，这样，在下次加载该应用程序窗口时，则可以根据配置文件进行短标识的分配。因此，本领域技术人员可以根据具体需求对于上述预设规则进行适应性的设置，本示例性实施例中对此不做特殊限定。

在上述步骤s110中获取的控件信息中，通常会包括控件的布局信息，例如控件在显示屏幕中的位置以及和控件的尺寸信息等。因此，为各所述目标控件分别分配短标识之后，可以根据目标控件的布局信息，在各所述目标控件所在位置呈现对应的所述短标识，例如统一显示在目标控件的中央位置、左上角位置或者右上角位置等等。这样，用户则可以直观的得知各目标控件对应的短标识。当然，在用户熟悉记忆各目标控件对应的短标识之后，为了页面美观等考虑，也可以根据用户设置隐藏在窗口中显示的部分或全部短标识，这同样属于本发明的保护范围。

在步骤s130中，接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识。

本示例实施方式中，用户可以通过麦克风等语音输入装置输入语音信息，而移动终端设备则可以接收到相应的语音信息。在接收到语音信息之后，可以对所述语音信息进行语音识别，以将所述语音信息转换为文本信息。

本示例实施方式中，可以通过深度神经网络模型、隐马尔科夫模型、高斯混合模型中的一种或多种模型，对各所述语音信息进行语音识别，获取对应的文本信息。例如，可以通过隐马尔科夫模型对时序信息进行建模，在给定隐马尔科夫模型的一个状态后，通过最大期望值算法等方法基于高斯混合模型对属于该状态的语音特征向量的概率分布进行建模；在建模成功之后，则可以对语音信息进行语音识别，获取对应的文本信息。当然，在本发明的其他示例性实施例中，也可以结合上下文信息(contextdependent)或者通过其他方式进行进行语音识别，本示例性实施例中对此不做特殊限定。

在获取上述文本信息之后，可以对所述文本信息进行匹配操作，获取包含的待响应的所述短标识。例如，用户通过麦克风朗读以下语句“007”，本示例实施方式中在对接收到的语音信息进行语音识别之后，可以识别出文本信息“007”，基于预存的短标识记录表对“007”进行匹配，则可以获取短标识“007”。又例如，用户通过麦克风朗读以下语句“执行007计划”，本示例实施方式中在对接收到的语音信息进行语音识别之后，可以识别出文本信息“执行007计划”，基于预存的短标识记录表对“执行007计划”进行匹配，则可以获取短标识“007”。相应的，如果基于预存的短标识记录表未在所述文本信息进行匹配到短标识，则可以提示用户重新输入语音信息。此外，在本发明的其他示例性实施例中，还可以要求用户在语音信息的开头增加唤醒词，以减少误操作等，本示例性实施例中对此不做特殊限定。

此外，由于本发明中统一为目标控件分配预设的不同短标识，这样，在进行语音识别时，则可以对用户发出的语音信息有所预期，不但语音识别所需的特征库可以大幅度减少，而且语音识别准确率可以得到保障。

在步骤s140中，确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

本示例实施方式中，可以通过模拟手动输入设备的动作，在所述目标位置执行所述预设操作；所述手动输入设备包括触摸屏和/或鼠标。以android操作系统为例，可以利用android操作系统提供的sendevent命令向触摸屏对应的设备节点发送触控事件，例如，可以向设备节点发送以下指令：先发送指定屏幕触控位置的sendevent指令，其中携带上述目标位置对应的坐标值，然后发送对应于触控操作中的点击操作(即通常所述的down动作以及up动作)的sendevent命令。通过发送上述指令，完整模拟了针对所述触控位置的一次触控点击操作；在操作系统将接收到触控事件分发给窗口管理服务后，窗口管理服务根据接收到的点击操作对应的目标位置，将接收到的点击操作转换成针对所述目标控件的触控事件，并向所述当前应用程序窗口发送针对所述目标控件的触控事件，从而触发所述窗口执行相应的处理操作。当然，根据操作类型的不同，可以通过不同的方式模拟，本示例性实施例中对此不做特殊限定。

由于本发明采用了模拟执行预设操作的方式，因此应用程序对于预设操作可以按照常规处理逻辑进行响应即可，从而开发人员无需针对程序代码作任何语音方面的适配工作，在对语音交互方式提供完善支持的同时，减少了开发人员的工作量，可以促进语音交互方式在电子设备上的推广应用。

需要说明的是，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种语音交互装置。参照图3所示，该语音交互装置300可以包括：目标控件检测模块310、短标识分配模块320、短标识识别模块330以及操作模拟模块340。其中：

目标控件检测模块310可以用于查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；

短标识分配模块320可以用于根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；

短标识识别模块330可以用于接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；

操作模拟模块340可以用于确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

上述中各语音交互装置模块的具体细节已经在对应的音频段落识别方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了语音交互装置400的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图4来描述根据本发明的这种实施例的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：上述至少一个处理单元410、上述至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处理单元410可以执行如图1中所示的步骤s110至步骤s160。

存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(rom)4203。

存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4204包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备400也可以与一个或多个外部设备470(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器460通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施例的方法。

在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

参考图5所示，描述了根据本发明的实施例的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限。