用于聊天机器人和人之间的会话交谈的全双工通信技术的制作方法

聊天机器人(chatbot)通过人类语言与作为用户的人类直接交互。聊天机器人的典型应用场景就是人工智能技术，聊天机器人常应用于即时通信、社交、智能电话个人助理等应用程序以及iot(物联网)智能设备上。通过使用聊天机器人与用户进行语音交谈，理解用户的意图并为用户提供想要的信息，从而省去了屏幕显示。

现有的聊天机器人，在与用户进行语音交谈的过程中，仍然使用消息作为交谈的构建单元，在模仿真人之间的会话交流方面还是存在很大的差距。

技术实现要素：

提供本发明实施例内容是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

公开的用于聊天机器人和人之间的会话交谈的全双工通信技术中，打破了现有技术中以消息为中心的聊天模式，实现了全双工模式的交谈模式，通过在获取到语音识别的中间结果时就预测用户要表达的完整表述，基于预测的完整表述来提前生成回复信息，从而在可以满足回复条件时，例如在判断用户说完一段话后，立即输出该回复信息，从而能够最小化用户的语音输入的结束与聊天机器人的语音输出的开始之间的迟滞。

上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。

附图说明

图1为本发明实施例的会话处理设备之一的应用示例框图；

图2为本发明实施例的会话处理方法之一的流程示意框图；

图3为本发明实施例的会话处理设备之二的应用示例框图；

图4为本发明实施例的线程管理的应用示例框图；

图5为本发明实施例的线程管理的数据结构的示例框图；

图6为本发明实施例的会话处理方法之二的流程示意框图；

图7为本发明实施例的会话处理设备之三的应用示例框图；

图8为本发明实施例的会话处理设备之四的应用示例框图；

图9为本发明实施例的会话处理设备的应用示例的示意框图；

图10为发明实施例的电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本文中，术语“技术”可以指代例如(一个或多个)系统、(一个或多个)方法、计算机可读指令、(一个或多个)模块、算法、硬件逻辑(例如，现场可编程门阵列(fpga))、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)和/或上述上下文以及在本文档通篇中所允许的(一项或多项)其它技术。

本文涉及对于聊天机器人与用户之间的会话方式的改进。聊天机器人主要应用三个相对独立的组件来构建与用户之间的会话，这些组件主要包括：语音识别(sr，speechrecognition)模块、聊天引擎(ce，conversationengine)模块以及文本到语音转换(tts，texttospeech)模块。对于已有的聊天机器人，在用户输入语音的过程中，聊天机器人始终处于听的角色，使用语音识别模块将语音输入转换成文本，然后聊天机器人判断用户说完一个句话或者一个语言段落后，再根据转换后的文本，进行处理，生成文本形式的回复信息，然后再通过文本到语音转换模块进行语音输出。

从上面的处理过程可以看出，虽然表面上用户与聊天机器人进行语音交谈，但实际上，还是在进行基于消息的语音交互。这种方式与真实的人与人之间的聊天是有很大区别的。

真实的人与人之间的会话是在实时进行互动，在一方说话的同时，另一方已经在思考对方要表达的意思，并且在组织回复的语言，当对方说完一句话或者一个语言段落后，就会马上回复对方，有些时候，甚至会在对方没有说完的情况下，就直接打断对方的说话，直接回复对方的问题。也就是说，真人之间的谈话，是边说边思考的。

相比之下，聊天机器人在基于消息的语音交互中，是没法做到模仿人类边说话边思考的情形，每次的语音回复都是要等待用户说完一个完整的句子或者语言段落后，才进行回复语言的处理，这必然会造成聊天过程中的停顿感，从而无法很好地模拟真人聊天的感觉。用户与现有技术的机器人进行聊天，更像通过对讲机与另一个人之间进行轮流讲话。由此可见，这样的以消息为中心的设计对于聊天机器人与人类之间的语音交谈的丰富性和自然性带来了限制。

本发明实施例提出了一种全双工模式的会话信息的处理机制，聊天机器人在倾听用户输入的语音的同时，也在同步地预测用户想要表达的意思并准备回复信息。具体地，聊天机器人在与人之间进行交谈的过程中，基于语音识别的中间结果，预测用户想要表达的完整表述，并基于预测到的完整表述提前进行回复信息的准备工作，这样，在满足回复条件时(例如在用户讲完一个会话段落，从而产生了语音识别的最终结果时)，就可以及时输出回复信息。通过这样的方式，来更好地模拟人与人之间进行会话交流的感觉。

其中，进行会话交谈的双方，在一方表达完一个会话段落(可能是一句话也可能是几句话或者一句话的部分等)后，会产生语言的停顿，在这种情况下，一般是一方讲完了想表达的一小段意思，等待对方回复。一方的会话段落和另一方针对该会话段落的回复构成了会话的一个轮次。

上述的语音识别模块能够识别出这样的停顿，并且在这种停顿足够长时，确认为用户已经完成了一个会话段落，此时，将会针对该会话段落输出一整段语音识别结果，这个语音识别结果就是上述最终结果。上述的中间结果是指在一个会话段落没有结束之前，通过语音识别出来的结果。

如图1所示，其为本发明实施例的会话处理设备之一的应用示例框图100，图中的会话处理设备101可以被实现为或者设置于小型因素便携式(或移动)电子装置(例如，蜂窝电话、个人数据助理(pda)、个人媒体播放器装置、无线网络观看装置、个人头戴装置、iot(物联网)智能设备、专用装置或包括以上功能中的任何一个的混合装置)。会话处理设备101还可以被实现为或者设置于包括膝上型计算机和非膝上型计算机配置这二者的个人计算机。另外，会话处理设备101还可以被实现为或者设置于互联网中的服务器，该服务器通过一个或多个计算机系统中实现(分布式服务器)，也可以实现为基于云的服务器，该服务器可以通过互联网与用户终端连接，接收用户终端采集的用户的语音输出，进行会话处理后，生成回复信息，再返回给用户终端向用户输出。本实施例的会话处理设备101可以实现上述的聊天机器人的功能。

会话处理设备101可以包括：语音识别模块(sr，speechrecognition)102、语言预测模块(lp，languageprediction)103、回复信息生成模块104以及回复信息输出模块105。

语音识别模块102，用于对用户116输入的用户语音110进行语音识别，生成语音识别的中间结果111。此外，当一个会话段落结束时，语音识别模块102还会输出语音识别的最终结果114。其中，语音识别模块102可以包括声学模型(am，acousticmodel)模块106和语言模型(lm，languagemodel)模块107，其中，声学模型模块106输出音标符号序列形态的语音识别结果，语言模型模块107基于声学模型模块106输出的音标符号序列生成文本形态的语音识别结果。

语言预测模块103，用于根据中间结果111预测完整表述112。其中，该中间结果可以是声学模型模块106输出的音标符号序列形态的中间结果，和/或，语言模型模块107输出的文本形态的中间结果。

回复信息生成模块104，用于根据完整表述生成回复信息113。该回复信息生成模块104可以包括：聊天引擎(ce，conversationengine)模块108以及文本到语音转换(tts，texttospeech)模块109。其中，聊天引擎模块108用于根据预测的完整表述生成回复信息的内容，聊天引擎108输出的回复信息一般是文本形式的，然后再通过文本到语音转换模块109生成音频片段形式的回复信息。此外，回复信息生成模块104也可以根据最终结果114来生成回复信息。

回复信息输出模块105，用于响应于回复条件的到来，输出回复信息113给用户116，具体可以将回复信息113播放为机器语音115向用户输出。此外，对于回复信息113的输出方式可以采用语音方式输出，也可以采用文本显示的方式输出，例如，在一种场景下，用户通过语音与聊天机器人交流，而聊天机器人始终通过文本消息的形式进行回复(例如在平面上显示回复信息)，只要聊天机器人应用本发明实施例的技术方案，在进行会话的过程中，回复速度比现有技术中的类似于对讲机的模式快，那么用户就会有和真人聊天的感觉。

回复信息输出模块105主要用于回复信息113的输出控制，这里所说的回复条件可以是语音识别的最终结果114的产生，即当语音识别模块102识别出最终结果114时，可以触发输出回复信息113。在实际应用中，上述的回复条件还可以包括：预测出的完整表述与该最终结果114满足相似度的阈值，也就是说预测的完整表述112是相对准确的，在满足这样的条件下，再输出提前准备的回复信息113。如果预测出的完整表述112不满足相似度的阈值，则可以按照现有技术的方式，触发回复信息生成模块104中生成基于最终结果114的回复信息113，并将该回复信息113进行输出。

如图2所示，其为本发明实施例的会话处理方法之一的流程示意框图200，该会话处理方法包括：

s201：基于语音识别的中间结果预测完整表述。该步骤可以由上述的语音识别模块102和语言预测模块103来执行。

s202：基于预测的完整表述生成回复信息。该步骤可以由上述的回复信息生成模块104来执行。

s203：响应于回复条件的到来，输出回复信息。该步骤可以由上述的回复信息输出模块105来执行。

以上介绍了本发明实施例的最基本的语音处理机制，本发明实施例的会话处理方法及设备，打破了现有技术中以消息为中心的聊天模式，实现了全双工模式的交谈模式，通过在获取到语音片段信息(语音识别的中间结果)时来预测用户要表达的完整表述，基于预测的完整表述来提前生成回复信息，从而可以在满足回复条件时，例如在判断用户说完一段话后，立即输出该回复信息，从而能够最小化用户的语音输入的结束与聊天机器人的语音输出的开始之间的迟滞，还优化实现了更积极的响应。

下面通过较为详细的实现方案来进一步说本发明的技术，如图3所示，其为本发明实施例的会话处理设备之二的应用示例框图300。图中的会话处理设备301包括：

持续语音识别(csr，continuousspeechrecognition)模块302，用于对用户320输入的用户语音312进行持续语音识别，生成一个或多个语音识别的中间结果313和最终结果314。在实际应用中，可以在每识别完一个字或者一个词时，就输出一个中间结果313，这个中间结果313是从用户语音312开始到当前识别完的字或者词为止的语言片段，例如，假设完整的用户语音312为“我想喝水”，则上述的中间结果313为“我”、“我想”、“我想喝”，最终结果314为“我想喝水”。

持续语音识别模块302可以包括声学模型(am，acousticmodel)模块306和语言模型(lm，languagemodel)模块307，其中，声学模型模块306输出音标符号序列形态的语音识别结果，语言模型模块307基于声学模型模块306输出的音标符号序列生成文本形态的语音识别结果。声学模型模块306和语言模型模块307同样可以是输出音标符号序列形态和文本形态的中间结果313和最终结果314。

语言预测模块303，用于根据一个或多个中间结果313预测一个或多个完整表述315；

回复信息生成模块304，用于根据一个或多个完整表述315生成一个或多个回复信息。在本发明实施例中，回复信息可以包括文本形式的回复信息(图中表示为回复文本316)和音频形式的回复信息(图中表示为音频片段317)。

回复信息生成模块304可以包括：聊天引擎(ce，conversationengine)模块308以及文本到语音转换(tts，texttospeech)模块309。其中，聊天引擎模块308用于根据预测的完整表述315生成文本形式的回复信息，即回复文本316，然后文本到语音转换模块309再根据该回复文本316生成音频片段形式的回复信息，即音频片段317。回复信息生成模块304也可以用于根据最终结果314来生成回复信息。

回复信息输出模块305，用于响应于语音识别的最终结果314的产生，将最终结果314与一个或多个完整表述315进行比较，如果存在满足相似度阈值的一个或多个完整表述315，则从满足相似度阈值的一个或多个完整表述315对应的一个或多个回复信息中，选择回复信息进行输出。如果预测出的完整表述315不满足相似度的阈值，则可以按照现有技术的方式，触发回复信息生成模块304生成基于最终结果314的回复信息，并将该回复信息进行输出。

回复信息输出模块305可以包括轮次协调(tc，turncoordinator)模块310和语音播放模块311。其中，轮次协调模块310用于在最终结果314产生时，对多个完整表述315与最终结果314之间计算相似度，选择出满足相似度阈值的一个或多个完整表述315，根据预设的选择条件，选择输出基于其中一个完整表述315产生的音频片段317发送给语音播放模块311进行输出，或者在完整表述315都不理想的情况下，触发回复信息生成模块304根据最终结果314来生成回复信息，该回复信息包括生成基于最终结果314的回复文本316和音频片段317(如图3中下部的虚线部分的处理过程)，然后将基于最终结果314的音频片段317发送至语音播放模块311进行输出。语音播放模块311用于在轮次协调模块310确定了输出的音频片段317后，将该音频片段317播放为机器语音319，从而用户320听到针对用户语音312进行回复的机器语音319，由此完成一个对话的回合。

其中，轮次协调模块310对多个满足相似度阈值要求的完整表述315对应的回复信息的选择条件如下：

条件一：与最终结果314相似度最高的完整表述315对应的回复信息，相似度越高意味着与最终结果越接近，那么对应的回复信息也越准确。

条件二：最先生成的回复信息。如图3中所示，在每个中间结果313产生后，都会执行一系列的处理才能得到最终的回复信息，可以针对每一个中间结果313建立一个线程来进行后续的一系列处理。不过，在最终结果314来到之前，不一定每个线程都能够完成一系列的处理任务而生成最终的回复信息，如果满足相似度阈值的完整表述315对应的回复信息还在生成的过程中，则就需要等待进行线程的处理结果。为了能够快速的对用户进行回复，可以选择这些线程中，处理进度较快的线程的回复信息进行输出。

轮次协调模块310可以根据上述的两个条件之一对回复信息进行选择，也可以同时使用两个条件对回复信息进行选择，即相似度的高低和生成回复信息的速度综合排名最高的回复信息进行输出。

进一步地，如前面所介绍的，在每个中间结果313产生后，会触发一系列的处理来生成回复信息，可以针对每一个中间结果313来建立一个线程来进行后续的一系列处理，这对这些线程可以通过一个线程控制模块来进行管理。

如图4所示，其为本发明实施例的线程管理的应用示例框图400。如图4所示，线程控制模块401会响应于持续语音识别模块303产生的每一个中间结果313，来建立一个线程402，各个线程402并行地调用语言预测模块303进行完整表述315的预测，以及调用回复信息生成模块304进行回复信息的生成，具体通过调用聊天引擎模块308生成回复文本316然后通过调用文本到语音转换模块309生成音频片段317，将音频片段317作为该线程402的输出结果。

如图5所示，其为本发明实施例的线程管理的数据结构的示例框图500。在最终结果314产生时，回复信息输出模块305会根据最终结果314与预测的完整表述315的比对结果，选择其中一个线程的处理结果进行输出。为了便于对进程的访问，通过图5的数据结构，来记录线程402的线程标识501与完整表述315之间的映射关系，将完整表述315与线程标识501进行关联存储，从而使得在找到符合匹配条件的完整表述315后，就能找到对应的线程402，并进一步获取或者等待该线程的处理结果。

此外，线程控制模块401还可以用于对各个线程402进行动态地维护和管理。线程控制模块401可以计算各个线程预测的完整表述315的增益，并根据各个线程402的增益，确定各个线程402的保留或者放弃。其中，增益可以体现如下两个方面的指标：

1)完整表述的预测准确性。预测的完整表述的准确性越高，那么生成的答复信息也就越有价值。这里所说的预测准确性是在最终结果产生之前计算的，在语言预测模块303预测完整表述的过程中，可以得到该完整表述的预测准确性的估计。

2)完整表述能够覆盖的时间间隙。这里所说的时间间隙就是指从识别出中间结果到识别出最终结果之间的时间间隙，越早地预测出完整表述，意味着能够有更多的时间来准备回复信息，该预测的完整表述就越有价值。

在实际应用中，可以将基于上述两个方面之一来计算增益，也可以通过基于上述的两个方面来计算增益。

线程控制模块401可以根据得到各个线程的增益以及目前的计算资源的情况，来动态地对各个线程402进行管理。一种极端情况，如果计算资源足够充足，则可以保留所有的线程，另一种极端情况，就是计算资源极为匮乏，则可以保留增益最高的线程或者放弃掉所有线程。在放弃到所有线程的情况下，将会在等待最终结果到来后，再基于最终结果来生成回复信息。线程控制模块401可以在这两种极端情况之间，来进行计算资源和会话效率之间的平衡。

如图6所示，其为本发明实施例的会话处理方法之二的流程示意框图600。该会话处理方法包括：

s601：基于语音识别的一个或多个中间结果分别预测出一个或多个完整表述。该步骤的处理可以由持续语音识别模块302和语言预测模块303来执行。

s602：基于预测的一个或多个完整表述分别生成一个或多个回复信息。该步骤的处理可以由回复信息生成模块304来执行。

s603：响应于语音识别的最终结果的产生，将最终结果与一个或多个完整表述进行比较，判断是否存在满足相似度阈值的一个或多个完整表述，如果存在满足相似度阈值的一个或多个完整表述，则执行步骤s604，如果不存在满足相似度阈值的完整表述，则执行步骤s605。该步骤的处理可以由回复信息输出模块305来执行。

s604：从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出。具体地，可以采用前面提及的轮次协调模块310对于回复信息的选择条件来对多个回复信息进行选择输出。该步骤的处理可以由回复信息输出模块305来执行。

s605：基于最终结果来生成回复信息并输出。该步骤的处理可以由回复信息生成模块304和回复信息输出模块305来执行。

其中，上述的步骤s601和s602中基于每个中间结果的处理，通过建立一个或多个线程402的方式来执行，并且还可以通过计算各个线程预测的完整表述的增益，来动态地对各个线程进行维护和管理。具体的线程处理方式可以参照前面的说明，该部分的处理可以由线程控制模块401来执行。

如图7所示，其为本发明实施例的会话处理设备之三的应用示例框图700。其中，会话处理设备701包括：

轮次协调(tc，turncoordinator)模块702，用于获取针对用户输入的各个轮次的用户语音生成的多个回复信息，并将该回复信息按照生成的先后顺序写入到队列705中。图中所示的回复信息为音频片段706。如在前面具体实施例的开始部分所介绍的，谈话双方的一方的会话段落和另一方针对该会话段落的回复构成了会话的一个轮次，不过，在本文中所说的轮次，不一定是一方的会话段落要紧跟着另一方针对该会话段落回复，可能存在的情形是，一方讲完一个会话段落后，稍微停顿一下，就又开始讲另一个会话段落，在这样的会话场景下，另一方会等到一方将连续的几个会话段落讲完后，再根据每个会话段落来分别进行回复。

这样的场景结合到人机对话的场景时，会话处理设备一方就会积累多个回复信息来排队，等待用户讲完一系列的会话段落后，再进行输出队列中回复信息。在这样的场景下，判定出用户讲完了一系列的会话段落后，才是输出回复信息的时机。

对于会话处理设备而言，其主要关注的是输出回复信息的时机，也就是说，当用户讲完一个会话段落后，是否应该输出会话信息。会话处理设备确定输出回复信息的时机与检测用户讲完一个会话段落的原理是相同的，都是检测用户语音的停顿时间，只不过，确定输出回复信息的时机所需要检测的停顿时间要长一些。比如，会话处理设备在检测到用户停顿超过了t1时长后，认为用户已经完成了一个会话段落，然后，会话处理设备会继续检测用户的停顿时间，如果用户的停顿超过了t2(t2大于t1)时长后，认为到了输出回复信息的时机了。具体的t1和t2的时长设置，可以根据实际需要而定。对于用户语音的停顿时间的检测可以通过图3中的持续语音识别模块302来执行，然后，将检测的结果通知节拍协调模块703，当然，也可以由节拍协调模块703来执行。

节拍协调(rc，rhymthcoordinator)模块703，用于检测输出回复信息的时机(检测方式可以是从持续语音识别模块302获取检测结果，也可以是自行检测)，并根据预设的回复信息输出策略，对队列705中的多个回复信息执行排队输出和打断输出之一的处理，或者执行排队输出和丢弃之一的处理，或者排队输出、打断输出以及丢弃之一的处理。上述的排队输出、打断输出以及丢弃的具体处理如下：

排队输出的处理包括：按照写入队列的先后顺序输出。排队输出的处理模式为会话处理设备的常规处理模式，也就是说，一般的情况下，回复信息是按照队列的先后顺序来输出的。从而避免会话处理设备输出的机器语音被自己的另一条机器语音打断。

打断输出的处理包括：立即输出队列中的一个或多个回复信息。当需要输出重要和/或紧急的回复信息时，执行打断输出的处理，从而来打断用户的说话状态，及时输出重要和/或紧急的回复信息。进一步地，在打断处理模式下，可以将当前播放的音频片段清除或者将马上要播放的音频片段之前的全部音频片段都删除。

丢弃处理包括：将队列中的一个或多个回复信息进行丢弃处理。当队列中写入的回复信息超过预设的数量和/或长度阈值时，执行丢弃处理。

队列705中的音频片段706，在节拍协调模块703的控制下，输出至语音播放模块704进行播放，生成机器语音707，输出给用户708。

需要说明的是，上述的轮次协调模块702获取的回复信息可以是采用如图3所示的会话处理设备所产生的回复信息，也可以是通过其他方式生成的回复信息，例如，可以是基于现有技术方式生成的回复信息。

如图8所示，其为本发明实施例的会话处理设备之四的应用示例框图800。图8中的会话处理设备801中将图3中的会话处理设备301和图7中的会话处理设备701相结合。在图8所示框图800中，对于功能相同的模块尽可能地采用了图3和图7中的原始标号，其中，轮次协调模块801结合了图3中的轮次协调模块310和图7中的轮次协调模块702的功能，因此，在图8中标记为轮次协调模块801。

上述的轮次协调模块801和节拍协调模块703都包括在回复信息输出模块305中，轮次协调模块801确定了各个轮次的音频片段318后，就将该音频片段318写入队列705中，然后，由节拍协调模块703，检测输出回复信息的时机，并根据预设的回复信息输出策略，进行回复输出控制。具体的处理过程详见前面对图7的会话处理设备的介绍。

具体应用示例

如图9所示，其为本发明实施例的会话处理设备的应用示例的示意框图900，图9中以用户的完整会话段落为“讲个笑话”为例，来示例性地描述一下本发明实施例的会话处理过程。图中x轴和y轴分别代表会话处理设备进行完整表述预测、回复信息的准备等处理的时间进程和会话处理设备进行语音识别的时间进程。

用户在说“讲个笑话”这句话时，持续语音识别模块302会持续进行语音识别，会分别检测到中间结果“讲”901、中间结果“讲个”902以及最终结果“讲个笑话”903。针对中间结果“讲”901和中间结果“讲个”902分别建立线程，开始执行完整表述预测等后续处理流程。

线程一：针对产生的中间结果“讲”901，执行完整表述预测904的处理，预测出完整表述“讲故事”907，然后再执行生成回复文本910的处理，生成回复文本“在很久很久以前……”912的故事内容文本。

线程二：针对产生的中间结果“讲个”902，执行完整表述预测905的处理，预测出完整表述“讲个笑话”908，然后再执行生成回复文本911的处理，生成回复文本“今天遇见了很好玩的事情……”913，然后再执行生成音频片段915的处理。

由于线程一和线程二的处理是存在时间差的，当识别出最终结果“讲个笑话”903时，触发将最终结果“讲个笑话”903与预测的完整表述“讲故事”907和预测的完整表述“讲个笑话”908进行相似度判断，发现完整表述“讲个笑话”908与最终结果“讲个笑话”903是相同的，相似度最高，而完整表述“讲故事”907与最终结果“讲个笑话”903相差较远，因此，执行放弃该线程(线程一)914的处理。然后响应于最终结果“讲个笑话”903的产生输出线程二生成的音频片段，如果在最终结果“讲个笑话”903产生时，线程二还没有完成音频片段的生成，则会等待线程二的输出结果。

具体实现示例

在一些例子中，上述各附图涉及的一个或多个模块或者一个或多个步骤或者一个或多个处理过程，可以通过软件程序、硬件电路，也可以通过软件程序和硬件电路相结合的方式来实现。例如，上述各个组件或者模块以及一个或多个步骤都可在芯片上系统(soc)中实现。soc可包括：集成电路芯片，该集成电路芯片包括以下一个或多个：处理单元(如中央处理单元(cpu)、微控制器、微处理单元、数字信号处理单元(dsp)等)、存储器、一个或多个通信接口、和/或用于执行其功能的进一步的电路和可任选的嵌入的固件。

如图10所示，其为发明实施例的电子设备的结构框图1000。电子设备1000包括：存储器1001和处理器1002。

存储器1001，用于存储程序。除上述程序之外，存储器1001还可被配置为存储其它各种数据以支持在电子设备1000上的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器1001可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

存储器1001耦合至处理器1002并且包含存储于其上的指令，所说的指令在由处理器1002执行时使电子设备执行动作，作为一种电子设备的实施例，该动作可以包括：

基于语音识别的中间结果预测完整表述；

基于预测的完整表述生成回复信息；

响应于回复条件的到来，输出回复信息。

作为另一种电子设备的实施例，上述的动作可以包括：

基于语音识别的一个或多个中间结果分别预测出一个或多个完整表述，并基于预测的一个或多个完整表述分别生成一个或多个回复信息；

响应于语音识别的最终结果的产生，将最终结果与一个或多个完整表述进行比较，如果存在满足相似度阈值的一个或多个完整表述，则从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出。

其中，基于语音识别的一个或多个中间结果分别预测出一个或多个完整表述，并基于预测的一个或多个完整表述分别生成一个或多个回复信息可以包括：

响应于语音识别的一个或多个中间结果，对应建立一个或多个线程，各个线程并行执行完整表述的预测以及回复信息的生成。

其中，上述的动作还可以包括：

计算一个或多个线程预测的完整表述的增益，根据各个线程的增益，确定各个线程的保留或者放弃，增益体现完整表述的预测准确性和/或完整表述能够覆盖的时间间隙。

其中，从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出可以包括：

在满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择满足如下两个条件之一或者同时满足如下两个条件的回复信息进行输出：

与最终结果相似度最高的完整表述对应的回复信息；

最先生成的回复信息。

作为另一种电子设备的实施例，上述的动作可以包括：

获取针对用户输入的各个轮次的语音生成的多个回复信息，并将该回复信息按照生成的先后顺序写入到队列中；

检测输出回复信息的时机，并根据预设的回复信息输出策略，对队列中的多个回复信息执行排队输出和打断输出之一的处理，或者执行排队输出和丢弃之一的处理，或者排队输出、打断输出以及丢弃之一的处理，其中，

排队输出的处理包括：按照写入队列的先后顺序输出；

打断输出的处理包括：立即输出队列中的一个或多个回复信息；

丢弃处理包括：将队列中的一个或多个回复信息进行丢弃处理。

其中，回复信息输出策略可以包括：

当需要输出重要和/或紧急的回复信息时，执行打断输出的处理；

当队列中写入的回复信息超过预设的数量和/或长度阈值时，执行丢弃处理。

对于上述的处理操作，在前面方法和装置的实施例中已经进行了详细说明，对于上述的处理操作的详细内容同样也适用于电子设备1000中，即可以将前面实施例中提到的具体处理操作，以程序的方式写入在存储器1001，并通过处理器1002来进行执行。

进一步，如图10所示，电子设备1000还可以包括：通信组件1003、电源组件1004、音频组件1005、显示器1006、芯片组1007等其它组件。图10中仅示意性给出部分组件，并不意味着电子设备1000只包括图10所示组件。

通信组件1003被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件1003经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件1003还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

电源组件1004，为电子设备的各种组件提供电力。电源组件1004可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件1005被配置为输出和/或输入音频信号。例如，音频组件1005包括一个麦克风(mic)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1001或经由通信组件1003发送。在一些实施例中，音频组件1005还包括一个扬声器，用于输出音频信号。

显示器1006包括屏幕，其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

上述的存储器1001、处理器1002、通信组件1003、电源组件1004、音频组件1005以及显示器1006可以与芯片组1007连接。芯片组1007可以提供处理器1002与电子设备1000中的其余组件之间的接口。此外，芯片组1007还可以提供电子设备1000中的各个组件对存储器1001的访问接口以及各个组件间相互访问的通讯接口。

示例条款

a：一种方法，包括：

基于语音识别的中间结果预测完整表述；

基于预测的完整表述生成回复信息；

响应于回复条件的到来，输出回复信息。

b：根据段落a所述的方法，其中，所述基于语音识别的中间结果预测完整表述包括：

基于声学模型模块输出的音标符号序列形态的中间结果预测完整表述，和/或，基于语言模型模块输出的文本形态的中间结果预测完整表述。

c：根据段落a所述的方法，其中，所述响应于回复条件的到来，输出回复信息包括：

响应于语音识别的最终结果的产生，触发输出回复信息。

d：一种方法，包括：

基于语音识别的一个或多个中间结果分别预测出一个或多个完整表述，并基于预测的所述一个或多个完整表述分别生成一个或多个回复信息；

响应于语音识别的最终结果的产生，将所述最终结果与所述一个或多个完整表述进行比较，如果存在满足相似度阈值的一个或多个完整表述，则从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出。

e：根据段落d所述的方法，其中，基于语音识别的一个或多个中间结果分别预测出一个或多个完整表述，并基于预测的所述一个或多个完整表述分别生成一个或多个回复信息包括：

响应于语音识别的一个或多个中间结果，对应建立一个或多个线程，各个所述线程并行执行完整表述的预测以及回复信息的生成。

f：根据段落e所述的方法，其中，还包括：

计算所述一个或多个线程预测的完整表述的增益，根据各个线程的增益，确定各个线程的保留或者放弃，所述增益体现所述完整表述的预测准确性和/或所述完整表述能够覆盖的时间间隙。

g：根据段落d所述的方法，其中，从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出包括：

在满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择满足如下两个条件之一或者同时满足如下两个条件的回复信息进行输出：

与最终结果相似度最高的完整表述对应的回复信息；

最先生成的回复信息。

h：根据段落e所述的方法，其中，在建立一个或多个线程后，还包括：将各个线程预测的完整表述与线程标识进行关联存储，

所述从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出包括：

根据确定的满足相似度阈值的完整表述获取线程标识，并根据所述线程标识获取对应的线程生成的回复信息，并输出该回复信息。

i：一种装置，包括：

语音识别模块，用于对用户输入的语音进行语音识别，生成语音识别的中间结果；

语言预测模块，用于根据所述中间结果预测完整表述；

回复信息生成模块，用于根据所述完整表述生成回复信息；

回复信息输出模块，用于响应于回复条件的到来，输出回复信息。

j：根据段落i所述的装置，其中，所述语音识别模块包括声学模型模块和语言模型模块，所述根据所述中间结果预测完整表述包括：

基于声学模型模块输出的音标符号序列形态的中间结果预测完整表述，和/或，基于语言模型模块输出的文本形态的中间结果预测完整表述。

k：根据段落i所述的装置，其中，所述语音识别模块还用于生成语音识别的最终结果，

则所述响应于回复条件的到来，输出回复信息包括：响应于语音识别的最终结果的产生，触发输出回复信息。

l：一种装置，包括：

持续语音识别模块，用于对用户输入的用户语音进行持续语音识别，生成一个或多个语音识别的中间结果和最终结果；

语言预测模块，用于根据所述一个或读个中间结果预测一个或多个完整表述；

回复信息生成模块，用于根据所述一个或多个完整表述生成一个或多个回复信息；

回复信息输出模块，用于响应于语音识别的最终结果的产生，将所述最终结果与所述一个或多个完整表述进行比较，如果存在满足相似度阈值的一个或多个完整表述，则从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出。

m：根据段落l所述的装置，其中，还包括：

线程控制模块，用于响应于所述持续语音识别模块输出的语音识别的一个或多个中间结果，对应建立一个或多个线程，各个所述线程并行地调用所述语言预测模块和所述回复信息生成模块，执行完整表述的预测以及回复信息的生成。

n：根据段落m所述的装置，其中，所述线程控制模块还用于：

计算所述一个或多个线程预测的完整表述的增益，根据各个线程的增益，确定各个线程的保留或者放弃，所述增益体现所述完整表述的预测准确性和/或所述完整表述能够覆盖的时间间隙。

o：根据段落l所述的装置，其中，从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出包括：

在满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择满足如下两个条件之一或者同时满足如下两个条件的回复信息进行输出：

与最终结果相似度最高的完整表述对应的回复信息；

最先生成的回复信息。

p：一种电子设备，包括：

处理单元；以及

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行动作，所述动作包括：

基于语音识别的中间结果预测完整表述；

基于预测的完整表述生成回复信息；

响应于回复条件的到来，输出回复信息。

q：一种电子设备，包括：

处理单元；以及

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行动作，所述动作包括：

基于语音识别的一个或多个中间结果分别预测出一个或多个完整表述，并基于预测的所述一个或多个完整表述分别生成一个或多个回复信息；

响应于语音识别的最终结果的产生，将所述最终结果与所述一个或多个完整表述进行比较，如果存在满足相似度阈值的一个或多个完整表述，则从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出。

r：根据段落q所述的电子设备，其中，

基于语音识别的一个或多个中间结果分别预测出一个或多个完整表述，并基于预测的所述一个或多个完整表述分别生成一个或多个回复信息包括：

响应于语音识别的一个或多个中间结果，对应建立一个或多个线程，各个所述线程并行执行完整表述的预测以及回复信息的生成。

s：根据段落r所述的电子设备，其中，还包括：

计算所述一个或多个线程预测的完整表述的增益，根据各个线程的增益，确定各个线程的保留或者放弃，所述增益体现所述完整表述的预测准确性和/或所述完整表述能够覆盖的时间间隙。

t：根据段落q所述的电子设备，其中，从满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择回复信息进行输出包括：

在满足相似度阈值的一个或多个完整表述对应的一个或多个回复信息中，选择满足如下两个条件之一或者同时满足如下两个条件的回复信息进行输出：

与最终结果相似度最高的完整表述对应的回复信息；

最先生成的回复信息。

u：一种方法，包括：

获取针对用户输入的各个轮次的语音生成的多个回复信息，并将该回复信息按照生成的先后顺序写入到队列中；

检测输出回复信息的时机，并根据预设的回复信息输出策略，对所述队列中的多个回复信息执行排队输出和打断输出之一的处理，或者执行排队输出和丢弃之一的处理，或者排队输出、打断输出以及丢弃之一的处理，其中，

所述排队输出的处理包括：按照写入所述队列的先后顺序输出；

所述打断输出的处理包括：立即输出所述队列中的一个或多个回复信息；

所述丢弃处理包括：将所述队列中的一个或多个回复信息进行丢弃处理。

v：根据段落u所述方法，其中，所述回复信息输出策略包括：

当需要输出重要和/或紧急的回复信息时，执行所述打断输出的处理；

当所述队列中写入的回复信息超过预设的数量和/或长度阈值时，执行所述丢弃处理。

w：一种装置，包括：

轮次协调器，用于获取针对用户输入的各个轮次的语音生成的多个回复信息，并将该回复信息按照生成的先后顺序写入到队列中；

节拍协调器，用于检测输出回复信息的时机，并根据预设的回复信息输出策略，对所述队列中的多个回复信息执行排队输出和打断输出之一的处理，或者执行排队输出和丢弃之一的处理，或者排队输出、打断输出以及丢弃之一的处理，其中，

所述排队输出的处理包括：按照写入所述队列的先后顺序输出；

所述打断输出的处理包括：立即输出所述队列中的一个或多个回复信息；

所述丢弃处理包括：将所述队列中的一个或多个回复信息进行丢弃处理。

x：根据段落w所述的装置，其中，所述回复信息输出策略包括：

当需要输出重要和/或紧急的回复信息时，执行所述打断输出的处理；

当所述队列中写入的回复信息超过预设的数量和/或长度阈值时，执行所述丢弃处理。

y：一种电子设备，包括：

处理单元；以及

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行动作，所述动作包括：

获取针对用户输入的各个轮次的语音生成的多个回复信息，并将该回复信息按照生成的先后顺序写入到队列中；

检测输出回复信息的时机，并根据预设的回复信息输出策略，对所述队列中的多个回复信息执行排队输出和打断输出之一的处理，或者执行排队输出和丢弃之一的处理，或者排队输出、打断输出以及丢弃之一的处理，其中，

所述排队输出的处理包括：按照写入所述队列的先后顺序输出；

所述打断输出的处理包括：立即输出所述队列中的一个或多个回复信息；

所述丢弃处理包括：将所述队列中的一个或多个回复信息进行丢弃处理。

z：根据段落y所述电子设备，其中，所述回复信息输出策略包括：

当需要输出重要和/或紧急的回复信息时，执行所述打断输出的处理；

当所述队列中写入的回复信息超过预设的数量和/或长度阈值时，执行所述丢弃处理。

结语

系统的多个方面的硬件与软件实现之间区别不大；使用硬件还是软件通常(但并不总是，因为在某些背景下，硬件与软件之间的选择可以变得显著)是表示成本与效率权衡的设计选择。存在可以实现在此描述的处理和/或系统和/或其它技术(例如，硬件、软件，以及/或固件)的各种承载工具，并且优选承载工具将随着部署该处理和/或系统和/或其它技术的背景而改变。例如，如果实现方确定速度和准确度最重要，则该实现方可以选择主要硬件和/或固件承载工具；如果灵活性最重要，则该实现方可以选择主要软件实现；或者，此外又另选地，该实现方可以选择硬件、软件，以及/或固件的一些组合。

前述详细描述已经经由使用框图、流程图，以及/或示例阐述了该装置和/或处理的各种实施方式。至于这种框图、流程图，以及/或示例包含一个或更多个功能和/或操作，本领域技术人员应当明白，这种框图、流程图，或示例内的每一个功能和/或操作可以单独地和/或共同地，通过宽范围的硬件、软件、固件，或者实际上其任何组合来实现。在一个实施方式中，在此描述的主旨的几个部分可以经由专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)，或其它集成格式来实现。然而，本领域技术人员应当认识到，在此公开的实施方式的一些方面整个地或者部分地可以等同地在集成电路中实现，实现为运行在一个或更多个计算机上的一个或更多个计算机程序(例如，实现为运行在一个或更多个计算机系统上的一个或更多个程序)，实现为运行在一个或更多个处理器上的一个或更多个程序(例如，实现为运行在一个或更多个微处理器上的一个或更多个程序)，实现为固件，或者实际上实现为其任何组合，并且根据本公开，设计电路和/或编写用于软件和/或固件的代码完全处于本领域技术人员的技术内。另外，本领域技术人员应当清楚的是，在此描述的主题的机制能够按多种形式作为程序产品分配，并且在此描述的主题的例示性实施方式适用，而与被用于实际执行该分配的特定类型的信号承载介质无关。信号承载介质的示例包括但不限于，以下：可记录型介质，如软盘、硬盘驱动器(hdd)、质密盘(cd)、数字通用盘(dvd)、数字磁带、计算机存储器等；和传输型介质，如数字和/或模拟通信媒介(例如，光纤线缆、波导管、有线通信链路、无线通信链路等)。

本领域技术人员应当认识到，按在此阐述的方式来描述装置和/或处理，并且此后，使用工程实践将这样描述的装置和/或处理集成到数据处理系统中是本领域内常见的。即，在此描述的装置和/或处理的至少一部分可以经由合理量的实验而集成到数据处理系统中。本领域技术人员应当认识到的是，通常的数据处理系统通常包括以下中的一个或更多个：系统单元外壳、视频显示装置、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统、驱动器、图形用户接口，以及应用程序的计算实体、诸如触摸板或触摸屏的一个或更多个交互式装置，以及/或包括反馈回路和控制电动机的控制系统(例如，用于感测位置和/或速度的反馈；用于移动和/或调节组件和/或数量的控制马达)。通常的数据处理系统可以利用任何合适商业可获组件来实现，如通常在数据计算/通信和/或网络通信/计算系统中找到的那些。

在此描述的主题有时例示了包含在不同的其它组件内或与其相连接的不同组件。要明白的是，这样描绘的架构仅仅是示例性的，并且实际上，可以实现获得相同功能的许多其它架构。在概念意义上，用于获得相同功能的组件的任何排布结构都有效地“关联”，以使获得希望功能。因此，在此为获得特定功能而组合的任两个组件都可以被看作彼此“相关联”，以使获得希望功能，而与架构或中间组件无关。同样地，这样关联的任两个组件还可以被视作彼此“可操作地连接”，或“可操作地耦接”，以获得希望功能，并且能够这样关联的任两个组件也可以被视作可彼此“操作地耦接”，以获得希望功能。可操作地耦接的具体示例包括但不限于，物理上可配合和/或物理上交互的组件和/或可无线地交互和/或无线地交互的组件和/或逻辑上交互和/或逻辑上可交互组件。

针对在此实质上使用的任何复数和/或单数术语，本领域技术人员可以针对背景和/或应用在适当时候从复数翻译成单数和/或从单数翻译成复数。为清楚起见，各种单数/多数置换在此可以确切地阐述。

本领域技术人员应当明白，一般来说，在此使用的，而且尤其是在所附权利要求书中(例如，所附权利要求书的主体)使用的术语通常旨在作为“开放式”措辞(例如，措辞“包括(including)”应当解释为“包括但不限于”，措辞“具有(having)”应当解释为“至少具有”，措辞“包括(include)”应当解释为“包括但不限于”等)。本领域技术人员还应当明白，如果想要特定数量的介绍权利要求列举，则这种意图将明确地在该权利要求中陈述，并且在没有这些列举的情况下，不存在这种意图。例如，为帮助理解，下面所附权利要求书可以包含使用介绍性短语“至少一个”和“一个或更多个”来介绍权利要求列举。然而，使用这种短语不应被认作，暗示由不定冠词“一(a)”或“一(an)”介绍的权利要求列举将包含这种介绍权利要求列举的任何特定权利要求限制于仅包含一个这种列举的发明，即使同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及诸如“一(a)”或“一(an)”的不定冠词(例如，“一(a)”或“一(an)”通常应当被解释成意指“至少一个”或“一个或更多个”)；其对于使用为介绍权利要求列举而使用的定冠词来说同样保持为真。另外，即使明确地陈述特定数量的介绍权利要求列举，本领域技术人员也应当认识到，这种列举通常应当被解释成，至少意指所陈述数量(例如，“两个列举”的仅有的列举在没有其它修饰语的情况下通常意指至少两个列举，或者两个或更多个列举)。而且，在使用类似于“a、b，以及c等中的至少一个”的惯例的那些实例中，一般来说，这种句法结构希望本领域技术人员在意义上应当理解这种惯例(例如，“具有a、b，以及c中的至少一个的系统”应当包括但不限于具有单独a、单独b、单独c、a和b一起、a和c一起、b和c一起，以及/或a、b以及c一起等的系统)。在使用类似于“a、b，或c等中的至少一个”的惯例的那些实例中，一般来说，这种句法结构希望本领域技术人员在意义上应当理解这种惯例(例如，“具有a、b，或c中的至少一个的系统”应当包括但不限于具有单独a、单独b、单独c、a和b一起、a和c一起、b和c一起，以及/或a、b以及c一起等的系统)。本领域技术人员还应当明白的是，实际上，呈现两个或更多个另选术语的任何转折词和/短语(无论处于描述、权利要求书中，还是在附图中)应当被理解成，设想包括这些术语、这些术语中的任一个，或者两个术语的可能性。例如，短语“a或b”应当被理解成，包括“a”或“b”或“a和b”的可能性。

本说明书中针对“实现方式”、“一个实现方式”、“一些实现方式”，或“其它实现方式”的引用可以意指，结合一个或更多个实现方式描述的特定特征、结构，或特性可以被包括在至少一些实现方式中，但不必被包括在所有实现方式中。前述描述中不同出现的“实现方式”、“一个实现方式”，或“一些实现方式”不必全部针对同一实现方式而引用。

虽然利用不同方法和系统描述和示出了特定示例性技术，但本领域技术人员应当明白，在不脱离要求保护的主题的情况下，可以进行各种其它修改，并且可以代替等同物。另外，在不脱离在此描述的中心概念的情况下，可以进行许多修改以使适应针对要求保护的主题的教导的特定情况。因此，要求保护的主题不限于所公开的特定示例，而是这种要求保护的主题还可以包括落入所附权利要求书及其等同物的范围内的所有实现。

尽管已经用结构特征和/或方法动作专用的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必限于所描述的具体特征或动作。而是，这些具体特征和动作是作为实现该权利要求的解说性形式而公开的。

除非另外具体声明，否则在上下文中可以理解并一般地使用条件语言(诸如“能”、“能够”、“可能”或“可以”)表示特定示例包括而其他示例不包括特定特征、元素和/或步骤。因此，这样的条件语言一般并非旨在暗示对于一个或多个示例以任何方式要求特征、元素和/或步骤，或者一个或多个示例必然包括用于决定的逻辑、具有或不具有用户输入或提示、在任何特定实施例中是否要包括或要执行这些特征、元素和/或步骤。

除非另外具体声明，应理解联合语言(诸如短语“x、y或z中至少一个”)表示项、词语等可以是x、y或z中的任一者、或其组合。

本文所述和/或附图中描述的流程图中任何例行描述、元素或框应理解成潜在地表示包括用于实现该例程中具体逻辑功能或元素的一个或多个可执行指令的代码的模块、片段或部分。替换示例被包括在本文描述的示例的范围内，其中各元素或功能可被删除，或与所示出或讨论的顺序不一致地执行，包括基本上同步地执行或按相反顺序执行，这取决于所涉及的功能，如本领域技术人也将理解的。

应当强调，可对上述示例作出许多变型和修改，其中的元素如同其他可接受的示例那样应被理解。所有这样的修改和变型在此旨在包括在本公开的范围内并且由以下权利要求书保护。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。