移动终端和移动终端远程协助与受助方法、装置与流程

本发明涉及无线通信远程协助领域，具体而言，本发明涉及一种移动终端和移动终端远程协助与受助方法、装置。

背景技术：

远程协助，指作为协助方的终端和作为受助方的终端建立无线通信，从而使受助方的用户界面显示于协助方的用户界面上，协助方用户针对获取到的用户界面，利用声音解说、画笔等辅助功能与受助方进行交流，可实现协助方对受助方的操作的远程协助作用。

传统的远程协助除了可以同步用户界面，还可以辅以类似网络电话的功能，使协助方和受助方可以进行即时的声音沟通。通过画面的同步，协助方可以利用显示于用户界面的光标描述一些如点击或拖动的操作。并且，当协助方拖动光标时，受助方的用户界面将出现画笔线条，此时协助方可以利用画笔线条对需要进行的操作作加强性的描述。

因此，传统的这种远程协助方式，当协助方用户在获取的受助方用户界面进行操作时，受助方并不会自动执行相应的操作，而是需要受助方用户在协助方用户的指导下，进行相应的操作时，受助方才能在真正意义上完成相应的操作。而对于某些复杂的操作，仅仅使用上述的声音和画笔辅助功能，执行起来将会非常困难。

有鉴于此，增加远程协助过程中的协助与受助的功能，使得协助方在远程协助的过程中执行任何操作时，受助方可自动地，或只需用户在受助方的用户界面进行简单的触控即可执行相应的操作，这将有利于改善远程协助的操作体验，使远程协助操作更加方便快捷。

技术实现要素：

鉴于上述问题，本发明提供了一种移动终端远程协助方法及其相应的装置，以便高效实现远程协助过程中协助方对受助方的协助。

相应的，本发明提供了一种移动终端远程受助方法及其相应的装置，以便配合受助于相应的协助方。

相应的，本发明还提供与前述的方法或装置相适应的移动终端，以用于实施前述的方法或运行所述的装置。

据此，本发明采用了如下技术方案：

本发明提供的一种移动终端远程协助方法，包括如下步骤：

通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道接收受助方提交的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面；

显示该网页内容所包含的所述受助方的用户界面；

接收语音输入，将之转换为语音指令，通过预建立的协助方与受助方之间的控制传输通道将语音指令传输到受助方；

更新显示后续获取的受助方提交的网页内容中的受助方用户界面，使其展示受所述语音指令作用于受助方后形成的画面活动过程。

一方面，接收语音输入并将之转换为语音指令的步骤还包括如下具体步骤：

启动受话器用于接收用户语音；

将用户语音提交到云端服务器进行语义识别和指令转换，以形成相应的语音指令。

另一方面，进一步地，在一种方式中，所述更新显示后续获取的受助方用户界面展示的画面活动过程包括如下步骤：

显示所述受助方接收到所述语音指令后弹出的内容信息；

在接收用户触发事件后清除所述内容信息。

在另一种方式中，所述更新显示后续获取的受助方用户界面展示的画面活动过程包括如下步骤：

显示所述受助方接收到所述语音指令后弹出的交互控件；

由该交互控件接收受助方用户的触发事件；

执行与所述触发事件相对应的协助过程。

结合上述的第二种方式，具体地，所述的受助方用户界面展示的画面活动过程在所述受助方接收所述语音指令并解析该语音指令后以与之相应的指令集执行。

进一步，所述指令集以文件形式预存于所述受助方设备中。

结合上述两种方式，具体地，所述触发事件包括按键事件、触控事件、手势事件、语音输入事件中的任意一种。

结合上述的第二种方式，具体地，所述协助过程包括如下任意一项或任意多项的组合：启动应用程序、删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息。

结合上述的第二种方式，具体地，所述交互控件为消息框，包括有条件判断选项，当所述触发事件作用于其中一个判断选项时，导致执行与所述触发事件所作用的判断选项相对应的协助过程。

具体地，所输入的语音在语义上与所述画面活动过程相对应。

本发明提供的一种移动终端远程协助装置，其包括：

接收单元，用于通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道接收受助方提交的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面；

显示单元，用于显示所述网页内容所包含的所述受助方的用户界面；

转换单元，用于接收语音输入，将之转换为语音指令，通过预建立的协助方与受助方之间的控制传输通道将语音指令传输到受助方；

更新单元，用于更新显示后续获取的受助方提交的网页内容中的受助方用户界面，使其展示受所述语音指令作用于受助方后形成的画面活动过程。

进一步，要实现接收语音输入并将之转换为语音指令，本装置还包括：

启动单元，用于启动受话器用于接收用户语音；

提交单元，用于将用户语音提交到云端服务器进行语义识别和指令转换，以形成相应的语音指令。

进一步，在一种方式中，所述的更新单元，其更新显示后续获取的所述受助方用户界面展示的画面活动过程包括：

显示所述受助方接收到所述语音指令后弹出的内容信息；

在接收用户触发事件后清除所述内容信息。

在另一种方式中，所述的更新单元，其更新显示后续获取的所述受助方用户界面展示的画面活动过程包括：

显示所述受助方接收到所述语音指令后弹出的交互控件；

由该交互控件接收受助方用户的触发事件；

执行与所述触发事件相对应的协助过程。

结合上述的第二种方式，所述的受助方用户界面展示的画面活动过程在所述受助方接收所述语音指令并解析该语音指令后以与之相应的指令集执行。

进一步，所述指令集以文件形式预存于所述受助方设备中。

结合上述的两种方式，具体地，所述触发事件包括按键事件、触控事件、手势事件、语音输入事件中的任意一种。

结合上述的两种方式，具体地，所述协助过程包括如下任意一项或任意多项的组合：启动应用程序、删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息。

结合第二种方式，所述交互控件为消息框，包括有条件判断选项，当所述触发事件作用于其中一个判断选项时，导致执行与所述触发事件所作用的判断选项相对应的协助过程。

具体地，所输入的语音在语义上与所述画面活动过程相对应。

本发明提供的一种移动终端远程协助受助方法，包括如下步骤：

作为受助方，通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道向协助方提交自身的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面；

通过预建立的协助方与受助方之间的控制传输通道接收由所述协助方作用而产生的语音指令并执行之，使所述用户界面产生与该语音指令相对应的画面活动过程；

同步向协助方传送包含用于展示所述画面活动过程的用户界面的网页内容。

进一步，一种方式中，所述用户界面产生与所述语音指令相对应的画面活动过程，包括如下具体步骤：

显示接收到所述语音指令后弹出的内容信息；

在接收用户触发事件后清除所述内容信息。

另一种方式中，所述用户界面产生与所述语音指令相对应的画面活动过程，包括如下具体步骤：

显示接收到所述语音指令后弹出的交互控件；

以所述交互控件接收用户的触发事件；

执行与所述触发事件相对应的协助过程。

结合第二种方式，进一步地，所述显示接收到所述语音指令后弹出的交互控件的步骤，具体包括如下步骤：

接收到所述语音指令后对其进行解析以确定相应的指令集；

执行所述指令集导致弹出所述交互控件。

更进一步，所述指令集以文件形式预存于所述受助方设备中。

结合上述的两种方式，所述触发事件包括按键事件、触控事件、手势事件、语音输入事件中的任意一种。

结合第二种方式，所述协助过程包括如下任意一项或任意多项的组合：启动应用程序、删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息。

结合第二种方式，所述交互控件为消息框，包括有条件判断选项，当所述触发事件作用于其中一个判断选项时，即显示与触发事件所作用的判断选项相对应的协助过程。

具体地，所述语音指令在语义上与所述画面活动过程相对应。

本发明提供的一种移动终端远程协助受助装置，其包括：

提交单元，被配置为通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道向协助方提交自身的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面；

接收单元，被配置为通过预建立的协助方与受助方之间的控制传输通道接收由所述协助方作用而产生的语音指令并执行之，使所述用户界面产生与该语音指令相对应的画面活动过程；

同步单元，用于同步向协助方传送包含用于展示所述画面活动过程的用户界面的网页内容。

进一步，一种方式中，要实现使所述用户界面产生与所述语音指令相对应的画面活动过程，本装置还包括：

显示单元，用于显示接收到所述语音指令后弹出的内容信息；

清除单元，用于在接收用户触发事件后清除所述内容信息。

另一种方式中，要实现使所述用户界面产生与所述语音指令相对应的画面活动过程，本装置还包括：

显示单元，用于显示接收到所述语音指令后弹出的交互控件；

接收单元，用于辅助所述交互控件接收用户的触发事件；

执行单元，用于执行与所述触发事件相对应的协助过程。

结合第二种方式，进一步地，要实现显示接收到所述语音指令后弹出的交互控件，本装置还包括：

解析单元，用于接收到所述语音指令后对其进行解析以确定相应的指令集；

执行单元，用于执行所述指令集导致弹出所述交互控件。

更进一步，所述指令集以文件形式预存于所述受助方设备中。

结合上述的两种方式，具体地，所述触发事件包括按键事件、触控事件、手势事件、语音输入事件中的任意一种。

结合上述的第二种方式，具体地，所述协助过程包括如下任意一项或任意多项的组合：启动应用程序、删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息。

结合上述的第二种方式，具体地，所述交互控件为消息框，包括有条件判断选项，当所述触发事件作用于其中一个判断选项时，即显示与触发事件所作用的判断选项相对应的协助过程。

具体地，所述语音指令在语义上与所述画面活动过程相对应。

本发明提供的一种移动终端，其包括：

无线保真模块，用于接入通信网络；

触敏显示器，用于显示界面，实现人机交互；

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；

所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行前述协助方法中任意一项所述的方法的装置。

本发明提供的一种移动终端，其包括：

无线保真模块，用于接入通信网络；

触敏显示器，用于显示界面，实现人机交互；

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；

所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行前述受助方法中任意一项所述的方法的装置。

在一个可能的设计中，所述移动终端的结构中包括的处理器和存储器，所述存储器用于存储支持收发装置执行上述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述移动终端还可以包括通信接口，用于所述移动终端与其他设备或通信网络通信。

另一方面，本发明的实施例提供了一种计算机存储介质，用于储存为上述移动终端所用的计算机软件指令，其包含用于执行上述为移动终端所设计的程序，或者包含用于执行上述的方法/装置所设计的程序。

相对于现有技术，本发明提供的方案具有如下优点：

作为协助方的移动终端与作为受助方的移动终端之间建立无线网络通信，进入远程协助状态后，协助方接收用户的语音输入，并将该语音转换为语音指令传输给受助方，所述受助方确定并执行所述语音指令对应的指令集，完成相应的操作，且在协助方可以更新并显示受助方的画面活动过程，即实现了所述协助方对所述受助方的远程控制。在此过程中，所述协助方在无需获取所述受助方的系统等级权限的情况下，即可进行控制操作，通过远程传送语音指令给受助方，由受助方解析执行，且所述协助方无需执行触控事件或手势事件，只需接收语音输入，这种方式简化了远程协助的操作，使远程协助的进行较为方便快捷。

另外，再现有技术的基础上，协助方与受助方实现远程协助连接的时间通常为8至10秒，而通过利用网页传输的方式，实现连接的时间只需3至5秒，即大幅缩短了协助方与受助方建立远程协助连接的时间，提高远程协助的效率。建立远程无线连接后，受助方通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道将其从自身内存中获取的包含当前显示的用户界面的网页内容提交至协助方，因此，利用这种网页传输的方式，相对于现有技术而言，加快了所述网页内容的传输速度，同时也对所述传输的网页内容起到较大限度的保真作用，使得所述传输的用户界面更加清晰。

对于协助方而言，因无需考虑复杂的远程权限管理的问题，而可简化程序设计，最小化程序内存和处理器占用，故而提升了系统运行效率；同理，对于受助方而言，协助方的语音指令由其自身负责解析执行，故而拥有是否执行相应的语音指令的绝对权限，提升了系统安全性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出由安装有实现本发明的方法或装置的应用程序的两个移动终端所构造的网络系统原理框图，其中一个移动终端作为远程协助方，另一个移动终端作为远程受助方；

图2是本发明的所述受助方与协助方进行无线连接并获取自身用户界面图像的方法的流程示意图；

图3是以游客模式登录本发明的所述应用程序的过程示意图；

图4是用厂商账号登录本发明的所述应用程序的过程示意图；

图5是在本发明的所述应用程序中用对方客户端账号添加好友的流程示意图；

图6是在本发明的所述应用程序中用对方手机号添加好友的流程示意图；

图7是在本发明的所述应用程序中用对方厂商账号添加好友的流程示意图；

图8是本发明的远程协助方法的流程示意图；

图9是本发明的远程协助方法中的接收语音输入并将之转换为语音指令的方法的流程示意图；

图10是本发明的远程协助装置的原理示意图；

图11是本发明的远程协助装置中的接收语音输入并将之转换为语音指令的方法的原理示意图；

图12是本发明的远程协助受助方法的流程示意图；

图13是本发明的一种画面活动过程的流程示意图；

图14是本发明的另一种画面活动过程的流程示意图；

图15是本发明的另一种画面活动过程中弹出交互控件的方法的流程示意图；

图16是本发明的远程协助受控装置的原理示意图；

图17是本发明的一种画面活动过程的原理示意图；

图18是本发明的另一种画面活动过程的原理示意图；

图19是本发明的远程协助受控装置的另一种画面活动过程中弹出交互控件的原理示意图；

图20是本发明将远程协助方法与受助方法结合的一种实施例的示意图；

图21是本发明将远程协助方法与受助方法结合的另一种实施例的示意图；

图22是本发明将远程协助方法与受助方法结合的又一种实施例的示意图；

图23是本发明的作为协助方的移动终端和作为受助方的移动终端都能够适用的结构的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按照顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块、单元等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所称的远程协助，是指使作为协助方的移动终端与作为受助方的移动终端之间建立起网络通信后，受助方将包含自身用户界面的网页内容传送给协助方，协助方接收用户的语音输入并将之转换为对应的语音指令传输至受助方并作用于受助方，使之执行与所述语音指令对应的操作，相应地，受助方接收并响应所述的语音指令而执行与之对应的操作。在这个过程中，受助方用户只需在受助方用户界面上进行简单的点击或触控操作，甚至几乎无需进行任何操作。

本发明所称的设备，具体是指即将揭示的分别作为协助方和受助方的两种移动终端，两种移动终端在设备上可以是完全同类产品，之所以列为两种，仅是出于在远程协助过程中其彼此所充当的角色不同的考虑。故而，此处所称的移动终端通常均指诸如智能电视、智能手机、平板手机、智能腕表之类的可便携地移动的、配置有智能化操作系统的移动设备，这些操纵系统可以是Android、iOS、Windows Phone或其他形式的移动端操作系统，当然也可以是诸如Windows系统的桌面系列，只要所采用的设备具备便携、智能、可进行网络通信等特点，本领域技术人员即可将其视为本领域所称的相应的协助方移动终端或受助方移动终端。

本发明在作为协助方的移动终端和作为受助方的移动终端所实现的功能，可以实现于同一应用程序中，通过在移动终端运行该应用程序，选择其充任的相应角色，即可使本发明的相应的远程协助有关的方法得以执行。

为了便于理解本发明，以下介绍本发明的一种运行环境，其也可视为本发明的一种应用场景。

请结合图1，作为协助方的移动终端与作为受助方的移动终端通过安装于各自中的运用本发明的远程协助控制与受助方法的远程协助应用程序进行无线通信。协助方移动终端和受助方移动终端可配置不同的智能化操作系统，只要各设备均安装有所述的远程协助应用程序，且可进行无线网络通信，便可无障碍地配合构建本发明的运行环境。

图1所示的运行构造的工作机理是：协助方移动终端与受助方移动终端通过所述远程协助应用程序建立无线通信后，受助方即向协助方提交包含即时的自身用户界面的网页内容，协助方用户根据受助方用户的需要，进行相应的语音输入，协助方将该输入放入语音转换为相应的语音指令，并将所述语音指令传输给所述受助方，所述受助方即可根据所述语音指令执行相应的操作。

关于上述功能的具体实现，将在后续的本发明的多个实施例中逐一予以揭示。

请结合图2，要实现远程协助过程中的安全控制，就必须使所述协助方移动终端与所述受助方移动终端建立无线连接，从而使二者处于远程协助状态。因此，本发明的移动终端所采用的远程协助协助方法和/或远程协助受助方法均包括一系列相同的前置步骤：

步骤S101，进行网络检验；

步骤S102，发起连接请求以进行无线连接。

以客户端为例，协助方与受助方建立无线连接是通过安装于各自中的运用本发明的远程协助控制与受助方法的远程协助客户端实现的，当协助方和受助方中任一方要向对方发起连接请求前，需启动所述远程协助客户端，然后所述客户端进行一次本机网络检验，如果网络异常则提示检测网络，并对网络进行重新校验。当检验网络正常时，则可选择两种方式登录所述客户端，即可选择游客模式登录或选择厂商账号进行登录。

请结合图3，当选择游客模式登录时，所述客户端查询本地的UID(User Identification,用户身份证明)并判断本地有无UID。若无本地UID，则生成新的UID并由服务器保存，本地同时保存新的UID数据，并进入所述客户端的主页面；若有本地UID，则检测UID是否关联移动终端的厂商信息。若没有关联，则直接进入所述客户端的主页面；若有关联，则生成新的UID并由服务器保存，本地同时保存新的UID数据，进入所述客户端主页面。

请结合图4，当选择厂商账号进行登录时，先检测并判断有无厂商账户信息，若检测到厂商账户信息，则登录完成，但未进入所述客户端主页面；若未检测到厂商账户信息，则调出厂商的登录注册页面进行注册并登录，登陆完成，但未进入所述客户端主页面。当登录完成后，则检测本地有无UID信息。若无本地UID数据，则校验服务器的UID数据，如果服务器有UID数据，则本地保存账户信息，并进入所述客户端主页面；如果服务器无UID数据，则服务器生成新的UID数据并保存，本地保存账户信息，并进入所述客户端主页面。若有本地UID数据，则验证离线UID数据，如果UID信息一致，则本地保存账户信息，并进入所述客户端主页面；如果UID信息不一致，则判断本地账户是否关联其他UID。若无关联，则使用本地UID合并厂商数据，进入所述客户端主页面；若有关联，则删除本地数据，使用厂商账号数据进行登录，进入所述客户端主页面。

登录完成进入所述客户端主页后，需添加对方为好友才可发起连接请求。以智能手机为例，一般而言，至少存在三种方式可用于添加好友：以客户端对应的账号添加、以手机号添加、以厂商账号添加。

请结合图5，以客户端对应的账号进行添加操作时，先输入对方的客户端对应的账号，服务器对该账号进行检测并判断其是否有效。若无效，则提示账号输入错误，需要重新输入对方账号；若有效，则服务器进一步判断是否已添加该账号。若已添加，则提示已添加该账号；若未添加，则将该账号保存到本地，并且服务器存储好友关系库，向对方发起添加请求后服务器识别对方UID并向对方发送添加请求通知，然后服务器判断对方是否有service响应。若有service响应，则添加请求发送成功；若无service响应，则添加请求发送失败，当下一次有service响应时再进行发送。发送成功后，对方接受请求，即添加好友成功。

请结合图6，以手机号进行添加操作时，先输入对方手机号码，服务器判断本地是否存在此手机号用户。若本地不存在此手机号用户，则将该手机号保存到本地并且服务器存储好友关系库，然后服务器进一步判断本地是否存在此手机号用户，若判断不存在则页面跳转到非用户联系人界面，若判断存在后则页面跳转到用户联系人界面，向对方发起添加请求后服务器识别对方UID并向对方发送添加请求通知，然后服务器判断对方是否有service响应。若有service响应，则添加请求发送成功；若无service响应，则添加请求发送失败，当下一次有service响应时再进行发送。推送成功后，对方接受请求，即添加好友成功。若本地存在此手机号用户，则服务器判断该手机号是否已被添加。如果已添加，则提示已添加；如果未添加，则将该手机号保存到本地，并且服务器存储好友关系库，向对方发起添加请求后服务器识别对方UID并向对方发送添加请求通知，然后服务器判断对方是否有service响应。若有service响应，则添加请求发送成功；若无service响应，则添加请求发送失败，当下一次有service响应时再进行发送。发送成功后，对方接受请求，即添加好友成功。

请结合图7，以厂商账号进行添加操作时，先输入对方的厂商账号，然后服务器判断是否存在此账号。若不存在此账号，则提示账号输入错误，需重新输入对方账号；若存在此账号，则服务器进一步判断该账号是否已被添加。若已添加，则提示已经添加该账号；若未添加，则将该账号保存到本地，并且服务器存储好友关系库，向对方发起添加请求后服务器识别对方UID并向对方发送添加请求通知，然后服务器判断对方是否有service响应。若有service响应，则添加请求发送成功；若无service响应，则添加请求发送失败，当下一次有service响应时再进行发送。发送成功后，对方接受请求，即添加好友成功。

通过上述方法，添加好友成功后，一方即可根据需要发起连接请求，对方接受请求后，即可进入远程协助状态。

当所述协助方移动终端与所述受助方移动终端建立无线连接，进入远程协助状态后，协助方即可实施对受助方的控制，本发明的实施例均建立在所述协助方与所述受助方处于远程协助状态的基础上，以下将详细说明本发明的实施例的有关内容。

请结合图8，本发明的移动终端远程协助方法，包括如下四个步骤：

步骤S11，通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道接收受助方提交的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面。

由于协助方接收到的是受助方提交的网页内容，且该网页内容包含受助方从其内存中获取的当前显示的用户界面，显然，该网页内容是通过网页进行传输的，利用这种传输方式，相比于利用一般的传输方式，可以使得传输速度得到很大程度的提高，且传输的用户界面也更为清晰。

步骤S12，显示所述网页内容所包含的所述受助方的用户界面。

所述协助方接收所述协助方提交的网页内容后，将其包含的受助方当前显示的用户界面显示在自身用户界面，其显示方式不唯一，至少存在两种显示方式。一种方式是，通过窗口显示所述受助方用户界面，该窗口只占据协助方用户界面的一部分；另一种方式是，全屏显示所述受助方用户界面。对于上述两种方式，协助方用户可根据自己的喜好或实际需要进行选择。

步骤S13，接收语音输入，将之转换为语音指令，通过预建立的协助方与受助方之间的控制传输通道将语音指令传输到受助方。

根据受助方用户的操作需求，协助方用户对所述协助方进行语音输入，协助方接收语音输入并将之转换为语音指令，此过程的具体实现方法，请参阅图9，因此步骤S13又包含如下具体步骤：

步骤S21,启动受话器用于接收用户语音。所述受话器是指可以接收语音的装置，通常情况下，所述受话器一般指设置在所述协助方内部的麦克风。一种实施例中，可通过协助方用户界面提供的虚拟按键接收用户的触控操作启动所述受话器。以客户端为例，在客户端的页面中，设置有麦克风标志或直接以文字注明如“输入语音”的虚拟按键，当协助方用户对所述虚拟按键实行诸如点击、触屏等触控操作时，所述受话器被启动，开始接收语音输入，再进行相同的操作时，所述受话器被关闭，停止接收语音输入；或者，通过长按所述虚拟按键，所述受话器即可持续接收语音输入，该长按操作停止时，所述受话器停止接受语音输入。存在另一种情况，客户端在被启动之后，可以一直检测是否有声音输入，如果有则进行侦听记录，在此期间，如果发现用户一直在不间断地说话，则证明用户还没有完成此次描述，直到用户停止说话达到一定的时间长度(例如2秒或者其他值)，则可以认为用户已经完成了此次描述。即，所述受话器始终处于工作状态，即在远程操作过程中可随时接受协助方用户的语音输入，而不需要用户执行前述的触控操作。但通常来说，为了避免接收与指定操作无关的语音输入，不会优先选取此方案。

步骤S22，将用户语音提交到云端服务器进行语义识别和指令转换，以形成相应的语音指令。所述受话器在接收用户语音之后，将语音提交到云端服务器，云端服务器即对语音进行语义识别和指令转换。云端服务器先将输入的语音进行识别，并将语音转换为文字信息，然后识别文字信息中的关键词，根据这些关键词，直接生成语音指令，或必要时联网搜索对应的信息以形成语音指令。

相应地，云端服务器中以预先保存有与所述文本信息对应的文本样本。首先，在预先保存文本样本时，针对同一终端设备故障，可以根据用户的语言习惯，或者不同用户可能会用到的表达方式，保存多个文本样本，也就是说，文本样本与指令之间可以是多对一(这里将针对同一故障可能执行的一系列指令看作的是一个指令)的关系。例如，“手机界面出现陌生图标，且无法删除”、“手机界面上有不认识的图标，还删不掉”等文本样本，对应的指令是相同的。这样，将用户输入的语音信号转换为文本信息之后，就可以将转换得到的文本信息与各文本样本进行比对，如果能够直接命中某一文本样本，则可以为其选择执行该文本样本对应的指令。

当然，通过以上这种多对一的方式可能仍然不能完全将用户可能说的话完全涵盖进来，因此，在本发明实施例中，如果转换得到的文本信息不能直接命中任何预置的文本样本，则还可以通过语义分析方式进行匹配。也即，对转换得到的文本进行语义分析，分析出用户的真实意思，比如是想杀毒还是想查杀木马，并导向到预置的命令；或者，对于同一个意思，比如杀毒，用户可以说，“我想杀个毒”，或者用户说，“我的手机有毒”，因此，把“我的手机有毒”也可以分析成杀毒指令，等等。进而，可以判断是否存在语义上与所述转换得到的文本信息相匹配的预置的文本样本，如果存在，就可以为转换得到的文本信息选择执行该文本样本对应的指令。

一种实施例中，协助方用户输入提问式的语音，如“明天想去长城玩，会不会冷，需不需要带外套”，云端服务器将其转换对应的文字信息，并识别关键词如“明天”(时间)、“长城”(地点)、“会不会冷”(天气)、“外套”(生活资讯)等，从而确定与之对应的文本样本，然后依据该文本样本搜索得到明天长城的天气情况及相关的穿衣指数内容等，并根据搜索结果得到答案如“明天长城有点凉，还是穿件外套吧”，即将之转换成了相应的语音指令。另一种实施例中，协助方用户输入陈述式的语音如“提醒老爸晚上八点钟参加同事聚餐”，云端服务器将其转换为对应的文字信息，并识别关键词如“提醒”、“老爸”(受助方用户)、“晚上八点钟”(时间)、“同事聚餐”(事件)，从而确定与之对应的文本样本，并生成相应的语音指令如“晚上八点钟参加同事聚餐”。

如果经过语义分析仍然未发现匹配的文本样本，则证明有可能是在语音识别的过程中出现了错误，例如，在存在同音字的情况下，可能错误地转换成了另一个字，以至于无法正确分析出其语义。因此，在本发明实施例中，还可以将所转换得到的文本信息中的文字进行同音字的替换，替换之后，再进行语义分析，并与文本样本进行比对。具体实现时，可以预置一同音字库，根据同音字库，将一个文本信息中可能包含的同音字逐个进行替换。

最后，如果进行同音字的替换之后，仍未发现匹配的文本样本，则证明可能是由于用户的发音存在错误，此时，可以根据方言可能产生的发音错误对照表(可以是预置的，例如有些南方人可能不能区分平舌音与翘舌音，将“zh”、“ch”、“sh”读成“z”、“c”、“s”，有人则恰恰相反，或者还有人不能区分前鼻音与后鼻音，将“ang”、“eng”、“ing”读成“an”、“en”、“in”，等等)，将可能包含的发音错误文字进行纠正，之后再进行语义分析，并与文本样本进行匹配。当然，在一段文本中可能会包含多个疑似由于口音问题识别错误的文字，因此，可以一个一个地排查，例如，首先找出声母中带有需要区分平舌和翘舌的，以及韵母中有需要区分前鼻音后鼻音的，然后分别进行替换。例如，如果当前文本中包含声母是“s”的文字，则将其声母替换为“sh”，再重新拼出新的文字，用于替换文本信息中对应的文字，然后再与文本样本进行匹配，以此类推。当然，在实际应用中，在不同的语境或上下文中，由于方言导致的识别错误可能有一定规律。因此，可以预先对这种规律进行统计，这样，在需要进行口音纠正时，就可以结合具体的语境及上下文，根据之前统计的信息找出最有可能是由于用户方言导致的识别错误，并进行替换后再与文本样本进行匹配，这样可以提高效率。

需要说明的是，在执行上述匹配的过程中，根据同一转换得到的文本信息，可能会得到多个匹配的文本样本，进而对应多个指令。此时，还可以根据匹配过程所依据的信息，对匹配出的各个文本样本进行计算权值，最终所得权值最高的文本样本作为最匹配的文本样本，并为转换得到的文本信息选择该文本样本对应的指令。其中，具体在计算权值时，可以将文本直接命中的情况设定为最高的权重，同音字替换后命中的次之，口音纠正后命中的最低，当然，也可以按照其他的方式设置权重。

另外需要说明的是，在实际应用中，不一定严格按照上述顺序进行匹配，例如，如果转换后的文本信息没有直接命中文本样本，则也可以直接进行口音纠正，或者将同音字替换与口音纠正的步骤互换，或者也可以只执行其中的一些操作，等等，这里不进行限定。总之，通过前述操作，可以将语音识别与语义、模糊音匹配等技术结合起来，经过从语音到文字、从文字到指令的过程，得到用户想要执行的指令，从而帮助用户诊断受助方可能存在的问题。

再者，在实际应用中，在为转换得到的文本信息选择出对应的指令之后，可以立即执行该指令，以便使受助方消除故障。或者，为了避免产生误判等，也可以在选择出对应的指令之后，向用户发出提示信息，如果用户接受，则执行相应的指令。

如果系统经过一系列的查询，分析之后，还是无法找到命令的匹配项或是有多个匹配项被同时命中，系统可以让用户选择可能的操作，这时，可以加入语音提示，提示后，再次接收用户的语音输入，判断用户是不是确认这一操作，通过这一方式，可以做到用户不用任何触控或点击操作即可在打开相关程序，以便修复受助方存在的问题。

一种实施例中，协助方用户输入命令式的语音如“帮老妈寻找在她附近的餐厅”，云端服务器将其转换为对应的文字信息，并提取出关键词如“老妈”(受助方用户)、“寻找”、“餐厅”等，并形成相应的语音指令，使得受助方立即执行该指令，开始进行导航。又一种实施例中，协助方用户输入命令式的语音如“打开微信”，云端服务器将其转换为对应的文字信息，并提取出关键词“打开”、“微信”，并形成相应的语音指令，得受助方立即执行该指令，即打开微信，或向受助方发出提示信息，弹出如包含“是”和“否”选项的条件选项框，用户选择“是”后，则执行相应的指令，即打开微信。

对于非精准的匹配，如果得到用户的肯定的回答，则可以直接将这一模糊词组入库，下次如果再遇到这一词组，则可以认为是一个精准的匹配，而不用再次与用户进行语音确认。从而，系统可以不断的自我学习。因为这一个自我学习的过程是发生在用户的本地，所以这是一个完全以用户的口音，说话方式为训练源的自我学习过程。在用户的使用过程中，整个系统会越来越能明用户的意思。

所述协助方将所述语音指令传输给所述受助方后，在协助方的协助下，所述受助方根据所述语音指令确定相应的指令集并将之以文件形式预存于受助方移动终端。为了能够根据用户输入的故障描述信息，为用户找到为消除该故障所需执行的操作，本发明实施例可以预先收集一些用户的终端设备中可能出现的各种故障，通过人工分析等方式，找出这些故障的原因，并给出具体的解决方法，例如，关于“手机界面出现陌生图标，且无法删除”这一故障，分析出是由于手机中了病毒木马所致，对应的解决方法就可以是查杀木马，甚至可以是查杀某一特定木马等等。可以通过一系列指令的方式来表达出这种解决方法，然后就可以将用于描述故障的文本与解决该故障的指令对应保存起来；保存的对应关系中的文本相当于是对故障进行描述的文本样本，这样，将用户输入的语音信号转换为文本信息之后，就可以将转换得到的文本信息，与预先保存的各条记录中的文本进行匹配，该文本的确定方式已在上文中作了具体说明，故不再赘述，如果与某条记录匹配成功，则可以执行该条记录中的指令，这样，就可以将该用户终端设备中存在的故障消除。

另外，由于协助方的语音指令可能不止对应一个操作，所以可将其分解为多条单一的指令，每条指令即对应一个操作。如一种实施例中，所述语音指令为“打开微信和QQ”，其对应的指令集就对应了打开微信的操作和打开QQ的操作。

完成步骤S13及其包含的步骤S21、S22后，协助方立即执行步骤S14，即更新显示后续获取的受助方提交的网页内容中的受助方用户界面，使其展示受所述语音指令作用于受助方后形成的画面活动过程。

为了保证远程协助的有效性，就必须使得协助方可即时获取受助方的用户界面，因此协助方在远程协助的过程中能持续更新受助方的用户界面，并使受助方用户界面展示受所述语音指令作用于受助方后形成的画面活动过程，请结合图13，一种方式中，在所述协助方的协助下，受助方用户界面形成的画面活动过程包括如下步骤：

步骤S41，显示收到所述语音指令后弹出的内容信息；步骤S42，在接收用户触发事件后清除所述内容信息。与前述的实施例相对应地，一种实施例中，当受助方接收到“明天长城有点凉，还是穿件外套吧”的语音指令后，即在受助方用户界面显示相同或语义一致的文字内容，换言之，该文字内容不是固定的，只要其语义与所述语音指令对应即可，在接收用户触发事件后，所述文字内容即被清除。所述触发事件可以是按下移动终端上的某个实体按键，也可以是在用户界面进行触屏、点击等操作，当然也包括用户在用户界面上执行的手势事件，或用户作用于对移动终端做语音输入，该语音对应于清除所述文字内容的命令。

请结合图14，在另一种方式中，在所述协助方的控制下，使受助方用户界面形成的画面活动过程包括如下步骤：步骤S51，显示接收到所述语音指令后弹出的交互控件；步骤S52，以所述交互控件接收用户触发事件；步骤S53，执行与所述触发事件所对应的协助过程。与前述的实施例相对应地，一种实施例中，在接收到与“寻找附近餐厅”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开地图进行导航”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即打开受助方中的地图应用程序，开始进行导航。一种实施例中，在接收到与“打开微信”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开微信”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即可打开受助方的微信，并进入微信客户端主页面。

所述实施例不应形成对所述交互控件、触发事件和协助过程的内容和形式的限制。所述交互控件也可以是弹窗，并包含三个或三个以上的选项；也可以是其他形式的虚拟键盘，只要通过其能完成相应的操作，则可视为本发明所述的交互控件。所述的协助过程除了打开应用程序以外，还可以包括删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息等，且协助过程可同时包含上述多个过程，例如一种实施例中，受助方用户欲将受助方中的微信中的某些文字内容复制到word文档中并做适当修改，在协助方的协助下，受助方完成该操作的过程即包括了打开应用程序(打开微信和word文档)、切换用户界面(从微信界面切换到word文档界面)、输入内容信息(将微信中的文字内容复制到word文档中并修改文字内容)、删除内容信息和编辑内容信息(在word文档中修改文字内容)等。

根据模块化程序设计理念，本发明还为上述远程协助方法提供相应的装置，以下将进行详细介绍。

本发明适用于所述的协助方移动终端而提供的一种远程协助控制装置具有多种实施例，以下将以与所述的远程协助协助方法相适应的方式，详细说明本发明的远程协助控制装置所实现的实施例的有关内容。

请结合图10，本发明的移动终端远程协助控制装置，包括接收单元11、显示单元12、转换单元13和更新单元14，在默认协助方与受助方建立无线连接的情况下，所述远程协助控制装置通常按照显接收单元11、显示单元12、转换单元13、更新单元14的顺序运行来执行。其具体实施方式将在以下内容中说明。

所述的接收单元11，通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道接收受助方提交的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面。

由于协助方接收到的是受助方提交的网页内容，且该网页内容包含受助方从其内存中获取的当前显示的用户界面，显然，该网页内容是通过网页进行传输的，利用这种传输方式，相比于利用一般的传输方式，可以使得传输速度得到很大程度的提高，且传输的用户界面也更为清晰。

所述的显示单元12，用于显示所述网页内容所包含的所述受助方的用户界面。

所述协助方接收所述协助方提交的网页内容后，将其包含的受助方当前显示的用户界面显示在自身用户界面，其显示方式不唯一，至少存在两种显示方式。一种方式是，通过窗口显示所述受助方用户界面，该窗口只占据协助方用户界面的一部分；另一种方式是，全屏显示所述受助方用户界面。对于上述两种方式，协助方用户可根据自己的喜好或实际需要进行选择。

所述的转换单元13，用于接收语音输入，将之转换为语音指令，通过预建立的协助方与受助方之间的控制传输通道将语音指令传输到受助方。

根据受助方用户的操作需求，协助方用户对所述协助方进行语音输入，协助方接收语音输入并将之转换为语音指令，要实现此过程，请参阅图11，本装置还包括：

启动单元21,用于启动受话器用于接收用户语音。所述受话器是指可以接收语音的装置，通常情况下，所述受话器一般指设置在所述协助方内部的麦克风。一种实施例中，可通过协助方用户界面提供的虚拟按键接收用户的触控操作启动所述受话器。以客户端为例，在客户端的页面中，设置有麦克风标志或直接以文字注明如“输入语音”的虚拟按键，当协助方用户对所述虚拟按键实行诸如点击、触屏等触控操作时，所述受话器被启动，开始接收语音输入，再进行相同的操作时，所述受话器被关闭，停止接收语音输入；或者，通过长按所述虚拟按键，所述受话器即可持续接收语音输入，该长按操作停止时，所述受话器停止接受语音输入。存在另一种情况，客户端在被启动之后，可以一直检测是否有声音输入，如果有则进行侦听记录，在此期间，如果发现用户一直在不间断地说话，则证明用户还没有完成此次描述，直到用户停止说话达到一定的时间长度(例如2秒或者其他值)，则可以认为用户已经完成了此次描述。即，所述受话器始终处于工作状态，即在远程操作过程中可随时接受协助方用户的语音输入，而不需要用户执行前述的触控操作。但通常来说，为了避免接收与指定操作无关的语音输入，不会优先选取此方案。

提交单元22，用于将用户语音提交到云端服务器进行语义识别和指令转换，以形成相应的语音指令。所述受话器在接收用户语音之后，将语音提交到云端服务器，云端服务器即对语音进行语义识别和指令转换。云端服务器先将输入的语音进行识别，并将语音转换为文字信息，然后识别文字信息中的关键词，根据这些关键词，直接生成语音指令，或必要时联网搜索对应的信息以形成语音指令。

相应地，云端服务器中以预先保存有与所述文本信息对应的文本样本。首先，在预先保存文本样本时，针对同一终端设备故障，可以根据用户的语言习惯，或者不同用户可能会用到的表达方式，保存多个文本样本，也就是说，文本样本与指令之间可以是多对一(这里将针对同一故障可能执行的一系列指令看作的是一个指令)的关系。例如，“手机界面出现陌生图标，且无法删除”、“手机界面上有不认识的图标，还删不掉”等文本样本，对应的指令是相同的。这样，将用户输入的语音信号转换为文本信息之后，就可以将转换得到的文本信息与各文本样本进行比对，如果能够直接命中某一文本样本，则可以为其选择执行该文本样本对应的指令。

当然，通过以上这种多对一的方式可能仍然不能完全将用户可能说的话完全涵盖进来，因此，在本发明实施例中，如果转换得到的文本信息不能直接命中任何预置的文本样本，则还可以通过语义分析方式进行匹配。也即，对转换得到的文本进行语义分析，分析出用户的真实意思，比如是想杀毒还是想查杀木马，并导向到预置的命令；或者，对于同一个意思，比如杀毒，用户可以说，“我想杀个毒”，或者用户说，“我的手机有毒”，因此，把“我的手机有毒”也可以分析成杀毒指令，等等。进而，可以判断是否存在语义上与所述转换得到的文本信息相匹配的预置的文本样本，如果存在，就可以为转换得到的文本信息选择执行该文本样本对应的指令。

一种实施例中，协助方用户输入提问式的语音，如“明天想去长城玩，会不会冷，需不需要带外套”，云端服务器将其转换对应的文字信息，并识别关键词如“明天”(时间)、“长城”(地点)、“会不会冷”(天气)、“外套”(生活资讯)等，从而确定与之对应的文本样本，然后依据该文本样本搜索得到明天长城的天气情况及相关的穿衣指数内容等，并根据搜索结果得到答案如“明天长城有点凉，还是穿件外套吧”，即将之转换成了相应的语音指令。另一种实施例中，协助方用户输入陈述式的语音如“提醒老爸晚上八点钟参加同事聚餐”，云端服务器将其转换为对应的文字信息，并识别关键词如“提醒”、“老爸”(受助方用户)、“晚上八点钟”(时间)、“同事聚餐”(事件)，从而确定与之对应的文本样本，并生成相应的语音指令如“晚上八点钟参加同事聚餐”。

如果经过语义分析仍然未发现匹配的文本样本，则证明有可能是在语音识别的过程中出现了错误，例如，在存在同音字的情况下，可能错误地转换成了另一个字，以至于无法正确分析出其语义。因此，在本发明实施例中，还可以将所转换得到的文本信息中的文字进行同音字的替换，替换之后，再进行语义分析，并与文本样本进行比对。具体实现时，可以预置一同音字库，根据同音字库，将一个文本信息中可能包含的同音字逐个进行替换。

最后，如果进行同音字的替换之后，仍未发现匹配的文本样本，则证明可能是由于用户的发音存在错误，此时，可以根据方言可能产生的发音错误对照表(可以是预置的，例如有些南方人可能不能区分平舌音与翘舌音，将“zh”、“ch”、“sh”读成“z”、“c”、“s”，有人则恰恰相反，或者还有人不能区分前鼻音与后鼻音，将“ang”、“eng”、“ing”读成“an”、“en”、“in”，等等)，将可能包含的发音错误文字进行纠正，之后再进行语义分析，并与文本样本进行匹配。当然，在一段文本中可能会包含多个疑似由于口音问题识别错误的文字，因此，可以一个一个地排查，例如，首先找出声母中带有需要区分平舌和翘舌的，以及韵母中有需要区分前鼻音后鼻音的，然后分别进行替换。例如，如果当前文本中包含声母是“s”的文字，则将其声母替换为“sh”，再重新拼出新的文字，用于替换文本信息中对应的文字，然后再与文本样本进行匹配，以此类推。当然，在实际应用中，在不同的语境或上下文中，由于方言导致的识别错误可能有一定规律。因此，可以预先对这种规律进行统计，这样，在需要进行口音纠正时，就可以结合具体的语境及上下文，根据之前统计的信息找出最有可能是由于用户方言导致的识别错误，并进行替换后再与文本样本进行匹配，这样可以提高效率。

需要说明的是，在执行上述匹配的过程中，根据同一转换得到的文本信息，可能会得到多个匹配的文本样本，进而对应多个指令。此时，还可以根据匹配过程所依据的信息，对匹配出的各个文本样本进行计算权值，最终所得权值最高的文本样本作为最匹配的文本样本，并为转换得到的文本信息选择该文本样本对应的指令。其中，具体在计算权值时，可以将文本直接命中的情况设定为最高的权重，同音字替换后命中的次之，口音纠正后命中的最低，当然，也可以按照其他的方式设置权重。

另外需要说明的是，在实际应用中，不一定严格按照上述顺序进行匹配，例如，如果转换后的文本信息没有直接命中文本样本，则也可以直接进行口音纠正，或者将同音字替换与口音纠正的步骤互换，或者也可以只执行其中的一些操作，等等，这里不进行限定。总之，通过前述操作，可以将语音识别与语义、模糊音匹配等技术结合起来，经过从语音到文字、从文字到指令的过程，得到用户想要执行的指令，从而帮助用户诊断受助方可能存在的问题。

再者，在实际应用中，在为转换得到的文本信息选择出对应的指令之后，可以立即执行该指令，以便使受助方消除故障。或者，为了避免产生误判等，也可以在选择出对应的指令之后，向用户发出提示信息，如果用户接受，则执行相应的指令。

如果系统经过一系列的查询，分析之后，还是无法找到命令的匹配项或是有多个匹配项被同时命中，系统可以让用户选择可能的操作，这时，可以加入语音提示，提示后，再次接收用户的语音输入，判断用户是不是确认这一操作，通过这一方式，可以做到用户不用任何触控或点击操作即可在打开相关程序，以便修复受助方存在的问题。

一种实施例中，协助方用户输入命令式的语音如“帮老妈寻找在她附近的餐厅”，云端服务器将其转换为对应的文字信息，并提取出关键词如“老妈”(受助方用户)、“寻找”、“餐厅”等，并形成相应的语音指令，使得受助方立即执行该指令，开始进行导航。又一种实施例中，协助方用户输入命令式的语音如“打开微信”，云端服务器将其转换为对应的文字信息，并提取出关键词“打开”、“微信”，并形成相应的语音指令，得受助方立即执行该指令，即打开微信，或向受助方发出提示信息，弹出如包含“是”和“否”选项的条件选项框，用户选择“是”后，则执行相应的指令，即打开微信。

对于非精准的匹配，如果得到用户的肯定的回答，则可以直接将这一模糊词组入库，下次如果再遇到这一词组，则可以认为是一个精准的匹配，而不用再次与用户进行语音确认。从而，系统可以不断的自我学习。因为这一个自我学习的过程是发生在用户的本地，所以这是一个完全以用户的口音，说话方式为训练源的自我学习过程。在用户的使用过程中，整个系统会越来越能明用户的意思。

所述协助方将所述语音指令传输给所述受助方后，在协助方的协助下，所述受助方根据所述语音指令确定相应的指令集并将之以文件形式预存于受助方移动终端。为了能够根据用户输入的故障描述信息，为用户找到为消除该故障所需执行的操作，本发明实施例可以预先收集一些用户的终端设备中可能出现的各种故障，通过人工分析等方式，找出这些故障的原因，并给出具体的解决方法，例如，关于“手机界面出现陌生图标，且无法删除”这一故障，分析出是由于手机中了病毒木马所致，对应的解决方法就可以是查杀木马，甚至可以是查杀某一特定木马等等。可以通过一系列指令的方式来表达出这种解决方法，然后就可以将用于描述故障的文本与解决该故障的指令对应保存起来；保存的对应关系中的文本相当于是对故障进行描述的文本样本，这样，将用户输入的语音信号转换为文本信息之后，就可以将转换得到的文本信息，与预先保存的各条记录中的文本进行匹配，该文本的确定方式已在上文中作了具体说明，故不再赘述，如果与某条记录匹配成功，则可以执行该条记录中的指令，这样，就可以将该用户终端设备中存在的故障消除。

另外，由于协助方的语音指令可能不止对应一个操作，所以可将其分解为多条单一的指令，每条指令即对应一个操作。如一种实施例中，所述语音指令为“打开微信和QQ”，其对应的指令集就对应了打开微信的操作和打开QQ的操作。

所述的更新单元14，用于更新显示后续获取的受助方提交的网页内容中的受助方用户界面，使其展示受所述语音指令作用于受助方后形成的画面活动过程。

为了保证远程协助的有效性，就必须使得协助方可即时获取受助方的用户界面，因此协助方在远程协助的过程中能持续更新受助方的用户界面，并使受助方用户界面展示受所述语音指令作用于受助方后形成的画面活动过程，一种方式中，在所述协助方的协助下，受助方用户界面形成的画面活动过程包括：显示收到所述语音指令后弹出的内容信息；在接收用户触发事件后清除所述内容信息。

与前述的实施例相对应地，一种实施例中，当受助方接收到“明天长城有点凉，还是穿件外套吧”的语音指令后，即在受助方用户界面显示相同或语义一致的文字内容，换言之，该文字内容不是固定的，只要其语义与所述语音指令对应即可，在接收用户触发事件后，所述文字内容即被清除。所述触发事件可以是按下移动终端上的某个实体按键，也可以是在用户界面进行触屏、点击等操作，当然也包括用户在用户界面上执行的手势事件，或用户作用于对移动终端做语音输入，该语音对应于清除所述文字内容的命令。

在另一种方式中，在所述协助方的控制下，使受助方用户界面形成的画面活动过程包括：显示接收到所述语音指令后弹出的交互控件；以所述交互控件接收用户触发事件；执行与所述触发事件所对应的协助过程。

与前述的实施例相对应地，一种实施例中，在接收到与“寻找附近餐厅”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开地图进行导航”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即打开受助方中的地图应用程序，开始进行导航。一种实施例中，在接收到与“打开微信”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开微信”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即可打开受助方的微信，并进入微信客户端主页面。

所述实施例不应形成对所述交互控件、触发事件和协助过程的内容和形式的限制。所述交互控件也可以是弹窗，并包含三个或三个以上的选项；也可以是其他形式的虚拟键盘，只要通过其能完成相应的操作，则可视为本发明所述的交互控件。所述的协助过程除了打开应用程序以外，还可以包括删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息等，且协助过程可同时包含上述多个过程，例如一种实施例中，受助方用户欲将受助方中的微信中的某些文字内容复制到word文档中并做适当修改，在协助方的协助下，受助方完成该操作的过程即包括了打开应用程序(打开微信和word文档)、切换用户界面(从微信界面切换到word文档界面)、输入内容信息(将微信中的文字内容复制到word文档中并修改文字内容)、删除内容信息和编辑内容信息(在word文档中修改文字内容)等。

请结合图12，本发明的移动终端远程受助方法，包括如下步骤：

步骤S31，通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道向协助方提交自身的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面。

受助方将包含自身当前显示的用户界面的网页内容提交至协助方，由于受助方向协助方提交的是网页内容，显然，该网页内容是通过网页进行传输的，利用这种传输方式，相比于利用一般的传输方式，可以使得传输速度得到很大程度的提高，且传输的用户界面也更为清晰。

步骤S32，通过预建立的协助方与受助方之间的控制传输通道接收由所述协助方作用而产生的语音指令并执行之，使所述用户界面产生与该语音指令相对应的画面活动过程。

相应地，云端服务器中预先保存有与所述文本信息对应的文本样本。首先，在预先保存文本样本时，针对同一终端设备故障，可以根据用户的语言习惯，或者不同用户可能会用到的表达方式，保存多个文本样本，也就是说，文本样本与指令之间可以是多对一(这里将针对同一故障可能执行的一系列指令看作的是一个指令)的关系。例如，“手机界面出现陌生图标，且无法删除”、“手机界面上有不认识的图标，还删不掉”等文本样本，对应的指令是相同的。这样，将用户输入的语音信号转换为文本信息之后，就可以将转换得到的文本信息与各文本样本进行比对，如果能够直接命中某一文本样本，则可以为其选择执行该文本样本对应的指令。

当然，通过以上这种多对一的方式可能仍然不能完全将用户可能说的话完全涵盖进来，因此，在本发明实施例中，如果转换得到的文本信息不能直接命中任何预置的文本样本，则还可以通过语义分析方式进行匹配。也即，对转换得到的文本进行语义分析，分析出用户的真实意思，比如是想杀毒还是想查杀木马，并导向到预置的命令；或者，对于同一个意思，比如杀毒，用户可以说，“我想杀个毒”，或者用户说，“我的手机有毒”，因此，把“我的手机有毒”也可以分析成杀毒指令，等等。进而，可以判断是否存在语义上与所述转换得到的文本信息相匹配的预置的文本样本，如果存在，就可以为转换得到的文本信息选择执行该文本样本对应的指令。

如果经过语义分析仍然未发现匹配的文本样本，则证明有可能是在语音识别的过程中出现了错误，例如，在存在同音字的情况下，可能错误地转换成了另一个字，以至于无法正确分析出其语义。因此，在本发明实施例中，还可以将所转换得到的文本信息中的文字进行同音字的替换，替换之后，再进行语义分析，并与文本样本进行比对。具体实现时，可以预置一同音字库，根据同音字库，将一个文本信息中可能包含的同音字逐个进行替换。

最后，如果进行同音字的替换之后，仍未发现匹配的文本样本，则证明可能是由于用户的发音存在错误，此时，可以根据方言可能产生的发音错误对照表(可以是预置的，例如有些南方人可能不能区分平舌音与翘舌音，将“zh”、“ch”、“sh”读成“z”、“c”、“s”，有人则恰恰相反，或者还有人不能区分前鼻音与后鼻音，将“ang”、“eng”、“ing”读成“an”、“en”、“in”，等等)，将可能包含的发音错误文字进行纠正，之后再进行语义分析，并与文本样本进行匹配。当然，在一段文本中可能会包含多个疑似由于口音问题识别错误的文字，因此，可以一个一个地排查，例如，首先找出声母中带有需要区分平舌翘舌的，以及韵母中有需要区分前鼻音后鼻音的，然后分别进行替换。例如，如果当前文本中包含声母是“s”的文字，则将其声母替换为“sh”，再重新拼出新的文字，用于替换文本信息中对应的文字，然后再与文本样本进行匹配，以此类推。当然，在实际应用中，在不同的语境或上下文中，由于方言导致的识别错误可能有有一定规律的。因此，可以预先对这种规律进行统计，这样，在需要进行口音纠正时，就可以结合具体的语境及上下文，根据之前统计的信息找出最有可能是由于用户方言导致的识别错误，并进行替换后再与文本样本进行匹配，这样可以提高效率。

需要说明的是，在执行上述匹配的过程中，根据同一转换得到的文本信息，可能会得到多个匹配的文本样本，进而对应多个指令。此时，还可以根据匹配过程所依据的信息，对匹配出的各个文本样本进行计算权值，最终所得权值最高的文本样本作为最匹配的文本样本，并为转换得到的文本信息选择该文本样本对应的指令。其中，具体在计算权值时，可以将文本直接命中的情况设定为最高的权重，同音字替换后命中的次之，口音纠正后命中的最低，当然，也可以按照其他的方式设置权重。

另外需要说明的是，在实际应用中，不一定严格按照上述顺序进行匹配，例如，如果转换后的文本信息没有直接命中文本样本，则也可以直接进行口音纠正，或者将同音字替换与口音纠正的步骤互换，或者也可以只执行其中的一些操作，等等，这里不进行限定。总之，通过前述操作，可以将语音识别与语义、模糊音匹配等技术结合起来，经过从语音到文字、从文字到指令的过程，得到用户想要执行的指令，从而帮助用户诊断计算机中可能存在的问题。再者，在实际应用中，在为转换得到的文本信息选择出对应的指令之后，可以立即执行该指令，以便帮用户消除故障。或者，为了避免产生误判等，也可以在选择出对应的指令之后，向用户发出提示信息，如果用户接受，则执行相应的指令。

如果系统经过一系列的查询，分析之后，还是无法找到命令的匹配项或是有多个匹配项被同时命中，系统可以让用户选择可能的操作，这时，可以加入语音提示，提示后，再次接收用户的语音输入，判断用户是不是确认这一操作，通过这一方式，可以做到用户不用任何鼠标操作即可在打开相关程序，以便修复手机中的问题。

对于这类非精准的匹配后，如果得到用户的肯定的回答，则可以直接将这一模糊词组入库，下次如果再遇到这一词组，则可以认为是一个精准的匹配，而不用再次与用户进行语音确认。从而，系统可以不断的自我学习。因为这一个自我学习的过程是发生在用户的本地，所以这是一个完全以用户的口音，说话方式为训练源的自我学习过程。在用户的使用过程中，整个系统会越来越能明用户的意思。

步骤S33，同步向协助方传送包含用于展示所述画面活动过程的用户界面的网页内容。

接收所述语音指令后，所述受助方可直接执行所述语音指令以完成相应的操作，或对所述语音指令进行解析以确定相应的指令集，再根据解析的结果执行相应的操作。执行相应的操作后，所述用户界面即产生与所述语音指令相对应的画面活动过程。

请结合图13，一种实施例中，所述的画面活动过程包括如下步骤：

步骤S41，显示收到所述语音指令后弹出的内容信息；步骤S42，在接收用户触发事件后清除所述内容信息。

一种实施例中，当受助方接收到“明天长城有点凉，还是穿件外套吧”的语音指令后，即在受助方用户界面显示相同的或语义相近的文字内容，在接收用户触发事件后，所述文字内容信息即被清除。另一种实施例中，当受助方接收到“提醒我晚上八点钟参加同事聚餐”的语音指令后，即在受助方用户界面显示相同的或语义相近的文字内容信息，在接收用户触发事件后，所述文字内容即被清除。所述触发事件可以是按下移动终端上的某个实体按键，也可以是在用户界面进行触屏、点击等操作，当然也包括用户在用户界面上执行的手势事件，或用户作用于对移动终端做语音输入，该语音对应于清除所述文字内容的命令。

请结合图14，存在另一种情况，受助方用户界面形成的画面活动过程包括如下步骤：步骤S51，显示接收到所述语音指令后弹出的交互控件；步骤S52，以所述交互控件接收用户触发事件；步骤S53，执行与所述触发事件所对应的协助过程。

一种实施例中，在接收到与“寻找附近餐厅”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开地图进行导航”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即打开受助方中的地图应用程序，开始进行搜素并导航。一种实施例中，在接收到与“打开微信”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开微信”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即可打开受助方的微信，并进入微信客户端主页面。

其中，请结合图15，弹出所述交互控件的步骤还包括如下具体步骤：步骤S61，接收到所述语音指令后对其进行解析以确定相应的指令集；步骤S62，执行所述指令集导致弹出所述交互控件。

所述受助方根据所述语音指令确定相应的指令集并将之以文件形式预存于受助方移动终端。由于协助方的语音指令可能不止对应一个操作，所以将其分解为多条指令，每条指令即对应一个操作。一种实施例中，所述语音指令为“打开微信和QQ”，其对应的指令集就对应了打开微信的操作和打开QQ这两个操作。

所述实施例不应形成对所述交互控件、触发事件和协助过程的内容和形式的限制。所述交互控件也可以是弹窗，并包含三个或三个以上的选项；也可以是其他形式的虚拟键盘，只要通过其能完成相应的操作，则可构成本发明所述的交互控件。所述的协助过程除了打开应用程序以外，还可以包括删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息等，且协助过程可同时包含上述多个过程，一种实施例中，受助方用户欲将受助方中的微信中的某些文字内容复制到word文档中并做适当修改，在协助方的控制下，受助方完成该操作的过程即包括了打开应用程序(打开微信和word文档)、切换用户界面(切换微信界面到word文档界面)、输入内容信息(将微信中的文字内容复制到word文档中并修改文字内容)、删除内容信息和编辑内容信息(在word文档中修改文字内容)等。

根据模块化程序设计理念，本发明还为上述远程协助受助方法提供相应的装置，以下将进行详细介绍。

本发明适用于所述的受助方移动终端而提供的一种移动终端远程协助受控装置具有多种实施例，以下将以与所述的远程协助受助方法相适应的方式，详细说明本发明的远程协助受控装置所实现的实施例的有关内容。

请结合图16，本发明提供的一种远程协助受控装置，包括提交单元31、执行单元32和同步单元33，在默认协助方与受助方建立无线连接的情况下，所述远程协助控制装置通常按照提交单元31、执行单元32、同步单元33的顺序运行来执行。其具体实施方式将在以下内容中说明。

所述的提交单元31，通过预建立的处于远程协助状态下的协助方与受助方之间的界面传输通道向协助方提交自身的网页内容，该网页内容包含受助方从其内存中获取的当前显示的用户界面。

受助方将包含自身当前显示的用户界面的网页内容提交至协助方，由于受助方向协助方提交的是网页内容，显然，该网页内容是通过网页进行传输的，利用这种传输方式，相比于利用一般的传输方式，可以使得传输速度得到很大程度的提高，且传输的用户界面也更为清晰。

所述的执行单元32，通过预建立的协助方与受助方之间的控制传输通道接收由所述协助方作用而产生的语音指令并执行之，使所述用户界面产生与该语音指令相对应的画面活动过程。

相应地，云端服务器中预先保存有与所述文本信息对应的文本样本。首先，在预先保存文本样本时，针对同一终端设备故障，可以根据用户的语言习惯，或者不同用户可能会用到的表达方式，保存多个文本样本，也就是说，文本样本与指令之间可以是多对一(这里将针对同一故障可能执行的一系列指令看作的是一个指令)的关系。例如，“手机界面出现陌生图标，且无法删除”、“手机界面上有不认识的图标，还删不掉”等文本样本，对应的指令是相同的。这样，将用户输入的语音信号转换为文本信息之后，就可以将转换得到的文本信息与各文本样本进行比对，如果能够直接命中某一文本样本，则可以为其选择执行该文本样本对应的指令。

当然，通过以上这种多对一的方式可能仍然不能完全将用户可能说的话完全涵盖进来，因此，在本发明实施例中，如果转换得到的文本信息不能直接命中任何预置的文本样本，则还可以通过语义分析方式进行匹配。也即，对转换得到的文本进行语义分析，分析出用户的真实意思，比如是想杀毒还是想查杀木马，并导向到预置的命令；或者，对于同一个意思，比如杀毒，用户可以说，“我想杀个毒”，或者用户说，“我的手机有毒”，因此，把“我的手机有毒”也可以分析成杀毒指令，等等。进而，可以判断是否存在语义上与所述转换得到的文本信息相匹配的预置的文本样本，如果存在，就可以为转换得到的文本信息选择执行该文本样本对应的指令。

如果经过语义分析仍然未发现匹配的文本样本，则证明有可能是在语音识别的过程中出现了错误，例如，在存在同音字的情况下，可能错误地转换成了另一个字，以至于无法正确分析出其语义。因此，在本发明实施例中，还可以将所转换得到的文本信息中的文字进行同音字的替换，替换之后，再进行语义分析，并与文本样本进行比对。具体实现时，可以预置一同音字库，根据同音字库，将一个文本信息中可能包含的同音字逐个进行替换。

最后，如果进行同音字的替换之后，仍未发现匹配的文本样本，则证明可能是由于用户的发音存在错误，此时，可以根据方言可能产生的发音错误对照表(可以是预置的，例如有些南方人可能不能区分平舌音与翘舌音，将“zh”、“ch”、“sh”读成“z”、“c”、“s”，有人则恰恰相反，或者还有人不能区分前鼻音与后鼻音，将“ang”、“eng”、“ing”读成“an”、“en”、“in”，等等)，将可能包含的发音错误文字进行纠正，之后再进行语义分析，并与文本样本进行匹配。当然，在一段文本中可能会包含多个疑似由于口音问题识别错误的文字，因此，可以一个一个地排查，例如，首先找出声母中带有需要区分平舌翘舌的，以及韵母中有需要区分前鼻音后鼻音的，然后分别进行替换。例如，如果当前文本中包含声母是“s”的文字，则将其声母替换为“sh”，再重新拼出新的文字，用于替换文本信息中对应的文字，然后再与文本样本进行匹配，以此类推。当然，在实际应用中，在不同的语境或上下文中，由于方言导致的识别错误可能有有一定规律的。因此，可以预先对这种规律进行统计，这样，在需要进行口音纠正时，就可以结合具体的语境及上下文，根据之前统计的信息找出最有可能是由于用户方言导致的识别错误，并进行替换后再与文本样本进行匹配，这样可以提高效率。

需要说明的是，在执行上述匹配的过程中，根据同一转换得到的文本信息，可能会得到多个匹配的文本样本，进而对应多个指令。此时，还可以根据匹配过程所依据的信息，对匹配出的各个文本样本进行计算权值，最终所得权值最高的文本样本作为最匹配的文本样本，并为转换得到的文本信息选择该文本样本对应的指令。其中，具体在计算权值时，可以将文本直接命中的情况设定为最高的权重，同音字替换后命中的次之，口音纠正后命中的最低，当然，也可以按照其他的方式设置权重。

另外需要说明的是，在实际应用中，不一定严格按照上述顺序进行匹配，例如，如果转换后的文本信息没有直接命中文本样本，则也可以直接进行口音纠正，或者将同音字替换与口音纠正的步骤互换，或者也可以只执行其中的一些操作，等等，这里不进行限定。总之，通过前述操作，可以将语音识别与语义、模糊音匹配等技术结合起来，经过从语音到文字、从文字到指令的过程，得到用户想要执行的指令，从而帮助用户诊断计算机中可能存在的问题。再者，在实际应用中，在为转换得到的文本信息选择出对应的指令之后，可以立即执行该指令，以便帮用户消除故障。或者，为了避免产生误判等，也可以在选择出对应的指令之后，向用户发出提示信息，如果用户接受，则执行相应的指令。

如果系统经过一系列的查询，分析之后，还是无法找到命令的匹配项或是有多个匹配项被同时命中，系统可以让用户选择可能的操作，这时，可以加入语音提示，提示后，再次接收用户的语音输入，判断用户是不是确认这一操作，通过这一方式，可以做到用户不用任何鼠标操作即可在打开相关程序，以便修复手机中的问题。

对于这类非精准的匹配后，如果得到用户的肯定的回答，则可以直接将这一模糊词组入库，下次如果再遇到这一词组，则可以认为是一个精准的匹配，而不用再次与用户进行语音确认。从而，系统可以不断的自我学习。因为这一个自我学习的过程是发生在用户的本地，所以这是一个完全以用户的口音，说话方式为训练源的自我学习过程。在用户的使用过程中，整个系统会越来越能明用户的意思。

所述的同步单元33，用于同步向协助方传送包含用于展示所述画面活动过程的用户界面的网页内容。

接收所述语音指令后，所述受助方可直接执行所述语音指令以完成相应的操作，或对所述语音指令进行解析以确定相应的指令集，再根据解析的结果执行相应的操作。执行相应的操作后，所述用户界面即产生与所述语音指令相对应的画面活动过程。

请结合图17，一种实施例中，要实现所述的画面活动过程，本装置还包括：显示单元41，用于显示收到所述语音指令后弹出的内容信息；清除单元42，用于在接收用户触发事件后清除所述内容信息。

一种实施例中，当受助方接收到“明天长城有点凉，还是穿件外套吧”的语音指令后，即在受助方用户界面显示相同的或语义相近的文字内容，在接收用户触发事件后，所述文字内容信息即被清除。另一种实施例中，当受助方接收到“提醒我晚上八点钟参加同事聚餐”的语音指令后，即在受助方用户界面显示相同的或语义相近的文字内容信息，在接收用户触发事件后，所述文字内容即被清除。所述触发事件可以是按下移动终端上的某个实体按键，也可以是在用户界面进行触屏、点击等操作，当然也包括用户在用户界面上执行的手势事件，或用户作用于对移动终端做语音输入，该语音对应于清除所述文字内容的命令。

请结合图18，存在另一种情况，要形成所述的画面活动过程本装置还包括：显示单元51，用于显示接收到所述语音指令后弹出的交互控件；接收单元52，被配置为辅助所述交互控件接收用户触发事件；执行单元53，执行与所述触发事件所对应的协助过程。

一种实施例中，在接收到与“寻找附近餐厅”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开地图进行导航”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即打开受助方中的地图应用程序，开始进行搜素并导航。一种实施例中，在接收到与“打开微信”相应的语音指令后，受助方用户界面显示如带有文字内容“是否要打开微信”和“是”、“否”选项的交互控件，在接收用户的选择，比如选择“是”后，即可打开受助方的微信，并进入微信客户端主页面。

其中，请结合图19，要弹出所述交互控件，本装置还包括：解析单元61，用于接收到所述语音指令后对其进行解析以确定相应的指令集；执行单元62，用于执行所述指令集导致弹出所述交互控件。

所述受助方根据所述语音指令确定相应的指令集并将之以文件形式预存于受助方移动终端。由于协助方的语音指令可能不止对应一个操作，所以将其分解为多条指令，每条指令即对应一个操作。一种实施例中，所述语音指令为“打开微信和QQ”，其对应的指令集就对应了打开微信的操作和打开QQ这两个操作。

所述实施例不应形成对所述交互控件、触发事件和协助过程的内容和形式的限制。所述交互控件也可以是弹窗，并包含三个或三个以上的选项；也可以是其他形式的虚拟键盘，只要通过其能完成相应的操作，则可构成本发明所述的交互控件。所述的协助过程除了打开应用程序以外，还可以包括删除应用程序、切换用户界面、输入内容信息、删除内容信息、编辑内容信息等，且协助过程可同时包含上述多个过程，一种实施例中，受助方用户欲将受助方中的微信中的某些文字内容复制到word文档中并做适当修改，在协助方的控制下，受助方完成该操作的过程即包括了打开应用程序(打开微信和word文档)、切换用户界面(切换微信界面到word文档界面)、输入内容信息(将微信中的文字内容复制到word文档中并修改文字内容)、删除内容信息和编辑内容信息(在word文档中修改文字内容)等。

以上分别详细说明了本发明的远程协助方法和远程受助方法所实现的实施例，在此基础上，以下所述的实施例将所述远程协助方法与受助方法综合运用，方便加强对本发明所述的远程协助与受助方法的理解。

在默认所述协助方与所述受助方已经建立无线通信且处于远程协助状态中的情况下，所述受助方向所述协助方传送包含自身当前显示的用户界面的网页内容，所述协助方可即时获取该网页内容中的所述用户界面。所述协助方用户通过获取到的用户界面，结合所述受助方用户的需求，对所述协助方进行语音输入，所述协助方即对所述语音进行解析并形成在语义上与所述语音对应的语音指令。

所述协助方将所述语音指令传输给所述协助方，所述受助方对所述语音指令进行解析以确定相应的指令集。与所述语音指令相对应地，所述受助方至少有2种方式可执行所述的控制操作：弹出与协助方输入的语音相应的文字内容信息；受助方弹出交互控件，并由受助方用户选择是否执行与协助方输入的语音相应的协助过程。

在受助方执行相应的控制操作的同时，所述协助方即时更新获取到的受助方用户界面，使其展示受所述语音指令作用于受助方后形成的画面活动过程。

为了便于理解，请结合图20，综合运用本发明的远程协助协助方法与受助方法的一种实施例中，协助方启动受话器后，协助方用户对协助方作提问式的语音输入，如输入语音“明天老妈去长城玩，会不会冷，需不需要带外套”，云端服务器将其转换对应的文字信息，并提取出关键词如“明天”(时间)、“长城”(地点)、“会不会冷”(天气)、“外套”(生活资讯)等，然后搜索得到明天长城的天气情况及相关的穿衣指数内容等，并根据搜索结果得到答案如“明天长城有点凉，还是穿件外套吧”，即将之转换成了相应的语音指令。随后云端服务器确定与该语音指令对应的文本样本，并将之传输给所述受助方，受助方执行所述语音指令，在其用户界面显示如“明天延庆温度-4到0摄氏度，天气很冷，穿个外套吧”的文字内容信息。受助方用户看到所述文字内容信息后，可通过触碰屏幕，使得所述文字内容信息被清除。

请结合图21，另一种实施例中，协助方启动受话器后，协助方用户对协助方作陈述式的语音输入，如输入语音“提醒老爸晚上八点同事聚餐”，云端服务器将其转换对应的文字信息，并提取出关键词如“晚上八点”(时间)、“同事聚餐”(事件)等，将之转换成了相应的语音指令“提醒晚上八点同事聚餐”。随后云端服务器确定与该语音指令对应的文本样本并将所述语音指令传输给所述受助方，受助方执行所述语音指令，在其用户界面显示如“提醒我晚上八点同事聚餐”的文字内容信息。受助方用户看到所述文字内容信息后，可通过触碰屏幕，使得所述文字内容信息被清除。

请结合图22，又一种实施例中，协助方启动受话器后，协助方用户对协助方作命令式的语音输入，如输入语音“帮老妈寻找她附近的餐厅”，云端服务器将其转换对应的文字信息，并提取出关键词如“寻找”、“附近”、“餐厅”等，将之转换成了相应的语音指令“寻找附近的餐厅”。随后云端服务器将所述语音指令传输给所述受助方，受助方执行所述语音指令，在其用户界面显示如“亲，十秒钟后我会自动导航”的文字内容信息，并在十秒钟后进行导航。

可见，通过本发明实施例，协助方用户只需要将自己直观看到的受助方移动终端的故障用说话的方式描述出来，客户端软件就可以将与之对应的文字内容在受助方用户界面显示出来，或为其选择出相应的指令，并通过执行这些指令来消除用户终端设备存在的该故障。在此过程中，用户可以不必具有计算机基础知识，也不需要知晓产生终端设备故障的原因，更不需要知晓怎样的操作能够消除该故障，因此，可以便于用户消除自己终端设备上的故障。

以上详尽而充分地揭示了本发明的移动终端远程协助过协助方法/装置及受助方法/装置的多种实施例，从中可以知晓，所述移动终端远程协助方法/装置与移动终端远程受助方法/装置使得远程协助过程中的控制操作得到简化，从而使得远程协助操作更加方便快捷。

本发明实施例还提供了一种移动终端，其允许具有诸如参照本发明后续的介绍的结构。如图23所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板手机、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载手机等任意终端设备，以终端为手机为例：

图23示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图23，手机包括：射频(Radio Frequency，RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图21中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图23对手机的各个构成部件进行具体的介绍：

RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图23中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声音信号输出；另一方面，传声器1562将收集的声音信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1570可以协助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图23示出了WiFi模块1570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。

手机还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

适用于所述的移动终端，在本发明实施例中，该终端所包括的处理器1580还具有如前所述的远程协助方法/装置及远程受助方法/装置的多种不同实施例所实现的功能。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的系列方案进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。