远程辅助控制方法及装置、终端、存储介质与流程

文档序号:16134025发布日期:2018-12-01 00:41阅读:175来源:国知局

本申请涉及互联网技术领域,特别涉及一种远程辅助控制方法及装置、终端、存储介质。

背景技术

随着科学技术的发展,移动终端的功能趋于多样化和复杂化发展,相应的,该多样化和复杂化的功能对移动终端使用者也提出了更高的要求,以该移动终端为手机为例,当老人单独使用一些难度较大的手机功能时,会存在较多的困难。

相关技术中,子女可以通过打电话等方式指导老人操作手机,以帮助老人更好地使用手机。

但是,该指导方法通常无法准确地描述如何对手机进行操作,因此,该指导方法的效率较低。



技术实现要素:

本发明实施例提供了一种远程辅助控制方法及装置、终端、存储介质,可以解决相关技术中指导方法的效率较低。所述技术方案如下:

一方面,提供了一种远程辅助控制方法,应用于第一终端,所述方法包括:

获取第二终端的屏幕数据,所述第二终端为与所述第一终端建立远程辅助控制连接的终端;

基于所述屏幕数据,显示所述第二终端的操作界面;

当检测到针对所述操作界面的触发操作后,获取基于所述触发操作所采集到的位置信息,所述位置信息用于指示所述操作界面中的目标位置;

向所述第二终端发送所述位置信息,以供所述第二终端基于所述位置信息在所述操作界面中呈现提示信息,所述提示信息用于提示对所述目标位置执行操作。

另一方面,提供了一种远程辅助控制方法,应用于第二终端,所述方法包括:

采集所述第二终端的屏幕数据,所述第二终端为与第一终端建立远程辅助控制连接的终端;

将所述屏幕数据发送至所述第一终端,以供所述第一终端显示所述第二终端的操作界面;

接收所述第一终端发送的位置信息,所述位置信息由所述第一终端基于针对所述操作界面的触发操作获取得到,所述位置信息用于指示所述操作界面中的目标位置;

基于所述位置信息,在所述操作界面中呈现提示信息,以提示对所述目标位置执行操作。

又一方面,提供了一种远程辅助控制方法,应用于第一终端,所述方法包括:

获取包含第二终端的操作界面的图像的视频流,所述第二终端为与所述第一终端建立远程辅助控制连接的终端;

播放所述视频流,以显示所述操作界面的图像;

当检测到针对所述操作界面的图像的触发操作后,获取基于所述触发操作所采集到的位置信息,所述位置信息用于指示所述操作界面中的目标位置;

向所述第二终端发送所述位置信息,以供所述第二终端基于所述位置信息在所述操作界面中呈现提示信息,所述提示信息用于提示对所述目标位置执行操作。

再一方面,提供了一种远程辅助控制方法,应用于第二终端,所述方法包括:

采集包含所述第二终端的操作界面的图像的视频流,所述第二终端为与第一终端建立远程辅助控制连接的终端;

将所述视频流发送至所述第一终端,以供所述第一终端通过播放所述视频流显示所述操作界面的图像;

接收所述第一终端发送的位置信息,所述位置信息由所述第一终端基于针对所述操作界面的图像的触发操作获取得到,所述位置信息用于指示所述操作界面中的目标位置;

基于所述位置信息,在所述操作界面中呈现提示信息,以提示对所述目标位置执行操作。

再一方面,提供了一种远程操作控制装置,所述装置包括:

第一获取模块,用于获取第二终端的屏幕数据,所述第二终端为与所述第一终端建立远程辅助控制连接的终端;

显示模块,用于基于所述屏幕数据,显示所述第二终端的操作界面;

第二获取模块,用于当检测到针对所述操作界面的触发操作后,获取基于所述触发操作所采集到的位置信息,所述位置信息用于指示所述操作界面中的目标位置;

发送模块,用于向所述第二终端发送所述位置信息,以供所述第二终端基于所述位置信息在所述操作界面中呈现提示信息,所述提示信息用于提示对所述目标位置执行操作。

再一方面,提供了一种远程操作控制装置,所述装置包括:

采集模块,用于采集所述第二终端的屏幕数据,所述第二终端为与第一终端建立远程辅助控制连接的终端;

第一发送模块,用于将所述屏幕数据发送至所述第一终端,以供所述第一终端显示所述第二终端的操作界面;

第一接收模块,用于接收所述第一终端发送的位置信息,所述位置信息由所述第一终端基于针对所述操作界面的触发操作获取得到,所述位置信息用于指示所述操作界面中的目标位置;

处理模块,用于基于所述位置信息,在所述操作界面中呈现提示信息,以提示对所述目标位置执行操作。

再一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面提供的远程辅助控制方法。

再一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面提供的远程辅助控制方法。

本发明实施例提供的技术方案带来的有益效果是:

通过第一终端显示第二终端的操作界面,实现第一终端同步第二终端的操作界面,并在第一终端获取到用于指示操作界面中目标位置的位置信息后,在第二终端的操作界面中呈现提示对目标位置进行操作的信息,从而准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,由于该技术方案的实现不受操作系统的限制,扩大了该技术方案的适用范围。

另外,由于无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种实施环境的示意图。

图2是本发明实施例提供的另一种实施环境的示意图。

图3是本发明实施例提供的再一种实施环境的示意图。

图4是本发明实施例提供的一种远程辅助控制方法的流程图。

图5是本发明实施例提供的一种第一终端上显示的某帧操作界面的示意图。

图6是本发明实施例提供的一种在第二终端的操作界面中目标位置处显示提示信息的方法流程图。

图7是本发明实施例提供的一种在第二终端的操作界面中目标位置处显示提示信息的示意图。

图8是本发明实施例提供的一种建立远程辅助控制连接的方法流程图。

图9是本发明实施例提供的一种第一终端将直播间的直播信息发送至第二终端的方法流程图。

图10是本发明实施例提供的一种第一终端中显示“创建房间成功”提示的示意图。

图11是本发明实施例提供的一种第二终端的显示界面上所显示的直播信息的示意图。

图12是本发明实施例提供的一种第二终端的显示界面上显示提示被帮助者是否确认建立远程辅助控制连接的对话框的示意图。

图13是本发明实施例提供的另一种远程辅助控制方法的流程图。

图14是本发明实施例提供的再一种远程辅助控制方法的流程图。

图15是本发明实施例提供的一种远程操作控制装置的结构示意图。

图16是本发明实施例提供的另一种远程操作控制装置的结构示意图。

图17是本发明实施例提供的再一种远程操作控制装置的结构示意图。

图18是本发明实施例提供的又一种远程操作控制装置的结构示意图。

图19是本发明实施例提供的还一种远程操作控制装置的结构示意图。

图20是本发明实施例提供的再一种远程操作控制装置的结构示意图。

图21是本发明实施例提供的一种终端的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

在使用移动终端的过程中,通常会遇到不会操作的情形,以使用手机为例:老人单独使用手机的过程中,会遇到不会操作某些应用的情形。在一种相关技术中,子女可以通过打电话等方式指导老人操作手机,但是,该方式通常无法准确地描述如何对手机进行操作,因此,该指导方法的效率较低。

在另一种相关技术中,也有通过应用程序远程协助被帮助者执行操作的方法,例如:应用程序的远程协助功能,或者,某些移动终端厂商在系统层面集成的远程控制软件。以移动终端为电脑为例,在应用程序的远程协助功能中,在帮助者和被帮助者建立协助关系之后,在帮助者的电脑上会显示被帮助者的电脑显示界面,且帮助者可以通过该电脑显示界面操控被帮助者的电脑。

但是,在该方法中,由于帮助者享有操控被帮助者的电脑的权限,导致被帮助者的电脑存在安全隐患,且该远程协助功能仅能在安装有windows操作系统的电脑中实现,导致该远程协助功能的适用范围受到限制。此外,移动终端厂商在系统层面集成的远程控制软件要求帮助者与被帮助者均使用该厂商的操作系统,同样限制了该功能的适用范围。

为此,本发明实施例提供了一种远程辅助控制方法,通过第一终端向第二终端发送用于指示对操作界面的目标位置进行操作的位置信息,第二终端根据该位置信息呈现提示信息,以指导帮助者根据该提示信息对目标位置执行操作,可以实现对帮助者的远程辅助控制,且该远程辅助控制方法的实现不受操作系统的限制,可以解决上述相关技术存在的问题。其中,第一终端是帮助者使用的终端,第二终端是被帮助者使用的终端。例如:第一终端可以是子女使用的终端,第二终端可以是需要被指导的父母使用的终端。

请参考图1,其示出了本发明实施例提供的远程辅助控制方法所涉及的一种实施环境的结构示意图,该实施环境可以包括:第一终端10和第二终端20。该第一终端10和该第二终端20可以均为智能手机、电脑、多媒体播放器、电子阅读器或可穿戴式设备等。该第一终端10和该第二终端20之间可以通过有线网络或无线网络建立连接,例如,在本实施例中,第二终端20与第一终端10建立远程辅助控制连接。

其中,第一终端10用于获取第二终端20的屏幕数据;基于屏幕数据,在第一终端10中显示第二终端20的操作界面;当检测到针对操作界面的触发操作后,获取基于触发操作所采集到的位置信息,位置信息用于指示操作界面中的目标位置;向第二终端20发送位置信息,以供第二终端20基于位置信息在操作界面中呈现提示信息,提示信息用于提示对目标位置执行操作。

第二终端20用于采集第二终端20的屏幕数据,第二终端20为与第一终端10建立远程辅助控制连接的终端;将屏幕数据发送至第一终端10,以供在第一终端10中显示第二终端20的操作界面;接收第一终端10发送的位置信息,位置信息由第一终端10基于针对操作界面的触发操作获取得到,位置信息用于指示操作界面中的目标位置;基于位置信息,在操作界面中呈现提示信息,以提示对目标位置执行操作。

进一步地,在一种可选实施方式中,请参考图2,该实施环境还可以包括:第一服务器30,该第一服务器30可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。示例地,该第一服务器30可以为云后台。第一终端10与该第一服务器30之间,第二终端20与该第一服务器30之间均可以通过有线网络或无线网络建立连接。

在一种可选实施方式中,本发明实施例提供的该远程辅助控制方法可通过直播间实现,则该第一服务器30用于协助第一终端10与第二终端20之间通过直播间实现远程辅助控制功能。例如:该第一服务器30可用于为第一终端10创建直播间,使得该第一终端10基于该直播间与第二终端20建立远程辅助控制连接;或者,该第一服务器30用于为第二终端20创建直播间,使得该第二终端20基于该直播间与第一终端10建立远程辅助控制连接。例如:该第一服务器30可以接收第一终端10发送的直播间创建指令,根据该直播间创建指令创建直播间,并将创建的直播间的直播信息发送至该第一终端10,以便于第一终端10基于该直播信息与第二终端20建立远程辅助控制连接。或者,该第一服务器30可用于在第一终端10与第二终端20通过直播间建立远程辅助控制连接之后,向第一终端10或第二终端20发送相关数据。例如:第一服务器30在获取到第二终端20的视频流后,可向第一终端10推流,以便在第一终端10中同步播放该视频流。

并且,在一种可选实施方式中,请参考图3,该实施环境还可以包括:第二服务器40,该第二服务器40可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。示例地,该第二服务器40可以为应用服务器。第一终端10与该第二服务器40之间,第二终端20与该第二服务器40之间,以及第一服务器30与该第二服务器40之间可以通过有线网络或无线网络建立连接。

其中,该第二服务器40用于在远程辅助控制连接过程中,在第一终端10与第二终端20之间进行数据的传输,以及,在第一终端10与与第一服务器30之间,在第二终端20与第一服务器30之间进行功能调度。例如:在第一终端10请求创建直播间时,第一终端10可先将直播间创建指令发送至第二服务器40,第二服务器40可基于该直播间创建指令调度第一服务器30的功能接口,并向该第一服务器30转发该直播间创建指令,使第一服务器30基于该直播间创建指令创建直播间。或者,在第二终端20确定访问直播间后,该第二服务器40可以验证直播间的直播信息是否有效,并在确定直播信息有效时调度第一服务器30的功能接口,使第一服务器30将该第二终端20接入直播间。

本发明实施例提供了一种远程辅助控制方法,该远程辅助控制方法可以应用于图1至图3任一所示的实施环境中,且该远程辅助控制方法的实现方式可有多种,例如:可以通过直播应用等实现。为了便于理解,本发明实施例以该远程辅助控制方法通过直播应用实现,且该方法应用于图3所示的实施环境为例对其进行说明。如图4所示,该远程辅助控制方法可以包括以下步骤:

步骤401、第二终端采集第二终端的屏幕数据,并将屏幕数据发送至第一终端。

在直播应用中,该屏幕数据可携带在视频流中,因此,在一种可选实现方式中,该步骤401的实现方式可以包括:获取第二终端发送的视频流,该视频流包括至少一帧第二终端的操作界面的图像。其中,第二终端的操作界面的图像即为第二终端的屏幕数据。

可选地,在第二终端与第一终端建立远程辅助控制连接后,第二终端可以采用录屏的方式采集该视频流,使得采集的视频流中包括至少一帧第二终端的操作界面的图像,然后将该视频流发送至第一终端,以供在第一终端的显示界面中显示该第二终端的操作界面,以便帮助者基于该显示的操作界面对被帮助者提供指导。

其中,第二终端将屏幕数据发送至第一终端的实现方式可以为:第二终端将该屏幕数据发送至第一服务器,该第一服务器再将该屏幕数据转发至第二终端。例如:该第一服务器可以为云后台,第二终端可以将采集的视频流推送至云后台,云后台再将该视频流转发至第二终端。

需要说明的是,为了保证第二终端的信息安全,在第二终端与第一终端建立远程辅助控制连接后,第二终端的显示界面中可以显示对话窗口,以提示被帮助者确认是否开始采集第二终端的屏幕数据,在第二终端检测到被帮助者基于该对话窗口触发的确认指令后,开始采集第二终端的屏幕数据。例如:在第二终端与第一终端建立远程辅助控制连接后,第二终端的显示界面中可以显示弹窗,该弹窗用于提示被帮助者确认是否开始录屏,第二终端在接收到被帮助者基于该弹窗触发的确认指令后,开始录制包括第二终端的操作界面的图像,以得到视频流。

步骤402、第一终端基于屏幕数据,在第一终端的显示界面中显示该第二终端的操作界面。

第一终端在接收到第二终端向其发送的屏幕数据后,可以在第一终端中显示该第二终端的操作界面,以将第二终端的操作界面同步显示在第一终端中,进而便于帮助者根据该操作界面执行指示对该操作界面中的目标位置进行操作的触发操作。

可选地,当第二终端向该第一终端发送的屏幕数据携带在视频流中时,该步骤402的实现过程可以包括:在第一终端中播放视频流,以在播放的视频中显示第二终端的操作界面。

其中,在第一终端的显示界面中显示第二终端的操作界面的实现方式可以有多种,本发明实施例以以下两种可实现方式为例对其进行说明:

第一种可实现方式,在第一终端的显示界面中全屏显示第二终端的操作界面。

在该第一种可实现方式中,帮助者可以从该第一终端的显示界面中查看第二终端的操作界面,并针对该操作界面执行触发操作,以指导被帮助者对该操作界面进行操作。

第二种可实现方式,在第一终端中显示该第一终端自身的显示界面的同时,在第一终端的显示界面中显示第二终端的操作界面。

在该第二种可实现方式中,第一终端中可显示该第一终端自身的显示界面,同时,可以采用悬浮窗等形式,在该自身的显示界面中显示第二终端的操作界面,且该操作界面在该自身的显示界面中的位置可以根据实际需要进行设置,例如:该操作界面可以显示在该自身的显示界面的左上角、右上角、中间、左下角或右下角等位置。并且,在帮助者针对该操作界面的移动操作的作用下,该操作界面的整体位置还可以根据该移动操作发生变化。

在该第二种可实现方式中,由于第一终端中可以同时显示两个界面,帮助者可以针对该两个界面进行操作,当帮助者针对第一终端自身的显示界面进行操作时,第一终端可以根据该操作实现该第一终端原有的功能,例如:当帮助者点击第一终端自身的显示界面中的联系人图标时,第一终端根据该点击操作可在显示界面中显示联系人列表。当帮助者针对第二终端的操作界面执行触发操作时,在第一终端检测到该触发操作后,可以获取基于该触发操作所采集到的位置信息,以实现对被帮助者的指导,即执行步骤403。这样一来,第一终端既可以实现第一终端原有的功能,又可以实现对被帮助者的指导,提高了第一终端可实现功能的兼容性。

步骤403、当第一终端检测到针对该第二终端的操作界面的触发操作后,第一终端获取基于触发操作所采集到的位置信息。

其中,该位置信息用于指示该第二终端的操作界面中的目标位置。

可选地,该触发操作可以为针对第二终端的操作界面的触控操作,该位置信息包括触控操作的作用点的坐标信息。例如:该触控操作可以为通过输入设备输入的点击操作,该位置信息为该点击操作在显示屏上的点击位置的坐标信息;或者,该触控操作也可以为针对触控显示屏的触摸操作,该位置信息为该触摸操作的触摸点的坐标信息。和/或,该触发操作可以为语音采集操作,该位置信息包括在语音采集操作采集到的语音信息中。例如:该语音操作可以为录制语音的操作,录制的语音的内容中携带有该位置信息。

示例地,假设第一终端的显示屏为触控显示屏,图5示出了在该第一终端上显示的某帧操作界面的示意图,当帮助者确定需要指示被帮助者点击该操作界面中位置a处的图标时,帮助者可以触摸该位置a,相应的,第一终端可检测到由触摸产生的触发操作,并基于该触发操作获取到该位置a的坐标信息。

步骤404、第一终端向第二终端发送位置信息。

第二服务器用于在第一终端与第二终端之间进行数据的传输,因此,该步骤404的实现方式可以包括:第一终端向第二服务器发送该位置信息,第二服务器再向第二终端发送该位置信息,以便根据该位置信息在第二终端的操作界面中呈现提示信息。

步骤405、第二终端基于位置信息,在操作界面中呈现提示信息,以提示对目标位置执行操作。

其中,该提示信息用于提示对目标位置执行操作。

可选地,当触发操作为触控操作时,可以基于该触控操作对应的坐标信息,在第二终端的操作界面中目标位置处显示提示信息,该显示的提示信息可以包括悬浮图案或文字信息等。且为了提高关注度,该显示的提示信息的显示方式可以根据实际需要进行设置,例如:该提示信息可以按照预设频率进行闪烁。并且,该悬浮图案的形状和颜色,该文字信息的字体和颜色均可以根据实际需要进行设置,例如:该悬浮图案可以为光标图案、光圈图案或涂鸦图案等。

当触发操作为语音采集操作时,可以通过播放采集到的语音信息,以实现对提示信息的呈现。进一步地,当触发操作为语音采集操作时,该呈现提示信息的实现方式还可以包括:在播放采集到的语音信息的同时,识别语音信息中的语音内容,并根据该语音内容中所包括的位置信息,在第二终端的操作界面中的相应位置处显示悬浮图案或文字信息。

在一种可实现方式中,为了保证提示信息的显示位置的准确性,请参考图6,该在第二终端的操作界面中目标位置处显示提示信息的实现过程可以包括:

步骤4051、第二终端分别获取第一终端和第二终端的分辨率。

其中,显示分辨率(简称分辨率)是显示屏上能够显示的像素个数,该分辨率通常用显示屏水平方向上的像素总列数与垂直方向上的像素总行数的乘表示,例如:显示屏水平方向上的像素总列数为160个,垂直方向上的像素总行数为128个时,该显示屏的分辨率为160×128。

一般地,每个终端中均存储有自身的配置信息,该配置信息中记录有终端显示屏的分辨率,因此,第二终端可以通过查询该配置信息以获取自身的分辨率。第二终端获取第一终端的分辨率的实现方式可以包括:第二终端向第一终端发送分辨率获取指令,第一终端在接收到该分辨率获取指令后,可将自身的分辨率发送至该第二终端;或者,在建立远程辅助控制连接的过程中,第一终端可将自身的分辨率发送至第一服务器,第一服务器在向第二终端发送位置信息时,该第一服务器同时向该第二终端发送该第一终端的分辨率。

步骤4052、第二终端基于第一终端、第二终端的分辨率和位置信息,确定位置信息在第二终端的操作界面中所指示的目标位置。

为了保证提示信息的显示位置的准确性,根据位置信息在操作界面中显示提示信息之前,可根据第一终端的分辨率、第二终端的分辨率和位置信息,对触控操作的作用点进行坐标变换,使得第二终端根据坐标变换后的目标位置处显示的内容,与第一终端在触控操作的作用点处显示的内容一致,进而使得被帮助者能够准确地根据帮助者的指导进行操作。

可选地,该步骤4052的实现方式可以包括:分别确定触控操作的作用点在第一终端显示屏中水平方向上所处的像素列和触控操作的作用点在第一终端显示屏中垂直方向上所处的像素行;根据该像素列与第一终端分辨率中的像素总列数的比值与目标像素列与第二终端分辨率中的像素总列数的比值相等的对应关系,确定该目标位置对应的目标像素列;根据该像素行与第一终端分辨率中的像素总行数的比值与目标像素行与第二终端分辨率中的像素总行数的比值相等的对应关系,确定该目标位置对应的目标像素行,以得到该目标位置。

也即是,假设第一终端的分辨率为h1×w1,第二终端的分辨率为h2×w2,触控操作的作用点的坐标为(x1,y1),目标位置的坐标为(x2,y2),则触控操作的作用点与目标位置应满足以下关系:x1/w1=x2/w2且y1/h1=y2/h2,根据该对应关系可确定该目标位置的坐标。

示例地,假设第一终端的分辨率为800×480,第二终端的分辨率为1280×720,触控操作的作用点的坐标为(120,200),目标位置的坐标为(x2,y2)根据触控操作的作用点与目标位置应满足的关系可得:x2=180,y2=320,即目标位置的坐标为(180,320)。

步骤4053、在第二终端的操作界面中的目标位置处显示提示信息。

由于该目标位置处显示的内容与该触控操作的作用点处显示的内容一致,因此,可在该目标位置处显示提示信息,以提示被帮助者对该目标位置进行操作,进而完成指导过程。

步骤406、第二终端接收基于提示信息所触发的操作指令。

示例地,图7为在第二终端的操作界面中目标位置b处显示提示信息的示意图,被帮助者通过点击该目标位置b处的图标可以触发选择的操作指令,通过将图7与图5进行对比可以看出:第二终端根据坐标变换后的目标位置处显示的内容,与第一终端在触控操作的作用点处显示的内容一致。

需要说明的是,在步骤401至步骤406之前,该远程辅助控制方法还可以包括建立远程辅助控制连接的过程,且该建立远程辅助控制连接的过程可以由第一终端发起,也可以由第二终端发起,且该建立远程辅助控制连接的实现方式可以有多种,本发明实施例以通过直播间建立远程辅助控制连接,且该建立远程辅助控制连接的过程由第一终端发起为例对其进行说明,请参考图8,该建立远程辅助控制连接的过程可以包括:

步骤501、第一终端向第一服务器发送直播间创建指令。

第一终端在开启远程辅助控制功能后,该第一终端可向第一服务器发送直播间创建指令,以请求创建直播间。其中,该直播间创建指令中可携带有该第一终端的终端标识,该终端标识用于标识终端。示例地,该终端标识可以包括:国际移动设备识别码(internationalmobileequipmentidentity,imei)、媒体访问控制(mediaaccesscontrol,mac)地址,或者,根据imei和mac地址进行运算后的字符串等。

可选地,本发明实施例提供的远程辅助控制方法可以通过应用程序实现,例如:可以通过安装在终端中的远程辅助控制客户端实现该远程辅助控制方法。在远程辅助控制客户端的主界面中可以设置有多个按键,每个按键对应不同的功能,该多个按键包括创建直播间按键,通过点击该创建直播间按键可实现向服务器发送直播间创建指令的操作。

需要说明的是,在第一终端开启远程辅助控制功能后,该第一终端的后台程序会执行一些初始化操作,该初始化操作可以包括:检测网络连接状态、直播功能的初始化配置(例如云互动直播初始化),以及加载底层代码库等。

并且,在执行初始化操作后,第一终端可向第二服务器发送登录请求指令,该登录请求指令用于请求调用第二服务器的远程辅助控制接口,该登录请求指令中携带有该第一终端的终端标识。第二服务器在接收到该登录请求指令后,会根据该第一终端的终端标识查询第二服务器中是否记载有该第一终端的相关信息。当第二服务器中记载有该第一终端的相关信息时,第二服务器执行远程辅助控制接口调用的操作,并向第一终端发送携带有密钥信息的登录响应,对该第二终端进行授权登录;当第二服务器中未记载有该第一终端的相关信息时,第二服务器根据该第一终端的终端标识执行注册操作,将该第一终端添加至用户列表,并执行调用远程辅助控制接口的操作,同时向第一终端发送携带有密钥信息的登录响应,对该第二终端进行授权登录。第一终端在接收到该密钥信息后,可将该密钥信息保存至预设位置,以便在后续创建直播间和建立远程辅助控制连接等过程中进行安全验证。

步骤502、第一服务器基于直播间创建指令,创建直播间,并将直播间创建响应发送至第一终端。

其中,该直播间创建响应中携带创建的直播间的直播信息,该直播信息中记录有直播间的房间号等信息,该房间号用于标识该创建的直播间。该创建直播间的过程可视为调用程序接口,并将第一终端与调用的程序接口进行连接的过程。例如:第一服务器在接收到直播间创建指令后,可以调用开播、观看、上麦、推流和录制等程序接口,并建立第一终端与被调用的程序接口之间的连接。

在一种可实现方式中,该步骤502的实现方式可以包括:第一服务器将直播间创建指令发送至第二服务器,第二服务器在接收到该直播间创建指令后,可调度第一服务器的功能接口,向该第一服务器转发该直播间创建指令,并记录该创建任务。第一服务器在接收到该直播间创建指令后,可基于预设方式创建直播间,并向第一终端发送直播间创建响应。

步骤503、第一终端将直播间的直播信息发送至第二终端。

可选地,请参考图9,该步骤503的实现过程可以包括:

步骤5031、第一终端根据直播信息生成统一资源定位符。

第一终端在接收到第一服务器发送的直播间创建响应后,可保存直播间创建响应中携带的直播信息,并根据该直播信息按照预设规则生成直播间对应的统一资源定位符(uniformresourcelocator,url),该url为该直播信息所指示的直播间的访问路径的一种简洁的表示,通过该url可实现对该直播间的访问。

步骤5032、第一终端将url发送至第二终端。

通常,终端上均登录有账号,通过第一终端上登录的账号和第二终端上登录的账号能够将实现第一终端与第二终端之间的信息交互。因此,该步骤5032的实现方式可以包括:通过登录第一终端的第一账号与登录第二终端的第二账号,将url由第一终端发送至第二终端。

可选地,终端上登录的账号可以为登录终端所安装的客户端的账号,例如:该终端上登录的账号可以为登录终端所安装的微信客户端的微信账号;或者,终端上登录的账号可以为终端应用获取平台中登录的账号,或者,该终端上登录的账号可以为集成在客户端中的应用程序对应的账号,例如:该终端上登录的账号可以为终端所安装的微信客户端中的小程序(liteapp)所对应的账号等。

进一步地,第一账号与第二账号可以为存在关联关系的账号。示例地,该第一账号与第二账号可以为存在好友关系的账号。例如:在社交关系链中,第一账号与第二账号可以为存在微信好友、电话薄好友和qq好友等好友关系的账号。并且,该第一终端可以通过向好友发送分享链接的方式,向第二终端发送该url。通过存在好友关系的账号发送直播信息,能够保证直播信息的即时收发,还能够保证根据该直播信息建立的远程辅助控制连接的安全性。

示例地,请参考图10,在第一终端接收到直播间创建响应后,第一终端上安装的远程辅助控制客户端的显示界面上会显示“创建房间成功”以及“请邀请被帮助者加入房间”等提示直播间创建成功的信息,且该显示界面上还设置有“邀请加入”的虚拟按键。在帮助者点击该“邀请加入”的按键后,该显示界面中会弹出联系人选择列表,以供帮助者选择需要邀请加入的被帮助者,并将该url发送至被帮助者。例如:子女可以在该联系人选择列表中选择父母,以邀请父母进入直播间,并通过该直播间对父母进行远程辅助控制,且该界面上还显示有“邀请成功后,请返回远程辅助控制客户端,等待长辈加入房间”的提示信息。

步骤504、第二终端显示直播信息,并接收基于直播信息所触发的确认访问指令。

第二终端接收第一终端发送的直播间的直播信息之后,可在该第二终端的显示界面上显示该直播信息,以供被帮助者选择是否确认建立远程辅助控制连接,当被帮助者选择确认建立远程辅助控制连接时,可通过预设操作触发确认访问指令,以指示确认访问直播间。

示例地,当第一终端通过第一社交应用客户端将直播信息发送至安装在第二终端中的第二社交应用客户端后,该第二终端的显示界面上所显示的直播信息的示意图请参考图11,如图11所示,该直播信息以即时消息的形式显示在第二终端的显示界面中,第二终端检测到被帮助者点击该即时消息的操作后,第二终端的显示界面上可显示图12所示的对话框k,以提示被帮助者是否确认建立与帮助者的远程辅助控制连接,当被帮助者选择确认建立该远程辅助控制连接的选项时,第二终端可检测到基于该选择所触发的确认访问指令。

需要说明的是,在被帮助者选择确认建立远程辅助控制连接之后,第二终端还会执行开启远程辅助控制功能的操作,且该开启远程辅助控制功能的操作可以为由第二终端检测到确认访问指令时自动触发的操作,也可以是第二终端检测到确认访问指令后,在第二终端的显示界面中显示对话窗口,且被帮助者在该对话窗口中选择开启后所触发的操作。

并且,在开启远程辅助控制功能后,第二终端也会向第二服务器发送登录请求指令,以请求调用第二服务器的远程辅助控制接口,并获取携带有密钥信息的登录响应。其中,该过程的实现方式请相应参考第一终端向第二服务器发送登录请求指令的实现方式,此处不再赘述。

步骤505、第二终端在获取到基于直播信息所触发的确认访问指令后,基于直播信息向第二服务器发送验证指令,以请求第二服务器验证直播信息是否有效。

为了保证远程辅助控制连接的有效建立,第二终端在接收到基于直播信息所触发的确认访问指令后,可以基于直播信息向第二服务器发送验证指令,以请求第二服务器验证该直播信息是否有效。当第二服务器确认直播信息有效时,第二服务器确定能够基于该直播信息建立远程辅助控制连接,并向第一终端发送确认访问指令。当第二服务器确认直播信息无效时,第二服务器确定无法基于该直播信息建立远程辅助控制连接,此时无需向第一终端发送确认访问指令。

步骤506、第二服务器验证该直播信息是否有效,并向第二终端发送验证结果。

可选地,验证指令中可以携带有直播间的直播信息、第一终端的终端标识和第一账号等信息,第二服务器根据该验证指令中携带的信息可对该直播信息进行验证,以判断直播信息是否有效,并向第二终端发送相应的验证结果。

其中,第二服务器验证直播信息是否有效的实现方式可以包括:检测第一账号是否处于在线状态,当该第一账号处于在线状态时,确认该直播信息有效;或者,检测该第一终端的远程辅助控制功能是否保持为开启状态,当第一终端的远程辅助控制功能保持为开启状态时,确认该直播信息有效。

步骤507、当验证结果指示直播信息有效时,第二终端向第一终端发送确认访问指令。

当验证结果指示直播信息有效时,表明第一终端和第二终端可以基于该直播信息完成远程辅助控制连接的建立,此时第二终端可向第一终端发送确认访问指令,该确认访问指令用于指示第二终端确定访问直播间。第一终端在接收到该确认访问指令后,可以确定第二终端确认访问该直播间,也即是,可以确认已完成该远程辅助控制连接的建立过程。

在一种可实现方式中,该步骤506和步骤507的实现方式可以包括:第二服务器验证该直播信息是否有效,当第二服务器确认直播信息无效时,第二服务器向第二终端发送直播信息无效的验证结果,并确认远程辅助控制连接建立失败;当第二服务器确认直播信息有效时,第二服务器向第一服务器发送直播信息有效以及第二终端确认访问直播间的反馈信息,第一服务器在接收到该反馈信息后,建立该第二终端与直播间的连接关系,以完成第一终端与第二终端之间的远程辅助控制连接的建立。并且,在第一服务器完成该远程辅助控制连接的建立后,第一服务器向第二终端发送建立完成的指示信息,第二终端在接收到该建立完成的指示信息后,向第一终端发送确认访问指令,以提示第一终端已完成该远程辅助控制连接的建立过程。

综上所述,本发明实施例提供的远程辅助控制方法,通过第一终端显示第二终端的操作界面,实现第一终端同步第二终端的操作界面,并在第一终端获取到用于指示操作界面中目标位置的位置信息后,在第二终端的操作界面中呈现提示对目标位置进行操作的信息,从而准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,该远程辅助控制方法的实现不受操作系统的限制,扩大了该远程辅助控制方法的适用范围。

另外,在本发明实施例提供的远程辅助控制方法中,无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

图13是本发明实施例提供的另一种远程辅助控制方法的流程图,该方法应用于第一终端,如图13所示,该方法可以包括:

步骤601、获取包含第二终端的操作界面的图像的视频流。

其中,第二终端为与第一终端建立远程辅助控制连接的终端。

步骤602、播放视频流,以显示操作界面的图像。

步骤603、当检测到针对操作界面的图像的触发操作后,获取基于触发操作所采集到的位置信息。

其中,位置信息用于指示操作界面中的目标位置。

步骤604、向第二终端发送位置信息,以供第二终端基于位置信息在操作界面中呈现提示信息,该提示信息用于提示对目标位置执行操作。

上述步骤601至步骤604中,每个步骤的具体实现过程可以参考图4所示实施例中的对应步骤,本发明实施例对此不再赘述。

综上所述,本发明实施例提供的远程辅助控制方法,通过第一终端播放视频流来显示第二终端操作界面的图像,实现第一终端同步第二终端的操作界面,并在第一终端获取到用于指示操作界面中的目标位置的位置信息后,在第二终端的操作界面中呈现提示对目标位置进行操作的信息,从而准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,该远程辅助控制方法的实现不受操作系统的限制,扩大了该远程辅助控制方法的适用范围。

另外,在本发明实施例提供的远程辅助控制方法中,无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

图14是本发明实施例提供的再一种远程辅助控制方法的流程图,该方法应用于第二终端,如图14所示,该方法可以包括:

步骤701、采集包含第二终端的操作界面的图像的视频流。

其中,第二终端为与第一终端建立远程辅助控制连接的终端。

步骤702、将视频流发送至第一终端,以供第一终端通过播放视频流显示操作界面的图像。

步骤703、接收第一终端发送的位置信息。

其中,位置信息由第一终端基于针对操作界面的图像的触发操作获取得到,该位置信息用于指示操作界面中的目标位置。

步骤704、基于位置信息,在操作界面中呈现提示信息,以提示对目标位置执行操作。

上述步骤701至步骤704中,每个步骤的具体实现过程可以参考图4所示实施例中的对应步骤,本发明实施例对此不再赘述。

综上所述,本发明实施例提供的远程辅助控制方法,通过采集包含第二终端的操作界面的图像的视频流,并将该视频流发送至第一终端,以供第一终端显示操作界面的图像,实现第一终端同步第二终端的操作界面,并在第二终端获取到用于指示操作界面中的目标位置的位置信息后,通过该位置信息呈现提示对目标位置进行操作的信息,从而能准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,该远程辅助控制方法的实现不受操作系统的限制,扩大了该远程辅助控制方法的适用范围。

此外,在本发明实施例提供的远程辅助控制方法中,无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

图15是本发明实施例提供的一种远程操作控制装置的结构示意图,该远程操作控制装置可配置于第一终端中,如图15所示,该装置800可以包括:

第一获取模块801,用于获取第二终端的屏幕数据,第二终端为与第一终端建立远程辅助控制连接的终端。

显示模块802,用于基于屏幕数据,显示第二终端的操作界面。

第二获取模块803,用于当检测到针对操作界面的触发操作后,获取基于触发操作所采集到的位置信息,位置信息用于指示操作界面中的目标位置。

发送模块804,用于向第二终端发送位置信息,以供第二终端基于位置信息在操作界面中呈现提示信息,提示信息用于提示对目标位置执行操作。

可选地,请参考图16,该装置800还可以包括:

创建模块805,用于创建直播间。

建立模块806,用于基于直播间与第二终端建立远程辅助控制连接关系。

可选地,创建模块805可以用于:

向第一服务器发送直播间创建指令,直播间创建指令用于请求创建直播间。

接收第一服务器发送的直播间创建响应,直播间创建响应中携带创建的直播间的直播信息。

可选地,建立模块806可以包括:

将直播间的直播信息发送至第二终端。

接收第二终端发送的确认访问指令,确认访问指令用于指示第二终端确定访问直播间。

可选地,建立模块806将直播间的直播信息发送至第二终端的过程,可以包括:

根据直播信息生成统一资源定位符url。

将url发送至第二终端。

可选地,建立模块806将url发送至第二终端的过程,可以包括:

通过登录第一终端的第一账号与登录第二终端的第二账号,将url由第一终端发送至第二终端;其中,第一账号与第二账号为存在关联关系的账号。

可选地,第一获取模块801,用于:

获取第二终端发送的视频流,视频流可以包括至少一帧第二终端的操作界面的图像。

显示模块802,用于:

在第一终端中播放视频流,以在播放的视频中显示操作界面。

可选地,触发操作为针对操作界面的触控操作,位置信息可以包括触控操作的作用点的坐标信息。

和/或,触发操作为语音采集操作,位置信息可以包括在语音采集操作采集到的语音信息中。

综上所述,本发明实施例提供的远程操作控制装置,通过显示模块显示第二终端的操作界面,实现第一终端同步第二终端的操作界面,在第二获取模块获取到用于指示操作界面中目标位置的位置信息后,在第二终端的操作界面中呈现提示对目标位置进行操作的信息,从而准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,由于该技术方案的实现不受操作系统的限制,扩大了该技术方案的适用范围。

另外,由于无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

图17是本发明实施例提供的另一种远程操作控制装置的结构示意图,该远程操作控制装置可配置于第二终端中,如图17所示,该装置900可以包括:

采集模块901,用于采集第二终端的屏幕数据,第二终端为与第一终端建立远程辅助控制连接的终端。

第一发送模块902,用于将屏幕数据发送至第一终端,以供第一终端显示第二终端的操作界面。

第一接收模块903,用于接收第一终端发送的位置信息,位置信息由第一终端基于针对操作界面的触发操作获取得到,位置信息用于指示操作界面中的目标位置。

处理模块904,用于基于位置信息,在操作界面中呈现提示信息,以提示对目标位置执行操作。

可选地,请参考图18,该装置900还可以包括:

第二接收模块905,接收第一终端发送的直播间的直播信息。

第二发送模块906,用于在获取到基于直播信息所触发的确认访问指令后,向第一终端发送确认访问指令,确认访问指令用于指示第二终端确定访问直播间。

可选地,第二发送模块906,具体用于:

基于直播信息向第二服务器发送验证指令,验证指令用于请求第二服务器验证直播信息是否有效。

接收第二服务器发送的验证结果。

当验证结果指示直播信息有效时,向第一终端发送确认访问指令。

可选地,处理模块904,具体用于:

分别获取第一终端和第二终端的分辨率。

基于第一终端、第二终端的分辨率和位置信息,确定位置信息在操作界面中所指示的目标位置。

在操作界面中的目标位置处显示提示信息。

可选地,处理模块904在操作界面中的目标位置处显示提示信息的过程,可以包括:

在操作界面中的目标位置处显示悬浮图案或文字信息,悬浮图案或文字信息用于指示提示信息。

综上所述,本发明实施例提供的远程操作控制装置,通过采集模块采集第二终端的屏幕数据,第一发送模块将该屏幕数据发送至第一终端,以供第一终端显示第二终端的操作界面,实现第一终端同步第二终端的操作界面,并在第一接收模块获取到用于指示操作界面中的目标位置的位置信息后,处理模块通过该位置信息呈现提示对目标位置进行操作的信息,从而能准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,由于该技术方案的实现不受操作系统的限制,扩大了该技术方案的适用范围。

另外,由于无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

图19是本发明实施例提供的再一种远程操作控制装置的结构示意图,该远程操作控制装置可配置于第一终端中,如图19所示,该装置1100可以包括:

第一获取模块1101,用于获取包含第二终端的操作界面的图像的视频流。

其中,第二终端为与第一终端建立远程辅助控制连接的终端。

显示模块1102,用于播放视频流,以显示操作界面的图像。

第二获取模块1103,用于当检测到针对操作界面的图像的触发操作后,获取基于触发操作所采集到的位置信息。

其中,位置信息用于指示操作界面中的目标位置。

发送模块1104,用于向第二终端发送位置信息,以供第二终端基于位置信息在操作界面中呈现提示信息,该提示信息用于提示对目标位置执行操作。

综上所述,本发明实施例提供的远程操作控制装置,显示模块通过播放视频流来显示第二终端操作界面的图像,实现第一终端同步第二终端的操作界面,并在第二获取模块获取到用于指示操作界面中的目标位置的位置信息后,在第二终端的操作界面中呈现提示对目标位置进行操作的信息,从而准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,由于该技术方案的实现不受操作系统的限制,扩大了该技术方案的适用范围。

另外,由于无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

图20是本发明实施例提供的又一种远程操作控制装置的结构示意图,该装置可配置于第二终端中,如图20所示,该装置1200可以包括:

采集模块1201,用于采集包含第二终端的操作界面的图像的视频流。

其中,第二终端为与第一终端建立远程辅助控制连接的终端。

发送模块1202,用于将视频流发送至第一终端,以供第一终端通过播放视频流显示操作界面的图像。

接收模块1203,用于接收第一终端发送的位置信息。

其中,位置信息由第一终端基于针对操作界面的图像的触发操作获取得到,该位置信息用于指示操作界面中的目标位置。

处理模块1204,用于基于位置信息,在操作界面中呈现提示信息,以提示对目标位置执行操作。

综上所述,本发明实施例提供的远程操作控制装置,通过采集模块采集包含第二终端的操作界面的图像的视频流,发送模块将该视频流发送至第一终端,以供第一终端显示操作界面的图像,实现第一终端同步第二终端的操作界面,并在接收模块获取到用于指示操作界面中的目标位置的位置信息后,处理模块通过该位置信息呈现提示对目标位置进行操作的信息,从而能准确地提示需要操作的目标位置,有效地提高了远程辅助控制的效率和准确性。

并且,由于该技术方案的实现不受操作系统的限制,扩大了该技术方案的适用范围。

另外,由于无需通过第一终端对第二终端进行控制,能够保证第二终端的安全性和可自主操作性。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图21示出了本发明一个示例性实施例提供的终端1300的结构示意图。该终端1300可以是便携式移动终端,比如:智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常,终端1300包括有:处理器1301和存储器1302。

处理器1301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1301可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1301可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1301还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器1302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的远程辅助控制方法。

在一些实施例中,终端1300还可选包括有:外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地,外围设备包括:射频电路1304、显示屏1305、摄像头组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。

外围设备接口1303可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中,处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上;在一些其他实施例中,处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路1304用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1304包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路1304还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本申请对此不加以限定。

显示屏1305用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时,显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时,显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1305可以为一个,设置终端1300的前面板;在另一些实施例中,显示屏1305可以为至少两个,分别设置在终端1300的不同表面或呈折叠设计;在再一些实施例中,显示屏1305可以是柔性显示屏,设置在终端1300的弯曲表面上或折叠面上。甚至,显示屏1305还可以设置成非矩形的不规则图形,也即异形屏。显示屏1305可以采用lcd(liquidcrystaldisplay,液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件1306用于采集图像或视频。可选地,摄像头组件1306包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1301进行处理,或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1307还可以包括耳机插孔。

定位组件1308用于定位终端1300的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件1308可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1309用于为终端1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,终端1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于:加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。

加速度传感器1311可以检测以终端1300建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号,控制显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1312可以检测终端1300的机体方向及转动角度,陀螺仪传感器1312可以与加速度传感器1311协同采集用户对终端1300的3d动作。处理器1301根据陀螺仪传感器1312采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1313可以设置在终端1300的侧边框和/或显示屏1305的下层。当压力传感器1313设置在终端1300的侧边框时,可以检测用户对终端1300的握持信号,由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在显示屏1305的下层时,由处理器1301根据用户对显示屏1305的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1314用于采集用户的指纹,由处理器1301根据指纹传感器1314采集到的指纹识别用户的身份,或者,由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1301授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置终端1300的正面、背面或侧面。当终端1300上设置有物理按键或厂商logo时,指纹传感器1314可以与物理按键或厂商logo集成在一起。

光学传感器1315用于采集环境光强度。在一个实施例中,处理器1301可以根据光学传感器1315采集的环境光强度,控制显示屏1305的显示亮度。具体地,当环境光强度较高时,调高显示屏1305的显示亮度;当环境光强度较低时,调低显示屏1305的显示亮度。在另一个实施例中,处理器1301还可以根据光学传感器1315采集的环境光强度,动态调整摄像头组件1306的拍摄参数。

接近传感器1316,也称距离传感器,通常设置在终端1300的前面板。接近传感器1316用于采集用户与终端1300的正面之间的距离。在一个实施例中,当接近传感器1316检测到用户与终端1300的正面之间的距离逐渐变小时,由处理器1301控制显示屏1305从亮屏状态切换为息屏状态;当接近传感器1316检测到用户与终端1300的正面之间的距离逐渐变大时,由处理器1301控制显示屏1305从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图21中示出的结构并不构成对终端1300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

本发明实施例还提供了一种计算机可读存储介质,该存储介质为非易失性存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现如本申请上述实施例提供的远程辅助控制方法。

本发明实施例还提供了一种计算机程序产品,该计算机程序产品中存储有指令,当其在计算机上运行时,使得计算机能够执行本发明实施例提供的远程辅助控制方法。

本发明实施例还提供了一种芯片,该芯片包括可编程逻辑电路和/或程序指令,当该芯片运行时能够执行本发明实施例提供的远程辅助控制方法。

在本发明实施例中,关系限定词“和/或”表示三种逻辑关系,a和/或b表示单独存在a、单独存在b以及同时存在a和b三种逻辑关系。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1