基于优先级控制的终端控制方法、装置和终端与流程

文档序号:21099631发布日期:2020-06-16 20:40阅读:175来源:国知局
基于优先级控制的终端控制方法、装置和终端与流程

本申请涉及通信技术领域,特别是涉及一种基于优先级控制的终端控制方法、装置、终端、计算机设备和存储介质。



背景技术:

随着计算机科学技术的快速发展,智能家居成为当前热门的话题,备受青睐。智能家居是在互联网影响之下物联化的体现。智能家居实现远程控制也是控制终端下发操作信息给物联网智能网关,再通过物联网智能网关操作物联网智能终端,实现远程控制。

然而,当有多个控制终端同时对空调发送了“开机、加大风速、制冷以及制热”等多个动作指令时,数据传输承受着不小压力,容易出现操作冲突的现象。同样,对于通信终端的远程控制也是如此,当用户通过多个控制终端向受控终端发送较多动作指令时,由于都是无差异化指令,容易出现操作不灵反应迟钝的问题,且对通信终端的控制还需面临携带主机体的问题,使得控制效率不高。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够提高控制效率的基于优先级控制的终端控制方法、装置、终端、计算机设备和存储介质。

一种基于优先级控制的终端控制方法,方法包括:

获取控制终端的操控请求,操控请求携带控制终端的身份认证信息;

当根据身份认证信息完成对控制终端的身份认证时,发送交互界面至控制终端,交互界面为当前被至少两个控制终端操控的界面;

接收各控制终端发送的用户针对各交互界面的触控操作数据;

识别各触控操作数据的优先级,根据优先级响应各触控操作数据,生成、并发送对应的触控响应界面至各控制终端。

在一个实施例中,触控操作数据包括操作者身份信息、操作应用以及操作类型;

识别各触控操作数据的优先级包括:

基于操作者身份信息、操作应用以及操作类型进行加权求和,确定各触控操作数据的优先级。

在一个实施例中,接收各控制终端发送的用户针对交互界面的触控操作数据包括:

当接收到任一控制终端发送的用户针对交互界面的触控操作数据时,锁定当前时间周期内该控制终端对该交互界面的唯一操作权限。

在一个实施例中,发送对应的触控响应界面至各控制终端之后,还包括:

发送操作者信息至多个控制终端,操作者信息包括产生对应的触控响应界面的触控操作数据的数据发送方。

一种基于优先级控制的终端控制装置,装置包括:

操控请求获取模块,用于获取控制终端的操控请求,操控请求携带控制终端的身份认证信息;

数据发送模块,用于当根据身份认证信息完成对各控制终端的身份认证时,发送交互界面至各控制终端,交互界面为当前被至少两个控制终端操控的界面;

数据接收模块,用于接收各控制终端发送的用户针对各交互界面的触控操作数据,触控操作数据包括触控操作时间;

数据响应模块,用于识别各触控操作数据的优先级,根据优先级响应各触控操作数据,生成、并发送对应的触控响应界面至各控制终端。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述基于优先级控制的终端控制方法中的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于优先级控制的终端控制方法中的步骤。

上述基于优先级控制的终端控制方法、装置、计算机设备和存储介质,当根据身份认证信息完成控制终端的身份认证时,发送交互界面至控制终端,接收各控制终端发送的触控操作数据,根据识别出的触控操作数据的优先级依次响应各触控响应操作数据,生成、并发送对应的触控响应界面各控制终端。上述方案,无需携带受控终端,用户可多个控制终端的交互界面上进行操作,实现对受控终端的多对一的远程控制,且受控终端按照优先级有条理的进行响应,减少了操作冲突,提高控制效率。

一种基于优先级控制的终端控制方法,方法包括:

发送操控请求至受控终端,操控请求携带身份认证信息;

获取受控终端根据身份认证信息反馈的交互界面,显示交互界面,交互界面为当前被至少两个控制终端操控的界面;

响应用户对交互界面的触控操作,得到触控操作数据;

将触控操作数据发送至受控终端;

获取受控终端的触控响应界面,显示触控响应界面,触控响应界面由受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成。

在一个实施例中,获取受控终端根据身份认证信息反馈的交互界面,显示交互界面包括:

接收受控终端反馈的多个交互界面,对各交互界面进行分屏显示,交互界面为受控终端当前被各控制终端独立控制的界面。

在一个实施例中,获取受控终端根据身份认证信息反馈的交互界面包括:

获取受控终端根据身份认证信息反馈的的程序运行窗口数据;

对程序运行窗口数据进行处理,得到交互界面配置数据;

根据交互界面配置数据,配置对应的交互界面。

在一个实施例中,获取受控终端的触控响应界面包括:

获取受控终端响应触控操作数据后显示的触控响应窗口数据;

对触控响应窗口数据进行处理,得到触控响应界面配置数据;

根据触控响应界面配置数据,配置触控响应界面。

在一个实施例中,获取受控终端根据身份认证信息反馈的交互界面之前,还包括:

发送连接请求至受控终端,操控请求携带身份信息;

接收受控终端根据身份信息反馈的连接许可消息,建立与受控终端的连接。

在一个实施例中,还包括:

通过控制中心与受控终端建立连接,控制中心用于将控制终端传输的数据转发至受控终端,以及将受控终端传输的数据转发至控制终端,实现控制终端与受控终端的通信。

在一个实施例中,显示的触控响应界面控制终端的分辨率或与对应的分屏区域的尺寸相匹配。

一种基于优先级控制的终端控制装置,装置包括:

操控请求发送模块,用于发送操控请求至受控终端,操控请求携带身份认证信息;

第一界面显示模块,用于获取受控终端根据身份认证信息反馈的交互界面,显示交互界面,交互界面为当前被至少两个控制终端操控的界面;

触控操作响应模块,用于响应用户对交互界面的触控操作,得到触控操作数据;

触控操作数据发送模块,用于将触控操作数据发送至受控终端;

第二界面显示模块,用于获取受控终端的触控响应界面,显示触控响应界面,触控响应界面由受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成。

一种终端,包括:通讯模块、触控显示模块和处理器,其中:

通讯模块与受控终端建立连接,处理器获取受控终端的交互界面,将交互界面发送至触控显示模块,触控显示模块接收、并显示交互界面,响应用户对交互界面的触控操作,得到触控操作数据,并将触控操作数据发送至处理器,触控操作数据包括触控操作时间,处理器获取、并发送触控操作数据至受控终端,获取受控终端的触控响应界面、并将触控响应界面发送至触控显示模块,触控显示模块接收、并显示触控响应界面,其中,触控响应界面由受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述基于优先级控制的终端控制方法中的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于优先级控制的终端控制方法中的步骤。

上述基于优先级控制的终端控制方法、装置、终端、计算机设备和存储介质中,多个控制终端通过发送操控请求至受控终端以获取受控终端反馈的交互界面,同时显示该交互界面,进而通过响应用户在交互界面上的触控操作,发送触控操作数据至受控终端,获取受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成的触控响应界面。上述方案,无需携带受控终端,用控制终端与受控终端之间的交互代替了对控制终端的直接操作,使得用户可在多个控制终端的交互界面上进行操作,实现对受控终端的多对一的远程控制,提高便携性,且受控终端按照优先级有条理的进行响应,减少了操作冲突,提高控制效率。

附图说明

图1为一个实施例中基于优先级控制的终端控制方法的应用环境图;

图2为一个实施例中基于优先级控制的终端控制方法的流程示意图;

图3为一个实施例中基于优先级控制的终端控制方法的流程示意图;

图4为另一个实施例中基于优先级控制的终端控制方法的详细流程示意图;

图5为一个实施例中多个控制终端控制一个受控终端的应用场景图;

图6为另一个实施例中基于优先级控制的终端控制方法的应用环境图;

图7为一个实施例中基于优先级控制的终端控制方法的软件架构图;

图8为一个实施例中终端的结构框图;

图9为另一个实施例中终端的详细结构框图;

图10为一个实施例中基于优先级控制的终端控制装置的结构框图;

图11为另一个实施例中基于优先级控制的终端控制装置的结构框图;

图12为另一个实施例中基于优先级控制的终端控制装置的详细结构框图;

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的基于优先级控制的终端控制方法,可以应用于如图1所示的应用环境图中。在该应用环境中,包括有多个控制终端202和受控终端204。其中,控制终端202具有触控和显示功能。触控功能为用户在触控屏上通过触摸或书写笔书写来控制操作界面,显示功能包括显示操作界面和触控响应界面,触控响应界面为触控操作之后,显示相应的触控响应的界面。其中,受控终端204为多个控制终端202所控制的终端,受控终端204与控制终端202进行无线通信,受控终端204在完成对控制终端202的身份认证后,将当前正在被其他控制终端操控的交互界面通过无线链路传输给控制终端202,并识别控制终端202发送的触控操作数据的优先级,根据优先级做出触控响应,生成对应的触控响应界面,将触控响应界面传输给控制终端202。其中,控制终端202和受控终端204可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

在一个实施例中,如图2所示,本申请还提供了一种基于优先级控制的终端控制方法,该方法仍可以应用于图1所示的应用环境图中。以该方法应用于图1中的受控终端204为例进行说明,包括以下步骤:

步骤s200,获取控制终端的操控请求,操控请求携带控制终端的身份认证信息。

具体实施时,可以是至少两个用户均于控制终端202进行操作以实现多个用户同时控制一台被控终端,各控制终端202都与受控终端204连接,且控制终端202与受控终端204都预设有远程操控系统或远程操作应用程序,通过该操作系统/应用程序,可实现对受控终端的控制。可以理解的是,在步骤s100之前,控制终端202与受控终端204已建立连接。具体的,可通过3g、4g、2.4g、5g、wi-fi(wirelessfidelity,无线保真)通信或蓝牙通信等无线通信方式建立连接。若用户想要对受控终端204进行远程操控,可通过控制终端202发送携带身份认证信息的操控请求至受控终端204,接收该操控请求。具体的,身份认证信息可以是受控终端204完成对控制终端202的身份认证允许确认建立连接时生成,其包括但不限于经受控终端204认证的身份代码或身份标识,例如“001”。

步骤s400,当根据身份认证信息完成对控制终端的身份认证时,发送交互界面至所述控制终端,交互界面为当前被至少两个控制终端操控的界面。

具体实施时,身份认证信息以身份代码为例,身份认证可以是于数据库表中查找是否存在该身份代码,若存在,则认证通过。身份认证同样不限于字符串密码验证、指纹验证、人脸验证、虹膜验证等验证方式。其中,交互界面可以为受控终端204上所显示的被至少两个控制终端202共享操作界面,也可以是受控终端204在授权各控制终端202远程操作后,通过运行对应的远程操作进程,进入类似于一种电脑“安全模式”的后台界面,还可以是各控制终端202正在操控的受控终端204的后台运行的应用程序的操作界面,例如,控制终端a操控受控终端204后台运行的微信应用程序的运行窗口界面,控制终端b操控受控终端204后台运行的支付宝应用程序的运行窗口界面。进一步来说,该种后台界面并不在受控终端204的当前界面显示,从而可以使得受控终端204在被控制终端202远程操控时,受控终端204的用户可以不受影响地进行自主操作。进一步的,交互界面还可以是控制终端202重新生成的包括各控制终端操控受控终端信息的界面。

步骤s600,接收各控制终端发送的用户针对各交互界面的触控操作数据。

具体实施时,用户可以通过手指或触控笔在控制终端202的交互界面上进行触控操作,触控操作可以包括点击、长按、滑动、缩放以及多点触控等操作。控制终端202接收并记录触控操作,得到触控操作数据,具体的,触控操作数据包括操作者身份信息、操作应用、触控操作时间、触控点坐标,触控时长以及触控压力信息等。

步骤s800,识别各触控操作数据的优先级,根据优先级响应各触控操作数据,生成、并发送对应的触控响应界面至各控制终端。

具体实施时,在接收到一个或多个触控操作数据时,刻根据预设的优先级算法识别出各触控操作数据的优先级,确定各触控操作数据的执行顺序,然后按照该执行顺序依次响应各触控操作数据,根据该触控操作数据中的触控坐标、触控时长、触控压力等信息执行相应操作,更新了自身对应的操作界面(程序运行窗口),生成对应的触控响应界面,并将触控响应界面发送至各控制终端,以使各控制终端能同步接收到其最新的操作界面。具体的,受控终端204生成的触控响应界面可以是将所有触控操作数据都响应完后,得到的一个最终的触控响应界面,也可以是逐个响应触控操作数据得到的并实时发送的多个触控响应界面。当完成触控响应操作之后,同步更新其自身的交互界面。

具体实施时,响应触控操作包括多种情形。以排序后的触控操作依次为触控操作1、触控操作2、触控操作3、…触控操作n为例进行说明:

情形1、若检测到接收到的触控操作之间无冲突,则可按照顺序依次执行触控操作1~n,并执行完触控操作n后生成的最终界面n作为第一触控响应界面;或者将每个触控操作所生成的界面(即界面1、界面2…界面n)都作为触控响应界面,依次发送给各控制终端;

情形2、若检测到接收到的触控操作之间有冲突,则仅响应触控时间最早的触控操作1,将生成的界面1作为触控响应界面。或者响应前几个无冲突的操作,生成响应界面,比如前触控操作1~5的操作无冲突,到了触控操作6时产生了冲突,此时则仅响应触控操作1~5即可。在当前控制终端a还未发送触控操作数据之前,受控终端204可实时接收其他控制终端的触控操作,并做出响应,将响应后的界面作为触控响应界面发送给控制终端a。若用户想要继续对受控终端204的操作,可再次在触控响应界面上进行触控操作,然后通过控制终端202将触控操作数据再次发送给受控终端204,再次接收受控终端204发送的触控响应界面(与上一次的触控响应界面不同),跟用户正常在移动终端如手机上进行触控操作进行操作的方式相差不多。

上述基于优先级控制的终端控制方法中,当根据身份认证信息完成控制终端的身份认证时,发送交互界面至控制终端,接收各控制终端发送的触控操作数据,根据识别出的触控操作数据的优先级依次响应各触控响应操作数据,生成、并发送对应的触控响应界面各控制终端。上述方案,无需携带受控终端,用户可多个控制终端的交互界面上进行操作,实现对受控终端的多对一的远程控制,且按照优先级有条理的进行响应,减少了操作冲突,提高控制效率。

在一个实施例中,触控操作数据包括操作者身份信息、操作应用以及操作类型;识别各触控操作数据的优先级包括:基于操作者身份信息、操作应用以及操作类型进行加权求和,确定各触控操作数据的优先级。

具体实施时,控制终端202在响应用户的触控操作时,会记录操作者的身份信息(管理员或普通用户)、操作类型(长按操作、点击操作以及滑动操作等)、操作时长以及操作应用(qq或微信)等,根据记录下的触控操作,生成触控操作数据。受控终端204在接收到触控操作数据后,根据其中的操作者身份信息、操作应用以及操作类型进行加权求和,确定各触控操作数据的优先级。

具体的,可以包括以下几种方式:

1)、针对操作不同的应用,可以预设每个应用之间的优先级,比如对应用a的操作的优先权要大于对应用b的操控的优先权;

2)、针对操作相同的应用,可以设定不同操作类型的优先级,比如滑动操作的优先级大于点击操作的优先级,长按操作的优先级大于滑动操作的优先级;

3)、针对不同的操作者,同样也可以设定操作优先级,比如具有管理员权限的用户,其操作优先级要大于普通用户的优先级;

工作人员可根据上述几种方式于受控终端204可设置相关的算法,比如可按照操作者身份、操作所作用的应用/进程以及操作类型等因子,设置对应的权重,对其加权求和,确定优先级。得到的总数值越高,则其优先级也越大。本实施例中,通过确定各触控操作数据的优先级能够高效且有条理的响应触控操作数据。

在一个实施例中,发送对应的触控响应界面至各控制终端之后,还包括:发送操控者信息至各控制终端,操作者信息包括产生对应的触控响应界面的触控操作数据的数据发送方。

在实际应用中,除发送对应的触控响应界面至控制终端之外,还可发送操作者信息,该操作者信息包括产生对应的触控响应界面的触控操作数据的数据发送方,以使各控制终端知晓各控制终端进行了哪些相关的操作。此外,还可以发送包括当前时间周期内发送触控操作数据的控制终端的身份信息(即当前的其他控制终端的身份信息),以便各控制终端能够知晓当前除自身之外正在操控受控终端202的其他控制终端。

在一个实施例中,接收各控制终端发送的用户针对各交互界面的触控操作数据包括:当接收到任一控制终端发送的用户针对交互界面的触控操作数据时,锁定当前时间周期内该控制终端对该交互界面的唯一操作权限。

在实际应用中,针对在短时间内接收到多个不同控制终端发送过来的对同一交互界面的触控操作,为了减少触控操作数据的冲突,可在当接收到任一控制终端发送的用户针对某个交互界面的触控操作数据时,锁定当前时间周期内该控制终端对该交互界面的唯一操作权限,停止接收其他控制终端对发送的触控操作数据,进一步的,还可给其他控制终端发送禁止操作消息,以使其他控制终端的用户停止对该交互界面的操作,当该用户停止对该交互界面的触控操作时,则解除上述唯一操作权限,允许接收其他控制终端发送的触控操作数据,进一步,还可发送操作许可消息至其他控制终端,以便其他控制终端的用户及时进行操作。本实施例中,通过锁定操作权限,能够减少触控操作数据的冲突,保证数据交互的流畅性。

在一个实施例中,如图3所示,提供了一种基于优先级控制的终端控制方法,以该方法应用于图1中的控制终端202为例进行说明,包括以下步骤:

步骤s100,发送操控请求至受控终端,操控请求携带身份认证信息。

具体实施时,可以是至少两个用户均于控制终端202进行操作以实现多个用户同时控制一台被控终端。同样的,各控制终端202都与受控终端204连接,且控制终端202与受控终端204都预设有远程操控系统或远程操作应用程序,通过该操作系统/应用程序,可实现对受控终端的控制。可以理解的是,在步骤s100之前,控制终端202与受控终端204已建立连接。具体的,可通过3g、4g、2.4g、5g、wi-fi(wirelessfidelity,无线保真)通信或蓝牙通信等无线通信方式建立连接。当与受控终端204建立连接后,若用户想要对受控终端进行远程操控,可发送携带身份认证信息的操控请求至受控终端204,以获取受控终端204根据身份认证信息发送的当前时间的交互界面。具体的,身份认证信息可以是受控终端204完成对控制终端202的身份认证允许确认建立连接时生成,其包括但不限于经受控终端204认证的身份代码或身份标识,例如“001”。

步骤s300,获取受控终端根据身份认证信息反馈的交互界面,显示交互界面,交互界面为当前被至少两个控制终端操控的界面。

当受控终端204根据身份认证信息完成身份认证后,发送交互界面至控制终端202,获取受控终端204发送的交互界面。具体实现时,交互界面的获取方式可以是截取受控终端204的操作界面图像,将该操作界面图像作为交互界面,或者,截取受控终端204屏幕ui(userinterface,用户界面)数据、屏幕尺寸、分辨率等数据,根据这些数据得到交互界面。例如,对于受控终端204,可以对其整个操作界面进行截屏操作,将截屏结果作为交互界面。也可以是读取受控终端204的操作界面参数,得到分辨率2048×1536像素,当操作界面左上角为坐标原点时,软件图标(例如微信图标)位于坐标(1600,600)像素处,根据分辨率、图标类型和图标位置,可以得到交互界面。当得到受控终端204的交互界面后,可以直接显示该交互界面,也可以根据其屏幕分辨率大小和屏幕的尺寸大小,对交互界面进行一定的缩放、截取和填充等处理或渲染处理,得到与控制终端202屏幕尺寸数据相匹配的交互界面,然后显示该与控制终端202的屏幕尺寸数据相匹配的交互界面。进一步的,用户可以调整每个显示后的交互界面的大小。可以理解的是,在控制终端a之前与受控终端204建立连接的控制终端,均是通过同样的方式获取受控终端204发送的交互界面。同样的,交互界面的几种表现形式在前述实施例中已有详细说明,在此不再赘述。

步骤s500,响应用户对交互界面的触控操作,得到触控操作数据。

其中,触控操作为用户在控制终端202的交互界面上通过触摸或触控笔书写来控制操作界面的操作。具体实施时,用户可以通过手指或书写笔在控制终端202的交互界面上点击软件图标打开软件,在软件打开之后点击软件中的各个控件,或者在软件打开之后的操作界面中进行触控操作,触控操作可以包括点击、长按、滑动、缩放以及多点触控等操作。控制终端202接收用户的触控操作,并记录用户触控操作时间、触控点坐标,触控时长以及触控压力信息等,得到触控操作数据。举例说明,若智能手板为控制终端202,平板电脑为受控终端204。平板电脑的第一交互界面分辨率为2048×1536像素,智能手板302的第二交互界面分辨率为1024×768像素,当用户需要开启微信时,在第二交互界面坐标为(500,200)处点击微信图标,根据第一交互界面与第二交互界面的比例,将触控操作数据变换为对第一交互界面坐标(1000,400)处的点击操作,然后将该触控操作数据通过网络发送给平板电脑,平板电脑在第一交互界面(1000,400)处进行触控响应。

步骤s700,将触控操作数据发送至受控终端。

各控制终端202在得到携带触控触控操作时间的触控操作数据后,可实时将触控操作数据发送至受控终端204,以便受控终端204按照触控操作时间进行分时控制,依次响应触控操作数据。

步骤s900,获取受控终端的触控响应界面,显示触控响应界面,触控响应界面由受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成。

其中,触控响应界面可为受控终端204由受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成的界面。具体的,优先级可根据操作应用、操作者以及操作时长等确定。在另一个实施例中,受控终端204的触控响应界面可以是将所有触控操作数据都响应完后,得到的一个最终的触控响应界面,也可以是每次响应触控操作数据得到的并实时发送的多个触控响应界面。具体实现中,触控响应界面的获取方式可以是截取受控终端204的触控响应界面图像,将该触控响应界面图像作为第一触控响应界面,或者,读取受控终端204触控响应界面的分辨率、颜色和文字等信息,根据这些信息得到第一触控响应界面。例如,对于受控终端204,可以对其整个触控响应界面进行截屏操作,将截屏结果作为第一触控响应界面。或者,读取受控终端204的触控响应界面信息,包括分辨率2048×1536像素,触控响应所显示的文字内容和位置,触控响应所显示的图像颜色和位置等,根据上述触控响应界面信息得到第一触控响应界面。在得到第一触控响应界面之后,可以根据控制终端202界面的分辨率对第一触控响应界面进行等比例缩放得到第二触控响应界面。例如,当控制终端202界面与第一触控响应界面的分辨率不成等比例时,可以先对第一触控响应界面进行等比例缩放,然后,根据缩放结果进行截取或填充等操作,得到第二触控响应界面,然后对第二触控响应界面进行显示;若分辨率成等比例,则可直接将第一触控响应界面缩放成与屏幕尺寸大小相匹配的界面,得到第二触控响应界面,再于对应分屏区域显示该第二触控响应界面,若分辨率正好相匹配,则可直接将第一触控响应界面作为第二触控响应界面,再于显示该第二触控响应界面。多个控制终端操控一个受控终端的应用场景可参考图5,进一步的,用户可以调整每个触控响应界面的大小。

上述基于优先级控制的终端控制方法中,多个控制终端通过发送操控请求至受控终端,以获取受控终端反馈的交互界面,同时显示该交互界面,进而通过响应用户在交互界面上的触控操作,发送触控操作数据至受控终端,获取受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成的触控响应界面。上述方案,无需携带受控终端,提高便携性,用户可多个控制终端的交互界面上进行操作,实现对受控终端的多对一的远程控制,且受控终端按照优先级有条理的进行响应,减少了操作冲突,提高控制效率。

在一个实施例中,如图4所示,获取受控终端根据身份认证信息反馈的交互界面之前,还包括:步骤s050,发送连接请求至受控终端,连接请求携带身份信息,接收受控终端根据身份信息反馈的连接许可消息,建立与受控终端的连接。

具体实施时,控制终端202与受控终端204建立连接的过程可以是:控制终端202可选择需要连接的具体受控终端,比如是连接手机、电脑以及智能手环等智能设备。该智能设备可以是控制终端202之前已经连接过或进行过远程操控的历史记录中的智能设备,也可以是新的某一终端设备。

在实际应用中,可以是控制终端202开机进入显示界面,用户打开历史连接设备记录,从中选择具体待连接的受控终端进行连接,也可以是搜索当前可连接的受控终端,然后通过触控操作从中选择具体待连接的受控终端进行连接,此时,控制终端202响应用户触控操作,发送携带其身份信息的操控请求至已选择的受控终端204,受控终端204接收该请求,读取请求中的身份信息,并基于该身份信息进行身份认证或配对认证,若验证通过,则发送连接许可消息至控制终端202,以建立与控制终端202的连接。具体的,验证方式包括但不限于是字符串密码验证、指纹验证、人脸验证或虹膜验证等验证方式。

进一步的,受控终端204还可以设置控制终端202的操控权限,针对一些涉及隐私敏感或重要的操作,需要对控制终端202进行再次验证,或者,需要不同的访问权限才可访问。具体的,可通过3g、4g、5g、2.4g、wi-fi、蓝牙或自定义无线协议与所述受控终端建立连接。具体实现中,控制终端202与受控终端204之间的通信距离在wi-fi或蓝牙通信范围内,两者通过wi-fi、蓝牙或自定义无线协议实现数据的传输。由于使用的是wi-fi或蓝牙这样的通用平台,或者使用自定义无线协议,可以保持完全开放的操作环境,允许任何受控终端随时开发应用软件,能够满足通信产品日益复杂多样的功能需求。本实施例中,通过受控终端的验证之后,才允许建立连接,能够保证远程操作的规范性和安全性。

在一个实施例中,如图4所示,获取受控终端根据身份认证信息反馈的交互界面,显示交互界面包括:步骤s320,获取受控终端的多个交互界面,对各交互界面进行分屏显示,交互界面为受控终端当前被各控制终端独立控制的界面。

分屏显示处理即指采用分屏技术,将控制终端的屏幕划分为多个分屏区域,然后将获取到的受控终端的交互界面显示于对应的分屏区域,以实现通过控制终端的屏幕全面查看各控制终端的操控界面。本实施例中,当前用户正在使用的控制终端可以是具备较高操作权限的控制终端,其能够查看或操作其他控制终端的操控界面。进一步的,具备较高操作权限的控制终端还可选择受控终端202发送的一个或多个交互界面进行共享操作或查看的交互界面。此外,除该终端自身以外的控制终端202对受控终端204的操控界面都是各自独立控制的界面,例如,控制终端a操控受控终端204后台运行的微信应用程序的运行窗口界面(交互界面a),控制终端b操控受控终端204后台运行的qq应用程序的运行窗口界面(交互界面b)。

具体实施时,分屏显示处理可以是获取受控终端204正在被其他控制终端202独立操控的多个操作界面的截图,将其作为交互界面(视为第一交互界面),然后获取受控终端截取的交互界面的屏幕ui数据、屏幕尺寸、分辨率等数据,再基于上述数据结合其自身屏幕分辨率对交互界面进行等比例缩放或渲染,得到第二交互界面,然后再将第二交互界面显示于对应的分屏区域。具体的,分屏显示的示意图可参考图5。更具体的,当控制终端202本身的分辨率与第一交互界面的分辨率不成等比例时,可以先对第一交互界面进行等比例缩放,然后,根据缩放结果进行截取或填充等操作,得到第二交互界面,进而对第二交互界面进行显示;若分辨率成等比例,则可直接将第一交互界面缩放成与分屏区域尺寸大小相匹配的界面,得到第二交互界面;若分辨率正好相匹配,则可直接将第一交互界面作为第二交互界面,再于对应分屏区域显示该第二交互界面。例如,第一交互界面分辨率为2048×1536像素,若控制终端202界面分辨率为1024×768像素,可以将第一交互界面等比例缩小到原来的50%,得到第二交互界面;若控制终端202界面分辨率为1024×800像素,可以先将第一交互界面等比例缩小到原来的50%,显示在控制终端202界面的中心处,然后在空白部分填充黑色,得到第二交互界面。进一步的,为了方便用户能直观查看哪个分屏区域上显示的第二交互界面对应哪个受控终端,可以显示该受控终端的身份标识于分屏区域上,如可显示“您正在操作xxx(身份标识信息)的界面”等字样。在另一个实施例中,对交互界面的显示除分屏显示外,还可以是滑动切换等方式,通过滑动操作切换各交互界面。

在一个实施例中,对各交互界面进行分屏显示处理包括:获取交互界面的数量和各控制终端的身份标识信息,根据交互界面的数量,确定分屏区域数量,将屏幕划分为与分屏区域数量对应的分屏区域,根据控制终端的身份标识信息,将各交互界面显示于各分屏区域。

在实际应用中,为保证分屏显示的准确性,对交互界面进行分屏显示处理可以是:统计受控终端204发送的交互界面(交互界面与各控制终端对应)的数量或除自身之外的正在操控受控终端的控制终端的数量,以及获取除自身之外的控制终端的身份标识信息(包括设备编号、mac(mediaaccesscontroladdress,媒体存取控制位址)地址以及其他能够唯一标识该受控终端的信息),然后根据交互界面的数量或其他正在操控受控终端204的数量,确定分屏区域数量,再将屏幕划分为与分屏区域数量对应的分屏区域,如接收到的交互界面或正在操控受控终端的控制终端的数量为2个、3个或4个,则将屏幕对应划分为1×2、1×3、2×2。完成屏幕的分屏之后,再根据控制终端的身份标识信息,将各交互界面显示于对应的分屏区域。具体的,可以是预设身份标识与分屏区域的对应关系,如分屏区域1(如坐标(0,0)~坐标(512,384)为分屏区域1)对应控制终端a,分屏区域2对应控制终端b,按照此关系和各交互界面携带的身份标识信息,完成各交互界面的分配显示,还可以是在按照接收到交互界面的先后顺序,依次进行分屏显示,得到分屏区域与受控终端的对应关系(即控制终端与坐标范围的对应关系)。得到分屏区域与控制终端202的对应关系后,还可将分屏区域与控制终端202的对应关系发送至其他控制终端,以供其他控制终端明确其具体对应于哪个坐标范围区间。

此外,用户在触控操作过程中可能在一次触控操作的时候会触控到多个分屏区域,比如大幅滑动操作,其作用位置会涉及到多个分屏,则可以分以下两种方式进行处理:第一种、可于控制终端预先设置一次触控操作只能同时控制一个分屏,则当有个多屏操作时可以选择触控动作最早所作用的分屏,将该分屏作为所操作的分屏,而其他分屏则不做处理;第二种控制终端未做限定,则可以将所涉及到的所有分屏都作为触控操作的作用对象,按照触控时间先后进行处理。本实施例中,通过其他控制终端或交互界面的数量以及其他控制终端的身份标识信息,完成交互界面的分屏显示,能够针对不同的情况灵活且准确地进行分屏显示。

在一个实施例中,获取受控终端根据身份认证信息反馈的交互界面包括:获取受控终端根据身份认证信息反馈的程序运行窗口数据,对程序运行窗口数据进行处理,得到多个交互界面配置数据,根据各交互界面配置数据,配置对应的交互界面。

具体实现中,交互界面的获取可以是获取受控终端204完成身份认证后发送的当前显示的界面的截图数据,也可以是获取受控终端204的当前的程序运行窗口数据或正在被其他控制终端操控的程序运行窗口数据,程序运行窗口数据包括受控终端204当前显示的或正在后台运行的应用程序的操作界面的页面信息,包括页面的各项属性信息和配置数据、屏幕ui数据、屏幕尺寸以及分辨率等至控制终端202。然后,控制终端202可根据分屏区域的尺寸或屏幕尺寸,对程序运行窗口数据进行缩放、截取或填充等处理,得到交互界面配置数据,根据交互界面配置数据,配置出对应的交互界面,进而于显示该交互界面。本实施例中,受控终端204的交互界面可以是除截屏数据之外的页面配置数据,能够精确配置并显示对应的受控终端204的交互界面。

在一个实施例中,获取受控终端的触控响应界面包括:获取对应的受控终端响应触控操作数据后显示的触控响应窗口数据,对触控响应窗口数据进行处理,得到触控响应界面配置数据,根据触控响应界面配置数据,配置触控响应界面。

当受控终端204按照触控操作的优先级依次对触控操作数据进行触控响应之后,可对应生成、并发送触控响应界面至各控制终端202,具体的,可以是发送触控响应界面的截图数据,也可以是发送触控响应窗口数据即受控终端204触控响应后的显示的操作界面的页面信息,包括页面的各项属性信息和配置数据、屏幕ui数据、屏幕尺寸以及分辨率等至控制终端202。然后,控制终端202可根据分屏区域的尺寸或屏幕尺寸,对触控响应窗口数据进行缩放、截取或填充等处理,得到触控响应界面配置数据,根据触控响应界面配置数据,配置出对应的触控响应界面,进而显示该触控响应界面。本实施例中,受控终端204的触控响应界面可以是除截屏数据之外的页面配置数据,能够精确配置并显示对应的受控终端204的触控响应界面。

在一个实施例中,显示的交互界面和显示的触控响应界面与控制终端的分辨率或对应的分屏区域的尺寸相匹配。

控制终端202显示的交互界面和响应界面,可以为渲染后的界面,该界面与控制终端202的屏幕尺寸(分辨率)相匹配或分屏区域的尺寸相匹配。以分屏区域为例,具体实施时,每一个分屏区域(分屏界面)对应显示一个受控终端204的交互界面和触控响应界面。比如控制终端202连接的受控终端有3个,分别为受控终端a、受控终端b、受控终端c,则控制终端也有3个分屏界面,分别为分屏a、分屏b与分屏b,分屏a上显示的交互界面a即为将获取到的受控终端a的初始交互界面渲染后的界面,该界面与分屏区域尺寸相匹配,分屏b上显示的交互界面b即为将获取到的受控终端b的初始交互界面渲染后的界面,该界面与分屏区域尺寸相匹配,分屏c上显示的交互界面c即为将获取到的受控终端c的初始交互界面渲染后的界面,该界面与分屏区域尺寸相匹配。具体的,渲染的动作既可以由受控终端执行,也可以由控制终端来执行。本实施例中,将界面渲染成与分屏区域尺寸相匹配的界面,能够更加合理地显示界面数据,同时提高用户使用感。

在一个实施例中,还包括:通过控制中心与受控终端建立连接,控制中心用于将控制终端传输的数据转发至受控终端,以及将受控终端传输的数据转发至控制终端,实现控制终端与受控终端的通信。

如图6所示,本申请提供的基于优先级控制的终端控制方法,受控终端204与多个控制终端202的通信方式还可以是通过控制中心206建立连接,即控制中心206用于在控制终端和受控终端之间进行数据转发,控制中心206可以是服务器、云端(云计算服务器)以及电脑主机等,控制中心206还可以有多个,每个控制中心206独立运行,控制中心206与控制中心206之间可相互独立或者相互连接,此外,每个控制中心206还可以用独立的服务器或多个服务器组成的服务器集群来实现等。

具体实施时,可以是受控终端204预先与控制中心206建立连接,受控终端204可以预先将数据备份在控制中心206,且将其设置为可访问状态,或者,通过预先安装的远程操作应用程序/操作系统使受控终端204处于可控状态。控制终端202可向控制中心206发送自身的身份代码,控制中心206在接收并完成对身份代码的验证后与控制终端202建立连接。控制终端202通过控制中心206获取受控终端202的发送的一个或多个交互界面,然后对应对交互界面进行显示或分屏显示处理。用户针对显示后的交互界面进行触控操作,控制终端202中预先设置有浏览器入口等用于接收用户触控操作的软件,控制终端202接收用户在具体交互界面的触控操作,记录用户触控操作时间、触控坐标、触控时长以及触控压力等信息,得到触控操作数据,将触控操作数据通过控制中心206转发至受控终端204。受控终端202接收触控操作数据,识别出各触控操作数据的优先级,根据优先级进行触控响应后生成触控响应界面,并将触控响应界面通过控制中心206发送至控制终端202。本实施例中,通过控制中心建立与受控终端的连接,能够减少数据存储空间,也能基于受控终端于控制中心备份的数据进行远程控制。

图7是一个实施例的一种基于优先级控制的终端控制方法的软件架构示意图,图中包括有智能手板702、云计算服务器704和平板电脑706,其中智能手板702为控制终端,云计算服务器704为控制中心,平板电脑706为受控终端。其中,云计算服务器704包括消息中间件708、前端服务710、后端服务712和数据库714。

参考图7,平板电脑706上运行街区屏幕ui和touch(触摸)事件等数据的软件,经由4g/5g网络,通过tcp(transmissioncontrolprotocol,传输控制协议)/ip(internetprotocoladdress,因特网互联协议)承载私有协议数据,与云计算服务器704建立连接。云计算服务器704中,消息中间件708高效分发数据,后端服务712与前端服务710通过websocket协议进行双向通信。具体的,云计算服务器704在与智能手板702和平板电脑706进行信息传输时,具体是通过利用消息中间件708通过tcp/ip协议与平板电脑706进行通信,接收平板电脑706发送的操作界面(包括交互界面和触控响应界面),消息中间件708将操作界面通过tcp/ip协议传输给后端服务712,后端服务712再通过websocket协议将操作界面传输给前端服务710,前端服务710根据智能手板702的分辨率、操控界面大小等对操作界面进行渲染处理,使渲染后的图像适应于智能手板702,智能手板702通过http协议从前端服务710中主动获取渲染后的图像,云计算服务器704是通过http或restful接口,接收智能手板702发送的用户对手板显示的界面进行触控操作得到的包含触控时间、触控坐标、触控压力以及触控时长等触控操作数据,后端服务712再通过消息中间件708将该触控操作数据用tcp/ip协议承载私有协议进行数据封装,转发给平板电脑706。然后,后端服务712再通过消息中间件708将接收到的平板电脑706发送的触控响应界面发送至智能手板702。

应该理解的是,虽然图2-图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图8所示,提供了一种终端,包括:通讯模块510、触控显示模块520和处理器530,其中:

通讯模块510与受控终端建立连接,处理器530获取受控终端的交互界面,将交互界面发送至触控显示模块520,触控显示模块520接收、并显示交互界面,响应用户对交互界面的触控操作,得到触控操作数据,并将触控操作数据发送至处理器530,处理器530获取、并发送触控操作数据至受控终端,获取受控终端的触控响应界面、并将触控响应界面发送至触控显示模块520,触控显示模块520接收、并显示触控响应界面,其中,触控响应界面由受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成。

在另一个实施例中,如图9所示,通讯模块510包含无线通信接口1616,触控显示模块520可以是触控显示屏1602。具体的,参考图11,无线通信接口1616可以为3g/4g/5g网络或wi-fi天线接口,触控显示屏1602可以为oled(organiclight-emittingdiode,有机发光二极管)和玻璃(或蓝宝石)盖板,处理器可在pcba(printedcircuitboard+assembly,印刷电路板装配)上装配有高通apq8053。此外,终端还包括有隔板1604,电池1608(容量1000mah,1.0mm),usb接口1610(typec),不锈钢中框1612和后盖板1614,后盖板1614可以为oled和玻璃(或蓝宝石)盖板。由于未设计话筒和摄像头等部件,对话功能可以通过蓝牙耳麦来实现,摄影可以由腕表来实现。

更具体的,终端厚度可以为4mm,前期可采用wi-fi和bt(bittorrent,比特洪流)的通信接口进行交互,后期可采用自主协议进行交互。对于网络手机、网络视屏终端、游戏终端和智能手表的各种延展(例如生物检测)等手板终端,可以采用5-6寸屏;对于家居管理板、读书板、游戏板、微信板、社交板和作业板等智能家居终端,可以采用7-14寸屏;对于教学板、课本板、考试板、会议板、航空板、高铁板和单向保密信息板等智能教学、会议、航空和高铁类终端,也可以采用7-14寸屏;对于办公桌板、投影显示板、点餐板、公交车站板、家用电器板、智能家具板、酒吧互动板、户外天然场景影视互动板和演唱会竞技运动聚焦板等智能表面终端,可以采用5-105吋屏。

上述终端可以确保触控和显示功能的良好实现,通过受控终端和/或控制中心来实现数据处理和存储等功能,在功能上将触控和显示与其他功能相剥离。由于不需要实现数据处理和存储等功能,相比于传统终端,上述终端可以以较轻的重量、较小的体积和较薄的厚度实现各种复杂的功能,解决了传统通信系统中终端重量和体积较大、便携性较差的问题。

进一步地,由于终端使用开放式的通讯平台,可以不依托于任何一家手机品牌,也无需得到运营商许可,直接通过无线通信网络或云等开放平台来进行通信,避免了现有终端品牌和运营商配置门槛引起的复杂问题。

在一个实施例中,如图10所示,提供了一种基于优先级控制的终端控制装置,包括:操控请求发送模块610、第一界面显示模块620、触控操作响应模块630、触控操作数据发送模块640和第二界面显示模块650,其中:

操控请求发送模块610,用于发送操控请求至受控终端,操控请求携带身份认证信息;

第一界面显示模块620,用于获取受控终端根据身份认证信息反馈的交互界面,显示交互界面;

触控操作响应模块630,用于响应用户对交互界面的触控操作,得到触控操作数据;

触控操作数据发送模块640,用于将触控操作数据发送至受控终端;

第二界面显示模块650,用于获取受控终端的触控响应界面,显示触控响应界面,触控响应界面由受控终端按照识别出的各触控操作数据的优先级,响应各触控操作数据生成。

在一个实施例中,第一界面显示模块610还用于获取受控终端的多个交互界面,对各交互界面进行分屏显示,交互界面为受控终端当前被各控制终端独立控制的界面。

在一个实施例中,如图11所示,装置还包括数据连接模块660,用于发送连接请求至受控终端,操控请求携带身份信息,接收受控终端根据身份信息反馈的连接许可消息,建立与受控终端的连接。

在一个实施例中,如图11所示,装置还包括界面配置模块670,用于获取受控终端根据身份认证信息反馈的程序运行窗口数据,对程序运行窗口数据进行处理,得到多个交互界面配置数据,根据各交互界面配置数据,配置对应的交互界面。

在一个实施例中,界面配置模块670还用于获取对应的受控终端响应触控操作数据后显示的触控响应窗口数据,对触控响应窗口数据进行处理,得到触控响应界面配置数据,根据触控响应界面配置数据,配置触控响应界面。

在一个实施例中,数据连接模块660还用于通过控制中心与受控终端建立连接,控制中心用于将控制终端传输的数据转发至受控终端,以及将受控终端传输的数据转发至控制终端,实现控制终端与受控终端的通信。

关于基于优先级控制的终端控制装置的具体限定可以参见上文中对于基于优先级控制的终端控制方法的限定,在此不再赘述。上述基于优先级控制的终端控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,如图12所示,提供了一种基于优先级控制的终端控制装置,包括:操控请求获取模块710、数据发送模块720、数据接收模块730以及数据响应模块740,其中:

操控请求获取模块710,用于获取控制终端的操控请求,操控请求携带控制终端的身份认证信息;

数据发送模块720,用于当根据身份认证信息完成对控制终端的身份认证时,建立与各控制终端的连接发送交互界面至所述控制终端,交互界面为当前被至少两个控制终端操控的界面;

数据接收模块730,用于接收各控制终端发送的用户针对各交互界面的触控操作数据;

数据响应模块740,用于识别各触控操作数据的优先级,根据优先级响应各触控操作数据,生成、并发送对应的触控响应界面至各控制终端。

在一个实施例中,数据发送模块720还用于发送操控者信息至各控制终端,操作者信息包括产生对应的触控响应界面的触控操作数据的数据发送方。

在一个实施例中,数据响应模块740还用于基于操作者身份信息、操作应用以及操作类型进行加权求和,确定各触控操作数据的优先级。

在一个实施例中,数据响应模块740还用于当接收到任一控制终端发送的用户针对交互界面的触控操作数据时,锁定当前时间周期内该控制终端对该交互界面的唯一操作权限。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于优先级控制的终端控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述基于优先级控制的终端控制方法中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述基于优先级控制的终端控制方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1