云电脑界面的显示方法、终端、云电脑服务器和存储介质与流程

文档序号:26101715发布日期:2021-07-30 18:12阅读:242来源:国知局
云电脑界面的显示方法、终端、云电脑服务器和存储介质与流程

本申请涉及云电脑技术领域,特别是涉及一种云电脑界面的显示方法、终端、云电脑服务器和存储介质。



背景技术:

云电脑桌面虚拟化技术,在云电脑服务器上部署好桌面环境,并把桌面画面传输到客户端上,而客户端只采用云终端的应用模式,即只安装基本操作系统,接受云电脑服务器传输来的虚拟桌面,用户看到的就像本地真实环境一样,所有的使用其实是对云电脑服务器上的桌面进行操作。目前,云电脑的客户端都是将云电脑服务器发送的画面简单、直接地显示出来,导致云电脑界面显示较为单一。



技术实现要素:

本申请实施例第一方面提供了一种云电脑界面的显示方法,该方法包括:移动终端获取云电脑服务器发送的合成画面;将合成画面至少分割成多个显示画面;将多个显示画面分别显示于不同的显示屏。

本申请实施例第二方面提供了一种云电脑界面的显示方法,该方法包括:云电脑服务器接收移动终端发送的多屏配置信息;基于多屏配置信息,将多个显示画面合成为合成画面;将合成画面发送至移动终端。

本申请实施例第三方面提供了一种移动终端,该移动终端包括处理器以及与处理器连接的存储器,存储器用于存储程序数据,处理器用于执行程序数据以实现前述的方法。

本申请实施例第四方面提供了一种云电脑服务器,该云电脑服务器包括处理器以及与处理器连接的存储器,存储器用于存储程序数据,处理器用于执行程序数据以实现前述的方法。

本申请实施例第五方面提供了一种计算机可读存储介质,该计算机可读存储介质中存储有程序数据,程序数据在被处理器执行时,用以实现前述的方法。

本申请的有益效果是:区别于现有技术的情况,移动终端通过获取云电脑服务器发送到合成画面,然后将合成画面至少分割成多个显示画面,再后将多个显示画面分别显示于不同的显示屏中,其中,多个显示画面由合成画面分割而来,彼此独立,每个显示屏对应显示其中的一个显示画面,用户可以通过不同的显示屏对不同的显示画面进行查阅和操作,从而能够实现云电脑显示界面的多屏显示,提升了云电脑显示界面的显示多样性。

附图说明

为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要的附图作简单的介绍,显而易见地,下面描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:

图1是本申请云电脑界面的显示方法一实施例的流程示意图;

图2是本申请云电脑服务器、移动终端和显示终端的交互示意图;

图3是本申请云电脑界面的显示方法另一实施例的流程示意图;

图4是图3中步骤s22的另一实施方式的流程示意图;

图5是图3中步骤s23的另一实施方式的流程示意图;

图6是本申请唯一标识符和显示画面对应关系的示意图;

图7是本申请移动终端与显示终端在显示画面切换前的示意图;

图8是本申请移动终端与显示终端在显示画面切换后的示意图;

图9是本申请云电脑界面的显示方法又一实施例的流程示意图;

图10是本申请移动终端一实施例的框架示意图;

图11是本申请云电脑服务器一实施例的框架示意图;

图12是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请中的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

周知,云电脑(又称基于服务器的虚拟电脑)是通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统,即:利用虚拟服务器软件在一台物理服务器上创建多个相互隔离的小服务器(虚拟服务器),这些虚拟服务器本身具有自己的操作系统,且运行和管理与独立的传统计算机主机完全相同。用户可以通过移动终端完成对云电脑的访问或会话,由于所有的运行软件的数据处理过程都是在虚拟服务器上完成的,故可极大地降低移动终端的硬件配置成本;而随着云计算和云系统技术的快速发展,云电脑的应用也越来越广泛。

目前,移动终端一般利用自身的显示屏显示云电脑画面,或者通过与外接显示器连接,将移动终端当前显示的画面转移到外接显示器进行显示,外接显示器和移动终端上的显示画面相同,只是将显示画面进行镜像拷贝。对于需要多个显示屏显示不同显示画面的多屏协作场景,目前的云电脑界面的显示方法还无法实现。多屏协作场景例如程序员工作一般需要两台电脑,且两台电脑用于显示不同的显示画面,其中一台电脑的显示屏用于显示代码输入画面,另一台电脑的显示屏用于显示浏览器画面或聊天画面等。

对此,本申请提供了一种云电脑界面的显示方法,涉及一种云电脑的多屏显示策略,用户在使用云电脑时,可以配合多个显示屏幕完成多个不同显示画面的展示,满足了用户对于云电脑多屏协作场景的需求,用户可以利用云电脑长时间办公、娱乐等,提升了云电脑的用户体验。

请参阅图1至图2,图1是本申请云电脑界面的显示方法一实施例的流程示意图,图2是本申请云电脑服务器、移动终端和显示终端的交互示意图。本实施例中,云电脑界面的显示方法应用于移动终端。

该方法可以包括以下步骤:

步骤s11:获取云电脑服务器发送的合成画面。

移动终端指具有通信能力和数据处理能力(如可以由处理器提供数据处理能力)的终端,例如手机、平板电脑、台式电脑、笔记本电脑、电视或投影仪等终端。移动终端与云电脑服务器可以进行通信,以获取云电脑服务器发送的合成画面。具体地,可以通过通信网络与云电脑服务器进行通信,通信网络可以包括下列任意一种网络或任意几种网络的组合:点到点网络、广播网、广域网、局域网、远程通信网、数据通信网、计算机网络、异步传送模式(atm)网络、同步光学(sonet)网络,同步数字系列(sdh)网络、无线网络和有线网络等。本实施例中,对于移动终端的操作系统不做限定,可以是windows、ios、安卓等。下面以移动终端的操作系统为安卓系统为例进行说明。

移动终端与云电脑服务器可以通过登录云电脑账户的方式进行访问或者会话。其中,成功登陆云电脑账户之后即可建立移动终端与云电脑服务器之间的安全网络连接。用户可以通过账号和密码登陆云电脑账户,账号例如是手机号码、身份证号码等,密码例如是字符串、图案、生物信息(如指纹、人脸、虹膜)等。本实施例中,用户仅需要登陆一个云电脑账户,即可通过该云电脑账户获取对应的云电脑服务器发送的合成画面,从而基于合成画面,后续可以实现多屏协作显示。

在一些实施方式中,云电脑采用rtc(real-timecommunication,即时通讯)框架,以将云电脑服务器中的合成画面实时传输至移动终端。云电脑服务器用于将多个显示画面合成为合成画面,然后传输给移动终端,以便于移动终端能够同时接收多个显示画面,并根据预设显示策略,将多个显示画面分别显示于不同的显示屏中。预设显示策略可以参见步骤s13部分。其中,对于云电脑服务器部分的说明请参见后面的实施例,此处暂不展开说明。

步骤s12:将合成画面至少分割成多个显示画面。

其中,由于多个显示画面由合成画面分割而来,所以多个显示画面可以彼此独立,用户可以对不同的显示画面进行不同的操作,而其他显示画面不受影响。不同显示画面的内容可以相同,也可以不同。

可选地,显示画面的数量可以由用户预先设定,也可以根据实际需要或可用显示屏的数量,确定显示画面的数量。可用显示屏为当前可以用于显示云电脑的显示画面的显示屏。

在一些实施方式中,显示画面的数量可以等于可用显示屏的数量。在另一些实施方式中,显示画面的数量也可以小于可用显示屏的数量,即说明部分可用显示屏可以不用于显示画面的显示。例如,手机具有两个显示屏,且两个显示屏都为可用显示屏,用户可以选择其中的一个可用显示屏用于显示云电脑传输的显示画面(即云电脑界面),另一个可用显示屏用于显示手机界面。

其中,可用显示屏的数量可以大于或等于可用终端的数量。可用终端为可以用于显示云电脑的显示画面的终端。可用终端可以包括移动终端,以及与移动终端连接的显示终端。当可用终端可以具有多个显示屏时(本申请中,多个为至少两个),可用显示屏的数量可以大于可用终端的数量;当可用终端具有一个显示屏时,可用显示屏的数量等于可用终端的数量。可以理解的,目前移动终端(例如手机)可以具有两个或两个以上的显示屏,不同显示屏可以显示不同的显示画面。

具体地,移动终端可以根据相关的画面分割技术,将合成画面至少分割成多个显示画面,这里不做赘述。本实施例对画面分割技术不做限定,只要能够将合成画面至少分割成多个显示画面即可。

步骤s13:将多个显示画面分别显示于不同的显示屏。

其中,不同的显示屏可以是移动终端的显示屏,还可以是与移动终端建立连接的显示终端的显示屏。

如图2所示,移动终端为手机20,显示终端包括笔记本电脑30、台式电脑40、显示器50、平板电脑60、手机70,云电脑服务器10与手机20通信连接,手机20又与多个显示终端通信连接。移动终端和显示终端均可以具有一个或多个显示屏。

在一些实施方式中,当移动终端具有多个显示屏时,可以利用移动终端的多个显示屏分别显示多个显示画面。此时,无需连接显示终端,也无需将显示画面发送至显示终端,移动终端自身可以完成多个显示画面的显示。

在一些实施方式中,当移动终端与至少一个显示终端连接时,移动终端可以将多个显示画面发送给至少一个显示终端,以利用至少一个显示终端的显示屏分别显示多个显示画面。此时,移动终端可以不设置显示屏,或设置有显示屏但是不用于显示显示画面,移动终端相当于一个处理器,起到画面处理和转发的作用。当移动终端为手机等具有小尺寸显示屏的终端时,可以通过连接较大尺寸显示屏的显示终端,从而可以获得更好的显示效果,解决了手机屏幕太小查阅不方便的问题。

在一些实施方式中,当移动终端与至少一个显示终端连接时,移动终端可以显示多个显示画面中的至少一个,然后将剩余的显示画面发送给至少一显示终端,以利用至少一显示终端的显示屏显示剩余的显示画面。此时,移动终端可以显示至少一个显示画面,从而用户可以通过移动终端查阅显示画面,由此可以利用移动终端携带方便的特点,提升显示画面查阅的便利性,同时还可以通过外接的显示终端进行辅助显示,以解决由于移动终端显示屏的限制,导致的显示画面查阅不方便的问题。

可以理解的,在将多个显示画面分别显示于不同的显示屏中之后,用户可以通过不同的显示屏对不同的显示画面进行不同的操作,从而实现云电脑的多屏协作显示功能。例如,云电脑运行的应用软件有微信和word,手机(移动终端)可以显示微信聊天画面,显示器(显示终端)可以显示word编辑画面,由于微信聊天画面需要的显示界面较小,从而可以将微信聊天画面显示于手机的显示屏中,能提升聊天的便利性,其次用户可以对微信聊天画面进行放大或缩小至适应大小,以便于用户进行聊天操作;由于word编辑画面需要的显示界面较大,而手机显示屏较小,即便可以对word编辑画面进行放大,显示效果也不好,从而可以将word编辑画面显示于显示器的显示屏中,由于显示器的显示屏远大于手机的显示屏,用于通过显示器的显示屏能够更好的进行文字编辑。其中,用户对于微信聊天画面和word编辑画面的操作互不影响。

本实施例中,移动终端通过获取云电脑服务器发送到合成画面,然后将合成画面至少分割成多个显示画面,再后将多个显示画面分别显示于不同的显示屏中,其中,多个显示画面由合成画面分割而来,彼此独立,每个显示屏对应显示其中的一个显示画面,用户可以通过不同的显示屏对不同的显示画面进行查阅和操作,从而能够实现云电脑显示界面的多屏显示,提升了云电脑显示界面的显示多样性。

请参阅图3至图8,图3是本申请云电脑界面的显示方法另一实施例的流程示意图,图4是图3中步骤s22的另一实施方式的流程示意图,图5是图3中步骤s23的另一实施方式的流程示意图,图6是本申请唯一标识符和显示画面对应关系的示意图,图7是本申请移动终端与显示终端在显示画面切换前的示意图,图8是本申请移动终端与显示终端在显示画面切换后的示意图。本实施例中,云电脑界面的显示方法应用于移动终端。

该方法可以包括以下步骤:

步骤s21:获取云电脑服务器发送的合成画面。

本实施例中,对于步骤s21的阐述可以参见上述实施例中的步骤s11,此处不再赘述。

步骤s22:将合成画面至少分割成多个显示画面。

本实施例中,移动终端可以根据多屏配置信息将合成画面至少分割成多个显示画面。在一些实施方式中,步骤s22可以包括子步骤s211~s222。

步骤s221:获取多屏配置信息。

其中,多屏配置信息可以包括可用显示屏的数量和显示参数信息。可用显示屏可以包括移动终端的显示屏,还可以包括与移动终端建立连接的显示终端的显示屏。移动终端与显示终端可以通过上述实施例中的通信网络进行连接,在一些实施方式中,移动终端与显示终端可以有线网络或者无线网络建立连接。

显示参数信息可以但不限于包括唯一标识符、分辨率信息、旋转角度、主屏幕标识中的一种或多种。其中,唯一标识符用于唯一标识显示屏,唯一标识符例如为0、1、2、3等,或a、b、c、d等。分辨率信息用于表示屏幕图像的精密度,是指显示屏所能显示的像素有多少。当显示屏大小固定时,分辨率越高图像越清晰。分辨率信息可以具体包括分辨率宽度和高度;例如,一电视机为32英寸,分辨率宽度和高度为3840*2160,一手机为6.7英寸,分辨率宽度和高度为3168×1440。旋转角度信息用于表示显示界面的旋转角度,可以但不限于包括以下4种旋转角度:0°/360°(即不旋转)、90°、180°和270°,在其他实施方式中,旋转角度还可以为0°~360°中的任意角度。主屏幕标识用于表示该显示屏是否是主显示屏,在本实施例中,多个显示屏中只有一个主显示屏幕,在其他实施例中,多个显示屏中也可以有多个主显示屏幕,这里不做限定。

为了实现多屏显示不同显示画面,云电脑服务器与移动终端需要预先制定一个显示协议,其中云电脑服务器与移动终端可以共同维护一个类的数组,该数组用于表示显示屏的显示参数信息。在一实施方式中,该数组如下所示:

其中,displayid为显示屏的唯一标识符,width为显示屏的分辨率宽度,height为显示屏的分辨率高度,rotation为显示屏的旋转角度信息,ismasterscreen为主屏幕标识。当ismasterscreen为ture,表示该显示屏为主显示屏;当ismasterscreen为false,表示该显示屏不为主显示屏。

移动终端在与云电脑服务器建立连接前,会先自检,以及检测连接的显示终端,以确定移动终端和各显示终端的显示屏是否可以用于显示云电脑的显示画面,然后获取可用显示屏的数量和显示参数信息等多屏配置信息。

其中,移动终端的自检,可以是检测自身是否具有显示屏,若具有显示屏,则进一步确定显示屏是否可以用于云电脑的显示画面的显示。一般地,所有可以正常显示的显示屏都可以用于显示云电脑的显示画面,但是,在一些实施方式中,用户可以设置移动终端和显示终端中的显示屏是否可以用于显示云电脑的显示画面。

例如,如图7所示,手机20(移动终端)具有两个显示屏21和22,与手机连接的笔记本电脑30(第一显示终端)具有显示屏31,显示器(第二显示终端)50具有显示屏51,在一场景中,用户可以通过手机20的“设置”选项,设置显示屏21和22是否可以用于显示云电脑的显示画面。其中当笔记本电脑30和显示器50与手机20初次建立连接时,手机20可以获取到显示屏31和51的信息,从而用户可以对显示屏31和51进行相应设置,之后,手机20可以保存显示屏31和51的相关信息,即便笔记本电脑30和显示器50与手机20断开连接之后,用户仍可以更改显示屏是否可以用于显示云电脑的显示画面,以便于下次连接后直接使用该显示屏。

在一些实施方式中,移动终端可以根据用户的清除选择,清除至少部分断开连接的显示屏的相关信息,或者移动终端可以在触发预设清除条件之后,自动清除至少部分断开连接的显示屏的相关信息。预设清除条件例如是显示屏最后一次断开连接的时长大于预设时长,或在断开连接的显示屏的数量大于预设数量,预设时长可以为一个月、一年等,预设数量可以为5个、10个等。

其中,移动终端检测连接的显示终端,可以是检测显示终端的显示屏可以用于云电脑的显示画面的显示。在一些实施方式中,用户不仅可以通过移动终端设置显示终端的显示屏是否可以用于云电脑的显示画面的显示,用户还可以在对应的显示终端上设置该显示终端的显示屏是否可以用于云电脑的显示画面的显示。即是用户可以通过移动终端和/或显示终端设置该显示终端的显示屏是否为可用显示屏。其中,当用户在移动终端和显示终端上都进行设置时,仅当移动终端和显示终端都设置该显示屏为可用显示屏时,该显示屏才为可用显示屏,否则,则为不可用显示屏。

移动终端可以将获取的显示屏的数量和显示参数信息等多屏配置信息进行封装,然后传输给云电脑服务器,以使云电脑根据多屏配置信息作出相应的配置。具体地,可以将多屏配置信息封装到displayinfo对象中,然后传输给云电脑服务器。一般地,移动终端与云电脑服务器初始连接时,移动终端会向云电脑服务器发送多屏配置信息。

步骤s222:根据多屏配置信息将合成画面至少分割成多个显示画面。

在本实施例中,移动终端可以根据可用显示屏的数量和显示参数信息,将合成画面至少分割成与可用显示屏的数量和显示参数信息对应的多个显示画面。

具体地,移动终端可以将合成画面分割成与可用显示屏相等数量的显示画面,且每个显示画面的分辨率的宽度和高度,以及旋转角度等与对应可用显示屏相匹配,从而显示画面可以恰好填充可用显示屏的显示界面,以使用户可以从显示屏的显示界面查看完整的显示画面,避免了画面显示不完全,需要调整显示画面的位置(如移动滑动条),才能查看其余部分显示画面。

步骤s223:根据多屏配置信息分别对多个显示画面进行渲染。

具体地,移动终端可以根据每个显示屏的显示参数信息分别对多个显示画面进行渲染。例如,移动终端可以根据每个显示屏的唯一标识符、分辨率信息、旋转角度信息等分别建立渲染模型,然后分别通过渲染模型对多个显示画面进行渲染。

渲染可以分为实时渲染和离线渲染。实时渲染指一边计算显示画面,一边将显示画面输出显示,可以实时操控预览画面。离线渲染指计算显示画面时不将显示画面输出显示,在将显示画面计算完成后再将显示画面输出显示。其中,渲染是模型成像的过程,主要可以分为光栅化(rasterization)、光线投射(raycasting)、以及光线跟踪(raytracing)。

步骤s23:将多个显示画面分别显示于不同的显示屏中。

本实施例中,不仅是将多个显示画面分别显示于不同的显示屏中,还可以进一步在多个显示屏中确定主显示屏,以及在多个显示画面中确定主显示画面,然后将主显示画面显示于主显示屏,以实现利用主显示屏查看主显示画面。

在一些实施方式中,步骤s23包括子步骤s231~s233。

步骤s231:在多个显示屏中确定主显示屏。

其中,可以根据显示参数信息中的主屏幕标识,在多个显示屏中确定主显示屏。具体地,在初始分配时,可以根据ismasterscreen字段,在多个显示屏中确定主显示屏。当ismasterscreen为ture时,表示该显示屏为主显示屏,当ismasterscreen为false时,表示该显示屏不为主显示屏,由此可以查找ismasterscreen为ture对应的显示屏,即为主显示屏。

步骤s232:在多个显示画面中确定主显示画面。

在主显示屏确定之后,可以根据主显示屏对应的唯一标识符查找主显示画面。具体地,云电脑服务器可以根据唯一标识符,将每个显示画面依次排列,然后合成为合成画面。对应地,移动终端在将合成画面分割后得到的多个显示画面也是根据唯一标识符依次排列的,从而在确定主显示屏之后,可以根据主显示的唯一标识符,确定主显示画面。

举例说明,如图6和图7所示,手机20具有两个显示屏21和22,与手机20连接的笔记本电脑30和显示器50分别具有显示屏31和51,其中主显示屏为21,即显示屏21对应的ismasterscreen为ture,显示屏22、31、51的ismasterscreen为false,一般主显示屏21的screenid默认为0,显示屏22、31、51的screenid分别设为1、2、3,则根据ismasterscreen字段可以确定显示屏21为主显示屏,主显示屏为screenid=0,依次排列的多个显示画面中的第一个显示画面h0对应的screenid=0,从而可以根据screenid=0,将第一个显示画面h0确定为主显示画面。

步骤s233:将主显示画面显示于主显示屏,以及将剩余的显示画面分别显示于剩余的显示屏。

在确定主显示屏和主显示画面之后,即可将主显示画面显示于主显示屏中,然后剩余的显示画面可以随机或按照一定顺序显示于剩余的显示屏中。

在一些实施方式中,如图6和图7所示,移动终端可以根据唯一标识符(screenid),依次将剩余的显示画面分别显示于剩余的显示屏。例如,上述例子中,显示屏22、31、51的screenid分别设为1、2、3,从而可以将剩余的3个显示画面(h1、h2、h3)按照screenid由小到大的顺序,依次分别显示在显示屏22、31、51中。

下面介绍几种多个显示屏位于相同或不同设备的实施方式:

在一些实施方式中,当移动终端具有多个显示屏时,可以利用移动终端的多个显示屏分别显示多个显示画面。由于移动终端本身具有将多个显示画面分别显示的多个显示屏,所以移动终端可以连接显示终端,也可以不连接显示终端。进一步,移动终端可以在自身的多个显示屏中确定一个主显示屏,然后将主显示画面显示于主显示屏,将剩余的显示画面分别显示于移动终端剩余的显示屏。

在另一些实施方式中,当移动终端与至少一个显示终端连接时,移动终端可以将多个显示画面发送给至少一个显示终端,以利用至少一个显示终端的显示屏分别显示多个显示画面。此时,移动终端可以具有显示屏、也可以不具有显示屏,移动终端在将合成画面分割之后,将分割成的多个显示画面全部发送给显示终端进行显示,而移动终端相当于一个处理器,起到画面分割和画面转发的作用。进一步,移动终端可以在显示终端的多个显示屏中确定一个主显示屏,然后将主显示画面显示于主显示屏,将剩余的显示画面分别显示于显示终端剩余的显示屏中。本实施方式中,当显示终端具有多个显示屏时,移动终端可以将多个显示画面发送给一个显示终端,由该显示终端的多个显示屏分别显示多个显示画面;当然此时,移动终端也可以将多个显示画面发送给多个显示终端,由多个显示终端的多个显示屏分别显示多个显示画面。当显示终端仅具有一个显示屏时,移动终端可以将多个显示画面发送给多个显示终端,以使每个显示终端对应的显示屏显示一个显示画面,从而完成多个显示画面的显示。具体情况,可以根据移动终端中可用显示屏的数量、与移动终端连接的可用终端的数量,以及可用终端中可用显示屏的数量进行划分,此处不做赘述。

在又一些实施方式中,当移动终端与至少一个显示终端连接时,移动终端可以显示多个显示画面中的至少一个,然后将剩余的显示画面发送给至少一显示终端,以利用至少一显示终端的显示屏显示剩余的显示画面。其中,显示画面的数量大于移动终端的显示屏的数量。本实施方式中,移动终端具有至少一个显示屏,用于显示至少一个显示画面。其中,可以包括(1)移动终端具有一个可用显示屏,移动终端显示一个显示画面,剩余显示画面显示于一个或多个显示终端;(2)移动终端具有多个显示屏,移动终端显示一个显示画面,剩余显示画面显示于一个或多个显示终端;(3)移动终端具有多个显示屏,移动终端显示多个显示画面,剩余显示画面显示于一个或多个显示终端。进一步,移动终端可以在移动终端和显示终端的显示屏中确定一个主显示屏,然后将主显示画面显示于主显示屏,将剩余的显示画面显示于移动终端和显示终端剩余的显示屏中。如图7所示,可以设置手机20的一显示屏21为主显示屏,也可以设置笔记本电脑30的显示屏31或显示器50的显示屏51为主显示屏。

在一些实施例中,移动终端在完成多个显示画面的初始分配、显示之后,还可以对当前的显示画面进行切换,例如更改主显示屏和其他显示屏的显示画面,具体可以参见下面步骤s24~s26。

步骤s24:获取主显示屏的画面切换指令。

在一些实施方式中,移动终端或显示终端可以响应目标控件的触发操作,然后根据触发操作获取主显示屏的画面切换指令。当主显示屏为移动终端的显示屏时,移动终端可以响应目标控件的触发操作,以及根据触发操作获取主显示屏的画面切换指令。当主显示屏为显示终端的显示屏时,显示终端可以响应目标控件的触发操作,然后根据触发操作获取主显示屏的画面切换指令,然后将画面切换指令发送至移动终端,以使移动终端根据画面切换指令重新确定一主显示画面。

目标控件用于控制主显示屏中显示画面的切换,其形态可以为虚拟按钮或实体按钮。在手机或平板电脑等可以通过触摸屏操作的终端中,目标控件可以是主显示屏中显示一个的虚拟按钮,通过用户的触摸操作进行触发,或者,在显示器等无触摸功能的终端中,目标控件可以是一个通过鼠标点击或者键盘输入触发的控件按钮。目标控件也可以为主显示屏所在终端上的实体按钮。当主显示屏为移动终端的显示屏时,目标控件为移动终端上的实体按钮,当主显示屏为显示终端上的显示屏时,目标控件为显示终端上的实体按钮。在其他实施方式中,当主显示屏为显示终端上的显示屏时,目标控件也可以为移动终端上的实体按钮。实体按钮可以但不限于为电源键、音量键,或者可以单独设置一个用于显示画面切换的实体按键。在其他实施方式中,目标控件也可以设置于第三终端,第三终端可以与移动终端进行通信,第三终端响应目标控件的触发操作,然后根据触发操作获取主显示屏的画面切换指令,然后将画面切换指令发送至移动终端。第三终端例如是遥控器,该遥控器可以设置触摸屏和/或实体按键。触发操作例如是对触摸屏的触摸操作,或对实体按键的按压操作。

在一些实施场景中,移动终端或显示终端可以响应预设滑动距离的触发操作,然后根据触发操作获取主显示屏的画面切换指令。主显示屏设置于移动终端上(如手机或平板电脑),基于移动终端可以滑动切屏的特点,用户可以通过手指触摸显示屏的任意位置,并向一个方向滑动预设距离(触发操作),从而移动终端可以根据触发操作获取主显示屏的画面切换指令。

步骤s25:根据画面切换指令,在剩余的显示画面中重新确定一主显示画面。

具体地,移动终端根据画面切换指令,可以将剩余的显示画面按照唯一标识符的排列顺序依次确定为主显示画面。

例如,如图6至图8所示,当前可用的显示屏包括手机20的两个显示屏21和22,以及笔记本电脑30的显示屏31和显示器50的显示屏51,其中显示屏21为主显示屏,显示的显示画面为h0,显示屏21、31、51根据唯一标识符依次分别显示的显示画面为h1、h2、h3(其中,h1对应的screenid=1、h2对应的screenid=2、h3对应的screenid=3),用户通过手指接触主显示屏并向左滑动预设距离,手机可以将剩余显示画面中的显示画面h1(六角星)确定为主显示画面,当用户再次通过手指接触主显示屏并向左滑动预设距离,手机又可以将显示画面h2(爱心)确定为主显示画面,当用户再通过手指接触主显示屏并向右滑动预设距离,又可以将显示画面h1确定为主显示画面。多个显示画面h0~h3可以循环切换,如h0→h1→h2→h3→h0,以及h3→h2→h1→h0→h3,即由最后一个显示画面和第一个显示画面之间可以进行切换,在其他实施方式中,多个显示画面仅可以往返切换,即h0→h1→h2→h3,以及h3→h2→h1→h0,即最后一个显示画面和第一个显示画面之间不可以进行切换。

步骤s26:将主显示画面显示于主显示屏,以及将剩余的显示画面分别显示于剩余的显示屏。

在一些实施方式中,在确定主显示画面之后,可以将主显示画面显示于主显示屏,若主显示屏位于显示终端,则移动终端可以先将主显示画面发送至显示终端,以使显示终端将主显示画面显示于主显示屏,若主显示屏位于移动终端,则移动终端可以直接进行显示。对于剩余显示画面可以随机或按照唯一标识符的顺序分别显示于剩余的显示屏。

举例说明,用户将主显示屏当前显示的显示画面h0切换为h1时,移动终端按照唯一标识符的顺序将剩余的显示画面h0显示于显示屏b,将显示画面h2显示于显示屏31,将显示画面h3显示于显示屏51,由于显示屏31和51原先就是分别显示h2、h3,所以移动终端无需再将显示画面h2、h3分别发送至对应的显示终端。

由此,本实施例通过移动终端可以基于主显示屏的画面切换指令,切换主显示屏的画面,以间接切换显示终端的显示画面,以方便用户将想观看的显示画面切换到显示终端中,解决了移动终端屏幕太小查阅不方便的缺点。

在一些实施例中,移动终端在与云电脑服务器建立连接之后,可以减少或增加可用显示屏的数量,对应地,移动终端可以调整多屏配置信息,并将调整后的多屏配置信息发送给云电脑服务器,以使云电脑服务器减少或增加显示画面。具体地,步骤s23之后还可以包括步骤s27~s28。本实施例中,步骤s27~s28与上述步骤s24~26之间并无一定的先后关系。

步骤s27:获取显示屏的画面关闭指令。

移动终端当检测到可用显示屏减少时,生成该显示屏的画面关闭指令。具体地,移动终端可以检测显示屏是否处于关闭显示状态(例如熄屏),或者可以检测显示屏是否未显示云电脑显示画面例如该显示屏退出云电脑应用的显示界面),若是,则可以确定可用显示屏减少。

步骤s28:调整多屏配置信息,并将调整后的多屏配置信息发送给云电脑服务器。

在一些实施例中,外接的显示终端具备热插拔功能,在移动终端与云电脑服务器连接过程中,如果发生显示屏数量的变化,在安卓系统中,可以通过ondisplaychanged函数,获取改变的显示屏信息,然后基于改变的显示屏信息,调整多屏配置信息,并调整后的多屏配置信息发送给云电脑服务器,以使云电脑服务端根据最新的多屏配置信息作出修正。其中,若是移动终端自身的可用显示屏的数量发生改变时,移动终端可以主动触发ondisplaychanged函数,获取改变的显示屏信息。其中,调整多屏配置信息可以是在多屏配置信息中删除减少的可用显示屏的相关信息,例如将可用显示屏的数量-1,以及删除减少的可用显示屏的的显示参数信息。

在一些实施例中,也可以获取新增可用显示屏指令,调整多屏配置信息,并将调整后的多屏配置信息发送给云电脑服务器。其中,调整多屏配置信息可以是在多屏配置信息中增加新增可用显示屏的相关信息,例如将可用显示屏的数量+1,以及增加新增可用显示屏的显示参数信息。移动终端将调整后的多屏配置信息发送给云电脑服务器之后,云端电脑服务器可以根据调整后的多屏配置信息进行相应配置。

在一具体实施场景中,移动终端具体可以为手机,手机包括一主显示屏,为了节省手机功耗,可以在外接显示终端时,将主显示屏关闭(如熄屏)。此时,主显示屏将不再渲染任何画面,手机简单的作为一个处理器,云电脑的显示画面都是通过外接的显示终端完成,从而可以节省手机的功耗,进而可以提高云电脑在未外接电源时的可使用时长。

在一些实施例中,移动终端或云电脑服务器可以设置云电脑界面的显示模式,其中云电脑界面的显示模式包括单屏幕模式、复制屏幕模式、扩展屏模式。单屏幕模式,指移动终端只有一个可用显示屏,即移动终端的显示屏只需要将云电脑服务器发送的显示画面正常显示即可;复制屏幕模式,指移动终端连接显示终端,但是移动终端、显示终端的显示屏显示的画面是相同的,移动终端的显示屏显示云电脑服务器发送的显示画面,并将该显示画面镜像拷贝至显示终端的显示屏进行显示;扩展屏模式,指移动终端连接显示终端,移动终端、显示终端的显示屏显示的画面是不同的,此时移动终端需要接收云电脑服务器发送到合成画面,并将合成画面至少分割成多个显示画面,然后将多个显示画面显示于不同的显示屏,即本申请提供的云电脑多屏显示策略。

请参阅图9,图9是本申请云电脑界面的显示方法又一实施例的流程示意图。本实施例中,云电脑界面的显示方法应用于云电脑服务器。

具体可以包括以下步骤:

步骤s31:云电脑服务器接收移动终端发送的多屏配置信息。

其中,云电脑服务器与移动终端在初始连接时,移动终端会向云电脑服务器发送多屏配置信息。在云电脑服务器与移动终端建立连接之后,若移动终端获取到显示屏的画面关闭指令,可以调整多屏配置信息,并将调整后的多屏配置信息发送给云电脑服务器。对应的,云电脑服务器接收到多屏配置信息时,可以根据多屏配置信息,进行相应配置。

在一些实施方式中,云电脑服务器在初始连接或接收移动终端的ondisplaychanged函数时,云电脑服务器会暂停当前帧的获取,此时移动终端会有毫秒级的卡顿现象,与此同时,云电脑服务器可以根据最新的多屏配置信息来调整合成画面的生成。

步骤s32:基于多屏配置信息,将多个显示画面合成为合成画面。

多屏配置信息可以包括可用显示屏的数量和显示参数信息。显示参数信息可以但不限于包括唯一标识符、分辨率信息、旋转角度、主屏幕标识中的一种或多种。这里,对于上述内容的具体说明可以参见上述实施例中的对应至位置,此处不再赘述。

其中,云电脑服务器用于生成与可用显示屏相同数量的显示画面,且每个显示画面对应不同的显示屏,然后可以按照唯一标识符的顺序,将对应的显示画面依次排列进行画面合成,以得到合成画面。

可以理解的在步骤s33之前,还可以包括将合成画面进行编码,以通过编码后的数据将合成画面发送至移动终端。

步骤s33:将合成画面发送至移动终端。

云电脑服务器得到合成画面之后,可以基于rtc框架将合成画面实时发送至移动终端。

本实施例中,云电脑服务器接收移动终端发送的多屏配置信息,然后基于多屏配置信息,将多个显示画面合成为合成画面,再后将合成画面发送至移动终端,以使移动终端将合成画面至少分割成多个显示画面,再后将多个显示画面分别显示于不同的显示屏中,其中,多个显示画面由合成画面分割而来,彼此独立,每个显示屏对应显示其中的一个显示画面,用户可以通过不同的显示屏对不同的显示画面进行查阅和操作,从而能够实现云电脑显示界面的多屏显示,提升了云电脑显示界面的显示多样性。

请参阅图10,图10是本申请移动终端一实施例的框架示意图。

本实施例中,移动终端100可以包括处理器110以及与处理器110连接的存储器120,存储器120用于存储程序数据,处理器110用于执行程序数据以实现上述任一云电脑界面的显示方法实施例中移动终端100执行的步骤。

其中,移动终端100可以但不限于包括电视机、桌面型计算机、膝上型计算机、手持计算机、可穿戴设备、头戴式显示器、阅读器设备、便携式音乐播放器、便携式游戏机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonalcomputer,简称:umpc)、上网本,以及蝉窝电话、个人数字助理(personaldigitalassistant,简称:pda)、增强现实(augmentedreality,简称:ar)、虚拟现实(virtualreality,简称:vr)设备。

具体而言,处理器110用于控制其自身以及存储器120以实现上述任一方法实施例中的步骤。处理器110还可以称为cpu(centralprocessingunit,中央处理单元)。处理器110可能是一种集成电路芯片,具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器110可以由多个集成电路芯片共同实现。

请参阅图11,图11是本申请云电脑服务器一实施例的框架示意图。

云电脑服务器200可以包括处理器210以及与处理器210连接的存储器220,存储器220用于存储程序数据,处理器210用于执行程序数据以实现上述任一云电脑界面的显示方法实施例中云电脑服务器200执行的步骤。

对于云电脑服务器200中处理器的描述可以参见上述移动终端实施例中的相应位置,此处不再赘述。

请参阅图12,图12是本申请计算机可读存储介质一实施例的框架示意图。

计算机可读存储介质300存储有程序数据310,程序数据310被处理器执行时,用以实现上述任一云电脑界面的显示方法实施例中的步骤。

计算机可读存储介质300具体可以为u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等可以存储计算机程序的介质,或者也可以为存储有该计算机程序的服务器,该服务器可将存储的计算机程序发送给其他设备运行,或者也可以自运行该存储的计算机程序。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1