屏幕扩展及交互方法、终端及计算机可读存储介质与流程

文档序号:17089104发布日期:2019-03-13 23:13阅读:124来源:国知局
本发明涉及通信
技术领域
:,尤其涉及一种屏幕扩展及交互方法、终端及计算机可读存储介质。
背景技术
::随着通讯技术的飞速发展,手机、平板电脑等移动终端已成为人们不可或缺的一种通讯产品。以手机为例,目前手机已不仅仅局限于打电话,用户还可以利用手机观看图片、电影等多媒体内容。众所周知的,屏幕越大则视觉效果越佳,能查看的信息也越多,然而受制于便携特性,手机的屏幕不是很大,目前的大屏手机也最多5寸左右,太大则不便于携带。因此用户在手机上查看电影或信息时,由于显示画面较小,导致视觉效果不佳,影响视觉体验。技术实现要素:本发明的主要目的在于提供一种屏幕扩展及交互方法、终端及计算机可读存储介质,旨在解决现有技术中由于显示画面较小,导致视觉效果不佳,影响视觉体验的技术问题。为实现上述目的,本发明提供的一种屏幕扩展及交互方法,所述屏幕扩展及交互方法包括:在建立通信连接的多个移动终端中,确定主控端和受控端;确定所述主控端中需要进行扩展交互的目标应用,并获取所述目标应用的扩展界面;在所述主控端的显示区域生成与各所述受控端一一对应且相互独立的交互区;将所述扩展界面分配到各对应所述交互区,并将扩展界面发送至各交互区对应的受控端显示;将采集到操作指令的交互区作为目标交互区,并根据操作指令和目标交互区的区属性,对目标交互区中内容进行更新;将内容更新后的目标交互区发送至目标交互区对应的受控端显示。可选地,所述确定所述主控端中需要进行扩展交互的目标应用,并获取所述目标应用的扩展界面的步骤,包括:获取主控端当前运行的应用清单,将应用清单中界面显示面积预算大于预设面积值的应用作为目标应用;获取目标应用在过去预设时长内显示频率大于预设频率值的应用界面,将所述应用界面作为目标应用的扩展界面。可选地,所述将应用清单中界面显示面积预算大于预设面积值的应用作为目标应用的步骤包括:统计应用清单中各应用在过去预设时长内显示的应用界面的面积和;根据各应用的应用类型对应的面积需求系数和面积和,计算各应用的界面显示面积预算。可选地,所述将所述扩展界面分配到各对应所述交互区,并将扩展界面发送至各交互区对应的受控端显示的步骤包括:将在过去预设时长内接到触控操作次数大于预设操作数的所述扩展界面作为第一扩展界面,将在过去预设时长内接到触控操作小于或等于预设操作数的所述扩展界面作为第二扩展界面,同一目标应用的第一扩展界面和第二扩展界面作为一个分组;将各分组的第一扩展界面和第二扩展界面分别分配到对应的所述交互区和受控终端。可选地,所述根据操作指令和目标交互区的区属性,对目标交互区中内容进行更新的步骤包括:根据目标交互区的区属性,确定目标交互区所对应应用的响应进程映射表;根据操作指令的指令类型在所述响应进程映射表中查找所需的响应进程,并根据查找的响应进程对目标交互区中内容进行更新。可选地,所述屏幕扩展及交互方法还包括:当接收到受控端发送的突出显示请求时,确定发送突出显示请求受控端在主控端的待处理交互区;控制主控端中所述待处理交互区和发送突出显示请求受控端进行关联的突出显示,其中突出显示至少包含放大显示、高亮显示、悬浮显示中的一种或多种。可选地,所述当接收到受控端发送的突出显示请求时,确定发送突出显示请求受控端在主控端的待处理交互区的步骤包括:获取所有发送突出显示请求受控端在主控端交互区的待处理交互区集合;获取所述待处理交互区的优先级排列顺序,并基于所述优先级排列顺序对待处理交互区进行处理。可选地,所述获取待处理交互区的优先级排列顺序的步骤,包括:接收用户发出的顺序操作指令,基于所述顺序操作指令,将所述待处理交互区集合按照优先级排列顺序进行排列。此外,为实现上述目的,本发明还提出一种终端,所述终端包括:存储器、处理器、通信总线以及存储在所述存储器上的屏幕扩展及交互程序:所述通信总线用于实现处理器和存储器之间的连接通信;所述处理器用于执行所述屏幕扩展及交互程序,以实现如上述所述的屏幕扩展及交互方法的步骤。此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有屏幕扩展及交互程序,所述屏幕扩展及交互程序被处理器执行时实现如上述所述的屏幕扩展及交互方法的步骤。本发明技术方案的屏幕扩展及交互方法,通过在建立通信连接的多个移动终端中,确定主控端和受控端;确定所述主控端中需要进行扩展交互的目标应用,并获取所述目标应用的扩展界面;在所述主控端的显示区域生成与各所述受控端一一对应且相互独立的交互区;将所述扩展界面分配到各对应所述交互区,并将扩展界面发送至各交互区对应的受控端显示;将采集到操作指令的交互区作为目标交互区,并根据操作指令和目标交互区的区属性,对目标交互区中内容进行更新;将内容更新后的目标交互区发送至目标交互区对应的受控端显示。由于在本实施例中,是针对多个智能终端间建立关联,使多个单屏终端从功能上扩展成为一个多屏终端,并能指定不同的应用上的不同界面显示在不同终端的屏幕上,但输入界面是固定在主控终端上的,从而可以在增加操作易用性的同时,扩展了屏幕显示内容,并且也可以达到避免干扰用户当前处理的事情,提高用户满意度的目的,解决了现有技术中由于显示画面较小,导致视觉效果不佳,影响视觉体验的技术问题。附图说明图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图;图2为如图1所示的移动终端的无线通讯系统示意图;图3为本发明屏幕扩展及交互方法第一实施例的流程示意图;图4为本发明屏幕扩展及交互方法第二实施例的流程示意图;图5为本发明屏幕扩展及交互方法第四实施例的流程示意图;图6为本发明屏幕扩展及交互方法第五实施例的流程示意图;图7为本发明实施例方法涉及的硬件运行环境的设备结构示意图;图8为本发明中主控端和受控端连接示意图;图9为用户选择点击主控端桌面微博图标示意图;图10为本发明主控端中交互区排列图。本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant,pda)、便捷式媒体播放器(portablemediaplayer,pmp)、导航设备、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字tv、台式计算机等固定终端。后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的元件之外,根据本发明的实施方式的构造也能够待评价应用于固定类型的终端。请参阅图1,其为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:rf(radiofrequency,射频)单元101、wifi模块102、音频输出单元103、a/v(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。下面结合图1对移动终端的各个部件进行具体的介绍:射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于gsm(globalsystemofmobilecommunication,全球移动通讯系统)、gprs(generalpacketradioservice,通用分组无线服务)、cdma2000(codedivisionmultipleaccess2000,码分多址2000)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess,时分同步码分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution,频分双工长期演进)和tdd-lte(timedivisionduplexing-longtermevolution,分时双工长期演进)等。wifi属于短距离无线传输技术,移动终端通过wifi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或wifi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。调制解调器104用于接收终端处理器110发送的网络接入参数。移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的待评价应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1061。用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接设备。触控面板1071可包括触摸检测设备和触摸控制器两个部分。其中,触摸检测设备检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测设备上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。接口单元108用作至少一个外部设备与移动终端100连接可以通过的接口。例如,外部设备可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的设备的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部设备的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部设备之间传输数据。存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的待评价应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成终端上层处理器和调制解调处理器,其中,终端上层处理器主要处理操作系统、用户界面和待评价应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。为了便于理解本发明实施例,下面对本发明的移动终端所基于的通信网络系统进行描述。请参阅图2,图2为本发明实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的lte系统,该lte系统包括依次通讯连接的ue(userequipment,用户设备)201,e-utran(evolvedumtsterrestrialradioaccessnetwork,演进式umts陆地无线接入网)202,epc(evolvedpacketcore,演进式分组网络侧)203和运营商的ip业务204。具体地,ue201可以是上述终端100,此处不再赘述。e-utran202包括enodeb2021和其它enodeb2022等。其中,enodeb2021可以通过回程(backhaul)(例如x2接口)与其它enodeb2022连接,enodeb2021连接到epc203,enodeb2021可以提供ue201到epc203的接入。epc203可以包括mme(mobilitymanagemententity,移动性管理实体)2031,hss(homesubscriberserver,归属用户服务器)2032,其它mme2033,sgw(servinggateway,服务网关)2034,pgw(pdngateway,分组数据网络网关)2035和pcrf(policyandchargingrulesfunction,政策和资费功能实体)2036等。其中,mme2031是处理ue201和epc203之间信令的控制节点,提供承载和连接管理。hss2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过sgw2034进行发送,pgw2035可以提供ue201的ip地址分配以及其它功能,pcrf2036是业务数据流和ip承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。ip业务204可以包括因特网、内联网、ims(ipmultimediasubsystem,ip多媒体子系统)或其它ip业务等。虽然上述以lte系统为例进行了介绍,但本领域技术人员应当知晓,本发明不仅仅适用于lte系统,也可以适用于其他无线通信系统,例如gsm、cdma2000、wcdma、td-scdma以及未来新的网络系统等,此处不做限定。基于上述移动终端硬件结构、通信设备结构,提出本发明屏幕扩展及交互方法各实施例。本发明提供一种屏幕扩展及交互方法,在屏幕扩展及交互方法第一实施例中,参照图3,该屏幕扩展及交互方法包括:在建立通信连接的多个移动终端中,确定主控端和受控端;确定所述主控端中需要进行扩展交互的目标应用,并获取所述目标应用的扩展界面;在所述主控端的显示区域生成与各所述受控端一一对应且相互独立的交互区;将所述扩展界面分配到各对应所述交互区,并将扩展界面发送至各交互区对应的受控端显示;将采集到操作指令的交互区作为目标交互区,并根据操作指令和目标交互区的区属性,对目标交互区中内容进行更新;将内容更新后的目标交互区发送至目标交互区对应的受控端显示。具体地,所述屏幕扩展及交互方法包括:步骤s10,在建立通信连接的多个移动终端中,确定主控端和受控端;需要说明的是,本实施例屏幕扩展及交互方法应用于各类型终端,如双屏智能终端、单屏智能终端、柔面屏智能终端等。主控端即控制端,通过asp(activeserverpages,终端脚本编写环境)软件,调用组件,对被控制的终端进行远程管理;受控端即被控制端,按照主控端的命令,进行业务管理,业务设置或者业务删除等。在建立通信连接的多个移动终端中,确定主控端和受控端,其中移动终端之间的通信连接方式可以是局域网、互联网或者蓝牙等通信技术进行连接,若移动终端之间的通信连接方式是以蓝牙的通信技术进行连接,则受其通信技术的限制,只能一个移动终端与一个移动终端进行连接通信,若移动终端之间的通信连接方式是以局域网或互联网等方式进行通信连接,则可以实现一个移动终端与多个移动终端进行连接通信。确定主控端和受控端,可以在各个已进行通信连接的移动终端中通过接收用户点击打开显示界面上的应用图标的信息,将各移动终端中的应用均打开,再从各移动终端中选择确定其主从关系,即主控端和受控端,例如,参照图8,图8为手机300和手机310、手机320、手机330通过无线连接进行通信,则在这套通信系统中,手机300为主控端,手机310、手机320、手机330为受控端。步骤s20,确定所述主控端中需要进行扩展交互的目标应用,并获取所述目标应用的扩展界面;交互可为当计算机播放某多媒体程序的时候,用户可以发出指令控制该程序的运行,而不是程序单方面执行下去,程序在接受到用户相应的指令后而相应地做出反应;确定该主控端中需要进行扩展交互的应用,即需要先判断在主控端中,有哪些需要进行扩展交互的应用,哪些不需要进行扩展交互的应用,对于需要进行扩展交互的应用,还需要确定在该需要进行扩展交互的应用中,有哪些界面是需要进行扩展的,有哪些界面是不需要进行扩展的,如图9所示,图9为用户选择点击主控端桌面微博图标的场景示意图,用户想要将微博作为需要进行扩展交互的应用,先在主控端显示屏上点击微博软件在显示界面上的图标,主控端基于用户选择的微博软件作为目标应用软件进行扩展交互。例如,当主控端为手机a,受控端为手机b、手机c和手机d时,如果用户想要对手机a上已安装的微信应用进行扩展交互,并且想要将微信应用中的甲、乙、丙这3个好友的聊天显示界面扩展到受控端手机b、手机c和手机d时,在这其中,首先需要确定手机a上当前时刻已安装的应用中,只有微信应用需要进行扩展交互,再进一步的,在微信应用中,确定在当前时刻,只有甲、乙、丙这3个好友的聊天显示界面需要进行扩展的。步骤s30,在所述主控端的显示区域生成与所述受控端一一对应且相互独立的交互区;交互区即交流互动区,指通过某个具有交互功能的互联网平台,让用户在上面不仅可以获得相关资讯、信息或服务,还能使用户与用户之间或用户与平台之间相互交流与互动,即让主控端和受控端之间进行交流互动的一块区域;在该主控端的显示区域生成与该受控端数量相同且相互独立的交互区,即基于受控端数量的限制,在主控端的显示区域生成和受控端数量相同但相互独立的交互区,而主控端上的显示区域内的其它区域,则可以显示其它信息,比如可以为显示有多少台受控端与主控端进行了通信连接,有哪些应用的控制界面需要放在交互区等等,如图10所示,图10为本发明主控端中交互区排列的示意图,生成的相互独立的交互区依次排列在主控端显示界面的上方,而在交互区的下方则可以显示其它相关信息,其中,在主控端上生成的各相互独立的交互区与各受控端是一一对应的关系,即一个受控端对应一个交互区,而不会出现一个受控端对应多个交互区,也不会出现一个交互区对应多个受控端的现象。例如,当控制端均为手机时,现有手机a、b、c、d四部,当确定主控端为手机a,受控端为手机b、手机c和手机d时,主控端上会生成与之对应的3个交互区,可以为其命名为交互区b、交互区c、交互区d,即手机b与交互区b对应,手机c与交互区c对应,手机d与交互区d对应。步骤s40,将所述扩展界面分配到各对应所述交互区,并将扩展界面发送至各交互区对应的受控端显示;将扩展界面分配到各对应所述交互区,具体地,在主控端中,对于需要进行扩展的界面分配到交互区的方法可以为,先对各交互区进行编号,可以为交互区1区、交互区2区、交互区3区等方法进行编号排序,也可以为交互区a区、交互区b区、交互区c区等方法进行编号排序,然后在主控端上的显示界面的交互区中,由用户确认将哪些应用的扩展界面分配到哪些交互区,需要注意的是一个交互区对应一个扩展界面,其中,由用户确认将哪些应用的扩展界面分配到哪些交互区的方法可以为由用户触摸点击主控端上显示区域的某交互区,主控端弹出所有需要进行扩展但还没进行扩展的应用扩展界面,由用户触摸点击确认哪个应用扩展界面放在该交互区;也可以为用户在主控端内交互区下方的显示区域中,对需要进行扩展的应用的扩展界面进行触摸点击,从而确认将哪个扩展界面放到哪个交互区。并将扩展界面发送至各交互区对应的受控端显示,即主控端将在交互区上的各扩展界面发送到与各交互区一一对应的受控端,受控端基于自身的显示能力,对将要显示的扩展界面进行放大处理,再将已处理好的要显示的图像放在受控端上的显示界面上的展示区进行展示。步骤s50,将采集到操作指令的交互区作为目标交互区,并根据操作指令和目标交互区的区属性,对目标交互区中内容进行更新;区属性即交互区的区域属性信息,可为确定目标交互区与目标受控端之间的关系,交互区的显示画面等;在主控端中,先接收到操作指令的交互区作为目标交互区,并获取所述目标交互区的区属性,即获取与所述目标交互区对应的受控端,并获取受控端内显示屏上的显示画面,然后基于获取到的操作指令信息和目标交互区的区属性,对目标交互区内容进行更新处理,即在主控端中将更新后的显示界面重新分配到所述目标交互区,替换原有的显示画面,再发送至主控端进行更新,从而保证受控端的显示画面能及时更新,其中操作指令可以为控制指令,也可以为反馈指令,当操作指令为控制指令时,将该控制指令对应的控制信息发送至交互区,从而及时的将交互区的显示信息内容更新;当控制指令为反馈指令时,主控端基于在交互区接收到的受控端发送过来的反馈信息,对其进行处理,并将处理后的新的显示信息发送到交互区。步骤s60,将内容更新后的目标交互区发送至目标交互区对应的受控端显示。将内容更新后的目标交互区发送至目标交互区对应的受控端显示,具体地,可以为在主控端中,先将所述交互区和对应的受控端匹配上,当接收到用户发出的控制指令时,将主控端上的各个交互区内的显示信息传递给受控端,然后受控端根据接收到的主控端传递过来的交互区内的显示信息,基于受控端自身的显示能力,对将要显示的图像进行放大处理,再将已处理好的要显示的图像放在受控端上的显示界面上的展示区进行显示。也可以为,在受控端对主控端传递过来的交互区内的显示信息进行展示时,受控端自身可以接受用户的交互信息,比如点击、滑动等操作,受控端基于用户的交互信息,将用户的交互信息反馈给主控端,当主控端接收到受控端传递过来的用户的交互信息时,对其交互信息进行处理分析,主控端将处理后的显示信息输送到自身的交互区,再由交互区将刷新后的待显示内容信息发送给受控端进行显示。例如,当主控端为手机a,受控端为手机b、手机c和手机d时,如果用户想要对手机a上已安装的微信应用进行扩展交互,并且想要将微信应用中的甲、乙、丙这3个好友的聊天显示界面分别扩展到受控端手机b、手机c和手机d时,当想要与甲好友进行聊天时,可以先触摸点击一次手机b的显示界面上的展示区,这时手机a会弹出与好友甲进行聊天的输入界面框,通过在手机a上输入需要进行聊天的内容,比如“你好”,并发送出去,与此同时,手机b上的显示界面上的展示区也会同步更新出新的显示内容,即“你好”这个词语会在手机b上的显示界面上的展示区上当前画面的下方展出。在本实施例中,通过在建立通信连接的多个移动终端中,确定主控端和受控端;确定所述主控端中需要进行扩展交互的应用,并获取所述应用的扩展界面;在所述主控端的显示区域生成与所述受控端一一对应且相互独立的交互区;将所述扩展界面分配到各对应所述交互区,并将扩展界面发送至各交互区对应的受控端显示;将采集到操作指令的交互区作为目标交互区,并根据操作指令和目标交互区的区属性,对目标交互区内容进行更新;将内容更新后的目标交互区发送至目标交互区对应的受控端显示。由于让多个移动终端建立关联,使多个单屏终端扩展成为一个多屏终端,并且指定多个不同的功能区域显示在不同终端的显示界面上,从而在达到了扩展屏幕显示内容,并增加操作易用性的目的的同时,也避免干扰用户当前处理的事情,提高了用户的满意度,从而解决了现有技术中由于显示画面较小,导致视觉效果不佳,影响视觉体验的技术问题。在本发明第一实施例的基础上,进一步提出了本发明屏幕扩展及交互方法的第二实施例,本实施例是本发明第一实施例的步骤s20的细化,参照图4,所述屏幕扩展及交互方法包括:步骤s21,获取主控端当前运行的应用清单,将应用清单中界面显示面积预算大于预设面积值的应用作为目标应用;当前运行的应用清单可为在当前时刻,主控端已经安装并正在运行的应用集合,包括当前时刻主控端显示界面正在显示的应用和没有在显示界面显示但正在主控端后台运行的应用;在主控端中,首先需要知道当前正在运行的应用清单,并获取该应用清单,基于该应用清单,获取该应用清单中各应用界面的显示面积,将获取到的应用界面显示面积和预设面积值进行比对,如果发现应用清单中界面显示面积预算大于预设面积值的应用,则将此应用作为目标应用。步骤s22,获取目标应用在过去预设时长内显示频率大于预设频率值的应用界面,将所述应用界面作为目标应用的扩展界面。预设时长是主控终端系统提前设置或者用户设置的一段固定时长;在主控端中,如果已经获取到目标应用,还需要获取目标应用中的应用界面在当前时刻之前的预设时长内的显示频率,当获取到目标应用中的应用界面在当前时刻之前的预设时长内的显示频率,将此目标应用中的应用界面在当前时刻之前的预设时长内的显示频率与预设频率进行比较,若发现应用中的应用界面在当前时刻之前的预设时长内的显示频率值大于预设频率值,则将此应用界面作为目标应用的扩展界面。具体地,将应用清单中界面显示面积预算大于预设面积值的应用作为目标应用的步骤包括:步骤s211,统计应用清单中各应用在过去预设时长内显示的应用界面的面积和;在当前时刻之前的预设时长内,首先需要获取主控端中应用清单中的各应用界面的显示面积,并基于该获取到的应用清单中的各应用界面的显示面积,统计计算应用清单中各应用在当前时刻之前的预设时长内显示的应用界面的面积和。步骤s212,根据各应用的应用类型对应的面积需求系数和面积和,计算各应用的界面显示面积预算。面积需求系数可为在应用清单中,单个目标应用的应用界面在主控端中显示界面的显示面积占用应用清单中各应用在当前时刻之前的预设时长内显示的应用界面的面积和的比例;当获取到应用清单中的各应用的应用类型对应的面积需求系数,再基于本实施例上一步骤获取到应用清单中各应用界面的面积和,就能计算得出应用清单中的各应用的界面显示面积预算。在本发明第一实施例的基础上,进一步提出了本发明屏幕扩展及交互方法的第三实施例,本实施例是本发明第一实施例的步骤s40的细化,所述屏幕扩展及交互方法包括:步骤s41,将在过去预设时长内接到触控操作次数大于预设操作数的所述扩展界面作为第一扩展界面,将在过去预设时长内接到触控操作小于或等于预设操作数的所述扩展界面作为第二扩展界面,同一目标应用的第一扩展界面和第二扩展界面作为一个分组;在主控端中,当确定了应用中需要进行扩展的扩展界面后,还需要获取在当前时刻之前的预设时长内,所述需要进行扩展的应用显示界面接收到的触控操作的次数,并将这段预设时长内需要进行扩展的应用显示界面接收到的触控操作的次数与预设操作的次数进行比较,当发现需要进行扩展的应用显示界面接收到的触控操作的次数大于预设操作的次数时,将所述需要进行扩展的应用显示界面作为第一扩展界面;当发现需要进行扩展的应用显示界面接收到的触控操作的次数小于或等于预设操作的次数时,将需要进行扩展的应用显示界面作为第二扩展界面,但需要注意的是,在应用清单中的同一目标应用的第一扩展界面和第二扩展界面作为一个分组。步骤s42,将各分组的第一扩展界面和第二扩展界面分别分配到对应的所述交互区和受控端。当应用清单中需要进行扩展的各应用界面已分好组后,则需要将各个分组的第一扩展界面和第二扩展界面分别匹配到对应的所述交互区和受控终端中进行显示,其中,可以将各分组的第一扩展界面和第二扩展界面基于用户的喜好需求分别分配到该交互区。例如,当主控端和受控端均为手机时,现有主控端上的微信和钉钉的两个应用均有扩展界面需要通过受控端进行显示,其中微信和钉钉的第一扩展界面和第二扩展界面在此就不做阐述,默认它们已分好组,微信组和钉钉组,用户可以将微信组放在钉钉组前面,也可以将钉钉组放在微信组前面。在本实施例中,主控端系统可以智能地判断在主控端当前运行的应用清单中,有哪些应用的应用界面是用户常用并需要进行扩展的,为用户提高了操作时间,增强了主控端的智能化效果,提高了用户的体验效果,解决了现有技术中由于显示画面较小,导致视觉效果不佳,影响视觉体验的技术问题。在本发明第一实施例的基础上,进一步提出了本发明屏幕扩展及交互方法的第四实施例,本实施例是本发明第一实施例的步骤s50的细化,参照图5,所述屏幕扩展及交互方法包括:步骤s51,根据目标交互区的区属性,确定目标交互区所对应应用的响应进程映射表;进程映射表可为利用虚拟内存将目标交互区所对应的应用文件信息映射到进程的地址空间中去,从而很好的提高了主控端系统处理效率;基于获取到的目标交互区的区属性,来确定目标交互区所对应应用的响应进程映射表,其中,区属性可以包括目标交互区的基本信息,如正在目标交互区和对应的受控端展示的应用扩展界面的名称,大小,光亮度等。步骤s52,根据操作指令的指令类型在所述响应进程映射表中查找所需的响应进程,并根据查找的响应进程对目标交互区中内容进行更新。主控端系统接收到的操作指令的指令类型不同,在该响应进程映射表中查找所需的响应进程也不同与之对应的根据查找的响应进程对目标交互区中内容进行更新的内容也不同,比如当操作指令为反馈指令时,即用户通过触摸点击受控端画面,受控端将该操作信息反馈到主控端,主控端在该响应进程表中查找到与受控端对应的应用扩展界面,并将该受控端对应的扩展界面和扩展界面对应的输入界面一起反馈到与受控端对应的目标交互区,对目标交互区的内容进行更新。在本发明第一实施例的基础上,进一步提出了本发明屏幕扩展及交互方法的第五实施例,参照图6,所述屏幕扩展及交互方法包括:步骤s70,当接收到受控端发送的突出显示请求时,确定发送突出显示请求受控端在主控端的待处理交互区;步骤s80,控制主控端中所述待处理交互区和发送突出显示请求受控端进行关联的突出显示,其中突出显示至少包含放大显示、高亮显示、悬浮显示中的一种或多种。在主控端中,当主控端系统通过交互区接收到受控端发送过来的突出显示请求时,即受控端向主控端请求对受控端中的扩展界面进行突出显示,比如放大显示,高亮显示、悬浮显示中的一种或多种,首先需要确定发送突出显示请求受控端在主控端对应的待处理交互区,然后主控端基于接收到的受控端发出的突出显示信息,对其在受控端和与之对应的交互区上的目标应用的扩展界面进行突出显示处理,并将进行了突出显示处理的目标应用的扩展界面发送到所述交互区和受控端,替换掉原有的显示画面,令其待处理交互区和发送突出显示请求受控端进行关联的突出显示。其中,当突出显示为放大显示时,即主控端接收到受控端发送过来的放大显示请求时,主控端先在所有交互区中获取与所述受控端对应的待处理交互区,然后主控端系统基于接收到的所述放大显示信息时,对与该受控端、交互区对应的目标应用的扩展界面进行放大处理,将放大处理后的目标应用的扩展界面发送到该发送放大显示请求受控端和对应的待处理交互区进行关联的放大显示,即在受控端的显示界面上将原有的显示画面替换成经过放大处理的显示画面。当突出显示为高亮显示时,即主控端接收到受控端发送过来的高亮显示请求时,主控端先在所有交互区中获取与该受控端对应的待处理交互区,然后主控端系统基于接收到的所述高亮显示信息时,对与该受控端、交互区对应的目标应用的扩展界面进行高亮处理,将高亮处理后的目标应用的扩展界面发送到该发送高亮显示请求受控端和待处理交互区进行关联的高亮显示,即在受控端的显示界面上将原有的显示画面替换成经过高亮处理的显示画面。当突出显示为悬浮显示时,即主控端接收到受控端发送过来的悬浮显示请求时,主控端先在所有交互区中获取与所述受控端对应的待处理交互区,然后主控端系统基于接收到的所述悬浮显示信息时,对与受控端、交互区对应的目标应用的扩展界面进行悬浮处理,将悬浮处理后的目标应用的扩展界面发送到该发送悬浮显示请求受控端和对应的待处理交互区进行关联的悬浮显示,即在受控端的显示界面上将原有的显示画面替换成经过悬浮处理的显示画面。具体地,在本实施例中,当接收到受控端发送的突出显示请求时,确定发送突出显示请求受控端在主控端的待处理交互区的步骤包括:步骤s71,获取所有发送突出显示请求受控端在主控端交互区的待处理交互区集合;步骤s72,获取所述待处理交互区的优先级排列顺序,并基于所述优先级排列顺序对待处理的交互区进行处理。在主控端中,需要先确定发送突出显示请求受控端在主控端的待处理交互区的数量,再获取所有发送突出显示请求受控端在主控端交互区的待处理交互区集合,并对待处理交互区按照优先级排列顺序方式进行排序,主控端系统基于优先级排列顺序对待处理交互区中需要进行突出显示的目标应用程序的扩展界面进行处理,当处理好后,将需要进行突出显示的目标应用程序的扩展界面发送到所述待处理交互区和受控端。具体地,在本实施例中,获取所述待处理交互区的优先级排列顺序,并基于所述优先级排列顺序对待处理的交互区进行处理的步骤包括:步骤s73,接收用户发出的顺序操作指令,基于所述顺序操作指令,将所述待处理交互区集合按照优先级排列顺序进行排列。在主控端中,接收用户发出的顺序操作指令,基于该操作指令,将待处理交互区集合按照优先级排列顺序进行排列,即在主控端的显示界面接收用户基于自身喜好需求发出的顺序操作指令,将待处理交互区集合按照优先级的顺序进行排列。在本实施例中,主控端将目标应用的扩展界面发送给受控端,受控端基于自身的显示能力,将接收到的扩展界面进行放大后展示,当受控端接收到用户的交互(点击、滑动等),则将用户的操作信息反馈给主控端,主控端基于接收到受控端反馈过来的用户交互,并进行处理后,将刷新后的待显示内容发送到与所述受控端对应的交互区和所述受控端,从而达到能同时看到多个应用的不同扩展界面,并能通过点击不同受控端快速切换扩展界面,也解决了现有技术中由于显示画面较小,导致视觉效果不佳,影响视觉体验的技术问题。如图7所示,图7是本发明实施例方案涉及的硬件运行环境的终端结构示意图。本发明实施例终端可以是pc,也可以是智能手机、平板电脑、电子书阅读器、mp3(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)播放器、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。如图7所示,该终端可以包括:处理器110,例如cpu,存储器109,通信总线1002。其中,通信总线1002用于实现处理器110和存储器109之间的连接通信。存储器109可以是高速ram存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器109可选的还可以是独立于前述处理器110的存储设备。可选地,该终端还可以包括摄像头、rf(radiofrequency,射频)单元101,传感器105、音频电路、wifi模块102等等。其中,传感器105比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的待评价应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。本领域技术人员可以理解,图7中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。如图7所示,作为一种计算机存储介质的存储器109中可以包括操作系统、网络通信模块以及屏幕扩展及交互程序。操作系统是管理和控制终端硬件和软件资源的程序,支持屏幕扩展及交互程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器109内部各组件之间的通信,以及与终端中其它硬件和软件之间通信。在图7所示的终端中,屏幕扩展及交互程序可应用于服务器,处理器110用于执行存储器109中存储的屏幕扩展及交互程序,实现上述屏幕扩展及交互方法各实施例的步骤。本发明终端具体实施方式与上述屏幕扩展及交互方法各实施例基本相同,在此不再赘述。本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述屏幕扩展及交互方法各实施例的步骤。本发明计算机可读存储介质具体实施方式与上述屏幕扩展及交互方法各实施例基本相同,在此不再赘述。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1