移动终端及其应用程序的操作界面的投影方法
【专利摘要】本发明公开了一种移动终端及其应用程序的操作界面的投影方法，移动终端包括检测模块、投影指令生成模块、投影控制线程及发送模块；检测模块检测远程显示设备，投影指令生成模块在接收到请求将目标应用程序投影至目标远程显示设备的操作时生成投影指令；投影控制线程根据投影指令创建虚拟显示设备，虚拟显示设备中存储缓冲数据及虚拟显示设备信息，缓冲数据为目标应用程序的缓冲队列中的内存数据，虚拟显示设备信息包括目标应用程序的名称、目标远程显示设备的ID及数据格式；发送模块根据投影指令将缓冲数据发送至目标远程显示设备中进行投影显示。本发明实现了利用其他显示设备来投影显示并操作移动终端中的应用程序。
【专利说明】移动终端及其应用程序的操作界面的投影方法
【技术领域】
[0001]本发明涉及一种移动终端及其应用程序的操作界面的投影方法，特别是涉及一种能够将应用程序的操作界面投影至其他显示设备进行显示的移动终端以及一种利用所述移动终端实现的投影方法。
【背景技术】
[0002]现有技术在移动终端的界面投影方面并没有很多相关的实现方案，至于移动终端的具体应用程序的投影，更加没有很多的现有技术公开相关的技术内容，类似的技术包括:
[0003]W1-Fi display技术(一种无线投影技术)，其所投影的仅是移动终端的整个屏幕；快牙等第三方软件应用，其仅仅在该软件应用之间共享并同步操作图片、视频、游戏等，及其必须依靠第三方软件应用才能实现文件的共享；远程登录，其只能远程控制终端的所有操作windows (—种桌面操作系统)的投影仪扩展，其实现的是把桌面扩大两倍，本机部分屏幕显示本机操作，而扩大的部分桌面，用来投影其他的电脑应用操作。
【发明内容】
[0004]本发明要解决的技术问题是为了克服现有技术中并没有很多关于移动终端的应用程序的投影技术的缺陷，提供一种移动终端及其应用程序的操作界面的投影方法。
[0005]本发明是通过下述技术方案来解决上述技术问题的:
[0006]本发明提供了一种移动终端，其特点在于，用于将应用程序的操作界面投影至远程显示设备中，所述移动终端包括一检测模块、一投影指令生成模块、一投影控制线程及一发送模块；
[0007]所述检测模块用于检测至少一个用于接收投影的远程显示设备，所述投影指令生成模块用于在接收到一请求将所述移动终端中的一目标应用程序的操作界面投影至所述检测模块检测出的一目标远程显示设备的操作时生成一投影指令；
[0008]所述投影控制线程用于根据所述投影指令为所述目标应用程序创建一虚拟显示设备，所述虚拟显示设备中存储有一缓冲数据以及一虚拟显示设备信息，所述缓冲数据为所述目标应用程序的缓冲队列中的实时内存数据，用于实时表征所述目标应用程序当前的一帧操作界面，所述虚拟显示设备信息包括所述目标应用程序的名称、所述目标远程显示设备的ID(序列号)及所支持的缓冲数据的数据格式；
[0009]所述发送模块用于根据所述投影指令及所述目标远程显示设备的ID将所述缓冲数据发送至所述目标远程显示设备中进行投影显示。
[0010]较佳地，所述发送模块用于与所述目标远程显示设备进行全双工通信，所述虚拟显示设备中还存储有一双工事件定义及一双工事件数据，所述双工事件定义用于定义所述移动终端与所述目标远程显示设备之间进行双工通信时的双工事件的类型，所述双工事件为在所述目标远程显示设备中针对所述目标应用程序的投影界面所执行的操作，所述双工事件数据用于定义所述双工事件的封装数据规范，所述封装数据规范用于规范所述双工事件的类型与数据及状态标识的对应关系，所述状态标识用于标识与所述双工事件相对应的处理操作；
[0011]所述移动终端还包括一双工事件处理模块，用于响应在所述目标远程显示设备中生成的双工事件，并根据所述双工事件定义及所述双工事件数据执行与双工事件相对应的处理操作。
[0012]较佳地，所述双工事件的类型包括点击操作事件、滑动操作事件及输入操作事件，所述点击操作事件的数据为点击的坐标位置，所述滑动操作事件的数据为滑动距离，所述输入操作事件的数据为输入的文本。
[0013]较佳地，所述发送模块用于将一个目标应用程序的缓冲数据发送至一个目标远程显示设备中、将一个目标应用程序的缓冲数据发送至多个目标远程显示设备中或将多个目标应用程序的缓冲数据发送至一个目标远程显示设备中。
[0014]较佳地，所述远程显示设备为智能电视、电脑或智能手机，或者其他智能家居的显示器(如触屏桌面、触屏镜子等)。
[0015]本发明的目的在于还提供了一种移动终端的应用程序的操作界面的投影方法，其特点在于，其利用上述的移动终端实现，包括以下步骤:
[0016]S1、所述检测模块检测至少一个用于接收投影的远程显示设备；
[0017]S2、所述投影指令生成模块在接收到一请求将所述移动终端中的一目标应用程序的操作界面投影至所述检测模块检测出的一目标远程显示设备的操作时生成一投影指令;
[0018]S3、所述投影控制线程根据所述投影指令为所述目标应用程序创建一虚拟显示设备，所述虚拟显示设备中存储有一缓冲数据以及一虚拟显示设备信息，所述缓冲数据为所述目标应用程序的缓冲队列中的实时内存数据，用于实时表征所述目标应用程序当前的一帧操作界面，所述虚拟显示设备信息包括所述目标应用程序的名称、所述目标远程显示设备的ID及所支持的缓冲数据的数据格式；
[0019]S4、所述发送模块根据所述投影指令及所述目标远程显示设备的ID将所述缓冲数据发送至所述目标远程显示设备中进行投影显示。
[0020]较佳地，所述发送模块与所述目标远程显示设备进行全双工通信，步骤S3中所述虚拟显示设备中还存储有一双工事件定义及一双工事件数据，所述双工事件定义用于定义所述移动终端与所述目标远程显示设备之间进行双工通信时的双工事件的类型，所述双工事件为在所述目标远程显示设备中针对所述目标应用程序的投影界面所执行的操作，所述双工事件数据用于定义所述双工事件的封装数据规范，所述封装数据规范用于规范所述双工事件的类型与数据及状态标识的对应关系，所述状态标识用于标识与所述双工事件相对应的处理操作；
[0021]所述移动终端还包括一双工事件处理模块，步骤S4之后还包括一步骤S5:所述双工事件处理模块响应在所述目标远程显示设备中生成的双工事件，并根据所述双工事件定义及所述双工事件数据执行与双工事件相对应的处理操作。
[0022]较佳地，所述双工事件的类型包括点击操作事件、滑动操作事件及输入操作事件，所述点击操作事件的数据为点击的坐标位置，所述滑动操作事件的数据为滑动距离，所述输入操作事件的数据为输入的文本。
[0023]较佳地，步骤S4中所述发送模块将一个目标应用程序的缓冲数据发送至一个目标远程显示设备中、将一个目标应用程序的缓冲数据发送至多个目标远程显示设备中或将多个目标应用程序的缓冲数据发送至一个目标远程显示设备中。
[0024]较佳地，所述远程显示设备为智能电视、电脑或智能手机，或者其他智能家居的显示器(如触屏桌面、触屏镜子等)。
[0025]本发明的积极进步效果在于:本发明能够将移动终端的应用程序的操作界面投影至其他显示设备的显示屏幕上，而移动终端的其他应用程序操作不投影，还可以继续各自的操作任务，本发明中移动终端还与其他显示设备进行全双工通信，从而实现通过其他显示设备的显示屏幕来操作移动终端的应用程序，而原移动终端负责后台响应运行操作，本发明实现了利用其他显示设备来投影显示并操作移动终端中的应用程序。
【专利附图】
【附图说明】
[0026]图1为本发明的一实施例的移动终端的模块示意图。
[0027]图2为本发明的一实施例的移动终端的应用程序的操作界面的投影方法的流程图。
【具体实施方式】
[0028]下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
[0029]本发明的移动终端能够将其中的应用程序作为屏幕投影的数据源，并控制需要投影的应用程序投影至特定的远程显示设备中，其包括两部分功能:
[0030]一、投影某应用程序的操作界面到其他远程显示设备的显示屏幕，而终端的其他应用操作不投影，还可以继续进行各自的操作任务；
[0031]二、移动终端与其他远程显示设备进行全双工通信，可以通过其他远程显示设备的投影屏幕来操作应用程序，原移动终端负责后台响应运行操作。
[0032]如图1所示，本发明的移动终端包括一检测模块1、一投影指令生成模块2、一投影控制线程3、一发送模块4以及一双工事件处理模块5。所述检测模块I可以检测出至少一个用于接收投影的远程显示设备，此时在移动终端的显示屏上就会显示出移动终端当前运行的应用程序(包括在后台运行的)以及所述检测模块I检测出的远程显示设备，用户可以选择将特定的目标应用程序投影至特定的目标远程显示设备来显示其操作界面，具体地，用户可以先选中所述目标应用程序的图标，并将其拖动至所述目标远程显示设备的图标中，所述投影指令生成模块2则可以根据用户上述的请求将所述移动终端中的所述目标应用程序的操作界面投影至所述检测模块检测出的所述目标远程显示设备的操作来生成一投影指令。
[0033]所述投影控制线程3则根据所述投影指令为所述目标应用程序创建一虚拟显示设备，所述虚拟现实设备中存储有一缓冲数据及一虚拟显示设备信息，其中所述缓冲数据为所述目标应用程序的缓冲队列中的实时内存数据，用于实时表征所述目标应用程序当前的一帧操作界面，所述虚拟显示设备信息包括所述目标应用程序的名称、运行状态(是否在投射)、投影关系标志(描述所述虚拟显示设备所要进行的投影关系)、所述目标远程显示设备的ID (描述所述虚拟显示设备所要对应投影的目标远程显示设备的序列号)及所支持的缓冲数据的数据格式。
[0034]对于所述虚拟显示设备，当应用程序请求更新屏幕的时候，所述投影控制线程3会对其虚拟显示设备的缓冲数据进行再次合成和投影，合成虚拟显示设备的目的是满足目标应用程序与目标远程显示设备之间的对应关系。
[0035]所述发送模块4则根据所述投影指令及所述目标远程显示设备的ID将所述缓冲数据发送至所述目标远程显示设备中进行投影显示。
[0036]所述目标应用程序会在移动终端的后台运行，当其缓冲发生变化时，会发出合成缓冲区和显示缓冲区的请求，当完成合成应用界面的操作之后，会通过所述投影控制线程3，所述投影控制线程3则根据虚拟显示设备信息中的投影关系标志信息来决定是否需要再次进行虚拟显示设备缓冲数据的合成，然后通过所述目标远程显示设备的ID，调用所述发送模块4来完成将更新后的缓冲数据投影至所述目标远程显示设备上。
[0037]在本发明中，所述发送模块与所述目标远程显示设备进行全双工通信，所述虚拟显示设备中还存储有一双工事件定义及一双工事件数据，所述双工事件定义用于定义所述移动终端与所述目标远程显示设备之间进行双工通信时的双工事件的类型，所述双工事件为在所述目标远程显示设备中针对所述目标应用程序的投影界面所执行的操作，所述双工事件数据用于定义所述双工事件的封装数据规范，所述封装数据规范用于规范所述双工事件的类型与数据及状态标识的对应关系，所述状态标识用于标识与所述双工事件相对应的处理操作；所述移动终端的双工事件处理模块5会响应在所述目标远程显示设备中生成的双工事件，并根据所述双工事件定义及所述双工事件数据执行与双工事件相对应的处理操作。
[0038]这样，当用户在所述目标远程显示设备上操作所述目标应用程式的时候，会产生相应的双工事件，通过全双工通信来将双工事件反馈至移动终端中，移动终端中的所述双工事件处理模块5就通过所述双工事件定义及所述双工事件数据来执行相应的操作，从而实现了通过所述目标远程显示设备来操作移动终端的所述目标应用程序。其中，所述双工事件的类型包括点击操作事件、滑动操作事件及输入操作事件，所述点击操作事件的数据为点击的坐标位置，所述滑动操作事件的数据为滑动距离，所述输入操作事件的数据为输入的文本。
[0039]当用户在所述目标远程显示设备的显示界面上点击任何坐标的时候，会生成所述点击操作事件，上报给移动终端，移动终端根据点击操作事件通知后台运行的目标应用程序，进行事件响应操作，且更新显示界面到所述目标远程显示设备；
[0040]当用户在所述目标远程显示设备的显示界面上任何坐标位置滑动任意轨迹的时候，会生成所述滑动操作事件，上报给移动终端，移动终端根据滑动操作事件通知后台运行的目标应用程序，进行事件响应操作，且更新显示界面到所述目标远程显示设备；
[0041]当用户在所述目标远程显示设备的显示界面上任何坐标位置输入文本信息的时候，会生成所述输入操作事件，上报给移动终端，移动终端根据输入操作事件通知后台运行的目标应用程序，进行事件响应操作，且更新显示界面到所述目标远程显示设备；
[0042]在本发明中，所述目标应用程序与所述目标远程显示设备之间的投影关系包括一对一投影关系、多对一投影关系及一对多投影关系，在一对一投影关系中，所述发送模块4会将一个目标应用程序的缓冲数据发送至一个目标远程显示设备中进行投影显示，在多对一投影关系中，所述发送模块4会将多个目标应用程序的缓冲数据发送至一个目标远程显示设备中进行投影显示，在一对多投影关系中，所述发送模块4会将一个目标应用程序的缓冲数据发送至多个目标远程显示设备中进行投影显示。
[0043]在本发明中，所述远程显示设备可以为智能电视、电脑或智能手机等显示设备。
[0044]如图2所示，本发明利用本实施例的移动终端实现的移动终端的应用程序的操作界面的投影方法包括以下步骤:
[0045]步骤101、所述检测模块检测至少一个用于接收投影的远程显示设备。
[0046]步骤102、所述投影指令生成模块在接收到一请求将所述移动终端中的一目标应用程序的操作界面投影至所述检测模块检测出的一目标远程显示设备的操作时生成一投影指令。
[0047]步骤103、所述投影控制线程根据所述投影指令为所述目标应用程序创建一虚拟显示设备，所述虚拟显示设备中存储有一缓冲数据、一虚拟显示设备信息、一双工事件定义及一双工事件数据，所述缓冲数据为所述目标应用程序的缓冲队列中的实时内存数据，用于实时表征所述目标应用程序当前的一帧操作界面，所述虚拟显示设备信息包括所述目标应用程序的名称、所述目标远程显示设备的ID及所支持的缓冲数据的数据格式；所述双工事件定义用于定义所述移动终端与所述目标远程显示设备之间进行双工通信时的双工事件的类型，所述双工事件为在所述目标远程显示设备中针对所述目标应用程序的投影界面所执行的操作，所述双工事件数据用于定义所述双工事件的封装数据规范，所述封装数据规范用于规范所述双工事件的类型与数据及状态标识的对应关系，所述状态标识用于标识与所述双工事件相对应的处理操作。
[0048]步骤104、所述发送模块根据所述投影指令及所述目标远程显示设备的ID将所述缓冲数据发送至所述目标远程显示设备中进行投影显示。
[0049]步骤105、所述双工事件处理模块响应在所述目标远程显示设备中生成的双工事件，并根据所述双工事件定义及所述双工事件数据执行与双工事件相对应的处理操作。
[0050]虽然以上描述了本发明的【具体实施方式】，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
【权利要求】
1.一种移动终端，其特征在于，用于将应用程序的操作界面投影至远程显示设备中，所述移动终端包括一检测模块、一投影指令生成模块、一投影控制线程及一发送模块； 所述检测模块用于检测至少一个用于接收投影的远程显示设备，所述投影指令生成模块用于在接收到一请求将所述移动终端中的一目标应用程序的操作界面投影至所述检测模块检测出的一目标远程显示设备的操作时生成一投影指令； 所述投影控制线程用于根据所述投影指令为所述目标应用程序创建一虚拟显示设备，所述虚拟显示设备中存储有一缓冲数据以及一虚拟显示设备信息，所述缓冲数据为所述目标应用程序的缓冲队列中的实时内存数据，用于实时表征所述目标应用程序当前的一帧操作界面，所述虚拟显示设备信息包括所述目标应用程序的名称、所述目标远程显示设备的ID及所支持的缓冲数据的数据格式； 所述发送模块用于根据所述投影指令及所述目标远程显示设备的ID将所述缓冲数据发送至所述目标远程显示设备中进行投影显示。
2.如权利要求1所述的移动终端，其特征在于，所述发送模块用于与所述目标远程显示设备进行全双工通信，所述虚拟显示设备中还存储有一双工事件定义及一双工事件数据，所述双工事件定义用于定义所述移动终端与所述目标远程显示设备之间进行双工通信时的双工事件的类型，所述双工事件为在所述目标远程显示设备中针对所述目标应用程序的投影界面所执行的操作，所述双工事件数据用于定义所述双工事件的封装数据规范，所述封装数据规范用于规范所述双工事件的类型与数据及状态标识的对应关系，所述状态标识用于标识与所述双工事件相对应的处理操作； 所述移动终端还包括一双工事件处理模块，用于响应在所述目标远程显示设备中生成的双工事件，并根据所述双工事件定义及所述双工事件数据执行与双工事件相对应的处理操作。
3.如权利要求2所述的移动终端，其特征在于，所述双工事件的类型包括点击操作事件、滑动操作事件及输入操作事件，所述点击操作事件的数据为点击的坐标位置，所述滑动操作事件的数据为滑动距离，所述输入操作事件的数据为输入的文本。
4.如权利要求1所述的移动终端，其特征在于，所述发送模块用于将一个目标应用程序的缓冲数据发送至一个目标远程显示设备中、将一个目标应用程序的缓冲数据发送至多个目标远程显示设备中或将多个目标应用程序的缓冲数据发送至一个目标远程显示设备中。
5.如权利要求1-4中任意一项所述的移动终端，其特征在于，所述远程显示设备为智能电视、电脑或智能手机。
6.一种移动终端的应用程序的操作界面的投影方法，其特征在于，其利用如权利要求1所述的移动终端实现，包括以下步骤: 51、所述检测模块检测至少一个用于接收投影的远程显示设备； 52、所述投影指令生成模块在接收到一请求将所述移动终端中的一目标应用程序的操作界面投影至所述检测模块检测出的一目标远程显示设备的操作时生成一投影指令； 53、所述投影控制线程根据所述投影指令为所述目标应用程序创建一虚拟显示设备，所述虚拟显示设备中存储有一缓冲数据以及一虚拟显示设备信息，所述缓冲数据为所述目标应用程序的缓冲队列中的实时内存数据，用于实时表征所述目标应用程序当前的一帧操作界面，所述虚拟显示设备信息包括所述目标应用程序的名称、所述目标远程显示设备的ID及所支持的缓冲数据的数据格式； S4、所述发送模块根据所述投影指令及所述目标远程显示设备的ID将所述缓冲数据发送至所述目标远程显示设备中进行投影显示。
7.如权利要求6所述的投影方法，其特征在于，所述发送模块与所述目标远程显示设备进行全双工通信，步骤S3中所述虚拟显示设备中还存储有一双工事件定义及一双工事件数据，所述双工事件定义用于定义所述移动终端与所述目标远程显示设备之间进行双工通信时的双工事件的类型，所述双工事件为在所述目标远程显示设备中针对所述目标应用程序的投影界面所执行的操作，所述双工事件数据用于定义所述双工事件的封装数据规范，所述封装数据规范用于规范所述双工事件的类型与数据及状态标识的对应关系，所述状态标识用于标识与所述双工事件相对应的处理操作； 所述移动终端还包括一双工事件处理模块，步骤S4之后还包括一步骤S5:所述双工事件处理模块响应在所述目标远程显示设备中生成的双工事件，并根据所述双工事件定义及所述双工事件数据执行与双工事件相对应的处理操作。
8.如权利要求7所述的投影方法，其特征在于，所述双工事件的类型包括点击操作事件、滑动操作事件及输入操作事件，所述点击操作事件的数据为点击的坐标位置，所述滑动操作事件的数据为滑动距离，所述输入操作事件的数据为输入的文本。
9.如权利要求6所述的投影方法，其特征在于，步骤S4中所述发送模块将一个目标应用程序的缓冲数据发送至一个目标远程显示设备中、将一个目标应用程序的缓冲数据发送至多个目标远程显示设备中或将多个目标应用程序的缓冲数据发送至一个目标远程显示设备中。
10.如权利要求6-9中任意一项所述的投影方法，其特征在于，所述远程显示设备为智能电视、电脑或智能手机。
【文档编号】G06F3/14GK104391581SQ201410777900
【公开日】2015年3月4日 申请日期:2014年12月15日 优先权日:2014年12月15日
【发明者】陈光剑 申请人:上海华勤通讯技术有限公司