一种应用显示方法、装置、设备及计算机存储介质与流程

1.本发明属于智能终端技术领域，尤其涉及一种应用显示方法、装置、设备及计算机存储介质。


背景技术：

2.虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。三维显示桌面可以利用计算机生成一种虚拟环境，使用户沉浸到该虚拟环境中。三维显示桌面可以实现多模型360度空间立体三维显示及用户点击交互等。
3.目前，三维显示桌面只是简单的桌面应用图标的立体化，不能实现多个嵌套应用程序，尤其是，在进行多任务处理时，打开新的应用程序窗口，就会关闭或者覆盖前一个应用程序界面，不能实现多个应用程序同屏显示，影响用户的使用体验和便捷度。


技术实现要素：

4.本发明实施例提供一种应用显示方法、装置、设备及计算机存储介质，能够实现在多个应用程序时，多应用实现同屏显示，提高用户的使用体验和便捷度。
5.第一方面，本发明实施例提供一种应用显示方法，方法包括：
6.接收用户对显示屏幕中显示的第一应用的信息的第一输入；
7.根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定第一应用的第一应用界面的位置信息；
8.根据第一应用界面的位置信息和至少一个第二应用的应用界面的位置信息，在显示屏幕显示第一应用界面和至少一个第二应用的应用界面。
9.在第一方面的一些可实现方式中，第一应用界面的位置信息包括第一应用界面的矩阵坐标和第一应用的第一应用界面的图层标识，第一应用的第一应用界面的图层标识用于确定第一应用界面的位置信息对应的第一应用界面。
10.在第一方面的一些可实现方式中，第一应用的信息包括第一应用的应用标识或第一应用的第二应用界面。
11.在第一方面的一些可实现方式中，在显示屏幕显示第一应用界面和至少一个第二应用的应用界面之前，方法还包括：
12.根据第一应用的应用标识生成第一应用界面的渲染信息，其中，渲染信息包括图层渲染信息；
13.根据图层渲染信息生成第一应用界面。
14.在第一方面的一些可实现方式中，根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定第一应用的第一应用界面的位置信息，包括：确定第二应用界面的位置信息；
15.根据第二应用界面的位置信息和至少一个第二应用的应用界面的位置信息，确定
第一应用的第一应用界面的位置信息。
16.在第一方面的一些可实现方式中，在确定第一应用的第一应用界面的位置信息之后，方法还包括：
17.根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定每个第二应用的应用界面的位置信息；
18.根据每个第二应用的应用界面的位置信息，在显示屏幕显示每个第二应用的应用界面。
19.第二方面，本发明实施例提供一种应用显示装置，装置包括：
20.接收模块，用于接收用户对显示屏幕中显示的第一应用的信息的第一输入；
21.位置确定模块，用于根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定第一应用的第一应用界面的位置信息；
22.显示模块，用于根据第一应用界面的位置信息和至少一个第二应用的应用界面的位置信息，在显示屏幕显示第一应用界面和至少一个第二应用的应用界面。
23.在第二方面的一些可实现方式中，第一应用界面的位置信息包括第一应用界面的矩阵坐标和第一应用的第一应用界面的图层标识，第一应用的第一应用界面的图层标识用于确定第一应用界面的位置信息对应的第一应用界面。
24.第三方面，本发明提供一种应用显示设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现第一方面或者第一方面任一可实现方式中所述的应用显示方法。
25.第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一可实现方式中所述的应用显示方法。
26.本发明实施例提供了一种应用显示方法，在接收到用户对显示屏幕中显示的第一应用的信息的第一输入之后，通过根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定所述第一应用的第一应用界面的位置信息，以确保第一应用界面在合适屏幕位置显示，接下来，根据第一应用界面的位置信息，在显示屏幕显示第一应用界面，以使显示屏幕中在显示多个应用的显示界面时，避免未接收到输入的第二应用需要跳转到第一应用的应用界面，或者被退至后台进程，实现在同一屏幕上多个应用界面同屏显示，提升用户的使用体验。
附图说明
27.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是本发明提供的一种多个应用界面同屏显示示意图；
29.图2是本发明实施例提供的一种应用显示方法的流程示意图；
30.图3是本发明实施例提供的一种应用显示装置的结构示意图；
31.图4是本发明实施例提供的一种应用显示设备的结构示意图。
具体实施方式
32.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本发明，而不是限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
33.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素
34.虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。三维显示桌面可以利用计算机生成一种虚拟环境，使用户沉浸到该虚拟环境中。三维显示桌面可以实现多模型360度空间立体三维显示及用户点击交互等，例如，游戏引擎(unity)开发的应用。
35.目前，三维显示桌面只是简单的桌面应用图标的立体化，不能实现多个嵌套应用程序，尤其是，在进行多任务处理时，打开新的应用程序窗口，就会关闭或者覆盖前一个应用程序界面，不能实现多个应用程序同屏显示，影响用户的使用体验和便捷度。
36.此外，在使用视频播放、音乐播放等功能时，如果在系统桌面开发播放视频、音频的功能，就会造成桌面应用高负载，占用多资源，发热等问题，进而降低软件程序的稳定性。
37.针对于此，本发明实施例提供了一种应用显示方法，在接收到用户对显示屏幕中显示的第一应用的信息的第一输入之后，通过根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定所述第一应用的第一应用界面的位置信息，并根据第一应用界面的位置信息，在显示屏幕显示第一应用界面和至少一个第二应用的应用界面，实现在同一屏幕上多个应用界面同屏显示，图1所示，提升用户的使用体验。
38.下面结合附图对本发明实施例所提供的应用显示方法进行介绍。该应用显示方法可以应用于电子显示设备，当电子设备的显示屏幕可以显示三维(3-dimension，3d)交互效果时，该应用显示方法例如还可以应用于3d智能眼镜等电子设备。图2示出了本发明一个实施例提供的应用显示方法的流程示意图。如图2所示，该应用显示方法可以包括以下步骤：
39.s210、接收用户对显示屏幕中显示的第一应用的信息的第一输入。
40.在一些实施例中，用户可以对电子设备的显示屏幕上所显示的第一应用的信息，进行操作。第一应用的信息可以包括第一应用的应用标识或第一应用的第二应用界面。
41.示例性的，第一应用的标识，例如，图标标识，最小化标识等。用户对显示屏幕中显示的第一应用的信息的第一输入，例如可以是击该图标标识，也可以拖动该图标标识；例如应用程序的显示界面被最小化，可以理解的是，应用程序的显示界面被最小化时，用户根据预设输入操作对第一应用的标识进行输入，可以打开第一应用的显示界面。
42.第一应用的第二应用界面，例如，第一应用已经在显示屏幕上启动，用户对显示屏
幕中显示的第一应用的信息的第一输入，例如可以是对第二应用界面的位置的拖动，或者是对第二应用界面显示的大小范围的拖动等操作。
43.在电子设备接收到用户对第一应用的信息的第一输入后，通过应用服务系统可以先确定该应用程序是否已在后台运行有对应的应用进程，若当后台没有对应的应用进程，则可以创建第一应用的新的应用进程。若后台有已运行有对应的应用进程，则可以直接基于已有的应用进程继续进行相应的位置处理。
44.为了方便管理，每一个应用进行都会应用显示系统分配一个图层标识(layerid)。
45.在接收到第一输入以后，接下来可以执行s220。
46.s220、根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定第一应用的第一应用界面的位置信息。
47.在一些实施例中，可以通过确定第二应用界面的位置信息，接下来再根据第二应用界面的位置信息和至少一个第二应用的应用界面的位置信息，确定第一应用的第一应用界面的位置信息。其中，第一应用界面的位置信息可以包括第一应用界面的矩阵坐标和第一应用的第一应用界面的图层标识，第一应用的第一应用界面的图层标识用于确定第一应用界面的位置信息对应的第一应用界面。
48.作为一个具体的示例，当第一应用在后台运行对应的应用进程时，该应用进程可以包括三个具体的线程，例如，三个具体的线程可以是主线程(activitythread)、应用线程(applicationthread)和w线程，其中，activitythread线程是应用程序的主线程，可以用于生成应用程序的渲染信息，applicationthread线程可以记录每个应用程序的启动和退出记录，以用于应用服务系统判断该应用程序是否已经显示。
49.在本发明实施例中，通过w线程可以包括监听到用户对第一应用的信息的第一输入，并将该第一输入的事件发送给后台的应用服务系统，例如，w线程通过windowmanagerservice服务将第一输入的事件发送给surfaceflinger，由surfaceflinger对第一应用程序和第二应用界面的数据位置和大小进行解析处理，生成第一应用界面的位置信息。其中，w线程与windowmanagerservice服务之间的通信机制可以是binder通信机制，windowmanagerservice服务与surfaceflinger之间的通信机制也可以是binder通信机制。示例性的，surfaceflinger通过对第一应用的数据位置和大小进行解析处理，生成第一应用界面的位置信息。
50.其中，由surfaceflinger可以生成包括第一应用界面的世界空间位置和旋转角度，以及由surfaceflinger生成第一应用界面的窗口大小的信息，得到第一应用界面的矩阵坐标，之后再将包括世界空间位置、旋转角度和窗口大小的第一应用界面的矩阵坐标与图层标识(layerid)绑定，得到第一应用界面的位置信息。
51.在得到第一应用界面的位置信息之后，接下俩可以执行s230。
52.s230、根据第一应用界面的位置信息和至少一个第二应用的应用界面的位置信息，在显示屏幕显示第一应用界面和至少一个第二应用的应用界面。
53.可以理解的是，在电子设备的应用服务系统接收到用户对第一应用的信息的第一输入后，若第一应用在后台运行有对应的应用进程，根据第一应用的应用标识可以直接得到第一应用的第一应用界面。若第一应用在后台未运行有对应的应用进程，因此，可以根据第一应用的应用标识生成第一应用界面的渲染信息，其中，渲染信息包括图层渲染信息；根
据图层渲染信息生成第一应用界面。
54.作为一个具体的实例，当接收到对显示屏幕中显示的第一应用的信息的第一输入，应用服务系统可以判断电子设备中的第一应用未运行有对应的应用进程，然后为第一应用创建一个新进程，以及获取第一应用在本地的安装包，例如，android class.jar，并通过其中的activitythread线程基于第一应用的安装包生成第一应用界面的渲染信息，其中，渲染信息包括图层渲染信息；根据图层渲染信息生成第一应用界面。当第一应用界面为动态显示效果时，可以结合第一应用界面的渲染信息，可以生成多帧贴图(texture)，surfaceflinger结合多帧贴图，生成动态效果显示的第一应用界面。
55.示例性的，应用服务系统根据第一应用界面的渲染信息生成第一应用界面，结合第一应用界面的位置信息中包括的具体位置和窗口大小调整第一应用界面。
56.在本发明实施例中，显示桌面可以在显示多个第二应用时，嵌套显示第一应用，实现同时打开多个进程应用。而且，除了可以显示在显示桌面预置应用程序，还能显示整个电子设备中的安装的其他的应用程序，极大的增加了系统桌面的拓展性。
57.在一些实施例中，由于第一应用界面的位置信息可以包括第一应用界面的矩阵坐标和第一应用界面的图层标识(layerid)，根据图层标识可以匹配到由surfaceflinger生成的位置信息，接下来，根据图层标识确定第一应用界面的位置信息对应的第一应用界面，在显示屏幕显示第一应用界面。
58.此外，至少一个第二应用的应用界面的位置信息可以是每个第二应用界面在显示屏幕中原有的位置信息，为了使应用程序的界面可以在显示桌面的空间中任意位置摆放，以提升用户的使用体验，并提高设备使用的便捷性，应用服务系统还可以在确定第一应用的第一应用界面的位置信息之后，根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定每个第二应用的应用界面的位置信息，并根据每个第二应用的应用界面的位置信息，在显示屏幕显示每个第二应用的应用界面，以使第二应用的在合适的位置显示。
59.通过本发明实施例提供的了应用显示方法，在接收到用户对显示屏幕中显示的第一应用的信息的第一输入之后，通过根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定所述第一应用的第一应用界面的位置信息，以确保第一应用界面在合适屏幕位置显示，接下来，根据第一应用界面的位置信息，在显示屏幕显示第一应用界面，以使显示屏幕中在显示多个应用的显示界面时，避免未接收到输入的第二应用需要跳转到第一应用的应用界面，或者被退至后台进程，实现在同一屏幕上多个应用界面同屏显示，提升用户的使用体验。
60.图3是本发明实施例提供的一种应用显示装置的结构示意图，如图3所示，该应用显示装置300可以包括：接收模块310、位置确定模块320和显示模块330。
61.接收模块310，用于接收用户对显示屏幕中显示的第一应用的信息的第一输入；
62.位置确定模块320，用于根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定第一应用的第一应用界面的位置信息；
63.显示模块330，用于根据第一应用界面的位置信息和至少一个第二应用的应用界面的位置信息，在显示屏幕显示第一应用界面和至少一个第二应用的应用界面。
64.在一些实施例中，第一应用界面的位置信息包括第一应用界面的矩阵坐标和第一
应用的第一应用界面的图层标识，第一应用的第一应用界面的图层标识用于确定第一应用界面的位置信息对应的第一应用界面。
65.在一些实施例中，第一应用的信息包括第一应用的应用标识或第一应用的第二应用界面。
66.在一些实施例中，应用显示装置还可以包括渲染模块，用于根据第一应用的应用标识生成第一应用界面的渲染信息，其中，渲染信息包括图层渲染信息；以及，根据图层渲染信息生成第一应用界面。
67.在一些实施例中，位置确定模块320，还用于确定第二应用界面的位置信息；以及根据第二应用界面的位置信息和至少一个第二应用的应用界面的位置信息，确定第一应用的第一应用界面的位置信息。
68.在一些实施例中，位置确定模块320，还用于根据所述第一输入和所述显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定每个所述第二应用的应用界面的位置信息；显示模块330，还用于根据每个所述第二应用的应用界面的位置信息，在所述显示屏幕显示每个所述第二应用的应用界面。
69.可以理解的是，本发明实施例的应用显示装置300，可以对应于本发明实施例描述的应用显示方法的执行主体，应用显示装置300的各个模块/单元的操作和/或功能的具体细节可以参见上述本发明实施例描述的应用显示方法中的相应部分的描述，为了简洁，在此不再赘述。
70.本发明实施例的应用显示装置，在接收到用户对显示屏幕中显示的第一应用的信息的第一输入之后，通过根据第一输入和显示屏幕中显示的至少一个第二应用的应用界面的位置信息，确定所述第一应用的第一应用界面的位置信息，以确保第一应用界面在合适屏幕位置显示，接下来，根据第一应用界面的位置信息，在显示屏幕显示第一应用界面，以使显示屏幕中在显示多个应用的显示界面时，避免未接收到输入的第二应用需要跳转到第一应用的应用界面，或者被退至后台进程，实现在同一屏幕上多个应用界面同屏显示，提升用户的使用体验。
71.图4是本发明实施例提供的一种应用显示设备的硬件结构示意图。
72.如图4所示，本实施例中的应用显示设备400包括输入设备401、输入接口402、中央处理器403、存储器404、输出接口405、以及输出设备406。其中，输入接口402、中央处理器403、存储器404、以及输出接口405通过总线410相互连接，输入设备401和输出设备406分别通过输入接口402和输出接口405与总线410连接，进而与应用显示设备400的其他组件连接。
73.具体地，输入设备401接收来自外部的输入信息，并通过输入接口402将输入信息传送到中央处理器403；中央处理器403基于存储器404中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器404中，然后通过输出接口405将输出信息传送到输出设备406；输出设备406将输出信息输出到应用显示设备400的外部供用户使用。
74.也就是说，图4所示的应用显示设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合本发明实例描述的应用显示方法。
75.在一个实施例中，图4所示的应用显示设备400包括：存储器404，用于存储程序；处理器403，用于运行存储器中存储的程序，以执行本发明实施例提供的应用显示方法。
76.本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的应用显示方法。
77.需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
78.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(application specific integrated circuit，asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(read-only memory，rom)、闪存、可擦除只读存储器(erasable read only memory，erom)、软盘、只读光盘(compact disc read-only memory，cd-rom)、光盘、硬盘、光纤介质、射频(radio frequency，rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
79.还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
80.上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
81.以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。