一种三维空间中的多窗口处理方法、设备及系统与流程

本发明涉及计算机系统及人机交互领域，尤其涉及一种三维空间中的多窗口处理方法、设备及系统。

背景技术：

1、目前虚拟现实(virtual reality，vr)设备上，主流的使用场景是游戏和观影，主要提供的是沉浸式的体验，即一个三维(3d)应用占据整个空间，用户同时只能与一个三维应用交互。但是在很多情况下，用户存在多任务操作需求，即用户希望在vr设备上使用一个应用时，也可以实现与其它应用交互，例如，用户在vr设备上玩游戏时，接收到了消息、短信或电话等，用户希望能够有弹出信息提示，并可以轻松的回复消息，同时又不需要退出或中止当前正在使用的应用。

2、在增强现实(augmented reality)或混合现实(mixed reality)设备上，用户能够看到真实的环境，这时用户体验以非沉浸式为主，用户希望能够在360度空间内，同时运行多个三维内容，例如在办公场景里，用户希望能够在桌面上同时放置一个三维闹钟应用，一个三维日历应用，一个三维笔记本应用。但基于当前技术，用户同时只能在空间中打开一个三维应用，其他应用会中止或隐藏，用户体验较差。

3、传统的pc操作系统如windows为二维(2d)多窗口的系统，用户通过在一个二维屏幕上的多个二维窗口与多个应用交互。扩展现实设备(包含ar、vr、mr等设备)设备为用户提供了三维空间下的显示与交互能力，因此亟需一种方法能够在三维空间里实现多窗口效果，进一步地实现三维多窗口能力，提升用户对扩展现实设备的使用体验，方便提供非沉浸模式的三维内容开发。

技术实现思路

1、本发明用于解决现有技术中，扩展现实设备仅能显示一应用的窗口，使得用户无法同时与多个应用交互，因此，现有扩展现实设备的窗口显示方式存在用户交互方式有限，用户体验差的问题。

2、为了解决上述技术问题，本发明一方面提供一种三维空间中的多窗口处理方法，包括：

3、步骤s101、接收一个或多个窗口的属性信息，所述窗口包括二维窗口和/或三维窗口；

4、步骤s103、根据一个或多个窗口的属性信息，生成对应的变换矩阵；

5、步骤s105、基于变换矩阵，对一个或多个窗口进行处理。

6、作为本发明进一步实施例中，所述接收一个或多个窗口的属性信息，包括：接收来自一个或多个窗口的事件生成的窗口的属性信息。

7、作为本发明进一步实施例中，所述步骤s105包括：

8、根据变换矩阵，将来自三维空间的事件变换到一个或多个窗口，并发送给对应窗口。

9、作为本发明进一步实施例中，基于变换矩阵，对一个或多个窗口进行处理，还包括：

10、一个或多个窗口根据自身逻辑的处理事件，生成对应的窗口的属性信息；

11、将一个或多个窗口生成的窗口的属性信息进行合成。

12、作为本发明进一步实施例中，窗口的属性信息包括坐标系、和/或位置、和/或旋转、和/或大小。

13、作为本发明进一步实施例中，所述窗口属性信息包括窗口装饰信息，其用于对所述窗口进行控制。

14、作为本发明进一步实施例中，所述窗口的属性信息包括显示信息、和/或交互信息、和/或自身逻辑触发信息。

15、作为本发明进一步实施例中，所述显示信息包括在窗口创建或窗口属性变换时生成、或者用户视角变化触发时生成。

16、作为本发明进一步实施例中，所述基于变换矩阵，对一个或多个窗口进行处理包括：

17、基于窗口属性信息及用户视角姿态信息，确定投影变换矩阵；

18、基于所述投影变换矩阵，对一个或多个窗口进行处理。

19、作为本发明进一步实施例中，所述步骤s105包括：

20、将所述投影变换矩阵发送至相应窗口；

21、所述相应窗口利用投影变换矩阵对所述窗口内部场景进行渲染得到的双目二维图像；

22、根据所述相应窗口最新的窗口的属性信息，以及所述相应窗口最新对应的双目二维图像，进行合成渲染得到并显示所述三维空间的双目画面。

23、作为本发明进一步实施例中，所述步骤s105还包括：

24、所述窗口根据应用逻辑生成的渲染指令；

25、根据所述相应窗口最新的窗口的属性信息，以及渲染指令，进行合成渲染得到并显示所述三维空间的双目画面。

26、作为本发明进一步实施例中，所述步骤s105还包括：

27、将所述投影变换矩阵发送至相应窗口；

28、所述相应窗口利用投影变换矩阵生成的渲染指令；

29、根据所述相应窗口最新的窗口的属性信息，以及渲染指令，进行合成渲染得到并显示所述三维空间的双目画面。

30、作为本发明进一步实施例中，在进行合成渲染之前，基于所述窗口装饰信息，加入装饰内容，完成合成渲染得到并显示所述三维空间的双目画面。

31、作为本发明进一步实施例中，在用户输入产生窗口交互事件时生成所述交互信息。

32、作为本发明进一步实施例中，所述步骤s105包括：

33、基于窗口交互事件和窗口的属性信息生成所述交互信息；

34、基于所述交互信息和窗口交互事件生成目标窗口坐标系，并发送至目标窗口。

35、作为本发明进一步实施例中，所述目标窗口包括沉浸式模式和窗口模式。

36、作为本发明进一步实施例中，在应用自身逻辑发生变化时生成自身逻辑触发信息。

37、作为本发明进一步实施例中，所述自身逻辑触发信息用于修改所述变换矩阵、指示在沉浸式和窗口模式之间切换或触发窗口装饰信息。

38、作为本发明进一步实施例中，当所述目标窗口进入沉浸式模式后，将所述目标窗口对应的子空间转换为所述三维空间。

39、作为本发明进一步实施例中，其他窗口保持不变，从而实现目标窗口的内容叠加显示其他窗口内容。

40、作为本发明进一步实施例中，当接收超过所述目标窗口范围内的窗口的属性信息时，将所述交互信息转换至目标窗口坐标系，将转换后的所述交互信息及交互事件发送至目标窗口处理。

41、作为本发明进一步实施例中，所述窗口的属性信息基于用户操作或应用自身逻辑触发进行更新。

42、本发明第二方面提供一种三维空间中的多窗口处理系统，包括：

43、接收单元，其用于接收一个或多个窗口的属性信息，所述窗口包括二维窗口和/或三维窗口；

44、变换矩阵生成单元，其用于根据一个或多个窗口的属性信息，生成对应的变换矩阵；

45、处理单元，其用于基于变换矩阵，对一个或多个窗口进行处理。

46、本发明第三方面提供一种扩展现实设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一实施例所述方法的指令。

47、本发明第四方面提供一种三维空间中的多窗口处理系统，如权利要求24的所述扩展现实设备以及服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一实施例所述方法的指令。

48、本发明第五方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被扩展现实设备的处理器运行时，执行根据前述任何以实施例所述的方法的指令。

49、本发明提供的三维空间中的多窗口处理方法、设备及系统，通过接收一个或多个窗口的属性信息，所述窗口包括二维窗口和/或三维窗口；根据一个或多个窗口的属性信息，生成对应的变换矩阵；基于变换矩阵，对一个或多个窗口进行处理，其中，基于变换矩阵对一个或多个窗口进行处理包括：基于变换矩阵，对一个或多个窗口进行显示，以及基于变换矩阵，将三维空间中的事件转换至目标窗口，并发送至目标窗口。基于变换矩阵及用户观察角度，合成显示来自不同应用。本发明能够实现在三维环境中同时显示一个或多个二维窗口及三维窗口，进而使得用户同时对这些窗口进行交互，提高扩展现实设备的应用场景，提升用户体验。

50、为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。