一种XR的显示处理方法、显示屏模组、XR及交互系统与流程

本发明涉及xr，特别是涉及一种xr的显示处理方法、显示屏模组、xr及交互系统。

背景技术：

1、xr(extended reality，扩展显示)的类型通常包括ar(augmented reality，增强现实)、vr(virtual reality，虚拟现实)、mr(mixed reality，混合现实)，xr通常包括显示屏模组、处理模块和通信模组，显示屏模组包括ddic(display driver integratedcircuit，显示驱动电路芯)和显示屏，处理模块通常包括gpu(graphics processing unit，图像处理器)、处理器、缓存等。处理器在每接收到一个vsync信号(verticalsynchronization，垂直同步信号)时，便会向gpu发送预测的最新的用户姿态数据，gpu在从缓存接收到屏幕场景数据后，会基于最新接收到的用户姿态数据对屏幕场景数据进行atw(asynchronous timewarp，异步时间扭曲)也即校正处理，然后将校正后的数据传输至ddic，或者，有些场景下，校正后的屏幕场景数据压缩一下再传输至ddic，以便ddic接收到屏幕场景数据后驱动显示屏进行显示。但该种方式未考虑到gpu传输至ddic需要时间，ddic解压缩也需要时间，可见，gpu获取到的用户姿态数据不是那么贴合用户当前的实际姿态，从而造成显示延迟。此外，需在xr中设置gpu，提高了成本，增大了xr的体积。

技术实现思路

1、本发明的目的是提供一种xr的显示处理方法、显示屏模组、xr及交互系统，由于ddic为显示屏前的最后一个处理环节，因此，ddic接收到的第一用户姿态数据也最贴合用户当前的实际姿态，从而减少了显示延迟；此外，该方案复用ddic中的处理器，无需在xr中设置gpu，降低了成本，减小了xr的体积。

2、为解决上述技术问题，本发明提供了一种xr的显示处理方法，应用于xr中的显示屏模组，所述显示屏模组包括ddic和显示屏，所述xr还包括处理器和第一缓存，所述xr的显示处理方法包括：

3、ddic从所述第一缓存获取屏幕场景数据，所述第一缓存用于基于所述处理器的控制存储终端发送的渲染后的屏幕场景数据；

4、接收所述处理器预测的第一用户姿态数据，所述第一用户姿态数据用于所述屏幕场景数据的显示帧；

5、基于所述第一用户姿态数据对所述屏幕场景数据进行校正，得到屏幕场景校正数据；

6、将所述屏幕场景校正数据输出至所述显示屏进行显示。

7、作为一种示例，从所述第一缓存获取屏幕场景数据，包括：

8、接收所述第一缓存基于所述处理器的控制发送的屏幕场景数据，所述屏幕场景数据为所述终端进行渲染及压缩处理后的数据；

9、对所述屏幕场景数据进行解压缩，并将解压缩后的屏幕场景数据保存至第二缓存中。

10、作为一种示例，接收所述第一缓存基于所述处理器的控制发送的屏幕场景数据，包括：

11、接收所述第一缓存基于所述处理器的发送线程的控制传输的所述屏幕场景数据，所述缓存模块还用于基于所述处理器的接收线程的控制接收并存储所述屏幕场景数据。

12、作为一种示例，所述屏幕场景数据为所述终端进行渲染及反畸变处理后的数据，其中，所述终端用于与所述xr进行交互。

13、作为一种示例，基于所述第一用户姿态数据对所述屏幕场景数据进行校正，得到屏幕场景校正数据，包括：

14、基于最新接收到的所述第一用户姿态数据对所述屏幕场景数据进行校正，得到屏幕场景校正数据。

15、作为一种示例，接收所述处理器预测的第一用户姿态数据，包括：

16、接收所述处理器发送的显示帧的偏移信息，所述偏移信息包括偏移距离和偏移方向，所述偏移距离为所述处理器基于预测的第一用户姿态数据转换得到的像素点数量；

17、基于最新接收到的所述第一用户姿态数据对所述屏幕场景数据进行校正，得到屏幕场景校正数据，包括：

18、基于最新接收到的所述显示帧的偏移信息对所述屏幕场景数据进行校正，得到屏幕场景校正数据。

19、作为一种示例，当所述显示屏的可显示区域的尺寸大于所述显示屏的当前实际显示区域的尺寸时，基于最新接收到的所述显示帧的偏移信息对所述屏幕场景数据进行校正，得到屏幕场景校正数据，包括：

20、基于最新接收到的所述显示帧的偏移信息及所述显示屏的剩余可显示区域的尺寸预测所述显示帧的画面是否会超出所述显示屏的可显示区域；

21、若是，则基于最新接收到的所述显示帧的偏移信息对所述屏幕场景数据进行偏移处理，并将超出所述显示屏的可显示区域的显示画面截除，且对所述可显示区域中没有画面的区域进行插黑处理；

22、若否，基于最新接收到的所述显示帧的偏移信息对所述屏幕场景数据进行偏移处理。

23、为解决上述技术问题，本发明还提供了一种xr的显示屏模组，包括：

24、显示屏；

25、ddic，用于实现如上述所述的xr的显示处理方法的步骤。

26、为解决上述技术问题，本发明还提供了一种xr，包括如上述所述的xr的显示屏模组，还包括：

27、第一缓存；

28、处理器，用于控制所述第一缓存存储终端发送的渲染后的屏幕场景数据以及向所述显示屏模组发送所述屏幕场景数据，预测第一用户姿态数据，并将所述第一用户姿态数据传输至所述显示屏模组，所述第一用户姿态数据用于所述屏幕场景数据的显示帧。

29、作为一种示例，控制所述第一缓存存储终端发送的渲染后的屏幕场景数据以及向所述显示屏模组发送所述屏幕场景数据，包括：

30、调用接收线程控制所述第一缓存接收终端发送的渲染后的屏幕场景数据；

31、同时，调用发送线程控制所述第一缓存向所述显示屏模组发送所述屏幕场景数据。

32、作为一种示例，所述处理器还用于向所述终端发送显示畸变参数，以便所述终端基于所述显示畸变参数对所述屏幕场景数据进行反畸变处理，所述显示畸变参数包括显示屏的光学器件的物理参数。

33、为解决上述技术问题，本发明还提供了一种交互系统，包括如上述所述的xr，还包括：

34、终端，用于获取待显示的屏幕场景数据，确定预设时长后的第二用户姿态数据，并基于所述第二用户姿态数据对待显示的屏幕场景数据进行渲染，得到渲染后的屏幕场景数据。

35、作为一种示例，所述终端还用于获取所述xr发送的显示畸变参数，基于所述显示畸变参数对渲染后的屏幕场景数据进行反畸变处理，所述显示畸变参数包括显示屏的光学器件的物理参数。

36、本发明提供了一种xr的显示处理方法，xr包括显示屏模组、处理器和第一缓存，ddic会从第一缓存获取到屏幕场景数据，也会接收到处理器预测的第一用户姿态数据，ddic会基于接收到的第一用户姿态数据对屏幕场景数据进行校正也即异步时间扭曲，从而得到屏幕场景校正数据并将屏幕场景校正数据输出至显示屏进行显示。可见，该方案中，显示屏模组中的ddic对屏幕场景数据进行校正，由于ddic为显示屏前的最后一个处理环节，因此，ddic接收到的第一用户姿态数据也最贴合用户当前的实际姿态，从而减少了显示延迟；此外，该方案复用ddic中的处理器，无需在xr中设置gpu，降低了成本，减小了xr的体积。

37、本发明还提供了一种xr的显示屏模组、xr及交互系统，具有与上述方法相同的效果。