一种多通道渲染校正帧系统及方法与流程

本发明涉及图像处理领域，尤其涉及一种多通道渲染校正帧系统及方法。

背景技术：

1、图像延时问题一直是vr、mr这类电子设备所固有的问题；设备使用者体验vr设备进入虚拟场景，当转头或迈步移动时会发现图像响应不及时的现象。如：可能出现图像中场景缓慢跟随转头，并在转头停止后一段时间场景画面才对正方位。

2、这类问题产生的原因是用于计算图像的姿位数据是较早时间从姿位传感器获得的数据，其和当前上屏时的姿位数据有明显差值，这样导致图像与真实转角明显不匹配；研究发现，旋转动作后画面对正延时明显时会造成使用者的眩晕感，动作匹配等一系列问题；同时，延时问题是否有效解决将极大影响设备使用者的体验；

3、目前，在该领域解决延时问题的传统的技术方案是针对单一图像源做timewarp计算处理；并且是使用基于uv的timewarp计算方法；在进行多个图像源做timewarp计算时，无法做出正确的timewarp计算；并且图像合成渲染流程繁琐，造成gpu压力大。

技术实现思路

1、本发明的目的在于提供一种多通道渲染校正帧系统及方法，解决了现有技术中指出的上述技术问题。

2、本发明提供了一种多通道渲染校正帧系统，包括头部姿态管理模块、场景数据获取模块、层数据生成模块、相机处理模块、应用进程处理模块、显示屏幕；

3、其中，所述头部姿态管理模块，用于实时采集头部姿态信息，由所述头部姿态信息生成头部姿位信息；并将所述头部姿位信息发送至所述应用进程处理模块；

4、所述场景数据获取模块，用于获取当前时刻渲染的场景数据；并将所述场景数据发送至所述应用进程处理模块；

5、所述层数据生成模块，用于生成层描述数据；并将所述层描述数据发送至所述应用进程处理模块；

6、所述相机处理模块，用于实时获取当前相机图像；并将所述当前相机图像发送至所述应用进程处理模块；

7、所述应用进程处理模块，用于通过所述头部姿位信息生左眼相机变换矩阵与右眼相机变换矩阵；并通过所述场景数据生成主场景缓冲图像；并将所述主场景缓冲图像通过所述左眼相机变换矩阵与右眼相机变换矩阵生成左眼主场景缓冲图像与右眼主场景缓冲图像；并将所述层描述数据分别关联至所述左眼主场景缓冲图像与右眼主场景缓冲图像；

8、所述所述应用进程处理模块，还用于对所述左眼主场景缓冲图像与所述右眼主场景缓冲图像进行基于uv的timewarp计算获取校正后的左眼主场景缓冲图像与校正后的右眼主场景缓冲图像；同时对所述左眼主场景缓冲图像与右眼主场景缓冲图像关联的层描述数据进行基于位置的timewarp计算，生成层图像；对所述相机图像进行基于uv的timewarp计算获取校正后的相机图像；将所述校正后的左眼主场景缓冲图像、校正后的右眼主场景缓冲图像、校正后的相机图像及所述层图像进行合成渲染生成目标图像；

9、所述显示屏幕，用于获取所述目标图像，并将所述目标图像进行输出显示。

10、较佳的，上述应用进程处理模块，具体用于将所述左眼主场景缓冲图像与所述右眼主场景缓冲图像、所述当前相机图像投影到二维平面ndc空间；分别对应获取二维左眼主场景缓冲图像与二维右眼主场景缓冲图像、二维相机图像；并将所述二维左眼主场景缓冲图像与二维右眼主场景缓冲图像、二维相机图像的顶点映射在[-1，+1]范围，获取所述二维左眼主场景缓冲图像与二维右眼主场景缓冲图像、二维相机图像的顶点映射在[-1，+1]范围后的各个二维图像的uv坐标；

11、所述二维图像的uv坐标包括二维左眼主场景缓冲图像的uv坐标、二维右眼主场景缓冲图像的uv坐标、二维相机图像的uv坐标；

12、将所述二维图像的uv坐标通过warp映射矩阵进行基于uv的timewarp计算，获取新的二维图像的uv坐标；并获取所述warp映射矩阵的逆矩阵；

13、所述新的二维图像的uv坐标包括新的二维左眼主场景缓冲图像的uv坐标、新的二维右眼主场景缓冲图像的uv坐标、新的二维相机图像的uv坐标；

14、基于所述新的二维图像的uv坐标获取新的二维主场景缓冲图像、新的二维相机图像；确定所述新的二维主场景缓冲图像为校正后的主场景缓冲图像；确定所述新的二维相机图像为校正后的相机图像；

15、所述新的二维主场景缓冲图像包括新的二维左眼主场景缓冲图像、新的二维右眼主场景缓冲图像；

16、将所述层描述数据通过所述warp映射矩阵的逆矩阵进行计算获取所述层描述数据的顶点坐标；并根据所述层描述数据的顶点坐标生成层图像。

17、相应地，本发明还提出了一种多通道渲染校正帧方法，包括如下操作步骤：

18、初始化场景数据；并获取头部位姿信息，由所述头部位姿信息生成左眼相机变换矩阵与右眼相机变换矩阵；

19、初始化渲染层；获取层描述数据；所述层描述数据包括ui层图像描述数据与显示系统信息的层图像描述数据；

20、将所述场景数据进行渲染生成主场景缓冲图像；将所述主场景缓冲图像通过所述左眼相机变换矩阵与所述右眼相机变换矩阵生成左眼主场景缓冲图像与右眼主场景缓冲图像；并将所述层描述数据分别关联至所述左眼主场景缓冲图像与右眼主场景缓冲图像；

21、获取当前相机图像；所述相机图像包括左眼相机图像与右眼相机图像；

22、分别对所述左眼主场景缓冲图像与所述右眼主场景缓冲图像进行基于uv的timewarp计算获取校正后的左眼主场景缓冲图像与校正后的右眼主场景缓冲图像；对所述当前相机图像进行基于uv的timewarp计算获取校正后的相机图像；同时对所述左眼主场景缓冲图像与右眼主场景缓冲图像关联的层描述数据进行基于位置的timewarp计算，生成层图像；

23、将所述校正后的左眼主场景缓冲图像、校正后的右眼主场景缓冲图像、校正后的相机图像及所述层图像进行合成渲染生成目标图像；将所述目标图像输出显示。

24、与现有技术相比，本发明实施例至少存在如下方面的技术优势：

25、分析本发明提供的上述一种多通道渲染校正帧系统及方法可知，在具体应用时实时获取用户的头部姿位值与场景数据，通过头部姿位值生成左右眼变换矩阵，并通过场景数据生成主场景缓冲图像，将主场景缓冲图像通过左右眼变换矩阵生成左眼主场景缓冲图像与右眼主场景缓冲图像；

26、实时获取层描述数据，并将层描述数据根据位置分别关联至左眼主场景缓冲图像与右眼主场景缓冲图像；

27、通过相机处理模块获取当前相机图像；

28、对左眼主场景缓冲图像与右眼主场景缓冲图像进行基于uv的timewarp计算后获取校正后的左眼主场景缓冲图像与校正后的右眼主场景缓冲图像，保证图像所展示的内容在空间位置上的正确匹配；对相机图像进行基于uv的timewarp计算后获取校正后的相机图像；并对层描述数据进行基于位置的timewarp计算，生成层图像；此时因层描述数据分别与左眼主场景缓冲图像与右眼主场景缓冲图像位置关联，因此直接计算生成的层图像位置与校正后的左眼主场景缓冲图像与校正后的右眼主场景缓冲图像匹配；使用基于位置的timewarp计算避免了层中间结果图像的输出及存储，算法对生成层图像过程做优化，节省步骤与生成时间；

29、可同时对主场景缓冲图像、层图像、相机图像同步做延迟校正处理，能够满足vr、mr上各种合成渲染的需求；

30、最终将校正后的左眼主场景缓冲图像与校正后的右眼主场景缓冲图像、校正后的相机图像、层图像融合输出显示。