用于超高清VR现场制作的实时图像处理方法与流程

本发明涉及图像边缘检测，具体涉及用于超高清vr现场制作的实时图像处理方法。

背景技术：

1、虚拟现实（virtual reality，vr）技术作为一种新兴的实用技术，在游戏、军事以及建筑领域的应用越来越广泛。vr技术所提供的良好的视觉信息能够使得人们沉浸在虚拟场景中，而低质量的视觉信息不仅带来不良体验，甚至会导致身体疾病，因此需要提高vr技术所提供的视觉信息的质量，以保证用户的体验。

2、以虚拟驾驶场景为例，用户在体验虚拟驾驶场景时，其视觉并不总是聚焦于路面信息，用户所观测到的场景图像中的所有物体均会对用户造成一定的影响或吸引，因此为了保证vr技术所提供的视觉信息的质量，现有技术通常对虚拟场景中用户可能观测到的所有物体均分配大量的资源进行渲染。但是对整个虚拟场景进行渲染的渲染量较大，系统负载量较高，可能会产生画面卡顿，影响用户体验；且无差别的渲染没有实际意义，可能会造成用户观感上的违和，甚至造成用户产生眩晕感。因此现有技术对虚拟场景中用户可能观测到的所有物体均分配大量的资源进行渲染的方法，会使得用户的体验较差，也即对vr现场制作的实时图像处理的效果较差。

技术实现思路

1、为了解决现有技术对虚拟场景中用户可能观测到的所有物体均分配大量的资源进行渲染的方法，会使得用户的体验较差，也即对vr现场制作的实时图像处理的效果较差的技术问题，本发明的目的在于提供一种用于超高清vr现场制作的实时图像处理方法，所采用的技术方案具体如下：

2、本发明提出了用于超高清vr现场制作的实时图像处理方法，所述方法包括：

3、获取vr实时观测场景灰度图像；

4、在所述vr实时观测场景灰度图像中，根据每个图块单元与其所在位置处的不同图层的图块单元之间的边缘轮廓分布差异情况，得到每个图块单元的边缘轮廓显著度；根据每个图块单元与其所在位置处的不同图层的图块单元之间的灰度分布差异情况，得到每个图块单元的灰度纹理显著度；

5、根据视觉焦点在每个图块单元所在位置处的停留时间，以及距离人眼的空间长度，得到每个图块单元的关注程度参考权重；根据所述关注程度参考权重，以及所述边缘轮廓显著度和所述灰度纹理显著度进行加权，得到每个图块单元对应的理论渲染程度；

6、根据各个图块单元与人眼视觉焦点对应的图块单元之间的边缘纹理差异整体分布情况，得到各个图块单元的衬托相似程度；根据所述理论渲染程度和所述衬托相似程度，得到每个图块单元的真实渲染程度；根据所述真实渲染程度进行超高清vr现场制作的实时图像处理。

7、进一步地，所述边缘轮廓显著度的获取方法包括：

8、在所述vr实时观测场景灰度图像中，将每个图块单元的边缘线上的每个边缘像素点与前一个边缘像素点之间连线的斜率，作为每个边缘像素点的第一参考斜率；将每个边缘像素点与后一个边缘像素点之间连线的斜率，作为每个边缘像素点的第二参考斜率；将所述第二参考斜率和所述第一参考斜率之间的差异，作为每个边缘像素点的参考斜率差异；根据每个图块单元的边缘线上所有边缘像素点的参考斜率差异的整体分布情况，得到每个图块单元的边缘轮廓特征值；

9、依次将所述vr实时观测场景灰度图像中的每个图块单元作为目标图块单元；将目标图块单元所处位置处的不同图层的图块单元，作为目标图块单元的对比图块单元；

10、将目标图块单元的边缘轮廓特征值与对比图块单元的边缘轮廓特征值之间的差异，作为目标图块单元的轮廓参考差异；将目标图块单元的边缘轮廓特征值与所述轮廓参考差异的乘积，作为目标图块单元的边缘轮廓显著度。

11、进一步地，所述灰度纹理显著度的获取方法包括：

12、在所述vr实时观测场景灰度图像中，根据目标图块单元中所有像素点的灰度值标准差与对比图块单元中所有像素点的灰度值标准差之间的比值，得到目标图块单元的参考纹理显著度；将所述参考纹理显著度与目标图块单元中所有像素点的灰度值均值之间的乘积，作为目标图块单元的灰度纹理显著度。

13、进一步地，所述关注程度参考权重的获取方法包括：

14、将人眼视觉焦点在所有图块单元所处位置的停留时间的累加和，作为参考时间长度；将人眼视觉焦点在每个图块单元所处位置的停留时间与所述参考时间长度的比值，作为每个图块单元的时间关注程度；

15、将所有图块单元所处位置距离人眼的空间长度的累加和，作为参考空间长度；将所述参考空间长度与每个图块单元所处位置距离人眼的空间长度的比值，作为每个图块单元的空间关注程度；

16、根据所述时间关注程度和所述空间关注程度，得到每个图块单元的关注程度参考权重，所述时间关注程度和所述空间关注程度均与所述关注程度参考权重呈正相关关系。

17、进一步地，所述理论渲染程度的计算公式包括：

18、

19、其中，为第个图块单元的理论渲染程度，为第个图块单元的关注程度参考权重，为第个图块单元的灰度纹理显著度，为第个图块单元的边缘轮廓显著度，为双曲正切函数。

20、进一步地，所述衬托相似程度的获取方法包括：

21、在每个图块单元中，将对应的边缘轮廓特征值的归一化值与其中所有像素点的灰度值均值的归一化值之间的和值，作为每个图块单元的轮廓纹理特征值；将人眼视觉焦点对应的图块单元，作为焦点图块单元；将焦点图块单元外的其他图块单元作为衬托图块单元；

22、将每个衬托图块单元的轮廓纹理特征值与焦点图块单元的轮廓纹理特征值之间的差异，作为每个衬托图块单元的轮廓纹理差异；将所述轮廓纹理差异的归一化值的负相关映射值，作为每个衬托图块单元的衬托相似程度；将预设衬托数值作为焦点图块单元的衬托相似程度。

23、进一步地，所述真实渲染程度的获取方法包括：

24、将所述理论渲染程度与所述衬托相似程度的乘积，作为每个图块单元的真实渲染程度。

25、进一步地，所述根据所述真实渲染程度进行超高清vr现场制作的实时图像处理包括：

26、将每个图块单元的真实渲染程度在所有图块单元的真实渲染程度的累加和中的占比，作为每个图块单元的渲染分配权重；根据所述渲染分配权重将渲染资源按照比例划分到每个图块单元中，进行超高清vr现场制作的实时图像处理。

27、进一步地，所述根据所述时间关注程度和所述空间关注程度，得到每个图块单元的关注程度参考权重的方法包括：

28、将所述时间关注程度与所述空间关注程度的乘积的归一化值，作为每个图块单元的关注程度参考权重。

29、进一步地，所述边缘轮廓特征值的获取方法包括：

30、将每个图块单元的边缘线上所有边缘像素点的参考斜率差异的方差，作为每个图块单元的边缘轮廓特征值。

31、本发明具有如下有益效果：

32、考虑到用户视觉的焦点在图块单元上的停留时间越长，对应的图块单元与人眼的距离越近，说明用户更加关注该图块单元的纹理细节信息；相反，当用户视觉的焦点在图块单元上停留的时间越短，对应的图块单元与人眼的距离越远，说明对应情况下的图块单元的轮廓信息更为重要；因此本发明通过计算得到的边缘轮廓显著度表征轮廓信息，通过计算得到的灰度纹理显著度表征纹理信息，进一步地根据停留时间和距离人眼空间长度得到的关注程度参考权重进行加权，得到每个图块单元的理论渲染程度。进一步地考虑到客观观测规律，对用户视觉焦点的图块单元相似程度较高的图块单元分配更多的权重，以避免用户观感上的违和，也即根据各个图块单元的衬托相似程度并结合理论渲染程度，得到的每个图块单元的真实渲染程度，最后根据真实渲染程度进行超高清vr现场制作的实时图像处理，使得用户的体验更好。综上所述，本发明根据真实渲染程度进行超高清vr现场制作的实时图像处理的方法，能够使得用户的体验更好，对应的vr现场制作的实时图像处理的效果更加优秀。