虚拟现实环境中的人类视觉显著性预测方法与流程

本发明涉及虚拟现实技术领域和人类视觉特性领域，尤其涉及一种虚拟现实环境中的人类视觉显著性预测方法。

背景技术：

随着虚拟现实技术的发展，虚拟现实成为了人们生活娱乐的一部分。与传统的二维平面图像或视频相比，虚拟现实可以给用户提供更多的信息以及身临其境的浸入感，但这也意味着更大的数据量，这对压缩技术提出了更高要求。同时，如何合理地设计虚拟现实内容，以保证用户可以获得更好的视觉体验，也是目前研究的热点问题。目前全景图作为虚拟现实重要内容，其主要处理及存储形式是经纬图。

充分利用人类视觉特性，为上述两个问题提供了解决的途径。显著性描述了图像中某些区域相比于周围区域对观看者更具吸引力，现有的人类视觉显著性模型针对的是传统二维平面图像，并不能很好的说明用户在虚拟现实环境下的关注热点。

技术实现要素：

本发明的目的是提供一种虚拟现实环境中的人类视觉显著性预测方法，考虑了虚拟现实环境的显示特性，能较好地对虚拟现实环境下显著性进行检测。

本发明的目的是通过以下技术方案实现的：

一种虚拟现实环境中的人类视觉显著性预测方法，包括：

将输入的经纬图投影成三维空间中的球面；

将该球面围绕三维空间坐标系的x轴、y轴和z轴分别进行不同角度的旋转，假设总共进行了n种不同的旋转，则得到n张旋转处理后的图像，每一张旋转处理后的图像均利用一独立支路进行后续处理；

将n张旋转处理后的图像分别映射到二维图像平面空间中，再将映射后的n张图像与输入的经纬图，分别输入到传统的二维平面图像显著性检测模型中，得到1张输入经纬图的检测结果图，以及n张旋转处理图像的检测结果图；

对于n张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到n张旋转处理后的显著性预测图；

将n张旋转处理后的显著性预测图与1张输入经纬图的检测结果图进行加权平均，得到了最终的显著性预测结果图。

所述对于n张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到n张旋转处理后的显著性预测图包括：

将n张旋转处理图像的检测结果图中任一图像，均投影到三维空间中的球面，再按照旋转处理时的坐标轴进行方向相反、角度大小相同的旋转，之后分别从三维空间中的球面映射到二维图像平面空间，得到n张旋转处理后的显著性预测图。

由上述本发明提供的技术方案可以看出，对待检测的全景图经纬图按旋转-检测-反旋转的流程进行预测，可以消除全景图经纬图中的畸变问题，能较好地对虚拟现实环境下显著性进行检测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种虚拟现实环境中的人类视觉显著性预测方法的示意图；

图2为本发明实施例提供的全景图经纬图投影成空间坐标系xyz下球面的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

图1为本发明实施例提供的一种虚拟现实环境中的人类视觉显著性预测方法的示意图。如图1所示，其主要过程如下：

步骤1、将输入的经纬图投影成三维空间中的球面。

如图2所示，为全景图经纬图投影成空间坐标系xyz下球面的示意图。

步骤2、将该球面围绕三维空间坐标系的x轴、y轴和z轴分别进行不同角度的旋转，假设总共进行了n种不同的旋转，则得到n张旋转处理后的图像，每一张旋转处理后的图像均利用一独立支路进行后续处理。

如图1所示，对于每一张旋转处理后的图像，在执行后续的步骤3中检测过程以及步骤4中反旋转过程都利用一独立支路进行处理。

示例性的，如果将球面围绕三维空间坐标系的x轴、y轴和z轴分别进行45度、90度和135度旋转，则总共进行了9种不同的旋转，将得到9张旋转处理后的图像。

步骤3、将n张旋转处理后的图像分别映射到二维图像平面空间中，再将映射后的n张图像与输入的经纬图，分别输入到传统的二维平面图像显著性检测模型中，得到1张输入经纬图的检测结果图，以及n张旋转处理图像的检测结果图。

步骤4、对于n张旋转处理图像的检测结果图中任一图像，均进行预处理后按照旋转处理时的坐标轴进行相反角度的旋转，从而得到n张旋转处理后的显著性预测图。

本步骤与步骤1及步骤2类似，区别在于旋转的方向与步骤2相反。

本步骤具体过程如下：将n张旋转处理图像的检测结果图中任一图像，均投影到三维空间中的球面，再按照旋转处理时(也即步骤2所进行的旋转处理)的坐标轴进行方向相反、角度大小相同的旋转，之后分别从三维空间中的球面映射到二维图像平面空间，得到n张旋转处理后的显著性预测图。

步骤5、将n张旋转处理后的显著性预测图与1张输入经纬图的检测结果图进行加权平均，得到了最终的显著性预测结果图。

本发明实施例上述方案，对待检测的全景图经纬图按旋转-检测-反旋转的流程进行预测，可以消除全景图经纬图中的畸变问题，能较好地对虚拟现实环境下显著性进行检测。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

技术特征：

技术总结
本发明公开了一种虚拟现实环境中的人类视觉显著性预测方法，包括：将输入的经纬图投影成三维空间中的球面；将该球面围绕三维空间坐标系的X轴、Y轴和Z轴分别进行不同角度的旋转，再将张旋转处理后的图像与输入的经纬图，分别输入到传统的二维平面图像显著性检测模型中，得到相应的检测结果图；将旋转处理图像对应的检测结果图进行反旋转处理，并与经纬图的检测结果图进行加权平均，得到了最终的显著性预测结果图。该方法对待检测的全景图经纬图按旋转‑检测‑反旋转的流程进行预测，可以消除全景图经纬图中的畸变问题，能较好地对虚拟现实环境下显著性进行检测。

技术研发人员：陈志波;陈阵;史丽坤;吴仕林
受保护的技术使用者：中国科学技术大学
技术研发日：2017.06.16
技术公布日：2017.10.13