图像数据处理的方法及装置与流程

本发明涉及图像显示技术领域，尤其涉及图像数据处理的方法及装置。

背景技术：

虚拟现实(Virtual Reality，VR)是近几年兴起的计算机技术。通过佩戴VR镜片设备来观看虚拟现实资源，使用户能够产生身临其境的感受。目前的VR装置主要基于三种平台：移动设备、PC和专用游戏设备(如PS)。现有的基于移动设备平台的VR设备，所呈现的虚拟现实元素(视频、图像)，都要借助运行在移动设备平台上的第三方软件(或VR厂商自研的软件，即VR软件)。为了在屏幕中呈现全景效果，这些第三方软件对其自身的图像进行了虚拟现实处理，使其能够应用于虚拟现实场景。进而再结合陀螺仪感知用户头部的转动，以显示应用于虚拟现实场景的图片，即给予用户身临其境的感觉。

用户使用时，首先在移动设备上打开与VR装置对接的VR软件，然后将移动设备放入VR装置中，用户佩带上与VR装置配套的VR镜片设备开始体验VR资源。其中，有些VR装置支持在将移动设备插到VR装置上的接口时，自动启动VR软件。当移动设备启动VR软件，运行VR软件，由于VR软件提供的图像资源均是应用于虚拟现实场景的图像，因而移动设备的屏幕上相应地呈现的该应用于虚拟现实场景的图像资源，则用户通过佩戴VR镜片设备能看到移动设备的屏幕呈现出的全景效果。

发明人在实施本发明的过程中，发现移动设备除了作为虚拟现实资源呈现的载体，其还包括很多其他的功能，例如语音通话和SNS社交网络通信。在使用移动设备运行VR软件，屏幕展示虚拟现实资源时，若有除了VR资源展示的系统事件发生，且这些系统事件会在移动设备上显示相应的图像信息时，其中，该图像信息是平面图像，用户透过VR镜片看到的这些图像信息将是非正常、扭曲、翻转的。例如用户在观看VR全景电影时，收到了来自微信的视频请求，则会在眼前呈现巨大的、横向的视频请求UI在眼前。因而，用户在体验VR过程中，移动设备发生系统事件并需要在屏幕上显示相应图像信息时，用户为了看清屏幕上显示的信息不得不摘下VR镜片设备再查看显示的图像信息，否则用户的视觉仍为VR视觉，无法看清显示的图像信息。

技术实现要素：

本发明实施例提出的一种图像数据处理的方法及装置，使得用户在体验VR过程中，在移动设备发生系统事件且需在屏幕上显示相应图像信息时，无需摘下VR镜片设备来查看屏幕显示的图像信息及实现对移动设备的操控。

本发明实施例提供的一种图像数据处理的方法，包括：

在运行虚拟现实应用时，实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景；

当所述待显示的图像数据不能应用于虚拟现实场景时，从所述图像数据缓冲区中提取所述待显示的图像数据，通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据；

将所述标准图像数据写入所述图像数据缓冲区，以使所述标准图像数据显示在屏幕中。

进一步地，所述实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景，包括：

实时读取写入到图像数据缓冲区的待显示的图像数据的标识；所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据；

根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。

进一步地，所述虚拟现实处理包括球面化处理，所述球面化处理具体为：

对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y)，根据球面化公式：计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py)；其中，R是预设的球面化曲率；

将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标，完成对所述待显示的图像数据的球面化处理。

进一步地，所述虚拟现实处理还包括沉浸化处理，所述沉浸化处理具体为：

将已完成球面化处理的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中；其中，所述背景图像的尺寸大于所述屏幕的显示尺寸。

进一步地，所述虚拟现实处理还包括分屏处理，所述分屏处理具体为：

获取用户的左眼球的左视角与右眼球的右视角间的视差；

复制已完成沉浸化处理的待显示的图像数据，获得左眼图像和右眼图像；

根据所述视差调整所述左眼图像和所述右眼图像的视差，以分屏显示左右眼图像。

进一步地，所述方法还包括：

在所述标准图像数据显示在屏幕之后，获取当前用户的视觉焦点坐标；

判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内；

若是，则判断所述视觉焦点是否满足预设的触发条件，所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令；

若满足所述触发条件，则将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标；

将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给操作系统。

相应地，本发明实施例还提供一种图像数据处理的装置，包括：

实时判断模块，用于在运行虚拟现实应用时，实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景；

图像转化处理模块，用于当所述待显示的图像数据不能应用于虚拟现实场景时，从所述图像数据缓冲区中提取所述待显示的图像数据，通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据；

图像数据显示模块，用于将所述标准图像数据写入所述图像数据缓冲区，以使所述标准图像数据显示在屏幕中。

进一步地，所述实时判断模块包括：

标识读取单元，用于实时读取写入到图像数据缓冲区的待显示的图像数据的标识；所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据；

标识判断单元，用于根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。

进一步地，所述虚拟现实处理包括球面化处理，所述球面化处理具体为：

对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y)，根据球面化公式：计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py)；其中，R是预设的球面化曲率；

将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标，完成对所述待显示的图像数据的球面化处理。

进一步地，所述虚拟现实处理还包括沉浸化处理，所述沉浸化处理具体为：

将完成球面化的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中；其中，所述背景图像的尺寸大于所述屏幕的显示尺寸。

进一步地，所述虚拟现实处理还包括分屏处理，所述分屏处理具体为：

获取用户的左眼球的左视角与右眼球的右视角间的视差；

复制已完成沉浸化处理的待显示的图像数据，获得左眼图像和右眼图像；

根据所述视差调整所述左眼图像和所述右眼图像的视差，以分屏显示左右眼图像。

进一步地，所述装置还包括：

焦点坐标接收模块，用于在所述标准图像数据显示在屏幕后，获取当前用户的视觉焦点坐标；

焦点坐标判断模块，用于判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内；

触发判断模块，用于当所述视觉焦点坐标位于所述范围内时，判断所述视觉焦点是否满足预设的触发条件，所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令；

坐标转化模块，用于当所述视觉焦点满足所述触发条件时，将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标；

操作信息发送模块，用于将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给所述移动设备的操作系统。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的图像数据处理的方法和装置，当移动设备判别到写入到图像数据缓冲区的图像数据为非VR图像数据时，将该图像数据转化成能应用于虚拟现实场景的标准图像数据，再将标准图像数据写入到图像数据缓冲区中进行相应的显示，从而，即使移动设备发生系统事件请求，移动设备的屏幕上显示的图像仍为VR图像，用户无需摘下VR镜片设备再查看显示的图像，即无需用户从VR视角转变成平面视角与操作系统进行交互，可以在VR视角下无缝地与操作系统进行交互。

附图说明

图1是本发明提供的图像数据处理的方法的一个实施例的流程示意图；

图2是本发明提供的图像数据处理的方法的球面化处理前的图像的示意图；

图3是本发明提供的图像数据处理的方法的球面化处理后的图像的俯视示意图；

图4是本发明提供的图像数据处理的方法的球面化处理前后的图像的侧视示意图；

图5是本发明提供的图像数据处理的方法的分屏处理后的图像的裸眼效果图；

图6是本发明提供的图像数据处理的方法的分屏处理后的图像的VR视角效果图；

图7是本发明提供的图像数据处理的装置的一个实施例的结构示意图；

图8是本发明提供的图像数据处理的装置的实时判断模块的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的图像数据处理的方法的一个实施例的流程示意图；本发明实施例提供的一种图像数据处理的方法，由移动设备执行，包括步骤S1至步骤S3，具体为：

S1，在移动设备运行虚拟现实应用时，实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景；

S2，当所述待显示的图像数据不能应用于虚拟现实场景时，从所述显卡数据缓冲区中提取所述待显示的图像数据，通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据；

S3，将所述标准图像数据写入所述图像数据缓冲区，以使图像处理器将所述标准图像数据显示在所述移动设备的屏幕中。

需要说明的是，用户基于移动设备体验VR的过程中，移动设备通过运行内置的虚拟现实应用模块，在屏幕上呈现VR图像，用户通过佩带VR镜片设备观看屏幕所呈现的VR图像，其中，此虚拟现实应用模块为软模块，例如VR软件。移动设备在屏幕上呈现VR图像过程具体为：由虚拟现实应用模块将VR图像数据(即能应用于虚拟现实场景的图像数据)放入到图像数据缓冲区(例如显卡缓存)中，以使图像处理器(例如显卡)从中将该VR图像数据对应的图像显示在屏幕中。在此过程中，移动设备有可能会出现系统事件，例如通话请求、微信视频请求等操作，移动设备控制虚拟现实应用模块暂停将VR图像数据放入到图像数据缓冲区中，与此同时，移动设备会将与上述请求相对应的待显示的图像数据写入到图像数据缓冲区中。因而，本发明实施例提供的方法，当移动设备判别到写入的图像数据缓冲区的图像数据为非VR图像数据(即不能应用于虚拟现实场景)时，将该图像数据转化成能应用于虚拟现实场景的标准图像数据，再将标准图像数据写入到图像数据缓冲区中进行相应的显示，从而，即使移动设备发生系统事件请求，移动设备的屏幕上显示的图像仍为VR图像，用户无需摘下VR镜片设备再查看显示的图像，即无需用户从VR视角转变成平面视角。

在本发明实施例中，上述步骤S1中的“实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景”，具体包括：

实时读取写入到图像数据缓冲区的待显示的图像数据的标识；所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据；

根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。

需要说明的是，为了区别于非VR图像数据，虚拟现实模块提供的VR图像数据都具有一个VR标识，而发生系统事件请求而提供的图像数据是并不是VR图像数据，不具有VR标识的，因而移动设备可以通过判断写入图像数据缓冲区的图像数据是否具有VR标识，进而判断该图像数据是否能应用于虚拟现实场景。除了这个方式外，还可以通过VR图像数据与非VR图像数据的特定区别特征进行判别。

在本发明实施例中，所述虚拟现实处理包括球面化处理，所述球面化处理具体为：

对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y)，根据球面化公式：计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py)；其中，R是预设的球面化曲率；

将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标，完成对所述待显示的图像数据的球面化处理。

参图2至图4，图2是本发明提供的图像数据处理的方法的球面化处理前的图像的示意图；图3是本发明提供的图像数据处理的方法的球面化处理后的图像的俯视示意图；图4是本发明提供的图像数据处理的方法的球面化处理后的图像的侧视示意图。

下面将结合图2、图3和图4描述对图像数据对应的图像中的一个像素点在经过球面化前后的坐标变化过程：

如图2所示，图像中的一个像素点的原始坐标为A(x,y)，将该图像进行球面化，即对该图像进行拉伸，拉伸方向为从屏幕里到屏幕外，如图3所示，以俯视的视角看该图像，拉伸后点A的位置变为A`(px,py)，而从侧面观看拉伸后图片，效果如图4所示，a`、a和O`分别为A`、A和O对应的球面上的点。假设球面半径为R，即球面化曲率，可以推算出以下：

图4中夹角α的值为：

原点O到A`的距离为：

OA`＝R*sin(α)；

OA`与OA两者的比例关系为：

OA`/OA＝px/x＝py/y；

最终结合上述三个公式计算出球面化后的坐标(px,py):

需要说明的是，R是预设的球面化曲率，由屏幕的尺寸和VR镜片设备的中镜片的凸透率决定的，可根据具体情况进行设置。

在本发明实施例中，所述虚拟现实处理还包括沉浸化处理，所述沉浸化处理具体为：

将已完成球面化处理的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中，进而完成对所述待显示的图像数据的沉浸化处理；其中，所述背景图像的尺寸大于所述移动设备的屏幕的显示尺寸。

需要说明的是，由于在虚拟现实应用场景当中，呈现在用户眼前的只是整个虚拟现实场景中的一部分，而当用户旋转视角时，看到该场景的其他部分时，也应为虚拟现实的图像，使用户一直沉浸于虚拟现实场景当中。因而，本发明实施例提供的沉浸化处理，可以使得用户在旋转视角，超出原图像区域后，不会看到一片黑或其他扭曲的图像，看到的仍为VR图像的场景，能为用户提供沉浸式的VR体验。

在本发明实施例中，所述虚拟现实处理还包括分屏处理，所述分屏处理具体为：

获取用户的左眼球的左视角与右眼球的右视角间的视差；

复制已完成沉浸化处理的待显示的图像数据，获得左眼图像和右眼图像；

根据所述视差调整所述左眼图像和所述右眼图像的视差，以分屏显示左右眼图像。

需要说明的是，由于在生成左眼图像和右眼图像时，还需要考虑用户的左眼球到左眼图像的左视角与右眼球到右眼图像的右视角两者间的视差，可通过用户佩戴的VR镜片设备中内置的传感器，例如光学传感器，获取用户的左眼球的左视角与右眼球的右视角间的视差，来进行调整。视差是指从有一定距离的两个点上观察同一个目标所产生的方向差异，而从目标看两个点之间的夹角，叫做这两个点的视差角。

参见图5和图6，图5是本发明提供的图像数据处理的方法的分屏处理后的图像的裸眼效果图；图6是本发明提供的图像数据处理的方法的分屏处理后的图像的VR视角效果图；

分屏处理的图像数据后在屏幕中呈现的图示如图5所示，而用户在佩戴上VR镜片设备后所看到的图示如图6所示。

进一步地，所述方法还包括：

在所述标准图像数据显示在所述移动设备的屏幕之后，获取当前用户的视觉焦点坐标；

判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内；

若是，则判断所述视觉焦点是否满足预设的触发条件，所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令；所述触发条件可以但不限于用户的视觉焦点在所述视觉焦点停留的预设时间、用户的的视觉焦点在所述视觉焦点停留时眨动眼睛的预设次数或转动眼球的操作，当满足触发条件即可发出触摸命令。

若满足所述触发条件，则将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标；

将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给所述移动设备的操作系统。

需要说明的是，视觉焦点坐标由用户佩戴的VR镜片设备检测的，具体可通过在VR镜片设备中设置陀螺仪，通过陀螺仪进行检测，也可通过在VR镜片设备中设置光学传感器，通过光学传感感进行检测。由于屏幕上呈现的图像为VR图像，则用户佩戴的VR镜片设备检测到的用户的视觉焦点坐标为以VR坐标系为准的坐标，因而在与操作系统进行交互时，需要将该视觉焦点坐标换算成屏幕坐标系对应的平面坐标，进而将该平面坐标对应的用户的触控屏幕的操作信息发送给操作系统进行处理。

本发明实施例提供的图像数据处理的方法，当移动设备判别到写入到图像数据缓冲区的图像数据为非VR图像数据时，将该图像数据转化成能应用于虚拟现实场景的标准图像数据，再将标准图像数据写入到图像数据缓冲区中进行相应的显示，从而，即使移动设备发生系统事件请求，移动设备的屏幕上显示的图像仍为VR图像，用户无需摘下VR镜片设备再查看显示的图像，即无需用户从VR视角转变成平面视角与操作系统进行交互，可以在VR视角下无缝地与操作系统进行交互。

参见图7，是本发明提供的图像数据处理的装置的一个实施例的结构示意图；该装置为软系统，设置在移动设备内，该图像数据处理的装置，包括：

实时判断模块10，用于在运行虚拟现实应用时，实时判断写入到图像数据缓冲区的待显示的图像数据是否能应用于虚拟现实场景；

图像转化处理模块20，用于当所述待显示的图像数据不能应用于虚拟现实场景时，从所述图像数据缓冲区中提取所述待显示的图像数据，通过虚拟现实处理将所述待显示的图像数据转化成能应用于虚拟现实场景的标准图像数据；

图像数据显示模块30，用于将所述标准图像数据写入所述图像数据缓冲区，以使所述标准图像数据显示在屏幕中。

进一步，参见图8，是本发明提供的图像数据处理的装置的实时判断模块的一个实施例的结构示意图；该实时判断模块10包括：

标识读取单元11，用于实时读取写入到图像数据缓冲区的待显示的图像数据的标识；所述标识用于表示所述待显示的图像数据是否是应用于虚拟现实场景显示的标准图像数据；

标识判断单元12，用于根据所述标识判断所述待显示的图像数据是否能应用于虚拟现实场景。

进一步地，所述虚拟现实处理包括球面化处理，所述球面化处理具体为：

对于所述待显示的图像数据中的每一个像素点的原始坐标(x,y)，根据球面化公式：计算出所述待显示的图像数据中的每一个像素点在球面化后的标准坐标(px,py)；其中，R是预设的球面化曲率；

将所述待显示的图像数据中的每一个像素点的原始坐标替换为该像素点的标准坐标，完成对所述待显示的图像数据的球面化处理。

进一步地，所述虚拟现实处理还包括沉浸化处理，所述沉浸化处理具体为：

将完成球面化的待显示的图像数据对应的图像添加在能应用于虚拟现实场景的背景图像中；其中，所述背景图像的尺寸大于所述屏幕的显示尺寸。

进一步地，所述虚拟现实处理还包括分屏处理，所述分屏处理具体为：

获取用户的左眼球的左视角与右眼球的右视角间的视差；

复制已完成沉浸化处理的待显示的图像数据，获得左眼图像和右眼图像；

根据所述视差调整所述左眼图像和所述右眼图像的视差，以分屏显示左右眼图像。

进一步地，所述装置还包括：

焦点坐标接收模块40，用于在所述标准图像数据显示在所述移动设备的屏幕后，获取当前用户的视觉焦点坐标；

焦点坐标判断模块50，用于判断所述视觉焦点坐标是否位于所述标准图像数据在屏幕中显示的范围内；

触发判断模块60，用于当所述视觉焦点坐标位于所述范围内时，判断所述视觉焦点是否满足预设的触发条件，所述触发条件用于表示用户发出对所述视觉焦点坐标的触摸命令；

坐标转化模块70，用于当所述视觉焦点满足所述触发条件时，将所述视觉焦点坐标转化成所述屏幕坐标系对应的平面坐标；

操作信息发送模块80，用于将与所述平面坐标对应的用户触控所述屏幕的操作信息发送给操作系统。

本发明实施例提供的图像数据处理的装置，当移动设备判别到写入到图像数据缓冲区的图像数据为非VR图像数据时，将该图像数据转化成能应用于虚拟现实场景的标准图像数据，再将标准图像数据写入到图像数据缓冲区中进行相应的显示，从而，即使移动设备发生系统事件请求，移动设备的屏幕上显示的图像仍为VR图像，用户无需摘下VR镜片设备再查看显示的图像，即无需用户从VR视角转变成平面视角与操作系统进行交互，可以在VR视角下无缝地与操作系统进行交互。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。