一种虚拟现实设备和虚拟现实图像处理方法
【专利摘要】本发明公开了一种虚拟现实设备和虚拟现实图像处理方法，利用虚拟现实设备的投射镜片组可以将目镜后的人眼图像投射到终端的前置摄像头，所以本发明的虚拟现实设备可以帮助移动终端的前置摄像头获取人眼图像，相对于现有技术中，在虚拟现实设备中另设摄像头采集人眼图像，将人眼图像传输给移动终端的方式，本发明的虚拟现实设备不必设置摄像头，能有效地节约生产成本，有利于虚拟现实设备的普及；其次，与本发明的虚拟现实设备结合使用能提高移动终端上的前置摄像头的利用率。本发明尤其适用于带有前置摄像头的移动终端。
【专利说明】
一种虚拟现实设备和虚拟现实图像处理方法
技术领域
[0001 ]本发明涉及虚拟现实技术领域，更具体地说，涉及一种虚拟现实设备和虚拟现实图像处理方法。
【背景技术】
[0002]近年来，随着虚拟现实技术的风靡，越来越多应用虚拟现实技术的产品出现，虚拟现实技术将人们从现实带到了虚拟世界。目前的虚拟现实技术的呈现，主要是体验者依靠全封闭的头戴型显示器观看电脑模拟产生的虚构世界的影像，并配有耳机、运动传感器或其他设备等，为其提供视觉、听觉、触觉等方面的感官体验，虚拟现实系统的整套设备可以根据体验者的反应做出反馈，使体验者达到身临其境的感觉。
[0003]作为应用了虚拟现实技术的VR(VirtualReality，虚拟现实)头戴设备受到了消费者尤其是科技迷的广泛关注和追捧。目前，市面上的虚拟现实设备大多需要同终端配合使用，将安放在头戴设备中的终端作为VR头戴设备的显示屏。终端需要对显示画面进行虚拟现实图像处理，将二维的平面画面转变为虚拟的立体画面。在转变的过程中，为了使虚拟画面更真实，终端需要对播放的画面进行图像渲染，但是全渲染要求的运算资源十分高，观看全渲染图像的代价是帧率下降，延时提高，带来卡顿等不良的视觉感受。对此，可以采取局部渲染的方式降低对运算资源的要求，只对用户观看的部分进行渲染即可。可以采取人眼追踪的方式捕捉人眼的转动，来确定局部渲染的位置。现有技术中，一般是在VR头戴设备设置独立的光学或红外摄像头，利用这些摄像头直接拍摄人眼的画面，完成对人眼运动轨迹的捕捉，很明显，采用设置独立的摄像头的方式会增加头戴设备的成本，除此之外，现有技术中，不是在头戴设备的任意位置都能设置摄像头的，该光学或红外摄像头需要设置于VR头戴设备的目镜周围，或是设置于VR头戴设备上其他可以直接拍摄到人眼画面的位置上才能完成对人眼运动轨迹的捕捉，所以现有技术对摄像头的设置位置有要求，这在一定程度上会限制VR头戴设备的结构。
【发明内容】
[0004]本发明要解决的技术问题在于现有技术中，在虚拟现实设备中单独设置摄像头带来的虚拟现实设备成本增加、摄像头设置位置有限制的问题，提供一种虚拟现实设备和虚拟现实图像处理方法。
[0005]为解决上述技术问题，本发明提供一种虚拟现实设备，该虚拟现实设备包括:投射镜片组、目镜和本体，本体具有固设移动终端的固定部，移动终端带有前置摄像头;投射镜片组和目镜安装在本体内；投射镜片组将目镜后的人眼图像投射到前置摄像头。
[0006]可选的，投射镜片组用于通过反射镜片的反射机制和/或透镜的折射机制，将人眼图像投射到前置摄像头。
[0007]可选的，投射镜片组包括至少两级反射镜组，每一级反射镜组包括至少一个反射镜片；目镜后的人眼图像通过至少两级反射后，投射到前置摄像头。
[0008]可选的，投射镜片组包括；两级反射镜组，第一级反射镜组包括两个一级反射镜片，第二级反射镜组包括一个二级反射镜片，两个一级反射镜片分别对应两个目镜，并将目镜后的人眼图像反射到二级反射镜片上;二级反射镜片将两个人眼图像同时反射至前置摄像头。
[0009]可选的，一级反射镜片为单透镜镜片，设置在目镜与移动终端的屏幕之间；
[0010]或一级反射镜片为非单透镜镜片，设置在目镜的视场边缘。
[0011 ]可选的，还包括:聚焦镜组，聚焦镜组位于前置摄像头前，用于将投射镜片组投射的人眼图像进行聚焦成像处理后投射到前置摄像头。
[0012]可选的，还包括位置调整机构，位置调整机构对聚焦镜组进行位置调整，使其与前置摄像头的位置对应。
[0013]为解决上述的技术问题，本发明还提供一种虚拟现实图像处理方法，包括:
[0014]利用投射镜片组将目镜后的人眼图像投射到移动终端的前置摄像头；
[0015]移动终端利用前置摄像头获取人眼图像；
[0016]移动终端根据获取的人眼图像确定人眼的观察区域，对人眼观察区域的显示画面的进行预设的图像处理。
[0017]可选的，利用投射镜片组将目镜后的人眼图像投射到移动终端的前置摄像头包括:利用两个一级反射镜片，将各自对应的目镜后的人眼图像反射至一个二级反射镜片，二级反射镜片将两人眼图像反射至前置摄像头。
[0018]可选的，还包括，将投射镜片组投射的人眼图像进行聚焦处理后投射到前置摄像头。
[0019]本发明提供了一种虚拟现实设备和虚拟现实图像处理方法，利用虚拟现实设备的投射镜片组可以将目镜后的人眼图像投射到终端的前置摄像头，所以本发明的虚拟现实设备可以帮助移动终端的前置摄像头获取人眼图像，相对于现有技术中，在虚拟现实设备中另设摄像头采集人眼图像，将人眼图像传输给移动终端的方式，本发明的虚拟现实设备不必设置摄像头，能有效地节约生产成本有利于虚拟现实设备的普及;其次，本实施例的虚拟现实设备还能提高移动终端上的前置摄像头的利用率。
【附图说明】
[0020]下面将结合附图及实施例对本发明作进一步说明，附图中:
[0021]图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图；
[0022]图2为本发明第一实施例提供的一种虚拟现实设备的结构示意图；
[0023]图3为本发明第二实施例提供的一种虚拟现实设备的结构示意图；
[0024]图4是使用图3中的虚拟现实设备时，人眼图像的光路示意图；
[0025]图5为本发明第三实施例提供的一种虚拟现实图像处理方法的流程图；
[0026]图6为本发明第四实施例提供的一种虚拟现实图像处理方法的流程图。
【具体实施方式】
[0027]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0028]现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
[0029]移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)等等的可以具有显示功能和前置摄像头的移动终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
[0030]图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图。
[0031]移动终端100可以包括相机110、用户输入单元120、输出单元130、接口单元140、存储器140、控制器150和电源单元160等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
[0032]相机110可以包括多个摄像头，根据其在移动终端的位置，可以分为前置摄像头和后置摄像头，在本发明中使用的前置摄像头可以由相机110的前置摄像头实现。该前置摄像头与移动终端的屏幕位于同一侧，可以实现对正对显示屏幕的拍摄区域内的图像的捕捉，相机110对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元131上。经相机110处理后的图像帧可以存储在存储器140(或其它存储介质)中。
[0033]用户输入单元120可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元120允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元131上时，可以形成触摸屏，在本发明中，用户可以利用用户输入单元120开启终端的前置摄像头，使其在播放视频的过程中一直处于开启状态，便于获取人眼图像确定人眼的观察区域，在本发明中，还用户还可以通过用户输入单元120设置摄像头获取人眼图像的频率控制摄像头按照预设的获取频率拍摄人眼图像。
[0034]输出单元130被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号等等)。输出单元130可以包括显示单元131、音频输出模块132等等。
[0035]显示单元131可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元131可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元131可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等，在本发明中，显示单元131可以用于显示经过虚拟现实图像处理后的画面。
[0036]同时，当显示单元131和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元131可以用作输入装置和输出装置。显示单元131可以包括液晶显示器(LCD)、薄膜晶体管IXD(TFT-1XD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元131(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
[0037]音频输出模块132可以将显示单元131显示的视频对应的音频同步输出，音频输出模块132可以包括扬声器、蜂鸣器等等。
[0038]存储器140可以存储由控制器150执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。在本发明中，存储器140可以存储显示单元131显示的视频文件和控制器150调用的人眼追踪的算法软件等等。
[0039]存储器140可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(R0M)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器140的存储功能的网络存储装置协作。
[0040]控制器150通常控制移动终端的总体操作。例如，控制器150执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器150可以包括用于再现(或回放)多媒体数据的多媒体模块151，多媒体模块151可以构造在控制器150内，或者可以构造为与控制器150分离。控制器150可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像，在本发明中，可以利用控制器150控制显示单元131播放视频，本发明的移动终端上可以内置一人眼追踪的算法软件，根据人眼图像计算人眼的观察区域，该控制器150可以用于运行该人眼追踪的算法软件。
[0041 ]电源单元160在控制器150的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
[0042]这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器150中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器140中并且由控制器150执行。
[0043]至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
[0044]本发明提出一种虚拟现实设备和虚拟现实图像处理方法，该虚拟现实设备包括:投射镜片组、目镜和本体，本体具有固设移动终端的固定部，移动终端带有前置摄像头;投射镜片组和目镜安装在本体内；投射镜片组将目镜后的人眼图像投射到前置摄像头。
[0045]以下通过具体实施例进行详细说明。
[0046]第一实施例:
[0047]参照图2，图2为本发明第一实施例提供的虚拟现实设备的结构示意图。
[0048]本实施例中的虚拟现实设备2包括:投射镜片组21、目镜22和本体23，本体23具有固设移动终端24的固定部，移动终端24带有前置摄像头241;投射镜片组21和目镜22安装在本体23内；投射镜片组21将目镜22后的人眼图像投射到前置摄像头241。
[0049]在本实施例中，虚拟现实设备2可以是手持设备、也可以是头戴设备，对此，本实施例没有任何限制，但是考虑到使用的方便性，本实施例的虚拟现实设备可以设置为头戴设备，在本体23上可以设置弹性的固定带，将虚拟现实设备固定到用户的头部。进一步地，弹性固定带可以设置为可调节的结构，便于用户根据自身情况进行调节，避免出现压迫鼻梁等不良体验。
[0050]本体23上的固定部的设置是为了便于移动终端的安装，该固定部可以设置为安装槽，用来安装移动终端24;考虑到市面上的移动终端的型号不一，大小不尽相同，为了尽可能多地适配不同型号的手机，在安装槽上，还可以设置卡位件，便于将不同型号的终端卡在安装槽内。卡位件的结构可以参考自拍杆上的卡位结构，设置为至少一端可拉伸的卡位夹。此外，固定部也可以设置为夹具，将移动终端24夹在本体23上，除了安装槽和夹具外，本实施例的固定部可以采用其他可固定的结构将移动终端固定到本体23上，本实施例对此不作任何限制。
[0051 ]在本实施例中，本体23上的目镜22，与固定在本体23上的移动终端24的屏幕相对，用户可以通过本体23上的两个目镜22观看移动终端显示的画面。
[0052]当用户的眼球随着终端显示画面的变化而转动时，用户的人眼图像也随之变化。所以可以通过人眼图像来确定人眼的观察区域。
[0053]而终端为了节约运算资源，需要对终端的显示画面进行局部渲染，这里的局部包括用户的观察区域。现有技术中，为了知道移动终端上用户的观察区域，一般是在虚拟现实设备上另设摄像头来捕捉人眼轨迹，确定人眼观察方向、观察区域。
[0054]在本实施例中，为了降低虚拟现实设备的生产成本，利用了固设于本体23的移动终端24上现有的前置摄像头，来拍摄人眼图像。之后，终端可以利用该人眼图像和现有的人眼追踪的算法软件，确定用户在移动终端上的观察区域，然后只对观察区域的显示画面进行渲染等处理，实现局部渲染的目的。
[0055]为了使前置摄像头不受其位置的限定，能成功拍摄到人眼图像，需要具有能将人眼图像传输到前置摄像头的功能的构件，在本实施例中，投射镜片组21具有该功能，本实施例的投射镜片组由多个镜片组成，可以利用光的传输机制，将目镜22后的人眼图像投射到移动终端24的前置摄像头241。可以想到的是，光的传输机制包括折射、反射等，本实施例的投射镜片组21可以利用反射镜片的反射机制和/或透镜的折射机制，将人眼图像投射到前置摄像头。
[°°56]现有的移动终端上，前置摄像头241设置在移动终端24的上部，而移动终端24在虚拟现实设备中使用时是处于横放状态，所以前置摄像头241 —般会靠近本体23内部左侧的壳体或是右侧的壳体。鉴于此，在设置投射镜片组21的时候，可以将投射镜片组中的一部分镜片设置在本体23内靠近壳体的位置，这一部分镜片可以是人眼图像投射到前置摄像头的过程中，经过的最后一部分镜片。
[0057]可以理解的是，为了将人眼图像投射到前置摄像头241，前置摄像头241和投射镜片组21之间能进行光线的无障碍传输，可以通过对本体的结构设置实现该目的。例如，当固定部为安装槽时，在本体23的安装槽上靠近壳体的位置设置对应于移动终端的前置摄像头241的镂空部，避免前置摄像头241被遮挡。对应的，将投射镜片组21上人眼图像最后经过的一部分镜片安装在靠近本体上正对镂空部的位置，便于该投射镜片组21将人眼图像投射到前置摄像头，当固定部为其他结构时，也可以采用类似的结构，使投射镜片组21与前置摄像头241之间的空间连通。。
[0058]当投射镜片组21将人眼图像投射到前置摄像头241之后，前置摄像头241采用直接拍摄的方式获取人眼图像，然后，人眼图像可以被传输至移动终端上处理该人眼图像的模块进行处理。
[0059]考虑到如果前置摄像头241拍摄人眼图像的频率过高，移动终端24需要频繁对大量的人眼图像进行处理和计算，无疑会对移动终端的运算资源有较高的需求。而在某些应用场景下，当用户的眼球转动没有那么频繁时，即用户的观察区域变化不大的时候，前置摄像头241拍摄人眼图像的频率过高，会给移动终端24造成极大的资源浪费。鉴于此，本实施例中，用户可以根据实际的需求，在移动终端24上设置前置摄像头241拍摄人眼图像的拍摄频率，控制前置摄像头241按照该频率进行拍摄，实际中，用户可以通过图1中的用户输入单元120对拍摄频率进行设置。当然，除此之外，移动终端24也可以根据用户的观察区域的变化情况，自主选择不同的拍摄频率，控制前置摄像头241的拍摄。
[0060]本实施例的移动终端24可以内置人眼追踪的算法软件，根据该算法软件和前置摄像头拍摄的人眼图像进行计算，确定用户当前观察到的区域在移动终端24的显示屏的具体位置。在现有技术中，对于人眼视线方向估计算法，已经比较成熟，人眼视线方向是一个人观察物体的方向，可以表征为连接眼球中心和虹膜中心的直线方向。在本实施例中，人眼视线方向可以用来反应用户的观察区域，所以在本实施例中，可以利用现有的人眼视线估计算法，对前置摄像头拍摄的人眼图像进行处理，确定人眼实现方向，也即确定人眼观察区域，其中，人眼视线估计算法可以基于单目图像估计人眼视线方向，或基于双目图像估计人眼视线方向。基于单目图像和双目图像的算法，都可以根据眼睛的虹膜轮廓，有效地估算出人眼视线方向，确定人眼观察区域。
[0061]本实施例的虚拟现实设备，能利用设置在本体上的投射镜片组，将目镜后的人眼图像投射到移动终端的前置摄像头，以便移动终端的前置摄像头直接拍摄到人眼图像，使得移动终端能够利用该人眼图像确定人眼的观察区域，最终实现显示画面的局部处理。相对于现有技术中，在虚拟现实设备中另设摄像头获取人眼图像，传输给终端用来确定人眼观察区域，本实施例的虚拟现实设备不仅可以帮助移动终端上的前置摄像头采集人眼图像，实现前置摄像头的重复利用，还能具有生产成本更低的优点。
[0062]此外，本实施例的虚拟现实设备与现有的移动终端结合使用，移动终端可以实现显示画面的局部处理，极大地降低移动终端需要的运算资源，保证显示画面的流畅性，带给用户良好的体验，所以，本实施例的虚拟现实设备与移动终端配合使用，在保证终端显示画面的流畅度和画面质感，提高用户的体验的同时，又能降低达到这些效果的成本，增强了本实施例的虚拟现实设备的实用性，有利于虚拟现实设备的普及。
[0063]第二实施例:
[0064]参照图3，图3为本发明第二实施例提供的虚拟现实设备的结构示意图。
[0065]本实施例的虚拟现实设备2包括::投射镜片组21、目镜22和本体23，本体23具有固设移动终端24的固定部，移动终端24带有前置摄像头241;投射镜片组21和目镜22安装在本体23内；投射镜片组21将目镜22后的人眼图像投射到前置摄像头241。
[0066]本实施例的移动终端24的类型包括但不限于手机、平板电脑等设备，且本实施例对设备的型号和大小没有任何限制。
[0067]在本实施例中，本体23上的固定部可以采用安装槽或夹具来实现，对于安装槽和夹具，在实施例一中有详细说明，这里不再赘述。
[0068]在本实施例中，本体23上的目镜22，与固定在本体23上的移动终端24的屏幕相对，用户可以通过本体23上的两个目镜22观看移动终端的显示画面。
[0069]当用户的眼球随着移动终端的显示画面的变化而转动时，用户的人眼图像也随之变化。所以可以通过人眼图像来确定人眼的观察区域。移动终端对显示画面的全画面处理明显会占用较多的运算资源，为了节约资源，可以只对用户当前观察到的显示画面进行处理，即采用显示画面局部处理的方式。由此，获取当前用户在移动终端上的观察区域，是进行局部处理的基础。现有技术中，为了在使用虚拟现实设备时，确定移动终端上用户的观察区域，一般需要在虚拟现实设备上另设摄像头获取人眼图像，将人眼图像传给移动终端，由移动终端根据人眼图像确定人眼观察方向、观察区域。
[0070]在本实施例中，为了降低虚拟现实设备的生产成本，利用了固设于本体23的移动终端24的前置摄像头拍摄人眼图像，之后，终端可以利用该人眼图像和现有的人眼追踪的算法软件，确定用户在移动终端上的观察区域，然后只对观察区域的显示画面进行渲染等处理，实现局部渲染的目的。
[0071]为了使前置摄像头不受其位置的限定，能成功拍摄到人眼图像，需要具有能将人眼图像传输到前置摄像头的功能的构件，在本实施例中，投射镜片组21具有该功能，本实施例的投射镜片组由多个镜片组成，可以利用光的传输机制，将目镜22后的人眼图像投射到终端的前置摄像头。可以想到的是，光的传输机制包括折射、反射等，本实施例的投射镜片组包括反射镜片、透镜等，投射镜片组可以利用反射镜片对光的反射机制和/或透镜的对光的折射机制，将目镜22后的人眼图像投射到前置摄像头241。采用透镜对光的折射机制时，投射镜片组可以由多个透镜组成，通过多次折射，将人眼图像投射到前置摄像头。
[0072]可以想到的是，考虑到前置摄像头241与目镜22的距离等因素，为了将人眼图像投射到前置摄像头，投射镜片组可以利用光的反射原理，将人眼图像经过至少两次反射，投射到前置摄像头241。可选的，投射镜片组21包括至少两级反射镜组，每一级反射镜组包括至少一个反射镜片，该至少两级反射镜片可以对目镜后的人眼图像进行至少两级的反射，也即目镜后的人眼图像通过至少两级反射后，投射到前置摄像头241。
[0073]在该至少两级反射镜组中，有一级反射镜组可以直接反射目镜后的人眼图像，其他级的反射镜组反射的人眼图像都是这一级反射镜组反射之后的人眼图像。在实际确定人眼观察区域时，根据一个人眼图像也能得到出人眼的观察区域，所以上述的投射镜片组21投射的人眼图像可以是一只眼睛的人眼图像，也可以是双眼的人眼图像，当只采用单眼人眼图像确定人眼的观察区域时，投射镜片组21中，能直接反射目镜后的人眼图像的一级反射镜组可以只包括一个反射镜片，用来反射一只眼睛的人眼图像；当采用双眼人眼图像确定人眼的观察区域时，投射镜片组21中，能直接反射目镜后的人眼图像的一级反射镜组可以只包括两个反射镜片，每个反射镜片用来反射一只眼睛的人眼图像。考虑到根据双眼人眼图像能更准确地判断人眼观察区域，本实施例的投射镜片组21可以设置为反射双眼人眼图像的结构。
[0074]投射镜片组21的反射镜组的级数越多，人眼图像的反射次数就越多，投射镜片组21的结构也越复杂。考虑到两级镜片组已经能实现将人眼图像投射到前置摄像头241，可选的，本实施例的投射镜片组21包括两级反射镜组-第一级反射镜组211和第二级反射镜组212，第一级反射镜组211包括两个一级反射镜片，第二级反射镜组212包括一个二级反射镜片，两个一级反射镜片分别对应两个目镜，并将目镜后的人眼图像反射到二级反射镜片上，二级反射镜片将两个人眼图像同时反射至前置摄像头。
[0075]可以想到的是，本实施例的第一级反射镜组211是直接将目镜后的人眼图像反射给第二级反射镜组212，所以第一级反射镜组211必定设置在虚拟现实设备的本体23内部能直接反射人眼光线的位置，第二级反射镜组212的作用是将人眼图像进行二次反射，反射到前置摄像头241。考虑到移动终端24在虚拟现实设备2中处于横放状态，其前置摄像头241会靠近虚拟现实设备内部的外壳，可以将第二级反射镜组212设置在本体23内的靠近外壳的位置。
[0076]在本实施例中，当第一级反射镜组211反射的两个人眼图像，在第二级反射镜组212上重叠时，两个人眼图像之间会相互干扰，导致移动终端不能获取清晰的人眼图像，无法确定人眼观察区域。所以，在安装第一级反射镜组211中的两个反射镜片在时，安装的标准以两个反射镜的反射路径不重叠为准。
[0077]为了便于叙述，这里将两个一级反射镜片取名为第一反射镜2111与第二反射镜2112。在本实施例中，第一反射镜2111与第二反射镜2112在本体23中的固定方式可以选择活动连接的方式，例如通过滑槽，螺丝，或通过嵌套的方式固定在本体23中。在对第一反射镜2111与第二反射镜2112进行光学设计的时候，可以通过结构件嵌套、或调节固定螺丝等方式确保第一反射镜2111反射的人眼图像与第二反射镜2112反射的人眼图像在二级反射镜片上互不重叠。
[0078]下面对第一级反射镜组211包含两个一级反射镜片的结构设置进行说明。
[0079]第一级反射镜组211包括两个一级反射镜片(第一反射镜2111与第二反射镜2112)，当一级反射镜片的材料不同时，其设置方式可能也会跟着变化。
[0080]—级反射镜片可以是单透镜镜片，设置在目镜与移动终端的屏幕之间，即第一反射镜2111与第二反射镜2112的材料可以是单透玻璃，参见图4，第一反射镜2111与第二反射镜2112分别设置在虚拟现实设备的不同目镜与移动终端的屏幕之间。
[0081]单透玻璃的特质是对于双方入射的光线，较强一方直接通过，呈现为透明；较弱一方进行反射，呈现为反射镜面。当用户戴好虚拟现实设备后，移动终端的屏幕射出的光线，比从人眼处入射的光线强，单透玻璃可呈现为透明并让其直接通过，因此人眼可观察到移动终端屏幕的画面，不受单透玻璃的干扰。而从人眼处的入射光线，对于单透玻璃来说，与虚拟现实设备的屏幕发射出的光线相比是较弱的光线，因此单透玻璃呈现为反射镜面，直接进行反射。因此用户的观看效果不会受到影响，而人眼的图像得以反射。本实施例中，第一反射镜与第二反射镜的镀膜面与人眼是相对的。
[0082]参见图4，第一反射镜2111设置在终端屏幕与虚拟现实设备的左侧目镜之间的位置上，第二反射镜2112设置在终端屏幕与虚拟现实设备的右侧目镜之间的位置上。其中，第一反射镜2111和第二反射镜2112的对于人眼光线的反射方向一致。同时，考虑到人眼图像需要经过第一反射镜2111与第二反射镜2112的第一次反射。以及二级反射镜片的第二次反射，为了防止反射过程中因为反射镜不平行导致的人眼图像的变形，可以考虑将第一反射镜2111、第二反射镜2112以及二级反射镜片设置为相互平行的状态。考虑到反射人眼图像的一级反射镜片与目镜之间的相对位置，对于两个一级反射镜片反射的人眼图像在二级反射镜上的大小和位置等有影响，为了保证第一反射镜2111、第二反射镜2112分别反射的两只眼睛的人眼图像的大小和位置等相对差异较小，可以将第一反射镜2111与第二反射镜2112分别设置在两个目镜的同一侧，例如，参见图4，将第一反射镜2111设置在一个目镜的右侧，将第二反射镜2112也设置在另一个目镜的右侧。
[0083]参见图4，为了避免第一反射镜2111与第二反射镜2112反射的人眼图像在二级反射镜片上有重叠，可以使第一反射镜2111的下边缘高于第二反射镜2112的上边缘，或是使第一反射镜2111的上边缘低于第二反射镜的下边缘，使得靠近二级反射镜片的反射镜在竖直方向上，不会对另一反射镜出现遮挡。
[0084]在本实施例中，两个一级反射镜片也可以采用非单透镜镜片，即第一反射镜2111和第二反射镜2112为非单透镜镜片。此时，第一反射镜2111和第二反射镜2112设置的位置也会有变化，第一反射镜2111和第二反射镜2112需要分别设置在虚拟现实设备的不同目镜的视场边缘。可选的，可以设置在目镜的视场边缘5°附近，本实施例的5°只是用于示例，并不限制本实施例的第一反射镜2111与第二反射镜2112的具体设置位置。
[0085]第一反射镜2111与第二反射镜2112采用非单透镜镜片时，虽然会让使用虚拟现实设备的用户在仔细观察时能发现非单透镜镜片反射的图像，但是由于第一反射镜2111与第二反射镜2112距离视场中心较远，屏幕光线的色散和畸变情况较为严重，加上其上的反射图像对视场角的占比不大，所以用户不容易觉察，也不影响用户的使用虚拟现实设备体验效果。
[0086]考虑到虚拟显示设备的重量和体积会对用户的使用感有直接影响，为了降低第二级反射镜组212的重量和其所占的空间体积，可以使二级反射镜片的面积应等于第一反射镜2111与第二反射镜2112的面积之和。参见图4，在进行光学设计时，可通过结构件嵌套、调节固定螺丝等方式确保第一反射镜2111的反射画面出现在第二级反射镜组212的反射镜片的左侧，面积占比为50%;第二反射镜2112的反射画面出现在第二级反射镜组212的反射镜片的右侧，面积占比为50%，且确保两个反射画面相互之间不会重叠，相加后刚好覆盖满二级反射镜片的镜面。
[0087]当然，本实施例也可以只根据单眼人眼图像确定人眼观察区域，此时，投射镜组21只需要投射单眼人眼图像即可，第一级反射镜组211可以只包括第一反射镜2111和第二反射镜2112中的任意一个，其材料选择和设置方式参考上述根据双眼人眼图像确定人眼观察区域为例，对第一反射镜2111和第二反射镜2112的说明，将单透镜材料的一个一级反射镜片设置在任一目镜与虚拟现实设备的屏幕之间，将非单透镜材料制成的一个一级反射镜片设置在任一目镜的视场边缘。
[0088]由于现有的反射材料的限制，本实施例的人眼图像在经过每一次反射时，都会有一部分光线发生漫反射，可能导致前置摄像头获取的人眼图像效果不理想，为了前置摄像头获取的人眼图像更清晰，本实施例的虚拟现实设备还可以包括聚焦镜组25，聚焦镜组25位于前置摄像头241前，用于将投射镜片组21投射的人眼图像进行聚焦成像处理后投射到前置摄像头241。
[0089]在本实施例中，聚焦镜组25可以设置在前置摄像头241与第二级反射镜组212之间，对第二级反射镜组212反射的人眼图像进行聚焦成像处理后投射到前置摄像头241。
[0090]其中，聚焦镜组25可以是由不同数量和不同光学参数的凸透镜和凹透镜组成。比较好的组成标准是，聚焦镜组25投射到前置摄像头241的像是正立放大的虚像。当然，除此之外，本实施例的聚焦镜组25成的像也可以是其他类型的清晰完整的图像，例如，倒立的图像等等，本实施例对比不作任何限制。
[0091]下面以单透镜制成的第一反射镜2111和第二反射镜2112为例，介绍本实施例如何利用虚拟现实设备将人眼图像投射到移动终端的前置摄像头241。
[0092]参考图4，图4是利用本实施例的虚拟现实设备反射人眼图像时，人眼图像的光路示意图，图中的第一反射镜2111和第二反射镜2112分别设置在虚拟现实设备的不同目镜22与移动终端屏幕242之间，根据上述对单透镜的介绍，可以得到，从移动终端的屏幕242发出的光可以直接通过第一反射镜2111和第二反射镜2112，此时两个反射镜对人眼体验虚拟现实设备没有影响。
[0093]在图4中，光路A和光路B分别是第一反射镜2111和第二反射镜2112反射的人眼光线的传输路径，可以很清楚地了解到，第一反射镜2111和第二反射镜2112反射的人眼光线是没有重叠的。图4中，第二级反射镜组212设置在聚焦镜组25后方，聚焦镜组25与前置摄像头241相对。从人眼入射的光线经过第一反射镜2111和第二反射镜2112的反射，传输到第二级反射镜组212的二级反射镜片上，二级反射镜片反射的光线经过聚焦镜组25的聚焦后边投射到前置摄像头241。
[0094]在本实施例中，移动终端24的大小、型号的不同，可能导致其前置摄像头241的位置不同。为了保证前置摄像头241始终能获取到人眼图像，本实施例的虚拟现实设备2还包括位置调整机构，该位置调整机构可以用来对聚焦镜组25进行位置调整，使其与前置摄像头241的位置对应，便于前置摄像头241获取清晰的人眼图像。使得本实施例的虚拟现实设备2可匹配各类前置摄像头241位置不同的终端机型，使市面上已经在售的移动终端均可获得性能提升，从而达到用户体验更优，沉浸感更佳的效果。
[0095]其中，位置调整机构可以是手动调节的机械装置，通过机械联动的方式控制聚焦镜组25的转动。对应的，位置调整机构的结构，包括但不限于与聚焦镜组25连接的旋钮或连杆等等，用户通过操作旋钮或连杆可以控制聚焦镜组25的转动。另外，本实施例的位置调整机构也可以是自动调节的机械装置，例如，该机械装置可以通过感应模块确定前置摄像头241的位置，然后自动控制位置调整机构向正对前置摄像头241的方向转动，为了更快地确定前置摄像头的位置，感应模块可以设置为一对可以互相感应的射频模块，在将移动终端固定在本体23的固定部上时，将一个射频模块放置于移动终端24上的前置摄像头241附近，另一个射频模块安装在位置调整机构上，利用两个射频模块的感应，位置调整机构可以快速地确定前置摄像头241的位置，自动控制聚焦镜组25向正对前置摄像头241的方向转动。
[0096]在移动终端24中还可以设置相应的VR工作状态，当用户打开VR应用列表中的应用程序时，系统即转换工作模式为VR工作状态，同时开启前置摄像头进行用户人眼图像的捕捉。
[0097]本实施例的虚拟现实设备，可以帮助终端利用前置摄像头拍摄投射镜片组投射到该前置摄像头的人眼图像，相对于现有技术中，在虚拟现实设备中另设摄像头采集人眼图像，将人眼图像传输给移动终端的方式，本实施例的虚拟现实设备不必设置摄像头，其生产成本自然得到了节约，有利于虚拟现实设备的普及;其次，本实施例的虚拟现实设备还能提高了移动终端的前置摄像头的利用率。
[0098]进一步地，第一反射镜组采用单透镜镜片，能清晰地反射人眼图像，保证人眼观察区域确定的准确性，同时，还能降低反射镜的使用对用户使用虚拟现实设备观看视频带来的干扰，提高了用户的视觉享受。
[0099]进一步地，聚焦镜组的使用能对多次反射的人眼图像进行聚焦，使得前置摄像头拍摄的人眼图像更清晰，提高人眼观察区域确定的准确性。
[0100]进一步地，位置调整机构的设置，使得聚焦镜组的位置可以随着前置摄像头的位置的变化而变化，使得本实施例的虚拟现实设备可以适配多种不同型号的终端，极大地提高了本实施例的虚拟现实设备的实用性和与移动终端适配度。
[0101]第三实施例:
[0102]参照图5，图5为本发明第三实施例提供的虚拟现实图像处理方法的流程图，本实施例的虚拟现实图像处理方法，可以利用第一实施例或二实施例提供的虚拟现实设备结合现有的带有前置摄像头的移动终端完成的，关于该虚拟现实设备的结构设置，可以参见第一实施例或第二实施例的描述。本实施例的虚拟现实图像处理方法包括:
[0103]S501、利用投射镜片组将目镜后的人眼图像投射到移动终端的前置摄像头；
[0104]S502、移动终端利用前置摄像头获取人眼图像；
[0105]S503、移动终端根据获取的人眼图像确定人眼的观察区域，对人眼观察区域的显示画面的进行预设的图像处理。
[0106]在S501中的投射镜片组中的一部分镜片可以设置在正对前置摄像头的位置，便于前置摄像头获取该部分镜片投射的人眼图像。其中，投射镜片组可以利用光的折射、反射等传输机制将人眼图像投射到前置摄像头。
[0107]在步骤S502中，如果前置摄像头获取人眼图像的频率过高，步骤S503中移动终端需要频繁进行计算，这需要占用终端较大的运算资源。所以在虚拟现实设备的某些使用场景下，当用户的眼球转动频率较低或幅度较小，即用户的观察区域在一定时间内变化不大的时候，前置摄像头不间断拍摄人眼图像会导致极大的运算资源的浪费。所以，本实施例中步骤S502可以是用前置摄像头按照预设的拍摄频率拍摄人眼图像。可选的，用户可以利用终端设置前置摄像头拍摄人眼图像的频率，控制摄像头按照该频率进行拍摄。
[0108]可以想到的是，在前置摄像头拍摄人眼图像后，人眼图像会被发送给移动终端上处理该人眼图像的模块或单元。然后步骤S503中，移动终端可以根据内置人眼追踪的算法软件和前置摄像头拍摄的人眼图像进行计算，确定当前用户在移动终端上的观察区域。
[0109]在现有技术中，对于人眼视线方向估计算法，已经比较成熟，人眼视线方向的定义为连接眼球中心和虹膜中心的直线方向，也即人眼视线方向是一个人观察物体的方向，在本实施例中，它可以用来反应用户的观察区域，所以在本实施例中，可以利用现有的人眼视线估计算法，对前置摄像头拍摄的人眼图像进行处理，确定人眼实现方向，也即确定人眼观察区域，其中，人眼视线估计算法可以基于单目图像估计人眼视线方向、以及基于双目图像估计人眼视线方向。基于双目图像的算法，可以根据双眼的虹膜轮廓，有效地估算出人眼视线方向，确定人眼观察区域。
[0110]步骤S503中，确定人眼观察区域后，对人眼观察区域的显示画面进行的预设的图像处理包括:对人眼观察区域的显示画面进行渲染。
[0111]考虑到根据双眼的人眼图像确定的人眼观察区域更准确，本实施例的步骤S511中，将人眼图像投射到前置摄像头的方法包括:利用两个一级反射镜片，将各自对应的目镜后的人眼图像反射至一个二级反射镜片，二级反射镜片将两人眼图像反射至前置摄像头。
[0112]—级反射镜片和二级反射镜片的设置可以参考第二实施例的描述，这里不再赘述。
[0113]由于现有的反射材料的限制，人眼图像在经过一级反射镜片和二级反射镜片反射时，会有一部分光线发生漫反射，导致前置摄像头获取的人眼图像效果不理想。为了前置摄像头获取的人眼图像更清晰，本实施例还包括，利用聚焦镜组将投射镜片组投射的人眼图像进行聚焦处理后投射到前置摄像头。聚焦镜组的结构和设置参考实施例二的相关描述。
[0114]本实施例的虚拟现实图像处理方法，可以利用终端现有的前置摄像头拍摄人眼图像，避免在虚拟现实设备中另设光学或红外线摄像头，有利于降低虚拟现实设备的成本，同时，由于投射镜片组将人眼图像投射到前置摄像头，前置摄像头的位置可以不局限于现有技术中的摄像头的位置，即可直接拍摄人眼图像的位置，所以本实施例的方法适用于更多类型的带有前者摄像头的移动终端;利用前置摄像头获取人眼图像后，移动终端可以据此确定人眼的观察区域，对人眼观察区域的显示画面的进行虚拟现实图像处理，实现局部渲染等目的，相对于显示画面的全画面处理，本方法极大地降低了终端需要的运算资源，保证了显示画面的流畅性，带给用户良好的体验。
[0115]第四实施例:
[0116]参照图6，图6为本发明第四实施例提供的虚拟现实图像处理方法的流程图，该方法中使用的虚拟现实设备，可以参考实施例二中的具有两个一级反射镜片的虚拟现实设备，本实施例中的两个一级反射镜片是单透镜镜片，且两个一级反射镜片在二级反射镜片上的反射区域不重叠。
[0117]在使用本实施例的方法进行虚拟现实图像处理之前，可以利用虚拟现实设备的位置调整机构调节聚焦镜组，使得聚焦镜组与前置摄像头的位置对应，聚焦镜组成的像能投射到前置摄像头。
[0118]本实施例的虚拟现实图像处理方法流程如下:
[0119]S601、打开VR应用列表中的应用程序，移动终端的系统处于VR工作状态，开启前置摄像头进行用户人眼图像捕捉；
[0120]S602、利用两个一级反射镜片分别将两个人眼图像反射到二级反射镜片上，利用二级反射镜片将两个人眼图像同时反射到聚焦镜组；
[0121]S603、利用聚焦镜组对二级反射镜片反射的人眼图像进行聚焦处理后投射到前置摄像头;在前置摄像头处，观察到的聚焦镜组成的像是正立放大的虚像；
[0122]S604、前置摄像头拍摄该人眼图像；
[0123]S605、移动终端调用人眼视线方向估计算法软件，将拍摄的人眼图像作为算法软件的输入，确定移动终端上人眼的观察区域；
[0124]在步骤S605中，确定移动终端上人眼的观察区域的过程包括:根据人眼图像识别出人眼的眼球中心和虹膜中心，根据眼球中心和虹膜中心的连线确定眼睛的视线方向，根据该视线方向确定移动终端上人眼的观察区域。
[0125]S606、移动终端对观察区域的显示画面进行渲染。
[0126]采用本实施例的虚拟现实图像处理方法可以利用现有的终端的前置摄像头确定人眼的观察区域，对显示画面中人眼的观察区域进行渲染，达到局部渲染的效果，所以本实施例的方法可以减少终端的运算量和功耗，提高显示画面的流畅度速度，提升用户的使用感。
[0127]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0128]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0129]上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的【具体实施方式】，上述的【具体实施方式】仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
【主权项】
1.一种虚拟现实设备，其特征在于，包括投射镜片组、目镜和本体，本体具有固设移动终端的固定部，所述移动终端带有前置摄像头;所述投射镜片组和目镜安装在所述本体内；所述投射镜片组将所述目镜后的人眼图像投射到所述前置摄像头。2.如权利要求1所述的虚拟现实设备，其特征在于，所述投射镜片组用于通过反射镜片的反射机制和/或透镜的折射机制，将所述人眼图像投射到所述前置摄像头。3.如权利要求2所述的虚拟现实设备，其特征在于，所述投射镜片组包括至少两级反射镜组，每一级反射镜组包括至少一个反射镜片;所述目镜后的人眼图像通过至少两级反射后，投射到所述前置摄像头。4.如权利要求3所述的虚拟现实设备，其特征在于，所述投射镜片组包括;两级反射镜组，第一级反射镜组包括两个一级反射镜片，第二级反射镜组包括一个二级反射镜片，两个一级反射镜片分别对应两个目镜，并将目镜后的人眼图像反射到所述二级反射镜片上;所述二级反射镜片将两个所述人眼图像同时反射至所述前置摄像头。5.如权利要求4所述的虚拟现实设备，其特征在于，所述一级反射镜片为单透镜镜片，设置在目镜与所述移动终端的屏幕之间； 或所述一级反射镜片为非单透镜镜片，设置在所述目镜的视场边缘。6.如权利要求1-5任一项所述的虚拟现实设备，其特征在于，还包括:聚焦镜组，所述聚焦镜组位于所述前置摄像头前，用于将所述投射镜片组投射的人眼图像进行聚焦成像处理后投射到所述前置摄像头。7.如权利要求6所述的虚拟现实设备，其特征在于，还包括位置调整机构，所述位置调整机构对所述聚焦镜组进行位置调整，使其与所述前置摄像头的位置对应。8.一种虚拟现实图像处理方法，其特征在于，包括: 利用投射镜片组将目镜后的人眼图像投射到移动终端的前置摄像头； 移动终端利用所述前置摄像头获取所述人眼图像； 移动终端根据获取的所述人眼图像确定人眼的观察区域，对人眼观察区域的显示画面的进行预设的图像处理。9.如权利要求8所述的虚拟现实图像处理方法，其特征在于，所述利用投射镜片组将目镜后的人眼图像投射到移动终端的前置摄像头包括:利用两个一级反射镜片，将各自对应的目镜后的人眼图像反射至一个二级反射镜片，所述二级反射镜片将两人眼图像反射至所述前置摄像头。10.如权利要求8或9所述的虚拟现实图像处理方法，其特征在于，还包括，将所述投射镜片组投射的人眼图像进行聚焦处理后投射到所述前置摄像头。
【文档编号】H04N13/02GK106020480SQ201610357568
【公开日】2016年10月12日
【申请日】2016年5月25日
【发明人】张圣杰
【申请人】努比亚技术有限公司