虚拟现实与增强现实融合的方法、装置及智能穿戴设备的制造方法
【专利摘要】本发明公开一种虚拟现实与增强现实融合的方法、装置及智能穿戴设备。该方法包括：获取模拟人眼的双摄像头采集的真实场景信息；根据虚拟现实场景信息与所述真实场景信息，生成融合场景；呈现所述融合场景。本发明实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。
【专利说明】
虚拟现实与増强现实融合的方法、装置及智能穿戴设备
技术领域
[0001]本发明涉及增强现实技术领域，尤其涉及一种虚拟现实与增强现实融合的方法、装置及智能穿戴设备。
【背景技术】
[0002]虚拟现实(Virtual Reality，以下简称VR)技术是主要通过综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。
[0003]增强现实(Augmented Reality，以下简称AR)技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。
[0004]现有技术中的一种头盔显示器，比如，类似Oculus的产品，能够让用户体验VR效果，像google眼镜类似的产品能够让用户体验AR效果。
[0005]发明人在实现本发明实施例的过程中发现:现有的VR头盔能够观看虚拟的场景、人物等，但这些虚拟的场景人物都是预先设计好的，或者是按照特定算法渲染而成的，并没有结合用户使用VR头盔时的场景，缺少与现实环境的互动。而现有的AR眼镜能够看到用户眼前的真实环境，并能够分析图像，给出一些提示信息，但不能体验逼真的虚拟场景带来的愉悦，也即AR很难做好虚拟真实的结合。
【发明内容】
[0006]本发明目的旨在提供一种虚拟现实与增强现实融合的方法、装置及其智能穿戴设备，以实现在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，能够增进人机交互、提升用户体验。
[0007]为解决上述技术问题，本发明实施例提供以下技术方案:
[0008]在第一方面，本发明实施例提供一种虚拟现实与增强现实融合的方法，包括:
[0009]获取模拟人眼的双摄像头采集的真实场景信息；
[0010]根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
[0011]呈现所述融合场景。
[0012]可选地，所述方法，还包括:
[0013]根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
[0014]根据所述虚拟现实场景信息，生成虚拟现实场景；
[0015]接收场景呈现切换指令；
[0016]根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
[0017]可选地，所述呈现切换指令包括:
[0018]按键切换指令、手势切换指令或距离感应切换指令。
[0019]可选地，所述获取模拟人眼的双摄像头采集的真实场景信息，具体包括:
[0020]追踪人眼的视线变化；
[0021]根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致；
[0022]获取所述双摄像头按照调整后的方向实时采集的真实场景信息。
[0023]可选地，所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左视图及右摄像头拍摄的右视图，所述虚拟场景信息包括虚拟场景左视图及右视图，所述根据虚拟现实场景信息与所述真实场景信息，生成融合场景，具体包括:
[0024]将所述左摄像头拍摄的左视图与虚拟场景的左视图叠加，合成融合场景左视图；
[0025]将所述右摄像头拍摄的右视图与虚拟场景的右视图叠加，合成融合场景右视图；
[0026]根据所述融合场景左视图及右视图，生成融合场景。
[0027]在第二方面，本发明实施例还提供一种虚拟现实与增强现实融合的装置，包括:
[0028]真实场景信息获取单元，用于获取模拟人眼的双摄像头采集的真实场景信息；
[0029]融合场景生成单元，用于根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
[0030]融合场景呈现单元，用于呈现所述融合场景。
[0031]可选地，所述装置，还包括:
[0032]增强现实场景生成单元，用于根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
[0033]虚拟现实场景生成单元，用于根据所述虚拟现实场景信息，生成虚拟现实场景；
[0034]接收单元，用于接收场景呈现切换指令；
[0035]切换单元，用于根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
[0036]可选地，所述场景呈现切换指令包括:
[0037]按键切换指令、手势切换指令或距离感应切换指令。
[0038]可选地，所述真实场景信息获取单元，具体包括:
[0039]眼部视线追踪模块，用于追踪人眼的视线变化，
[0040]摄像头方向控制模块，用于根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致；
[0041]真实场景信息采集模块，用于获取所述双摄像头按照调整后的方向实时采集真实的场景信息。
[0042]可选地，所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图，所述虚拟场景信息包括虚拟场景左视图及右视图，所述融合场景生成单元，具体包括:
[0043]融合场景左图合成模块，用于将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
[0044]融合场景右图合成模块，用于将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
[0045]融合场景合成模块，用于根据所述融合场景左图及右图，生成融合场景。
[0046]在第三方面，本发明实施例还提供了一种智能穿戴设备，包括:
[0047]双摄像头，用于模拟人眼采集真实场景信息，
[0048]中央处理器，与所述双摄像头相连接，用于获取所述双摄像头所采集的真实场景信息，并根据虚拟现实场景信息与所述真实场景信息，生成融合场景，
[0049]显示器，与所述中央处理器相连接，用于呈现所述融合场景。
[0050]可选地，所述中央处理器还用于:根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景;根据所述虚拟现实场景信息，生成虚拟现实场景;接收场景呈现切换指令，并根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
[0051]可选地，所述智能穿戴设备，还包括:
[0052]切换按键，用于接收按键操作，生成按键切换指令。
[0053]可选地，所述智能穿戴设备，还包括:
[0054]传感器，用于感应手势操作，生成手势切换指令;或者用于感应距离，生成距离感应切换指令。
[0055]可选地，所述智能穿戴设备，还包括:
[0056]眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；
[0057]所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景信息。
[0058]可选地，所述智能穿戴设备包括:智能眼镜或头盔。
[0059]在本发明实施例中，通过获取模拟人眼的双摄像头采集的真实场景信息，根据虚拟现实场景信息与所述真实场景信息，生成融合场景，呈现所述融合场景，实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。
【附图说明】
[0060]图1是本发明实施例一提供的一种虚拟现实模式切换方法的流程图；
[0061]图2是本发明实施例一提供的设置于智能终端上的距离传感器检测虚拟现实设备的不意图；
[0062]图3是本发明实施例二提供的一种虚拟现实模式切换装置的示意图；
[0063]图4是本发明实施例提供的一种智能穿戴设备的示意图；
[0064]图5是本发明实施例提供的一种智能眼镜的结构示意图。
【具体实施方式】
[0065]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0066]此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0067]为了便于理解本发明实施例，在开始描述本发明各个实施例前，对本发明所有实施例中涉及的一些术语进行解释。
[0068]在本发明实施例中，真实场景信息包括由模拟人眼的双摄像头实时拍摄的周围环境信息，比如，左右两个摄像头分别按照用户左右眼的视线方向实时拍摄真实场景的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图，其中，左图模拟了用户左眼看到的内容，右图模拟了用户右眼看到的内容。虚拟现实场景信息包括虚拟现实模型的图像信息，比如，虚拟现实场景模型的左视图及右视图。
[0069]在本发明实施例中，增强现实场景是指利用增强现实技术将真实场景信息进行呈现的场景，虚拟现实场景是指利用虚拟现实技术将虚拟现实场景信息进行呈现的场景。
[0070]在本发明实施例中，智能穿戴设备可以包括具备AR及VR功能的头戴式智能设备，比如，智能眼镜或头盔。
[0071]下面结合具体实施例，对本发明实施例作进一步阐述。
[0072]实施例一
[0073]图1是本发明实施例一提供的一种虚拟现实与增强现实融合的方法流程图。如图1所示，该方法包括以下步骤:
[0074]S11、获取模拟人眼的双摄像头采集的真实场景信息。
[0075]在本发明实施例中，可以在智能穿戴设备，比如，VR头盔上设置双摄像头，模拟人眼实时采集真实场景信息，其中，双摄像头包括左摄像头及右摄像头，左摄像头模拟左眼，右摄像头模拟右眼。所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图。
[0076]在本发明实施例中，获取模拟人眼的双摄像头采集的真实场景信息，具体包括:追踪人眼的视线变化，根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致，获取所述双摄像头按照调整后的方向实时采集的真实场景信息。为了实现双摄像头模拟人眼拍摄真实场景信息，需要摄像头按照人眼视线方向，采集真实场景信息。为了获取人眼的视线变化，在VR头盔内部可以安装眼部视线追踪模块，以追踪视线变化。为了让两个摄像头能够更好的模拟双眼看到的场景，智能穿戴设备例如VR头盔内部的处理器需要根据双眼视线变化参数来分别调节左右两个摄像头的观看角度。双摄像头画面的实时获取并分别呈现给左右眼，此时能够复现人眼的观看效果。具体的，可以利用现有技术中的眼球跟踪技术，例如根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、主动投射红外线等光束到虹膜来提取特征进行跟踪来确定人眼的视线变化等。当然，本发明实施例不限于此，在本发明的技术构思下，本领域技术人员可以利用任意可行的技术追踪人眼的视线变化进而调整模拟人眼的左右眼摄像头的米集方向，实时米集真实场景?目息。
[0077]S13、根据虚拟现实场景信息与所述真实场景信息，生成融合场景，
[0078]在本发明的一个实施例中，所述根据虚拟现实场景信息与所述真实场景信息，生成融合场景，可具体包括:
[0079]将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
[0080]将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
[0081 ]根据所述融合场景左图及右图，生成融合场景。
[0082]具体而言，将虚拟场景信息与真实场景信息叠加，比如，将虚拟模型信息叠加至真实场景时，需要左右两个摄像头提供真实场景实时的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图。左图模拟了左眼看到的内容，右图模拟了右眼看到的内容。左右摄像头提供实时的图像序列，这些图像序列可以通过多种方法获取，一种方法是使用摄像头厂商提供的SDK(Software Development Kit)进行图像获取，另一种方法是使用一些常用的开源工具从摄像头中读取图像，如Opencv。为了得到真实场景的层次关系，可以计算视差后，用视差的层次关系表示场景的层次关系。计算左右图之间的视差，可以使用BM、图割、ADCensus等任意一种视差计算方法进行计算。有了视差就得知了场景层次信息，场景的层次信息也称为场景的景深信息，景深信息可以用来指导虚拟模型与真实场景的融合，让虚拟模型更加合理放到真实场景中。具体方法为，虚拟模型在左右图的最小视差要比虚拟模型在左右图的覆盖区域的最大视差大，并且使用视差之前需要对视差信息进行中值平滑。在左图和右图中分别加入虚拟模型，设虚拟模型在左右图中的最小视差为d，d需要大于虚拟模型覆盖区域的最大视差。将虚拟模型对应的左视图叠加到左图中，将虚拟模型对应的右视图叠加到右图中，就可以生成融合场景。
[0083]S15、呈现所述融合场景。
[0084]在本发明实施例中，将置加有虚拟I旲型左视图的左图，以及置加有虚拟I旲型右视图的右图进行合成后一起送入显示器，分别在显示器的左半部分和右半部分显示，即可呈现所述融合场景，这样，用户分别通过左右眼观看，此时就能够体验真实场景与虚拟模型的良好融合。
[0085]在本发明实施例中，除了实现真实场景信息与虚拟场景信息融合，生成融合场景夕卜，还可以根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景，或者，根据所述虚拟现实场景信息，生成虚拟现实场景，在本发明实施例中，生成增强现实场景或虚拟现实场景，即AR功能或VR功能，本领域技术人员结合本发明实施例，可以实现，此处不再赘述。
[0086]在本发明实施例中，当智能穿戴设备具备AR功能、VR功能以及融合AR及VR功能时，可以通过场景呈现切换指令实现三者之间的切换，具体的切换指令可以包括:按键切换指令、手势切换指令或距离感应切换指令。
[0087]在本发明实施例中，VR、AR、VR和AR兼容三种模式可以根据需求进行切换。切换时最直接的方法是通过智能穿戴设备外部的按钮进行切换，即在头盔的某个位置设置按钮，在用户点击按钮时，进行模式的切换。可以利用多个按钮，也可以利用一个按钮。利用一个按钮进行模式切换时，例如，如果当前是VR模式，按一下按钮则切换到AR模式;如果当前是AR模式，按一下按钮则切换到VR和AR兼容模式;如果当前是VR和AR兼容模式，按一下按钮则切换到VR模式。
[0088]此外，也可以使用手势识别的方法进行模式切换。而在配置了相应的功能模块后，语言、肢体动作都可以进行模式之间的切换。
[0089]此外，可以在某种条件下触发模式切换，例如根据距离感应进行模式切换，假设用户在VR模式下佩戴头盔行走时，前方一定距离内存在障碍物时，即感应到与障碍物之间的距离小于预设阈值，亦即相当于接收到距离感应切换指令，可以进行模式转换，将VR模式切换到VR和AR兼容模式，或者AR模式。
[0090]在本发明实施例中，通过获取模拟人眼的双摄像头采集的真实场景信息，根据虚拟现实场景信息与所述真实场景信息，生成融合场景，呈现所述融合场景，实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。而且，由于真实场景和虚拟内容的良好融合，用户能够体验更加逼真的虚拟与现实的结合，很好的解决了 AR很难做好虚拟真实的结合问题，以及VR设备不兼容AR应用的问题。
[0091]在本发明实施例中，还可以通过切换指令分别实现AR及VR应用，当该设备开启VR模式后，该设备就像普通VR设备一样，可以观看虚拟的场景及模型，并可以通过头部运动进行交互控制。当该设备开启AR模式后，该设备则开启双摄像头，实时显示图像给用户，同时对摄像头提供的图像进行目标检测，检测得到目标的相关信息，例如类别、介绍等等，之后将该目标对应的相关信息显示出来。
[0092]为进一步理解本发明方法实施例，下面结合具体的辅助装修设计应用实例，对本发明方法作进一步阐述。
[0093]辅助家具设计整体流程为:获取眼部转动参数、用左眼的转动参数控制左摄像头运动，用右眼的转动参数控制右摄像头的运动、分别获取左右两个摄像头的图像序列、计算左右图视差、根据视差将虚拟模型加入场景、显示，流程图如图2所示，下面对上述流程作进一步的阐述如下:
[0094]眼部运动参数的获取有着重要作用，眼部运动参数获取的速度直接影响用户体验，主要表现为用户眼睛移动了但是观看内容却有较大延时。眼部运动参数获取速度越快，用户眼睛移动后观看内容的延迟越小，将虚拟物体与真实场景结合后，用户感觉越真实。目艮部运动参数的获取可以采用市面上成熟的眼球追踪模块，也可以通过Adaboost进行人眼检测，之后可以通过卡尔曼算法进行跟踪后得到转动角度θχ、θγ，θχ表示瞳孔沿着眼角线水平方向的移动，9\表示沿着眼角线垂直上下的方向移动。通过左眼的θχ、θγ控制左摄像头的转动，通过右眼的θχ、θγ控制右摄像头的转动。摄像头转动模块与市面上常见可转动摄像头相似，不同的是需要定制体积更小、更加灵活的模块。摄像头转动模块主要是接收眼部参数θχ、θγ，并根据这两个参数控制摄像头转动，让摄像头“看”的方向是眼睛看的方向，达到摄像头获取的图像接近眼睛希望看到的内容。将虚拟物体叠加到真实场景时，左右两个摄像头提供场景实时的图像序列，在某一时刻t，可以从左摄像头提供的图像序列中获取一张图像，作为左图，从右摄像头提供的图像序列中获取一张图像，作为右图。左图模拟了左眼看到的内容，右图模拟了右眼看到的内容。左右摄像头提供实时的图像序列，这些图像序列可以通过多种方法获取，一种方法是使用摄像头厂商提供的sdk进行图像获取，另一种方法是使用一些常用的开源工具从摄像头中读取图像，如opencv。为了得到场景的层次关系，可以计算视差后，用视差的层次关系表示场景的层次关系。计算左右图之间的视差，可以使用BM、图割、ADCensus等任意一种视差计算方法进行计算。有了视差就得知了场景层次信息，场景的层次信息也称为场景的景深信息，景深信息可以用来指导模型与场景的融合，让模型更加合理放到场景中。具体方法为，模型在左右图的最小视差要比模型覆盖区域的最大视差大，使用视差之前经常对视差信息进行中值平滑。在左图和右图中分别加入模型，设模型左右图中的最小视差为d，d需要大于模型覆盖区域的最大视差。将模型对应的左视图叠加到左图中，将模型对应的右视图叠加到右图中，之后将合成后的左右图一起送入显示器，分别在显示器的左半部分和右半部分显示，让用户分别通过左右眼观看，此时，用户能够体验真实场景与虚拟模型的良好融合。
[0095]在装修设计中，用户头戴本发明实施例的VR头盔，头盔上左摄像头的图像给了左目艮，右摄像头的图像给了右眼，此时用户就感觉像没带头盔一样，能够直接观看室内结构。由于VR头盔透镜的作用，使得用户看到的室内结构更加宽阔。随着头部运动，头盔也在运动，头盔保持与头的位置关系不变，不影响用户通过摄像头看室内结构，摄像头就像眼睛一样，随着头部和头盔的运动而运动。用户眼睛的转动，也会带动摄像头方向的转动，让摄像头的转动尽量保持与眼睛同步，处理器、控制结构的性能越好，实时性越好。当用户看到房子结构后，通过在左图和右图分别加入模型的左视图和右视图，之后显示，此时用户看到了家具模型摆放到室内的样子。VR头盔的辅助设计能够让用户更直观的看到装修效果，能够设计出心仪的样子。通过头盔的按钮甚至可以拖动家具的摆放位置。装修设计实例中可以提供沙发、床、衣柜、餐桌、椅子、电视柜、空调等常用的室内物品模型，模型可以通过3DMax制作，也可以通过May a制作。
[0096]实施例二
[0097]图3是本发明实施例二提供的一种虚拟现实与增强现实融合的装置示意图。如图3所示，该装置包括:
[0098]真实场景信息获取单元31，用于获取模拟人眼的双摄像头采集的真实场景信息；
[0099]融合场景生成单元32，用于根据虚拟现实场景信息与所述真实场景信息，生成融合场景；
[0100]融合场景呈现单元33，用于呈现所述融合场景。
[0101]在本发明实施例中，为了分别实现VR及AR功能，所述装置还包括:
[0102]增强现实场景生成单元34，用于根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景；
[0103]虚拟现实场景生成单元35，用于根据所述虚拟现实场景信息，生成虚拟现实场景。
[0104]在本发明实施例中，为了实现VR、AR以及融合AR及VR功能之间的切换，所述装置还包括:
[0105]接收单元36，用于接收场景呈现切换指令；
[0106]切换单元37，用于根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
[0107]在本发明实施例中，所述真实场景信息获取单元31，具体包括:
[0108]眼部视线追踪模块311，用于追踪人眼的视线变化，
[0109]摄像头方向控制模块312，用于根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致，
[0110]真实场景信息采集模块313，用于获取所述双摄像头按照调整后的方向实时采集的真实场景信息。
[0111]在本发明实施例中，所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图，所述虚拟场景信息包括虚拟场景左视图及右视图，所述融合场景生成单元32，具体包括:
[0112]融合场景左图合成模块321，用于将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
[0113]融合场景右图合成模块322，用于将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
[0114]融合场景合成模块323，用于根据所述融合场景左图及右图，生成融合场景。
[0115]由于本发明装置实施例与本发明方法实施例基于相同的发明构思，方法实施例中描述的技术内容同样适用于本发明装置实施例，此处不再赘述。
[0116]在本发明实施例中，通过获取模拟人眼的双摄像头采集的真实场景信息，根据虚拟现实场景信息与所述真实场景信息，生成融合场景，呈现所述融合场景，实现了在虚拟现实过程中能够结合真实场景，实现虚拟与现实融合的效果，并能够增进人机交互、提升用户体验。
[0117]图4是本发明实施例提供的一种智能穿戴设备的示意图，如图4所示，其包括:
[0118]双摄像头41，用于模拟人眼采集真实场景信息；
[0119]中央处理器42，与所述双摄像头相连接，用于获取所述双摄像头所采集的真实场景信息，并根据虚拟现实场景信息与所述真实场景信息，生成融合场景，
[0120]显示器43，与所述中央处理器相连接，用于呈现所述融合场景。
[0121]在本发明实施例中，所述中央处理器42还用于:根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景，根据所述虚拟现实场景信息，生成虚拟现实场景，接收场景呈现切换指令，并根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。
[0122]在本发明实施例中，所述智能穿戴设备，还包括(未图示):
[0123]切换按键，用于接收按键操作，生成按键切换指令。
[0124]在本发明实施例中，所述智能穿戴设备，还包括(未图示):
[0125]传感器，用于感应手势操作，生成手势切换指令;或者用于感应距离，生成距离感应切换指令。
[0126]在本发明实施例中，所述智能所述智能穿戴设备，还包括(未图示):
[0127]眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；
[0128]所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景信息。
[0129]在本发明实施例中，所述智能穿戴设备包括:智能眼镜或头盔。
[0130]在本实施例中，中央处理器42所执行的上述操作可以以一段程序的形式存储在存储器中，当需要执行上述操作时，将该段程序调入处理器执行处理。
[0131]图5为本发明实施例提供的一种智能眼镜的外观示意图，可以理解的是，该智能眼镜仅为例示，不对本发明产生任何限制。如图5所示，该眼镜包括眼镜本体50，眼镜本体的前表面设置有用于模拟人眼的右眼摄像头51和左眼摄像头52，用于模拟用户双眼采集真实场景信息，中央处理器(未示出)和显示器(未示出)设置在眼镜本体50的内部，该眼镜还设置有物理按键53，用于开关眼镜，还可用于用户下发各种指令，例如用户可以通过操作物理按键53下发场景呈现切换指令，使得智能眼镜在VR显示模式、融合显示模式和AR显示模式等模式中切换。该眼镜还包括绑带54，在用户佩戴眼镜时套设在用户头部，起到固定眼镜的作用。
[0132]在本发明实施例中，中央处理器为该用户终端的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储单元内的软件程序和/或模块，以及调用存储在存储单元内的数据，以执行电子设备的各种功能和/或处理数据。所述中央处理器可以由集成电路组成，也可以由连接多颗相同功能或不同功能的封表集成芯片而组成。即处理器可以是GPU、数字信号处理器、及通信单元中的控制芯片的组合。
[0133]本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
[0134]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种虚拟现实与增强现实融合的方法，其特征在于，包括: 获取模拟人眼的双摄像头采集的真实场景信息； 根据虚拟现实场景信息与所述真实场景信息，生成融合场景； 呈现所述融合场景。2.根据权利要求1所述的方法，其特征在于，所述方法，还包括: 根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景； 根据所述虚拟现实场景信息，生成虚拟现实场景； 接收场景呈现切换指令； 根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。3.根据权利要求2所述的方法，其特征在于，所述场景呈现切换指令包括: 按键切换指令、手势切换指令或距离感应切换指令。4.根据权利要求1-3所述的方法，其特征在于，所述获取模拟人眼的双摄像头采集的真实场景信息，具体包括: 追踪人眼的视线变化； 根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致； 获取所述双摄像头按照调整后的方向实时采集的真实场景信息。5.根据权利要求4所述的方法，其特征在于， 所述双摄像头包括左摄像头及右摄像头； 所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图； 所述虚拟场景信息包括虚拟场景左视图及右视图； 所述根据虚拟现实场景信息与所述真实场景信息，生成融合场景，具体包括: 将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图； 将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图； 根据所述融合场景左图及右图，生成融合场景。6.一种虚拟现实与增强现实融合的装置，其特征在于，包括: 真实场景信息获取单元，用于获取模拟人眼的双摄像头采集的真实场景信息， 融合场景生成单元，用于根据虚拟现实场景信息与所述真实场景信息，生成融合场景， 融合场景呈现单元，用于呈现所述融合场景。7.根据权利要求6所述的装置，其特征在于，所述装置，还包括: 增强现实场景生成单元，用于根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景； 虚拟现实场景生成单元，用于根据所述虚拟现实场景信息，生成虚拟现实场景， 接收单元，用于接收场景呈现切换指令， 切换单元，用于根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。8.根据权利要求7所述的装置，其特征在于，所述场景呈现切换指令包括: 按键切换指令、手势切换指令或距离感应切换指令。9.根据权利要求6-8所述的装置，其特征在于，所述真实场景信息获取单元，具体包括: 眼部视线追踪模块，用于追踪人眼的视线变化； 摄像头方向控制模块，用于根据所述人眼的视线变化，调整所述双摄像头方向，以使所述双摄像头的方向与所述人眼视线变化后的视线方向一致； 真实场景信息采集模块，用于获取所述双摄像头按照调整后的方向实时采集的真实场景?目息。10.根据权利要求9所述的装置，其特征在于， 所述双摄像头包括左摄像头及右摄像头，所述真实场景信息包括左摄像头拍摄的左图及右摄像头拍摄的右图，所述虚拟场景信息包括虚拟场景左视图及右视图； 所述融合场景生成单元，具体包括: 融合场景左图合成模块，用于将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图； 融合场景右图合成模块，用于将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图； 融合场景合成模块，用于根据所述融合场景左图及右图，生成融合场景。11.一种智能穿戴设备，其特征在于，包括: 双摄像头，用于模拟人眼采集真实场景信息； 中央处理器，与所述双摄像头相连接，用于获取所述双摄像头所采集的真实场景信息，并根据虚拟现实场景信息与所述真实场景信息，生成融合场景； 显示器，与所述中央处理器相连接，用于呈现所述融合场景。12.根据权利要求11所述的智能穿戴设备，其特征在于，所述中央处理器还用于: 根据所述模拟人眼的双摄像头采集的真实场景信息，生成增强现实场景； 根据所述虚拟现实场景信息，生成虚拟现实场景； 接收场景呈现切换指令，并根据所述场景呈现切换指令，切换所述融合场景、增强现实场景或虚拟现实场景。13.根据权利要求12所述的智能穿戴设备，其特征在于，还包括: 切换按键，用于接收按键操作，生成按键切换指令。14.根据权利要求12所述的智能穿戴设备，其特征在于，还包括: 传感器，用于感应手势操作，生成手势切换指令，或者用于感应距离，生成距离感应切换指令。15.根据权利要求11至14任一项所述的智能穿戴设备，其特征在于，还包括: 眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化； 所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景信息。16.根据权利要求15所述的智能穿戴设备，其特征在于，所述智能穿戴设备包括:智能眼镜或头盔。
【文档编号】G02B27/01GK105955456SQ201610239142
【公开日】2016年9月21日
【申请日】2016年4月15日
【发明人】罗艳青, 简培云, 宋磊
【申请人】深圳超多维光电子有限公司