一种虚拟现实增强设备及方法与流程

本发明涉及虚拟现实智能设备领域，尤其涉及一种虚拟现实增强设备及方法。

背景技术：

增强现实（augmentedreality，简称ar），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实环境并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。

现有的实现方法主要有基于显示器的增强技术和基于光学透射式的增强技术。如图1所示,基于显示器的增强技术主要是利用摄像机104实时采集现实环境中的物体103，并与视觉处理系统中的虚拟影像（如图中所示的“果实”图像）合并，并输出到设备显示屏105上，用户106最终在设备显示屏105上看到合成后的合成影像101。这种实现方法比较简单。但其存在沉浸感差的问题，显示与虚拟之间存在较大的差距，无法融为一体，给人虚拟与现实明显分开的感觉。

如图2所示，在基于光学透射式增强技术中，摄像机204仍然需要实时采集现实环境中的物体203，但采集回来的影像只用于识别影像和获取物体的方位，不会在视觉处理系统中与虚拟物体合并。根据摄像机204识别出来的内容，把对应的虚拟物体（如图中所示的“果实”图像）通过投射设备205投射到一个半透明光学器件206上，这个器件可以把虚拟影像反射到用户207的眼睛里的同时，还能把前方的实际物体203通过透射传送到人的眼睛里，这样就实现了虚拟物体和现实物体的合成叠加，在用户207的眼睛里看到的影像如201。这种方法由于看到的是实际的物体，没有延迟，实际物体生动。但由于半透明光学器件206的面积有限，实际物体能够在同一时间进入人的眼睛的范围有限，亦即人的眼睛的视角角度有限。为了对周围事物的观察，人的头部会发生转动以获得更广的视角。然而，由于虚拟物体的叠加是比较大的技术难点，在人的头部发生快速转动时，目前的技术还很难做到随动地将虚拟影像同步反射到人的眼睛里与透射入人的眼睛的现实物体精准地合成叠加，现有的设备无法做到比较宽的视角，此时，往往会出现虚拟影像与现实物体的叠合不协调或者无法获得想要的叠合效果。此外，现有技术中的设备的体积往往比较大，较难做到小型化。

技术实现要素：

本发明所要解决的技术问题是克服现有技术的不足,提供一种沉浸感强、视角宽广、结构简单的虚拟现实增强设备，以及利用该设备进行虚拟现实增强的方法，该方法操作简单，使现实与虚拟能够融为一体，保证具有较好的沉浸感，且具有较宽的视角体验。

本发明所述虚拟现实增强设备所采用的技术方案是：所述虚拟现实增强设备包括显示成像器件、摄像机、视觉处理系统、投影器件及电源，所述电源为整个设备供电，

所述显示成像器件包括可视区域和校准区域，所述校准区域位于所述可视区域的外围，所述可视区域和所述校准区域分别与所述视觉处理系统电信号连接，在所述视觉处理系统的控制下，所述可视区域和所述校准区域均分别在透明状态和非透明状态之间切换，所述摄像机透过处于透明状态的所述可视区域和/或所述校准区域采集现实环境的现实影像，处于非透明状态的所述可视区域和/或所述校准区域接收来自所述投影器件的投影影像，并反射到所述摄像机的镜头内；

所述摄像机用于透过所述显示成像器件采集现实环境的现实影像和所述投影器件投影到所述显示成像器件后反射的投影影像并上传至所述视觉处理系统；

所述投影器件用于将所述视觉处理系统输出的影像投影到所述显示成像器件上；

所述视觉处理系统用于接收所述摄像机上传的现实影像和投影影像，校准投影影像到与现实影像相一致，将系统产生的虚拟影像融合到校准后的投影影像，将融合后的投影影像储存并输出到所述投影器件上，最后投影到所述显示成像器件上。

上述方案可见，本发明通过显示成像器件、摄像机、视觉处理系统、投影器件及电源的设置，其结构简单，其中显示成像器件设置有可视区域和校准区域，且可视区域和校准区域分别与所述视觉处理系统电信号连接，即可视区域与校准区域能够分别被控制处于透明状态或是非透明状态；在可视区域内，摄像机通过透明状态下的可视区域采集这一区域对应的现实环境中的现实影像并上传至视觉处理系统中，视觉处理系统通过投影器件将接收到的现实影像投影到处于非透明状态的可视区域上，此时，非透明状态的可视区域具有反射的功能，摄像机采集到经过可视区域反射来的投影影像并上传视觉处理系统，视觉处理系统将之前接收到的现实影像与当前接收到的投影影像进行对比，计算得到的两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，并将投影影像与视觉处理系统自身产生的虚拟影像进行叠和处理，得到合成影像，再将合成影像输出到投影器件上并投影到所述可视区域上进行显示，从而实现视觉处理系统输出的合成图像可以尽可能的与现实图像相同，进而增强了设备的沉浸感；此外，位于可视区域外围的校准区域分布在人眼可视区域的外围，其正常工作时，这个区域处于校准状态，在这种状态下，摄像机通过透明状态下的校准区域采集这一区域对应的现实环境中的现实影像并上传至视觉处理系统中，视觉处理系统通过投影器件将接收到的现实影像投影到处于非透明状态的校准区域上，此时，非透明状态的校准区域具有反射的功能，摄像机采集到经过校准区域反射来的投影影像并上传视觉处理系统，视觉处理系统将之前接收到的现实影像与当前接收到的投影影像进行对比，计算得到的两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，并将投影影像与视觉处理系统自身产生的虚拟影像进行叠和处理，得到合成影像并存储，当人的头部有运动时，此时整个设备发生位姿变化，视觉处理系统检测设备的转动角度和方向，并快速地直接将存储的该方位上的合成影像投影到可视区域进行显示，此时，视角可以约等于摄像机的视角，从而消除视角小的情况。

进一步地，所述可视区域和所述校准区域之间无缝对接，所述可视区域处于非透明状态时，其接收来自所述投影器件的投影影像，同时反射到观察者的眼睛里。由此可见，可视区域与校准区域为无缝对接，两者之间的过渡部分模糊化，从而避免了虚拟影像与现实影像合成时及发生透明与非透明状态的切换时边界的断续感，保证其具有较好的沉浸感；可视区域处于非透明状态下始终将接收到的投影影像反馈到观察者的眼睛里，从而保证进入观察者眼睛的影像始终是虚拟现实增强的状态，实现设备的增强功能。

再进一步地，所述显示成像器件为液晶膜材质制成。由于液晶膜这种材质可以通过给其加电来控制其透明或者不透明，且效果明显，从而大大地简化了设备的结构，降低了成本，提高了设备运行的稳定性和可靠性。

再又进一步地，所述可视区域和所述校准区域在透明状态和非透明状态之间切换的频率大于30hz。由此可见，将两种状态的切换频率设置为大于30hz，从而避免了虚拟影像和现实影像及状态切换时导致的断续感，保证设备的沉浸感。

又再进一步地，所述视觉处理系统上还连接有陀螺仪、加速度计、磁力计、麦克风和扬声器。其中，陀螺仪用于测定整个设备的位姿变化的转动方位，所述加速度计用于检测设备位姿变化的加速度，所述磁力计用于检测设备的磁力方位，由此保证设备的精确位姿获取，保证显示影像能够连续无死角地通过校准区域进入视觉处理系统并最终形成投影影像保存，实现大视角效果；而麦克风和扬声器为使用者提供语音输入和输出功能，保证了设备的音频体验。

此外，所述投影器件为投影仪。从而保证了投影影像的顺利输出，而投影仪为成熟的市场产品，也相对地降低了设备的整体成本。

进一步地，所述视觉处理系统为内置在所述虚拟现实增强设备上的计算机处理系统；或者，所述视觉处理系统为通过信号线连接的外置式计算机。由此可见，由计算机处理系统或者是外置式的计算机，能够保证整个设备运行的顺畅性和可靠性。

另外，利用上述虚拟现实增强设备进行虚拟现实增强的方法包括以下步骤：

a.所述电源上电，所述可视区域和所述校准区域均处于透明状态；

b.在所述可视区域内，所述摄像机通过透明状态下的所述可视区域采集这一区域对应的现实世界中的现实影像并上传至所述视觉处理系统中进行存储；

c.所述视觉处理系统将接收到的现实影像输出到所述投影器件上，所述投影器件将现实影像投影到所述可视区域上，此时所述可视区域转换成非透明状态，该区域将投影得到的投影影像反射到所述摄像机的镜头内，所述摄像机将接收到的投影影像上传至所述视觉处理系统，所述视觉处理系统将接收到的投影影像与存储的现实影像进行比对，得出投影影像与现实影像之间的差别，所述视觉处理系统计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数，利用该投影校准系数对投影影像进行校准，得到校准后的投影影像，所述视觉处理系统自身产生的虚拟影像叠合到校准后的投影影像形成合成影像，再将合成影像输出到所述投影器件上并投影到所述可视区域上进行显示，此时，所述可视区域处于非透明状态；

d.与此同时，在所述校准区域内，所述摄像机通过透明状态下的所述校准区域采集这一区域对应的现实世界中的现实影像并上传至所述视觉处理系统中进行存储；

e.所述视觉处理系统将接收到的现实影像输出到所述投影器件上，所述投影器件将现实影像投影到所述校准区域上，此时所述校准区域转换成非透明状态，该区域将投影得到的投影影像反射到所述摄像机的镜头内，所述摄像机将接收到的投影影像上传至所述视觉处理系统，所述视觉处理系统将接收到的投影影像与存储的现实影像进行比对，得出投影影像与现实影像之间的差别，所述视觉处理系统计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数，利用该投影校准系数对投影影像进行校准，得到校准后的投影影像，所述视觉处理系统自身产生的虚拟影像叠合到校准后的投影影像形成合成影像，再对合成影像进行存储；

f.所述校准区域不断地在透明状态和非透明状态之间切换，在透明状态下，所述摄像机采集所述校准区域这一区域对应的现实世界中的现实影像并上传至所述视觉处理系统中进行存储，在非透明状态，所述校准区域作为反射面对所述投影器件投影来的投影影像反射到所述摄像机，继续进入步骤e的校准状态；

g.当整个设备发生位姿变化时，所述视觉处理系统检测设备的转动角度和方向，并直接将存储的该位姿上的合成影像投影到所述可视区域进行显示，此时，所述可视区域处于非透明状态；

h.直至设备停止使用。

上述方案可见，该方法中，显示成像器件上的可视区域在透明状态下，摄像机通过该区域采集到外围现实环境中的现实影像，并上传至视觉处理系统存储，视觉处理系统将接收到的现实影像输出到投影器件上，投影器件将现实影像投影到可视区域上，此时可视区域转换成非透明状态，该区域将投影得到的投影影像反射到摄像机的镜头内，摄像机将接收到的投影影像上传至视觉处理系统，视觉处理系统将接收到的投影影像与存储的现实影像进行比对，得出投影影像与现实影像之间的差别，视觉处理系统计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数，利用该投影校准系数对投影影像进行校准，得到校准后的投影影像，视觉处理系统自身产生的虚拟影像叠合到校准后的投影影像形成合成影像，再将合成影像输出到投影器件上并投影到可视区域上进行显示；从而得到与现实环境相一致的且添加了虚拟影像的虚拟现实增强的影响，提升了设备的沉浸感；另外，对于校准区域，同样地其在透明状态下摄像机采集到人眼可视区域之外的区域的现实环境的现实影像，并上传至视觉处理系统中进行存储，视觉处理系统将接收到的现实影像输出到所述投影器件上并投影到校准区域上，此时校准区域转换成非透明状态，该区域将投影得到的投影影像反射到摄像机的镜头内，摄像机将接收到的投影影像上传至视觉处理系统，视觉处理系统将接收到的投影影像与存储的现实影像进行比对，得出投影影像与现实影像之间的差别，视觉处理系统计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数，利用该投影校准系数对投影影像进行校准，得到校准后的投影影像，视觉处理系统自身产生的虚拟影像叠合到校准后的投影影像形成合成影像，再对合成影像进行存储；校准区域不断地在透明状态和非透明状态之间切换，在透明状态下，所述摄像机采集所述校准区域这一区域对应的现实世界中的现实影像并上传至所述视觉处理系统中进行存储，在非透明状态，所述校准区域作为反射面对所述投影器件投影来的投影影像反射到所述摄像机；当人的头部转动而带动整个设备发生转动或者是位姿变化时，视觉处理系统能够快速地将存储的合成影像投影到可视区域内进行投影显示，形成视觉效果的无差别过渡，此时，视角可以约等于摄像机的视角，从而消除视角小的情况，此时，校准区域继续着采集现实影像，并通过摄像机和视觉处理系统进行校准区域的影像校准，为后续的设备位姿变化做出准备，保持设备的沉浸感和投影影像的延续性和沉浸感。

再进一步地，所述步骤c和步骤e中，所述视觉处理系统计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数的具体步骤如下：

1）在所述视觉处理系统里首先对投影影像与现实影像2张图片做hsi转换，并得到两张图片的hsi参数，并设定采集到的显示影像获得的参数为给定参数，而虚拟投影到摄像机采集到的投影影像获得的参数为反馈参数；

2）所述摄像机不断采集虚拟的投影图像信息，通过所述视觉处理系统内部的预测pi算法自动对hsi参数进行校准，直到采集到的数据与给定信号参数一致，其中，预测pi算法的pi参数与所选投影器件、所述显示成像器件及所述摄像机有关，为出厂设定好的参数，在实际使用中不会变化，需要校准的是图像中的hsi参数。

上述方案可见，采用成熟的算法对影像进行处理，保证了设备运行的可靠性和稳定性，也相对地降低了维护成本和维护难度。

附图说明

图1是现有技术中基于显示器的增强技术的简易原理示意图；

图2是现有技术中基于光学透射式增强技术的简易原理示意图；

图3是本发明的简易原理示意图；

图4是所述可视区域和校准区域的简易示意图；

图5是图像进行hsi校准的信号流程图。

具体实施方式

如图3和图4所示，本发明所述虚拟现实增强设备包括显示成像器件1、摄像机2、视觉处理系统3、投影器件4及电源，所述电源为整个设备供电。所述显示成像器件1包括可视区域11和校准区域12，所述校准区域12位于所述可视区域11的外围，所述可视区域11和所述校准区域12分别与所述视觉处理系统3电信号连接，在所述视觉处理系统3的控制下，所述可视区域11和所述校准区域12均分别在透明状态和非透明状态之间切换，在本实施例中，所述可视区域11和所述校准区域12在透明状态和非透明状态之间切换的频率大于30hz。这样就保证了不会造成断续感，保障了影像的沉浸感。所述摄像机2透过处于透明状态的所述可视区域11和/或所述校准区域12采集现实环境的现实影像，处于非透明状态的所述可视区域11和/或所述校准区域12接收来自所述投影器件4的投影影像，并反射到所述摄像机2的镜头内。所述摄像机2用于透过所述显示成像器件1采集现实环境的现实影像和所述投影器件4投影到所述显示成像器件1后反射的投影影像并上传至所述视觉处理系统3。所述投影器件4用于将所述视觉处理系统3输出的影像投影到所述显示成像器件1上。所述视觉处理系统3用于接收所述摄像机2上传的现实影像和投影影像，校准投影影像到与现实影像相一致，将系统产生的虚拟影像融合到校准后的投影影像，将融合后的投影影像储存并输出到所述投影器件4上，最后投影到所述显示成像器件1上。

具体地，所述可视区域11和所述校准区域12之间无缝对接，所述可视区域11处于非透明状态时，其接收来自所述投影器件4的投影影像，同时反射到观察者的眼睛里。在这里，在设备上设置有供观察者6观察的位置，观察者6通过观察位置可以直接看到可视区域内显示的影像。所述显示成像器件1为液晶膜材质制成。液晶膜为一种比较新型的材料，其在多个领域或行业逐渐得到运用。通过通电和断电控制，即可快速可靠地实现其处于透明状态或者是非透明状态。所述视觉处理系统3上还连接有陀螺仪、加速度计、磁力计、麦克风和扬声器。所述投影器件4为投影仪。所述视觉处理系统3为内置在所述虚拟现实增强设备上的计算机处理系统；或者，所述视觉处理系统3为通过信号线连接的外置式计算机。选择何种处理系统，需要根据设备具体的应用环境而设定，如在室内使用该设备且具有较宽广的室内空间时，可以通过信号线外连外置的计算机来对影像进行处理。如是在野外环境应用本发明所述的设备，则利用内置在所述虚拟现实增强设备上的计算机处理系统即可。

利用本发明设备进行虚拟现实增强的方法包括以下步骤：

a.所述电源上电，所述可视区域11和所述校准区域12均处于透明状态。

b.在所述可视区域11内，所述摄像机2通过透明状态下的所述可视区域11采集这一区域对应的现实世界中的现实影像并上传至所述视觉处理系统3中进行存储。

c.所述视觉处理系统3将接收到的现实影像输出到所述投影器件4上，所述投影器件4将现实影像投影到所述可视区域11上，此时所述可视区域11转换成非透明状态，该区域将投影得到的投影影像反射到所述摄像机2的镜头内，所述摄像机2将接收到的投影影像上传至所述视觉处理系统3，所述视觉处理系统3将接收到的投影影像与存储的现实影像进行比对，得出投影影像与现实影像之间的差别，所述视觉处理系统3计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数，利用该投影校准系数对投影影像进行校准，得到校准后的投影影像，所述视觉处理系统3自身产生的虚拟影像叠合到校准后的投影影像形成合成影像，再将合成影像输出到所述投影器件4上并投影到所述可视区域11上进行显示，此时，所述可视区域11处于非透明状态。

d.与此同时，在所述校准区域12内，所述摄像机2通过透明状态下的所述校准区域12采集这一区域对应的现实世界中的现实影像并上传至所述视觉处理系统3中进行存储。

e.所述视觉处理系统3将接收到的现实影像输出到所述投影器件4上，所述投影器件4将现实影像投影到所述校准区域12上，此时所述校准区域12转换成非透明状态，该区域将投影得到的投影影像反射到所述摄像机2的镜头内，所述摄像机2将接收到的投影影像上传至所述视觉处理系统3，所述视觉处理系统3将接收到的投影影像与存储的现实影像进行比对，得出投影影像与现实影像之间的差别，所述视觉处理系统3计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数，利用该投影校准系数对投影影像进行校准，得到校准后的投影影像，所述视觉处理系统3自身产生的虚拟影像叠合到校准后的投影影像形成合成影像，再对合成影像进行存储。

f.所述校准区域12不断地在透明状态和非透明状态之间切换，在透明状态下，所述摄像机2采集所述校准区域12这一区域对应的现实世界中的现实影像并上传至所述视觉处理系统3中进行存储，在非透明状态，所述校准区域12作为反射面对所述投影器件4投影来的投影影像反射到所述摄像机2，继续进入步骤e的校准状态。

g.当整个设备发生位姿变化时，所述视觉处理系统3检测设备的转动角度和方向，并直接将存储的该位姿上的合成影像投影到所述可视区域11进行显示，此时，所述可视区域11处于非透明状态。

h.直至设备停止使用。

如图5所示，在步骤c和步骤e中，所述视觉处理系统3计算得到两种图像之间的差距，对投影影像进行校正，使投影影像与现实影像保持一致，得到投影校准系数的具体步骤如下：

1）在所述视觉处理系统3里首先对投影影像与现实影像2张图片做hsi转换，并得到两张图片的hsi参数（色度、饱和度、亮度），并设定采集到的显示影像获得的参数为给定参数，而虚拟投影到摄像机采集到的投影影像获得的参数为反馈参数。

2）所述摄像机2不断采集虚拟的投影图像信息，通过所述视觉处理系统3内部的预测pi算法自动对hsi参数进行校准，直到采集到的数据与给定信号参数一致，其中，预测pi算法的pi参数与所选投影器件4、所述显示成像器件1及所述摄像机2有关，为出厂设定好的参数，在实际使用中不会变化，需要校准的是图像中的hsi参数。

通过地，在完成校准参数确认后，利用该投影校准系数对投影影像进行校准实际上就是逆向的过程，其通过获得的hsi参数对投影影像的his参数值进行改变，使投影影像的his参数与现实影像的his参数相一致，得到校准后的投影影像，最后将所述视觉处理系统3自身产生的虚拟影像叠合到校准后的投影影像形成合成影像，再对合成影像进行存储，为后续的影响投影做准备。

本发明与现有技术相比，其通过将显示成像器件设置成具有可视区域和校准区域的结构，两个区域之间的过渡为无缝对接，通过对可视区域和校准区域进行透明和非透明状态的切换，使其或采集现实影像，或形成反射膜对影像进行反射，再利用摄像机采集现实影像和投影影像，通过视觉处理系统对两种图像的对比，得到对投影影像校准的参数，利用该参数对投影影像进行校准，保证了投影影像与现实影像的一致性，保证了影像的沉浸感。利用校准区域能够对非可视区域外的环境采集到的影像进行校准并对获得的合成影像进行存储，当设备的视角转动到新的现实环境区域时，视觉处理系统能够快速地将该新区域的合成影像投影到可视区域上进行显示，避免了时间上的延迟，保证了沉浸感，也相当于增大了视角，大大地提升了观察者的体验感受。