一种实现增强现实互动的装置及方法与流程

本发明涉及增强现实(Augmented Reality，简称AR)技术领域，尤其涉及一种实现增强现实互动的装置及方法。

背景技术：

虚拟现实(Virtual Reality，简称VR)，是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机在生成一个虚拟环境，为使用者提供想象空间，通过使用者与之仿真交互，给予使用者逼真的体验，使之沉浸其中。

随着近几年VR技术从概念更多走向现实，VR技术成为科技产业的热点；特别是大量VR设备(主要为VR头戴设备的出现)。然而，VR技术的应用，也因其技术本身的缺陷，使其在沉浸感等方面的效果大大折扣。比如，VR设备往往需要全面覆盖使用者的视野，才能获得较好的沉浸感(特别是VR头戴设备)，但是优于技术等原因，虚拟世界景象仍无法达到真实世界的视觉效果。此外，由于视野被遮挡，出于人身安全考虑，VR设备的使用者往往被固定在一定的安全区域内使用和体验VR技术。这都大大制约了VR技术的应用和推广。

考虑到一些使用者既追求虚拟世界带来的那种真实世界中无法实现的体验，又要求真实世界真实视觉效果，而且要求使用时不受限于区域、任意的在真实世界中体验，在VR技术无法达到高度还原真实世界以及上述需求在逻辑上的矛盾的情形下，要实现上述效果，就需要一定技术手段来使真实世界和虚拟世界“无缝”集成。

增强现实(Augmented Reality，简称AR)，就是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，它把原本在真实世界很难体验到的内容通过计算机等技术，模拟仿真，并将得到的虚拟内容应用和结合到真实世界，使之被使用者感知，从而达到超越现实的体验。虽然，增强现实技术已开始实现应用，如谷歌眼镜中的一些增强现实功能、进来风靡的增强现实游戏Pokemon Go；但是，由于受限于现有技术，增强现实在应用过程中，要么虚拟内容的效果呆板、僵化，不能满足使用者体验，要么生成的虚拟内容并不能很好地与真实世界对接(包括手机边框在真实世界和虚拟世界集成产生的违和感)。此外，由于设备计算、显示等的误差，AR设备也存在对使用者视野的影响，仍存在较大的安全隐患。

技术实现要素：

为了解决上述问题，本发明提供一种简易的AR装置，使虚拟内容与真实世界实现良好地集成，同时利用潜望镜原理实现真实世界影像的准确传递，从而客服设备对使用者视线的影响，同时，设置的半透半反射镜片有不影响虚拟内容的加载，进而在不割裂真实世界展示的前提下实现真实世界信息和虚拟世界信息的集成。

本发明提供一种实现增强现实互动的装置，包括真实影像传输单元、虚拟影像加载单元，其中，所述真实影像传输单元由壳体和设置在所述壳体上的两组潜望镜组成，并通过两组潜望镜将真实世界影像接力传输到使用者视线中，所述两组潜望镜呈凹状排列，其凹陷位置设置有搭载所述虚拟影像加载单元的插槽；所述潜望镜中的第一片镜片、最后一片镜片的中心区域与所述虚拟影像加载单元的显示区域中心区域均在使用者视线的水平延长线上，所述虚拟影像加载单元的显示区域落在所述第一片镜片、最后一片镜片的视野区域中；其中，所述最后一片潜望镜镜片为半透半反射镜片，所述虚拟影像加载单元用于生成和显示虚拟内容影像，并透过该半透半反射镜片将该虚拟内容影像传输到使用者视线中，所述虚拟内容排除场景部分；经上述处理，真实世界影像和虚拟内容影像自然叠加，从而实现在不割裂真实世界展示的前提下实现真实世界信息和虚拟世界信息的集成，同时也客服了设备对使用者视线的影响。本发明还提供一种实现增强现实互动的方法。

本发明实施例提供一种实现增强现实互动的装置，该装置包括真实影像传输单元、虚拟影像加载单元；其中，

所述真实影像传输元由壳体和设置在所述壳体上的两组潜望镜组成；

所述两组潜望镜呈凹状排列；所述壳体在所述的两组潜望镜之间的凹陷位置设置有搭载所述虚拟影像加载单元的插槽；

所述的两组潜望镜能够获取真实世界影像信息，并将其接力传输到使用者视线中；

所述潜望镜中向使用者传递真实世界影像信息的第一片镜片(即真实世界影像进入时的第一片镜片，设置在所述虚拟影像加载单元的背面)、向使用者传递真实世界影像信息的最后一片镜片(即真实世界影像传递到使用者视线中的最后一片镜片，设置在所述虚拟影像加载单元的前面)的中心区域与所述虚拟影像加载单元的显示区域中心区域均在使用者视线的水平延长线上；

所述虚拟影像加载单元的显示区域落在所述第一片镜片、最后一片镜片的视野区域中；

优选地，所述第一片镜片、最后一片镜片的视野区域与所述虚拟影像加载单元的显示区域重合；

所述最后一片潜望镜镜片为半透半反射镜片；

所述虚拟影像加载单元用于生成和显示虚拟内容影像，并透过所述半透半反射镜片将该虚拟内容影像传输到使用者视线中；所述虚拟内容排除场景部分，避免与真实场景不符；所述虚拟内容一般包括虚拟角色、虚拟特效、虚拟物品等。

进一步，上述装置中，

所述壳体由搭载所述潜望镜以及所述虚拟影像加载单元的壳体主体和能够将所述壳体固定在使用者头部的壳体固定部组成。

进一步，上述装置中，

所述虚拟影像加载单元包括取景模块、运动轨迹采集模块、虚拟场景模块、运算执行模块、显示模块；所述虚拟影像加载单元，可以是具有其中具有拍照、运动轨迹采集功能的智能移动设备，如手机、平板等；其中，

所述取景模块，用于对真实场景取景，获得真实场景信息；

所述运动轨迹采集模块，用于捕捉所述装置的运动轨迹，生成运动轨迹信息；

所述虚拟场景模块，用于创建虚拟场景、确定使用者的初始虚拟位置(即使用者的虚拟角色在所述虚拟场景的初始位置)；

所述运算执行模块，获取所述运动轨迹信息以及所述虚拟场景和使用者的初始虚拟位置，并据此动态加载使用者虚拟位置及其周围的虚拟场景；同时根据所述使用者虚拟位置、虚拟场景和预设规则，控制所述虚拟内容的生成(比如生成时间、位置、触发条件等)，以及根据所述虚拟内容在所述虚拟场景的运动轨迹控制所述虚拟内容的动态加载；

所述显示模块，能够接收和显示所述虚拟内容以及使用者虚拟位置和其周围的虚拟场景；

再进一步，

在使用所述装置前，取出所述虚拟影像加载单元，调整其进入校正模式；此模式下，所述显示模块仅用于接收和显示所述虚拟场景、使用者虚拟位置；

然后，对即将使用的真实场景取景，并据此创建虚拟场景以及确定使用者的初始虚拟位置；

进而，使用者移动若干距离(足够大到能够被所述运动轨迹采集模块采集和在虚拟场景中显示出移动轨迹)，同时所述虚拟影像加载单元动态加载所述虚拟场景和使用者虚拟位置；若使用者在所述虚拟场景中的移动轨迹与其在真实场景中的移动轨迹不符，则通过设置在所述显示模块的可视化界面调整所述虚拟场景(主要通过调整方向和虚拟场景移动距离/真实世界移动距离的比例尺)，使之与真实场景中的虚拟移动轨迹相符；

校正完成后，将所述虚拟影像加载单元调整为使用模式，并将其放回所述插槽；此模式下，所述显示模块仅用于接收和显示所述虚拟内容；

再进一步，

所述取景模块，为所述虚拟影像加载单元的拍摄装置；设置在与所述显示模块相对的背侧；

所述运动轨迹采集模块，通过固定在所述虚拟影像加载单元的传感器实现；

所述虚拟场景模块，基于计算机图形学原理，根据真实场景信息以及使用者取景位置，构建三维虚拟场景，并确定使用者的初始虚拟位置；

再进一步，

所述运算执行模块中，所述虚拟内容在所述虚拟场景的运动轨迹由所述运算执行模块的预设程序控制，该预设程序一般基于行为树编写而成。

此外，在上述装置基础上，进行相应调整，实现实时校正，具体地，将所述第一片镜片替换为半透半反射镜片，同时在所述虚拟影像加载单元的背面设置取景模块，使其实时取景，并确保其取景信息与所述真实影像传输元传递到使用者视线中的真实场景一致，通过实时取景信息不断校正使用者的虚拟位置，并据此校正虚拟内容影像，使之与所述真实世界影像信息相符。

本发明实施例还提供一种实现增强现实互动的方法，其特征在于，该方法包括：

使用者通过两组潜望镜接力传输获取真实世界影像信息；同时，所述两组潜望镜呈凹状排列；

所述的两组潜望镜之间的凹陷位置设置有用于生成和显示虚拟内容影像的虚拟影像加载单元，且该虚拟影像加载单元可以取下；所述虚拟影像加载单元可以为上述任一装置的虚拟影像加载单元；

所述潜望镜中向使用者传递真实世界影像信息的第一片镜片、向使用者传递真实世界影像信息的最后一片镜片的中心区域与所述虚拟影像加载单元的显示区域中心区域均在使用者视线的水平延长线上；所述虚拟影像加载单元的显示区域落在所述第一片镜片、最后一片镜片的视野区域中；

所述最后一片潜望镜镜片为半透半反射镜片，以便使虚拟内容影像透过其传输到使用者视线中；所述虚拟内容排除场景部分。

进一步，在上述方法基础上，将所述第一片镜片替换为半透半反射镜片，同时在所述虚拟影像加载单元的背面设置取景模块，使其透过半透半反射镜片实时取景，并确保其取景信息与所述真实影像传输元传递到使用者视线中的真实场景一致，通过实时取景信息不断校正使用者的虚拟位置，并据此校正虚拟内容影像，使之与所述真实世界影像信息相符。

本发明提供一种实现增强现实互动的装置，该装置包括真实影像传输单元、虚拟影像加载单元，其中，所述真实影像传输单元通过两组潜望镜将真实世界影像接力传输到使用者视线中，所述两组潜望镜呈凹状排列，其凹陷位置设置有搭载所述虚拟影像加载单元；潜望镜中的最后一片潜望镜镜片为半透半反射镜片，所述虚拟影像加载单元用于生成和显示虚拟内容影像，并透过该半透半反射镜片将该虚拟内容影像传输到使用者视线中，所述虚拟内容排除场景部分。本发明还提供一种实现增强现实互动的方法。通过使用上述装置或方法，真实世界影像和虚拟内容影像自然叠加，从而实现在不割裂真实世界展示的前提下实现真实世界信息和虚拟世界信息的集成，同时也客服了设备对使用者视线的影响。

附图说明

图1为本发明实施例1提供的一种实现增强现实互动的装置的组织结构示意图；

图2为本发明实施例2提供的一种实现增强现实互动的装置中虚拟影像加载单元的组织结构示意图；

注：图1中，普通箭头表示真实影像的传输路径；箭尾箭头表示虚拟内容影像的传输路径。

具体实施方式

为使本发明实施例的目的、技术方案和取得的有益效果更加清楚，下面结合附图，对本发明实施例中的技术方案进行清楚、完整地表述。但是应当理解，此处描述的实施例仅用于说明和解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域的技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提供的一种实现增强现实互动的装置，如图1所示，该装置包括真实影像传输单元101、虚拟影像加载单元102；其中，

所述真实影像传输元由壳体1011和设置在所述壳体上的两组潜望镜1012组成；

所述两组潜望镜呈凹状排列；所述壳体在所述的两组潜望镜之间的凹陷位置设置有搭载所述虚拟影像加载单元的插槽1011a；

所述的两组潜望镜能够获取真实世界影像信息，并将其接力传输到使用者视线中(参见图1中普通箭头的指示路径)；

所述潜望镜中向使用者传递真实世界影像信息的第一片镜片(即真实世界影像进入时的第一片镜片，设置在所述虚拟影像加载单元的背面)、向使用者传递真实世界影像信息的最后一片镜片(即真实世界影像传递到使用者视线中的最后一片镜片，设置在所述虚拟影像加载单元的前面)的中心区域与所述虚拟影像加载单元的显示区域中心区域均在使用者视线的水平延长线上；

所述虚拟影像加载单元的显示区域落在所述第一片镜片、最后一片镜片的视野区域中；

优选地，所述第一片镜片、最后一片镜片的视野区域与所述虚拟影像加载单元的显示区域重合；

所述最后一片潜望镜镜片为半透半反射镜片；

所述虚拟影像加载单元用于生成和显示虚拟内容影像，并透过所述半透半反射镜片将该虚拟内容影像传输到使用者视线中(参见图1中箭尾箭头的指示路径)；所述虚拟内容排除场景部分，避免与真实场景不符；所述虚拟内容一般包括虚拟角色、虚拟特效、虚拟物品等。

本发明实施例2提供的一种实现增强现实互动的装置，在实施例1的基础上，所述虚拟影像加载单元，如图2所示，包括取景模块201、运动轨迹采集模块202、虚拟场景模块203、运算执行模块204、显示模块205；所述虚拟影像加载单元，可以是具有其中具有拍照、运动轨迹采集功能的智能移动设备，如手机、平板等；其中，

所述取景模块，用于对真实场景取景，获得真实场景信息；

所述运动轨迹采集模块，用于捕捉所述装置的运动轨迹，生成运动轨迹信息；

所述虚拟场景模块，用于创建虚拟场景、确定使用者的初始虚拟位置(即使用者的虚拟角色在所述虚拟场景的初始位置)；

所述运算执行模块，获取所述运动轨迹信息以及所述虚拟场景和使用者的初始虚拟位置，并据此动态加载使用者虚拟位置及其周围的虚拟场景；同时根据所述使用者虚拟位置、虚拟场景和预设规则，控制所述虚拟内容的生成(比如生成时间、位置、触发条件等)，以及根据所述虚拟内容在所述虚拟场景的运动轨迹控制所述虚拟内容的动态加载；

所述显示模块，能够接收和显示所述虚拟内容以及使用者虚拟位置和其周围的虚拟场景。

本发明实施例3提供的一种实现增强现实互动的装置，在实施例2的基础上，

在使用所述装置前，取出所述虚拟影像加载单元，调整其进入校正模式；此模式下，所述显示模块仅用于接收和显示所述虚拟场景、使用者虚拟位置；

然后，对即将使用的真实场景取景，并据此创建虚拟场景以及确定使用者的初始虚拟位置；

进而，使用者移动若干距离(足够大到能够被所述运动轨迹采集模块采集和在虚拟场景中显示出移动轨迹)，同时所述虚拟影像加载单元动态加载所述虚拟场景和使用者虚拟位置；若使用者在所述虚拟场景中的移动轨迹与其在真实场景中的移动轨迹不符，则通过设置在所述显示模块的可视化界面调整所述虚拟场景(主要通过调整方向和虚拟场景移动距离/真实世界移动距离的比例尺)，使之与真实场景中的虚拟移动轨迹相符；

校正完成后，将所述虚拟影像加载单元调整为使用模式，并将其放回所述插槽；此模式下，所述显示模块仅用于接收和显示所述虚拟内容。

本发明实施例4提供的一种实现增强现实互动的装置，在实施例2的基础上，

所述取景模块，为所述虚拟影像加载单元的拍摄装置；设置在与所述显示模块相对的背侧；

所述运动轨迹采集模块，通过固定在所述虚拟影像加载单元的传感器实现；

所述虚拟场景模块，基于计算机图形学原理，根据真实场景信息以及使用者取景位置，构建三维虚拟场景，并确定使用者的初始虚拟位置。

本发明实施例5提供的一种实现增强现实互动的装置，在实施例2的基础上，

所述运算执行模块中，所述虚拟内容在所述虚拟场景的运动轨迹由所述运算执行模块的预设程序控制，该预设程序一般基于行为树编写而成。

本发明实施例6提供的一种实现增强现实互动的装置，在实施例1的基础上，

所述壳体由搭载所述潜望镜以及所述虚拟影像加载单元的壳体主体和能够将所述壳体固定在使用者头部的壳体固定部组成。

本发明实施例7提供的一种实现增强现实互动的装置，在实施例1-6任一实施例的基础上，

进行相应调整，实现实时校正，具体地，将所述第一片镜片替换为半透半反射镜片，同时在所述虚拟影像加载单元的背面设置取景模块，使其实时取景，并确保其取景信息与所述真实影像传输元传递到使用者视线中的真实场景一致，通过实时取景信息不断校正使用者的虚拟位置，并据此校正虚拟内容影像，使之与所述真实世界影像信息相符。

本发明实施例8提供一种实现增强现实互动的方法，其特征在于，该方法包括：

使用者通过两组潜望镜接力传输获取真实世界影像信息；同时，所述两组潜望镜呈凹状排列；

所述的两组潜望镜之间的凹陷位置设置有用于生成和显示虚拟内容影像的虚拟影像加载单元，且该虚拟影像加载单元可以取下；所述虚拟影像加载单元可以为实施例1-7中任一装置的虚拟影像加载单元；

所述潜望镜中向使用者传递真实世界影像信息的第一片镜片、向使用者传递真实世界影像信息的最后一片镜片的中心区域与所述虚拟影像加载单元的显示区域中心区域均在使用者视线的水平延长线上；所述虚拟影像加载单元的显示区域落在所述第一片镜片、最后一片镜片的视野区域中；

所述最后一片潜望镜镜片为半透半反射镜片，以便使虚拟内容影像透过其传输到使用者视线中；所述虚拟内容排除场景部分。

本发明实施例9提供一种实现增强现实互动的方法，在实施例8的基础上，

将所述第一片镜片替换为半透半反射镜片，同时在所述虚拟影像加载单元的背面设置取景模块，使其透过半透半反射镜片实时取景，并确保其取景信息与所述真实影像传输元传递到使用者视线中的真实场景一致，通过实时取景信息不断校正使用者的虚拟位置，并据此校正虚拟内容影像，使之与所述真实世界影像信息相符。上述方法，能够实时校正，使得虚拟内容影像在真实场景中始终保持合理的位置和移动，避免出现二者错位和给使用者造成违和感，进而始终保持真实世界信息和虚拟世界信息的“无缝”集成。

上述实施例提供的实现增强现实互动的装置及方法，都能使真实世界影像和虚拟内容影像自然叠加，从而实现在不割裂真实世界展示的前提下实现真实世界信息和虚拟世界信息的集成，同时也客服了设备对使用者视线的影响。

最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。