一种三维沉浸式环境下与现实环境交互的方法和装置的制造方法
【专利摘要】本发明公开了一种三维沉浸式环境下与现实环境交互的方法和装置，该方法包括：利用摄像设备采集用户所在的现实环境的现实实景；在三维沉浸式环境下，实时向用户显示采集到的现实实景；在显示给用户的现实实景中叠加显示虚拟应用。通过采集并在三维沉浸式环境中向用户显示现实实景，使用户在体验三维沉浸式环境的过程中可以与现实世界合理交互，在不影响现实基本行为的基础上进行虚拟体验，获得更好的操作体验和环境反馈，把现实实景与虚拟场景进行合成，使沉浸式体验更加具有实时性和扩展性。
【专利说明】
一种三维沉浸式环境下与现实环境交互的方法和装置
技术领域
[0001]本发明涉及虚拟现实技术领域，特别涉及一种三维沉浸式环境下与现实环境交互的方法和装置。
【背景技术】
[0002]三维沉浸式环境是一种多源信息融合的交互式三维动态视景和实体行为的系统仿真，从而使用户沉浸到该环境中，具有多感知性、存在感、交互性、自主性等特征。随着技术的不断发展，市面上涌现出很多种类的软件应用及形态不一的硬件设备，但是现有的虚拟现实设备都是将构建的三维沉浸式环境与现实环境隔离开，用户在体验三维沉浸式环境的过程中无法与现实世界交互。
【发明内容】
[0003]为了解决用户在体验三维沉浸式环境的过程中无法与现实世界交互的问题，让虚拟应用系统与现实实景产生合理交互，使用户可以在不影响现实基本行为的基础上进行虚拟体验，本发明提供了一种三维沉浸式环境下与现实环境交互的方法和装置。
[0004]依据本发明的一个方面，本发明提供了一种三维沉浸式环境下与现实环境交互的方法，包括:
[0005]利用摄像设备采集用户所在的现实环境的现实实景；
[0006]在三维沉浸式环境下，实时向用户显示所述现实实景；
[0007]在所述现实实景中叠加显示虚拟应用。
[0008]其中，所述方法还包括:
[0009]预先制作现实环境中某些物体的虚拟应用；
[0010]当某个物体出现在用户所在的现实环境中时，在三维沉浸式环境下向用户展示该物体对应的虚拟应用。
[0011]其中，所述方法还包括:
[0012]利用测距设备测量用户可视范围内的每个物体与用户之间的距离；
[0013]在三维沉浸式环境下向用户提示每个物体的距离信息。
[0014]其中，所述方法还包括:
[0015]利用所述摄像设备拍摄现实环境的照片；
[0016]在三维沉浸式环境中向用户显示该现实环境的照片。
[0017]其中，所述方法还包括:
[0018]实时获取现实环境的天气信息；
[0019]根据现实环境的天气信息实时改变三维沉浸式环境中的天气展示。
[0020]依据本发明的另一方面，本发明提供了一种三维沉浸式环境下与现实环境交互的装置，包括实景采集单元、实景显示单元和应用显示单元；
[0021]所述实景采集单元，用于利用摄像设备采集用户所在的现实环境的现实实景；
[0022]所述实景显示单元，用于在三维沉浸式环境下，实时向用户显示所述实景采集单元采集到的现实实景；
[0023]所述应用显示单元，用于在所述现实实景中叠加显示虚拟应用。
[0024]其中，所述装置还包括应用制作单元；
[0025]所述应用制作单元，用于预先制作现实环境中某些物体的虚拟应用；
[0026]所述应用显示单元，还用于当某个物体出现在用户所在的现实环境中时，在三维沉浸式环境下向用户展示该物体对应的虚拟应用。
[0027]其中，所述装置还包括测距单元；
[0028]所述测距单元，用于利用测距设备测量用户可视范围内的每个物体与用户之间的距离；
[0029]所述应用显示单元，还用于在三维沉浸式环境下向用户显示每个物体的距离信息。
[0030]其中，所述装置还包括拍照单元:
[0031]所述拍照单元，用于利用所述摄像设备拍摄现实环境的照片；
[0032]所述应用显示单元，还用于在三维沉浸式环境中向用户显示该现实环境的照片。
[0033]其中，所述装置还包括天气展示单元；
[0034]所述天气展示单元，用于实时获取现实环境的天气信息，根据现实环境的天气信息实时改变三维沉浸式环境中的天气展示。
[0035]本发明实施例的有益效果是:通过采集并在三维沉浸式环境中向用户显示现实实景，使用户在体验三维沉浸式环境的过程中可以与现实世界合理交互，在不影响现实基本行为的基础上进行虚拟体验，获得更好的操作体验和环境反馈。在进一步的优选实施例中，用户在三维沉浸式环境中看到现实环境中的某一物体时，叠加显示对应的虚拟应用或附加信息，把现实实景与虚拟场景进行合成，使沉浸式体验更加具有实时性和扩展性。
【附图说明】
[0036]图1为本发明实施例提供的一种三维沉浸式环境下与现实环境交互的方法的流程图；
[0037]图2为本发明实施例提供的一种三维沉浸式环境下与现实环境交互的方法的效果示意图；
[0038]图3为本发明实施例提供的一种三维沉浸式环境下与现实环境交互的装置的结构示意图。
【具体实施方式】
[0039]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0040]图1为本发明实施例提供的一种三维沉浸式环境下与现实环境交互的方法的流程图。如图1所示，本发明实施例提供的三维沉浸式环境下与现实环境交互的方法包括:
[0041]步骤S110:利用摄像设备采集用户所在的现实环境的现实实景。
[0042]步骤S120:在三维沉浸式环境下，实时向用户显示采集到的现实实景。
[0043]例如，用户佩戴虚拟现实头盔体验三维沉浸式环境，首先利用安装在头盔上的摄像设备采集现实实景，将虚拟现实系统中的虚拟场景转换为实时的现实实景，然后将虚拟现实系统中的应用布局在现实实景之中，用户在使用虚拟现实系统的应用的过程中可以实时观察现实实景，不会影响用户的现实基本行为，通过把现实实景与虚拟场景进行合成，使沉浸式体验更加具有实时性和扩展性。
[0044]步骤S130:在现实实景中叠加显示虚拟应用。虚拟应用可以采用半透明的显示方式显示在人眼与现实实景之间，用户在操作虚拟应用时仍然可以获得现实环境反馈的信息，显示效果如图2所示。虚拟应用也可以与显示的现实实景融合到一起，例如现实实景中有一张桌子，在桌子上虚拟一个显示器形态的视频播放应用，从而实现虚拟应用与现实实景的结合。
[0045]优选的，本发明实施例提供的三维沉浸式环境下与现实环境交互的方法还包括:预先制作现实环境中某些物体的虚拟应用，当某个物体出现在用户所在的现实环境中时，在三维沉浸式环境下向用户展示该物体对应的虚拟应用。
[0046]例如使用虚拟现实设备进行旅游景点的实时介绍。首先选择景点中若干具有代表性的景物，对应每个景物制作一个虚拟应用，用来对该景物进行介绍，应用可以是声音、图片、文字、视频等形式。然后，采集每一个景物的坐标，并实时根据用户的位置信息判断这些景物是否在用户的视野中，当某一个景物出现在用户的视野中时，将该景物对应的应用同时显示给用户，用户不仅能从虚拟现实设备中看到该景物，还能同时看到对该景物的介绍，从而增强用户观赏雄伟的名山大川，感受浓厚的风土人情，畅游神秘的海底龙宫等沉浸式体验。类似的，本发明实施例提供的三维沉浸式环境下与现实环境交互的方法还可应用于娱乐游戏、影视新闻、天文地理、教育、工业维修、社交通讯等等领域。
[0047]优选的，本发明实施例提供的三维沉浸式环境下与现实环境交互的方法还包括:利用测距设备测量用户可视范围内的每个物体与用户之间的距离，在三维沉浸式环境下向用户提示每个物体的距离信息。
[0048]通过安装在虚拟现实上的测距设备例如激光测距仪、红外线测距仪等，可以测量用户视线范围内多个物体的距离，并在3D沉浸式环境中反馈给用户准确的距离数值。
[0049]优选的，本发明实施例提供的三维沉浸式环境下与现实环境交互的方法还包括:利用摄像设备拍摄现实环境的照片，在三维沉浸式环境中向用户显示该现实环境的照片。
[0050]用户在体验三维沉浸式环境时，既可以利用摄像设备实时获取的现实实景构建虚拟现实系统的场景，也可以利用摄像设备通过相应操作调用虚拟现实系统中的相机应用，快速获取真实环境的照片，记录精彩瞬间。
[0051]优选的，本发明实施例提供的三维沉浸式环境下与现实环境交互的方法还包括:实时获取现实环境的天气信息，根据现实环境的天气信息实时改变三维沉浸式环境中的天气展示。
[0052]在3D沉浸式环境中展示天气信息的方式有多种，例如可以根据现实环境的天气信息实时显示相应的天气图标;或者，可以将天气信息融合到构建出的虚拟场景中，例如在家里使用虚拟现实设备，构建出一个虚拟的办公室场景，如果现实中开始下雨了，可以使用户看到虚拟的办公室窗外也在下雨，从而使用户得到现实环境的天气信息。
[0053]图3为本发明实施例提供的一种三维沉浸式环境下与现实环境交互的装置的结构示意图。如图3所示，本发明实施例提供的三维沉浸式环境下与现实环境交互的装置包括实景采集单元310、实景显示单元320和应用显示单元330。
[0054]实景采集单元310利用摄像设备采集用户所在的现实环境的现实实景。实景显示单元320在三维沉浸式环境下，实时向用户显示实景采集单元310采集到的现实实景。应用显示单元330在现实实景中叠加显示虚拟应用。
[0055]本发明一个优选实施例提供的三维沉浸式环境下与现实环境交互的装置还包括应用制作单元。应用制作单元预先制作现实环境中某些物体的虚拟应用；当某个物体出现在用户所在的现实环境中时，应用显示单元330在三维沉浸式环境下向用户展示该物体对应的虚拟应用。通过把现实实景与虚拟场景进行合成，使沉浸式体验更加具有实时性和扩展性
[0056]本发明另一个优选实施例提供的三维沉浸式环境下与现实环境交互的装置还包括测距单元。测距单元利用测距设备测量用户可视范围内的每个物体与用户之间的距离，应用显示单元330在三维沉浸式环境下向用户显示每个物体的距离信息。用户通过相应操作调用测距单元，就可以方便的测量自己与视线范围内多个物体的距离，并在虚拟应用系统中实时查看准确的距离数值。
[0057]本发明再一个优选实施例提供的三维沉浸式环境下与现实环境交互的装置还包括拍照单元。拍照单元利用摄像设备拍摄现实环境的照片，应用显示单元330三维沉浸式环境中向用户显示该现实环境的照片，记录精彩瞬间。
[0058]本发明再一个优选实施例提供的三维沉浸式环境下与现实环境交互的装置还包括天气展示单元。天气展示单元实时获取现实环境的天气信息，根据现实环境的天气信息实时改变三维沉浸式环境中的天气展示，使用户可以实时了解现实环境的天气状况。
[0059]本发明提供的三维沉浸式环境下与现实环境交互的方法和装置，将构建的三维沉浸式环境与现实环境相结合，用户不仅可以使用三维沉浸式环境下的应用，还可以实时获取现实环境的信息，与现实环境进行交互，从而使用户获得良好便捷的虚拟现实应用的操作体验和环境反馈。
[0060]综上所述，本发明提供的一种三维沉浸式环境下与现实环境交互的方法和装置，与现有技术相比，具有以下有益效果:
[0061]1、通过采集并在三维沉浸式环境中向用户显示现实实景，使用户在体验三维沉浸式环境的过程中可以与现实世界合理交互，在不影响现实基本行为的基础上进行虚拟体验，获得更好的操作体验和环境反馈。
[0062]2、用户在三维沉浸式环境中看到现实环境中的某一物体时，叠加显示对应的虚拟应用或附加信息，把现实实景与虚拟场景进行合成，使沉浸式体验更加具有实时性和扩展性。
[0063]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
【主权项】
1.一种三维沉浸式环境下与现实环境交互的方法，其特征在于，所述方法包括: 利用摄像设备采集用户所在的现实环境的现实实景； 在三维沉浸式环境下，实时向用户显示所述现实实景； 在所述现实实景中叠加显示虚拟应用。2.如权利要求1所述的三维沉浸式环境下与现实环境的交互方法，其特征在于，所述方法还包括: 预先制作现实环境中某些物体的虚拟应用； 当某个物体出现在用户所在的现实环境中时，在三维沉浸式环境下向用户展示该物体对应的虚拟应用。3.如权利要求2所述的三维沉浸式环境下与现实环境的交互方法，其特征在于，所述方法还包括: 利用测距设备测量用户可视范围内的每个物体与用户之间的距离； 在三维沉浸式环境下向用户提示每个物体的距离信息。4.如权利要求2所述的三维沉浸式环境下与现实环境的交互方法，其特征在于，所述方法还包括: 利用所述摄像设备拍摄现实环境的照片； 在三维沉浸式环境中向用户显示该现实环境的照片。5.如权利要求3或4所述的三维沉浸式环境下与现实环境的交互方法，其特征在于，所述方法还包括: 实时获取现实环境的天气信息； 根据现实环境的天气信息实时改变三维沉浸式环境中的天气展示。6.一种三维沉浸式环境下与现实环境交互的装置，其特征在于，所述装置包括实景采集单元、实景显示单元和应用显示单元； 所述实景采集单元，用于利用摄像设备采集用户所在的现实环境的现实实景； 所述实景显示单元，用于在三维沉浸式环境下，实时向用户显示所述实景采集单元采集到的现实实景； 所述应用显示单元，用于在所述现实实景中叠加显示虚拟应用。7.如权利要求6所述的三维沉浸式环境下与现实环境的交互装置，其特征在于，所述装置还包括应用制作单元； 所述应用制作单元，用于预先制作现实环境中某些物体的虚拟应用； 所述应用显示单元，还用于当某个物体出现在用户所在的现实环境中时，在三维沉浸式环境下向用户展示该物体对应的虚拟应用。8.如权利要求7所述的三维沉浸式环境下与现实环境的交互装置，其特征在于，所述装置还包括测距单元； 所述测距单元，用于利用测距设备测量用户可视范围内的每个物体与用户之间的距离； 所述应用显示单元，还用于在三维沉浸式环境下向用户显示每个物体的距离信息。9.如权利要求7所述的三维沉浸式环境下与现实环境交互的装置，其特征在于，所述装置还包括拍照单元: 所述拍照单元，用于利用所述摄像设备拍摄现实环境的照片； 所述应用显示单元，还用于在三维沉浸式环境中向用户显示该现实环境的照片。10.如权利要求8或9所述的三维沉浸式环境下与现实环境的交互装置，其特征在于，所述装置还包括天气展示单元； 所述天气展示单元，用于实时获取现实环境的天气信息，根据现实环境的天气信息实时改变三维沉浸式环境中的天气展示。
【文档编号】G06T19/00GK105894584SQ201610237856
【公开日】2016年8月24日
【申请日】2016年4月15日
【发明人】冯雪
【申请人】北京小鸟看看科技有限公司