基于虚拟现实的街景实现方法和装置与流程

本发明涉及虚拟现实技术领域，尤其涉及基于虚拟现实的街景实现方法和装置。

背景技术：

街景作为一种全新的地图服务方式，从推出以来就被寄予了很高的期望和广泛的关注。街景是一种通过街景车拍摄街道两旁360度的照片，然后将这些照片经过处理上传至网站，供访问者浏览。这与2D平面地图形成了强烈的对比，使原本无聊的地图更加生动，更有可读性和娱乐性。使用者就仿佛身临其境，足不出户便可以了解户外的各种风景。街景开创了一种全新的地图阅读方式，也开启了一个实景地图体验的模式。尤其是到达某一陌生城市的时候，通过查找街景地图，可迅速了解当地街景状态，但是，现有的街景也存在一定的弊端，例如，用户与街景交互性不强，用户的沉浸感还远远不够，因此，如何增强用户与街景的交互性和沉浸性，是一个亟待解决的问题。

技术实现要素：

本发明的主要目的在于提出一种基于虚拟现实的街景实现方法和装置，旨在增强用户与街景的交互性和沉浸性。

为实现上述目的，本发明提供的一种基于虚拟现实的街景实现方法，所述基于虚拟现实的街景实现方法包括步骤：

获取头戴式显示设备当前所在位置；

根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景；

构建与所述头戴式显示设备对应的三维虚拟人，将所述三维虚拟人融入到所述三维周边街景中。

优选地，所述根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景的步骤包括：

采用双全景摄像头在不同的视角下预先采集周边街景的立体全景图像对；

将所述立体全景图像对和对应视角事先保存在设定的街景数据库中；

若获取到所述头戴式显示设备当前所在位置在设定范围内时，则相应调出所述街景数据库中的所述立体全景图像对。

优选地，所述根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景的步骤包括：

若识别到所述头戴式显示设备当前所在位置大于设定的距离阈值时，则开启建筑群显示模式，显示所述三维周边街景的建筑群。

优选地，所述根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景的步骤包括：

若识别到所述头戴式显示设备小于或等于设定的距离阈值时，则开启商铺显示模式，显示所述三维周边街景的商铺。

优选地，所述将所述三维虚拟人融入到所述三维周边街景中的步骤包括：

采用动作捕捉技术，捕捉所述头戴式显示设备的运动轨迹；

为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向。

此外，为实现上述目的，本发明还提出一种基于虚拟现实的街景实现装置，应用于头戴式显示设备中，所述基于虚拟现实的街景实现装置包括：

当前位置获取模块，用于获取头戴式显示设备当前所在位置；

街景获取模块，用于根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景；

融入模块，用于构建与所述头戴式显示设备对应的三维虚拟人，将所述三维虚拟人融入到所述三维周边街景中。

优选地，所述街景获取模块包括：

采集单元，用于采用双全景摄像头在不同的视角下预先采集周边街景的立体全景图像对；

存储单元，用于将所述立体全景图像对和对应视角事先保存在设定的街景数据库中；

调用单元，用于若获取到所述头戴式显示设备当前所在位置在设定范围内时，则相应调出所述街景数据库中的所述立体全景图像对。

优选地，所述街景获取模块还用于若识别到所述头戴式显示设备当前所在位置大于设定的距离阈值时，则开启建筑群显示模式，显示所述三维周边街景的建筑群。

优选地，所述街景获取模块还用于若识别到所述头戴式显示设备小于或等于设定的距离阈值时，则开启商铺显示模式，显示所述三维周边街景的商铺。

优选地，所述融入模块包括：

捕捉单元，用于采用动作捕捉技术，捕捉所述头戴式显示设备的运动轨迹；

建立单元，用于为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向。

本发明提出的基于虚拟现实的街景实现方法和装置，通过获取头戴式显示设备当前所在位置；根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景；构建与所述头戴式显示设备对应的三维虚拟人，将所述三维虚拟人融入到所述三维周边街景中。本发明自动识别三维周边街景，并将构建的虚拟人融入到所述三维周边街景中，为用户提供更为沉浸式和具有互动性的体验。

附图说明

图1为本发明基于虚拟现实的街景实现方法结构示意图之一；

图2为本发明基于虚拟现实的街景实现方法结构示意图之二；

图3为本发明基于虚拟现实的街景实现方法第一实施例的流程示意图；

图4为图3中所述获取头戴式显示设备当前所在位置的步骤的细化流程示意图；

图5为本发明基于虚拟现实的街景实现方法第二实施例的流程示意图；

图6为本发明基于虚拟现实的街景实现方法第三实施例的流程示意图；

图7为图3中所述将所述三维虚拟人融入到所述三维周边街景中的步骤的细化流程示意图；

图8为本发明基于虚拟现实的街景实现装置第一实施例的功能模块示意图；

图9为图8中所述街景获取模块的功能模块示意图；

图10为图8中所述融入模块的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1—图2，本发明包括虚拟现实头盔11、头盔定位装置21、手柄定位装置22、虚拟现实手柄41和处理器39，其中，头盔定位装置21可以观察虚拟现实头盔11的位置并对其进行定位，手柄定位装置22可以观察虚拟现实手柄41的位置并对其进行定位。

如图3所示，本发明第一实施例提出一种基于虚拟现实的街景实现方法，所述基于虚拟现实的街景实现方法包括步骤：

步骤S100、获取头戴式显示设备当前所在位置。

头戴式显示设备按照事先设定的时间阈值来执行定位操作，所述时间阈值可以设定为1秒，也可以设定为其他值，时间阈值可以根据用户的设定随时进行调整或是更改，定位操作通过GPS(Global Positioning System，全球定位系统)和RFID(Radio Frequency Identification，射频识别)的合作来完成，若是在室外时，则通过GPS来获取当前所在位置的经纬度和坐标；若是在室内时，则改用RFID获取当前所在位置的经纬度和坐标。

步骤S200、根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景。

头戴式显示设备采用双全景摄像头在两个不同的视点各个不同的视角下预先采集周边街景的立体全景图像对；并将所述立体全景图像对和对应视角事先保存在设定的街景数据库中；若获取到所述头戴式显示设备当前所在位置时，则相应调出所述街景数据库中的所述立体全景图像对。

步骤S300、构建与所述头戴式显示设备对应的三维虚拟人，将所述三维虚拟人融入到所述三维周边街景中。

头戴式显示设备在虚拟现实场景中构建与所述头戴式显示设备对应的三维虚拟人，并在立体全景图像对中将所述三维虚拟人融入到所述三维周边街景中。其中，所述头戴式显示设备与所述三维虚拟人之间的对应关系包括动作的对应，即所述头戴式显示设备与所述三维虚拟人形成动作映射关系，若所述头戴式显示设备向左移动时，则所述三维虚拟人相应向左移动。

本实施例提出的基于虚拟现实的街景实现方法，通过获取头戴式显示设备当前所在位置；根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景；构建与所述头戴式显示设备对应的三维虚拟人，将所述三维虚拟人融入到所述三维周边街景中。本实施例自动识别三维周边街景，并将构建的虚拟人融入到所述三维周边街景中，为用户提供更为沉浸式和具有互动性的体验。

如图4所示，图4为图3中所述步骤S200的细化流程示意图，在第一实施例的基础上，所述步骤S200包括：

步骤S210、采用双全景摄像头在不同的视角下预先采集周边街景的立体全景图像对。

头戴式显示设备采用双全景摄像头在两个不同的视点以及不同的视角下预先采集周边街景的立体全景图像对，在本实施例中，所述全景摄像头优选为鱼眼摄像头，所述视角包括高度、朝向和俯仰角等。

步骤S220、将所述立体全景图像对和对应视角事先保存在设定的街景数据库中。

头戴式显示设备将采集到的所述立体全景图像对以及视角之间形成一一映射关系，并汇集成视角映射表；将所述立体全景图像对和所述视角映射表事先保存在设定的街景数据库中。

步骤S230、若获取到所述头戴式显示设备当前所在位置在设定范围内时，则相应调出所述街景数据库中的所述立体全景图像对。

头戴式显示设备若获取到所述头戴式显示设备当前所在位置在设定范围内时，则检测所述头戴式显示设备当前视角，根据所述街景数据库中的所述视角映射表，调出与头戴式显示设备当前视角对应的所述立体全景图像对。

本实施例提出的基于虚拟现实的街景实现方法，采用双全景摄像头在不同的视角下预先采集周边街景的立体全景图像对；将所述立体全景图像对和对应视角事先保存在设定的街景数据库中；若获取到所述头戴式显示设备当前所在位置在设定范围内时，则相应调出所述街景数据库中的所述立体全景图像对。本实施例自动调出周边街景三维全景视图，为用户提供更为沉浸式和具有互动性的体验。

如图5所示，图5为本发明基于虚拟现实的街景实现方法第二实施例的流程示意图，在第一实施例的基础上，所述步骤S200包括：

步骤S240、若识别到所述头戴式显示设备当前所在位置大于设定的距离阈值时，则开启建筑群显示模式，显示所述三维周边街景的建筑群。

头戴式显示设备若识别到当前所在位置大于设定的距离阈值时，即所述头戴式显示设备距离所述周边街景较远时，则开启建筑群显示模式，显示所述三维周边街景的建筑群，从而通过观看建筑群鸟瞰图的方式，使用户一览所述三维周边街景的全景。

本实施例提出的基于虚拟现实的街景实现方法，若识别到所述头戴式显示设备当前所在位置大于设定的距离阈值时，则开启建筑群显示模式，显示所述三维周边街景的建筑群，从而使用户迅速了解周边街景的全景，为用户提供更为沉浸式和具有互动性的体验。

如图6所示，图6为本发明基于虚拟现实的街景实现方法第三实施例的流程示意图，在第一实施例的基础上，所述步骤S200包括：

步骤S250、若识别到所述头戴式显示设备小于或等于设定的距离阈值时，则开启商铺显示模式，显示所述三维周边街景的商铺。

头戴式显示设备若识别到当前所在位置小于或等于设定的距离阈值时，即所述头戴式显示设备距离所述周边街景较近时，则开启商铺显示模式，显示所述三维周边街景的商铺，从而使用户迅速获取周边实体店铺的详细信息。

本实施例提出的基于虚拟现实的街景实现方法，若识别到所述头戴式显示设备小于或等于设定的距离阈值时，则开启商铺显示模式，显示所述三维周边街景的商铺，从而使用户迅速获取周边实体店铺的详细信息，为用户提供更为沉浸式和具有互动性的体验。

如图7所示，图7为图3中所述步骤S300的细化流程示意图，在第一实施例的基础上，所述步骤S300包括：

步骤S310、采用动作捕捉技术，捕捉所述头戴式显示设备的运动轨迹。

头戴式显示设备采用动作捕捉技术，对运动轨迹进行捕捉，首先利用背景差分法和帧间差分法相结合提取出运动的所述头戴式显示设备，其中，帧间差分法是利用图像序列中相邻帧图像之间做差来提取出所述立体全景图像对中的运动区域。首先将数帧图像校正在同一坐标系中，然后将同一背景不同时刻的两幅图像进行差分运算，灰度不发生变化的背景部分被减掉，由于所述头戴式显示设备在相邻两帧中的位置不同，且与背景灰度有所差异，两帧相减后将所述头戴式显示设备突现出来，从而大致确定所述头戴式显示设备在所述立体全景图像对中的位置。背景差分法是利用图像序列和参考背景模型相减实现所述目标物体检测的。背景差分法能够提供较为完整的特征数据从而提取出所述头戴式显示设备，但其对光照和外部条件造成的动态场景变化过于敏感，在非受控情部下需要加入背景图像更新机制，且不是用于与双全景摄像头运动，或背景灰度变化较大的情况。再后所述头戴式显示设备采用SIFT(Scale-invariant feature transform，尺度不变特征变换匹配)算法对所述目标物体进行追踪。其主要思想是建立目标库，将所述立体全景图像对第一帧中的所述头戴式显示设备提取出来，进行SIFT变换后将特征数据库存入目标数据库中，每个数据库包括目标标号、质心坐标、目标坐标块以及SIFT信息。每个目标的特征信息又包括特征点坐标、特征向量以及特征向量对应的留存优选级。然后以目标库为中介，与第二帧中目标SIFT特征信息进行匹配，找到前后二帧的关联性，确定所述目标物体的位置及轨迹，然后利用库中目标与第二帧目标的匹配关系，采用特定策略更新、淘汰目标库信息。之后再以目标库为中介继续对后续帧进行处理。SIFT算法分为匹配和更新两个过程。匹配过程通过二个目标特征的匹配概率，找出前后两帧相同的目标，对目标进行关联。更新过程则是在匹配的基础上对目标库进行补充与更新，确保目标库信息与最近几帧目标保持相似性，以保证识别的正确性。

步骤S320、为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向。

头戴式显示设备根据捕捉的运动轨迹，为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向，若所述头戴式显示设备移动时，所述三维虚拟人则在所述三维周边街景中相应实现街景漫游；并在所述三维周边街景的商铺中选购和试用各类商品，若选择到中意的商品后，通过扫描所述商品上的二维码后即可加入虚拟购物车，并进一步实现网上支付。

本实施例提出的基于虚拟现实的街景实现方法，采用动作捕捉技术，捕捉所述头戴式显示设备的运动轨迹；为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向，从而使用户迅速选购到中意的商品，为用户提供更为沉浸式和具有互动性的体验。

如图8所示，图8为本发明基于虚拟现实的街景实现装置第一实施例的功能模块示意图，在第一实施例中，所述基于虚拟现实的街景实现装置包括：

当前位置获取模块10，用于获取头戴式显示设备当前所在位置，当前位置获取装置10集成于虚拟现实头盔11中；

街景获取模块20，用于根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景；

融入模块30，用于构建与所述头戴式显示设备对应的三维虚拟人，将所述三维虚拟人融入到所述三维周边街景中，融入装置30包括虚拟现实头盔11。

头戴式显示设备的当前位置获取模块10按照事先设定的时间阈值来执行定位操作，所述时间阈值可以设定为1秒，也可以设定为其他值，时间阈值可以根据用户的设定随时进行调整或是更改，定位操作通过GPS和RFID的合作来完成，若是在室外时，则通过GPS来获取当前所在位置的经纬度和坐标；若是在室内时，则改用RFID获取当前所在位置的经纬度和坐标。

头戴式显示设备的街景获取模块20采用双全景摄像头在两个不同的视点各个不同的视角下预先采集周边街景的立体全景图像对；并将所述立体全景图像对和对应视角事先保存在设定的街景数据库中；若获取到所述头戴式显示设备当前所在位置时，则相应调出所述街景数据库中的所述立体全景图像对。

头戴式显示设备的融入模块30在虚拟现实场景中构建与所述头戴式显示设备对应的三维虚拟人，并在立体全景图像对中将所述三维虚拟人融入到所述三维周边街景中。其中，所述头戴式显示设备与所述三维虚拟人之间的对应关系包括动作的对应，即所述头戴式显示设备与所述三维虚拟人形成动作映射关系，若所述头戴式显示设备向左移动时，则所述三维虚拟人相应向左移动。

本实施例提出的头戴式显示设备，通过获取头戴式显示设备当前所在位置；根据所述头戴式显示设备当前所在位置，获取所述头戴式显示设备当前所在位置的三维周边街景；构建与所述头戴式显示设备对应的三维虚拟人，将所述三维虚拟人融入到所述三维周边街景中。本实施例自动识别三维周边街景，并将构建的虚拟人融入所述三维周边街景中，为用户提供更为沉浸式和具有互动性的体验。

如图9所示，图9为图8中所述当前位置获取模块的功能模块示意图，，在第一实施例的基础上，所述街景获取模块20包括：

采集单元21，用于采用双全景摄像头在不同的视角下预先采集周边街景的立体全景图像对；

存储单元22，用于将所述立体全景图像对和对应视角事先保存在设定的街景数据库中；

调用单元23，用于若获取到所述头戴式显示设备当前所在位置在设定范围内时，则相应调出所述街景数据库中的所述立体全景图像对。

头戴式显示设备的采集单元21采用双全景摄像头在两个不同的视点以及不同的视角下预先采集周边街景的立体全景图像对，在本实施例中，所述全景摄像头优选为鱼眼摄像头，所述视角包括高度、朝向和俯仰角等。

头戴式显示设备的存储单元22将采集到的所述立体全景图像对以及视角之间形成一一映射关系，并汇集成视角映射表；将所述立体全景图像对和所述视角映射表事先保存在设定的街景数据库中。

头戴式显示设备的调用单元23若获取到所述头戴式显示设备当前所在位置在设定范围内时，则检测所述头戴式显示设备当前视角，根据所述街景数据库中的所述视角映射表，调出与头戴式显示设备当前视角对应的所述立体全景图像对。

本实施例提出的头戴式显示设备，采用双全景摄像头在不同的视角下预先采集周边街景的立体全景图像对；将所述立体全景图像对和对应视角事先保存在设定的街景数据库中；若获取到所述头戴式显示设备当前所在位置在设定范围内时，则相应调出所述街景数据库中的所述立体全景图像对。本实施例自动调出周边街景三维全景视图，为用户提供更为沉浸式和具有互动性的体验。

进一步参见图8，所述街景获取模块20还用于若识别到所述头戴式显示设备当前所在位置大于设定的距离阈值时，则开启建筑群显示模式，显示所述三维周边街景的建筑群。

头戴式显示设备的街景获取模块20若识别到当前所在位置大于设定的距离阈值时，即所述头戴式显示设备距离所述周边街景较远时，则开启建筑群显示模式，显示所述三维周边街景的建筑群，从而通过观看建筑群鸟瞰图的方式，使用户一览所述三维周边街景的全景。

本实施例提出的头戴式显示设备，若识别到所述头戴式显示设备当前所在位置大于设定的距离阈值时，则开启建筑群显示模式，显示所述三维周边街景的建筑群，从而使用户迅速了解周边街景的全景，为用户提供更为沉浸式和具有互动性的体验。

进一步参见图8，所述街景获取模块20还用于若识别到所述头戴式显示设备小于或等于设定的距离阈值时，则开启商铺显示模式，显示所述三维周边街景的商铺。

头戴式显示设备的街景获取模块20若识别到当前所在位置小于或等于设定的距离阈值时，即所述头戴式显示设备距离所述周边街景较近时，则开启商铺显示模式，显示所述三维周边街景的商铺，从而使用户迅速获取周边实体店铺的详细信息。

本实施例提出的头戴式显示设备，若识别到所述头戴式显示设备小于或等于设定的距离阈值时，则开启商铺显示模式，显示所述三维周边街景的商铺，从而使用户迅速获取周边实体店铺的详细信息，为用户提供更为沉浸式和具有互动性的体验。

如图10所示，图10为图8中所述融入模块的功能模块示意图，在第一实施例的基础上，所述融入模块包括：

捕捉单元31，用于采用动作捕捉技术，捕捉所述头戴式显示设备的运动轨迹，捕捉单元31包括头盔定位装置11和手柄定位装置22；

建立单元32，用于为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向。

头戴式显示设备的捕捉单元31采用动作捕捉技术，对运动轨迹进行捕捉，首先利用背景差分法和帧间差分法相结合提取出运动的所述头戴式显示设备，其中，帧间差分法是利用图像序列中相邻帧图像之间做差来提取出所述立体全景图像对中的运动区域。首先将数帧图像校正在同一坐标系中，然后将同一背景不同时刻的两幅图像进行差分运算，灰度不发生变化的背景部分被减掉，由于所述头戴式显示设备在相邻两帧中的位置不同，且与背景灰度有所差异，两帧相减后将所述头戴式显示设备突现出来，从而大致确定所述头戴式显示设备在所述立体全景图像对中的位置。背景差分法是利用图像序列和参考背景模型相减实现所述目标物体检测的。背景差分法能够提供较为完整的特征数据从而提取出所述头戴式显示设备，但其对光照和外部条件造成的动态场景变化过于敏感，在非受控情部下需要加入背景图像更新机制，且不是用于与双全景摄像头运动，或背景灰度变化较大的情况。再后所述头戴式显示设备采用SIFT算法对所述目标物体进行追踪。其主要思想是建立目标库，将所述立体全景图像对第一帧中的所述头戴式显示设备提取出来，进行SIFT变换后将特征数据库存入目标数据库中，每个数据库包括目标标号、质心坐标、目标坐标块以及SIFT信息。每个目标的特征信息又包括特征点坐标、特征向量以及特征向量对应的留存优选级。然后以目标库为中介，与第二帧中目标SIFT特征信息进行匹配，找到前后二帧的关联性，确定所述目标物体的位置及轨迹，然后利用库中目标与第二帧目标的匹配关系，采用特定策略更新、淘汰目标库信息。之后再以目标库为中介继续对后续帧进行处理。SIFT算法分为匹配和更新两个过程。匹配过程通过二个目标特征的匹配概率，找出前后两帧相同的目标，对目标进行关联。更新过程则是在匹配的基础上对目标库进行补充与更新，确保目标库信息与最近几帧目标保持相似性，以保证识别的正确性。

头戴式显示设备的建立单元32根据捕捉的运动轨迹，为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向，若所述头戴式显示设备移动时，所述三维虚拟人则在所述三维周边街景中相应实现街景漫游；并在所述三维周边街景的商铺中选购和试用各类商品，若选择到中意的商品后，通过扫描所述商品上的二维码后即可加入虚拟购物车，并进一步实现网上支付。

本实施例提出的头戴式显示设备，采用动作捕捉技术，捕捉所述头戴式显示设备的运动轨迹；为所述三维虚拟人建立与所述运动轨迹相映射的虚拟运动方向，从而使用户迅速选购到中意的商品，为用户提供更为沉浸式和具有互动性的体验。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。