一种基于虚拟现实技术的观景方法、装置及系统与流程

本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实技术的观景方法、装置及系统。

背景技术：

近来VR(Virtual Reality，虚拟现实)技术发展迅速，VR相关产品也快速增加。但是，目前VR设备大多需要用户头戴，所提供的应用场景及模式雷同。“虚拟现实”的概念不应局限于此，从广泛意义上来说，将虚拟现实的概念拓展到用户现实场景中，可以为用户带来一些新的场景和体验可能。

目前，传统的虚拟现实系统需要用户头戴特殊设备，虽然能给用户带来全视角的体验，但其使用复杂，设备昂贵，而且可能对用户的健康会产生一定的不良影响，具有较大的局限性。

技术实现要素：

本发明提供一种基于虚拟现实技术的实时观景方法、装置及系统，以实现用户足不出户便可以实时观看全球各地的景点，且具有窗前观景的效果。

本发明采用以下技术方案：

第一方面，本发明提供一种基于虚拟现实技术的实时观景方法，包括：

获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，所述当前观景视场角包括横向观景视场角和纵向观景视场角；

获取用户指定地点的摄像装置实时拍摄的视频图像；

根据所述当前位置信息和当前观景视场角对所述视频图像进行处理；

发送所述处理后的视频图像至显示装置显示。

具体地，所述摄像装置为360°全景摄像头。

进一步地，所述根据所述当前位置信息和当前观景视场角对所述视频图像进行处理，包括：

如果所述当前观景视场角小于摄像装置视场角，则根据所述当前位置信息和当前观景视场角对所述视频图像进行裁剪；

根据显示装置的分辨率对裁剪后的视频图像进行缩放。

进一步地，所述获取用户当前的观景视场角，所述观景视场角包括横向观景视场角和纵向观景视场角之后，还包括：

如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，调整所述摄像装置的采集角度；

所述获取用户指定地点的摄像装置实时拍摄的视频图像，具体为：

获取摄像装置调整采集角度后实时拍摄的视频图像。

具体地，所述如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，调整所述摄像装置的采集角度，包括：

计算所述当前观景视场角与上一观景视场角的视场角变化量；

根据所述视场角变化量判断所述当前观景视场角对应的视频图像是否超出了所述摄像装置采集的视频图像的范围；

如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，则调整所述摄像装置的采集角度。

第二方面，本发明提供一种基于虚拟现实技术的实时观景装置，包括：

当前观景视场角获取单元，用于获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，所述当前观景视场角包括横向观景视场角和纵向观景视场角；

视频图像获取单元，用于获取用户指定地点的摄像装置实时拍摄的视频图像；

视频图像处理单元，用于根据所述当前位置信息和当前观景视场角对所述视频图像进行处理；

视频图像发送单元，用于发送所述处理后的视频图像至显示装置显示。

进一步地，还包括：

摄像装置采集角度调整单元，用于如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，调整所述摄像装置的采集角度；

所述视频图像获取单元，具体用于获取摄像装置调整采集角度后实时拍摄的视频图像。

具体地，所述视频图像处理单元具体用于如果所述当前观景视场角小于摄像装置视场角，则根据所述当前观景视场角对所述视频图像进行裁剪，并根据显示装置的分辨率对裁剪后的视频图像进行缩放。

第三方面，本发明提供一种基于虚拟现实技术的实时观景系统，包括管理服务器、远端摄像装置、虚拟现实设备、显示装置和本地摄像装置，所述管理服务器配置有上述所述的基于虚拟现实技术的实时观景装置，

所述远端摄像装置布设于世界各地的著名景点，用于拍摄实时视频图像发送至所述管理服务器；

所述本地摄像装置布设于所述显示装置上，用于采集显示装置前方用户面部相对于所述显示装置的位置信息，并将所述位置信息发送至所述虚拟现实设备；

所述虚拟现实设备用于获取所述用户面部相对于所述显示装置的位置信息并将该位置信息发送至所述管理服务器；接收所述管理服务器处理后的视频图像，将所述视频图像发送至所述显示装置进行显示。

第四方面，本发明提供一种基于虚拟现实技术的实时观景系统，包括管理服务器、远端摄像装置、虚拟现实设备、显示装置和本地摄像装置，所述虚拟现实设备配置有上述所述的基于虚拟现实技术的实时观景装置，

所述远端摄像装置布设于世界各地的著名景点，用于拍摄实时视频图像发送至所述管理服务器；

所述本地摄像装置布设于所述显示装置上，用于采集显示装置前方用户面部相对于所述显示装置的位置信息，并将所述位置信息发送至所述虚拟现实设备；

所述管理服务器用于根据虚拟现实设备发送的远端摄像装置采集角度调整指令对远端摄像装置的采集角度进行调整；将远端摄像装置拍摄的实时视频图像发送至所述虚拟现实设备进行处理；

所述显示装置用于显示所述虚拟现实设备处理后的视频图像。

本发明提供的技术方案带来如下有益效果：

通过获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，根据所述当前位置信息和当前观景视场角对用户指定地点的摄像装置实时拍摄的视频图像进行处理，发送所述处理后的视频图像至显示装置显示，实现了根据用户的位置信息处理实时采集的景点视频图像，就像用户站在窗前看风景一样，显示装置显示的视频图像根据用户位置变化而变化，用户足不出户欣赏全球各地风景的需求，用户体验好，效果逼真。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明提供的基于虚拟现实技术的实时观景方法第一个实施例的方法流程图。

图2a是本发明提供的用户横向视场角的平面示意图。

图2b是本发明提供的用户纵向视场角的平面示意图。

图3是本发明提供的视频图像裁剪原理示意图。

图4是本发明提供的基于虚拟现实技术的实时观景方法第二个实施例的方法流程图。

图5是本发明提供的基于虚拟现实技术的实时观景装置第一个实施例的结构方框图。

图6是本发明提供的基于虚拟现实技术的实时观景装置第二个实施例的结构方框图。

图7是本发明提供的基于虚拟现实技术的实时观景系统第一个实施例的结构方框图。

图8是本发明提供的基于虚拟现实技术的实时观景系统第二个实施例的结构方框图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的基于虚拟现实技术的实时观景方法第一个实施例的方法流程图。本发明实施例的方法可以由配置在管理服务器中的基于虚拟现实技术的实时观景装置来执行，也可以由配置在虚拟现实设备中的基于虚拟现实技术的实时观景装置来执行。参考图1所示，该基于虚拟现实技术的实时观景方法包括：

S101、获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，所述当前观景视场角包括横向观景视场角和纵向观景视场角。

具体地，实时获取用户面部与显示装置的当前相对位置信息，根据所述相对位置信息计算出用户的当前观景视场角。

本实施例中，在显示装置上端设置一个摄像头，可以实时检测显示装置前方是否存在用户，以及用户位置的变化。现在进行面部识别的算法使用已经相当成熟，因此，通过摄像头跟踪用户的面部位置变化，及时获取用户的当前位置信息。摄像头设置于显示装置上的位置已知，摄像头的拍摄视场角也是已知的，而且用户两只眼睛之间的平均距离也是已知的，通过对摄像头拍摄的图像进行处理可以得出用户面部相对显示装置的平面位置信息，而通过摄像头参数及图像中用户两只眼睛之间的距离估算出用户距离显示屏幕的距离，则可以通过建立三维坐标系表示出用户的位置信息，三维坐标系的原点可以选择为显示装置的中心位置，也可以选择为显示装置的左下角位置。

当然，获取用户面部信息的方式有多种，比如，在显示装置上设置三个摄像装置，三个摄像装置的位置已知，则可以确定显示装置前方用户面部的位置。

还可以通过结合红外装置测距和摄像头面部追踪算法相结合的方式确定用户的位置信息，这里仅是举例说明用户相对于显示装置的当前位置信息是可以获取的，具体实现方式有多种，这里不再一一列举详述。

当前观景视场角包括横向观景视场角和纵向观景视场角。图2a是本发明提供的用户横向视场角的平面示意图。如图2a所示，横向观景视场角为与用户眼睛在同一横平面的显示装置的左右边的两个点与眼睛之间的夹角，Q代表用户面部位置，AB为电视横向的长度，夹角α为横向观景视场角；图2b是本发明提供的用户纵向视场角的平面示意图。如图2b所示，纵向观景视场角为与用户眼睛在同一纵平面内的显示装置的上下边的两个点与眼睛之间的夹角，Q代表用户面部位置，CD为电视纵向的宽度，夹角β为纵向观景视场角。当然，在实际计算中，无论是横向观景视场角还是纵向观景视场角都可以选择两只眼睛的中点为夹角的顶点，也可以以左眼或者右眼为基准，可以根据实际情况选择。

S102、获取用户指定地点的摄像装置实时拍摄的视频图像。

用户可以选择想要欣赏的景点，则该景点调取与其匹配的摄像装置实时采集景点的视频图像，所述摄像装置为摄像头，优选的，所述摄像头为360度全景摄像头，其水平视场角和垂直视场角均大于180°，无论用户如何移动，其视角均不会超出此范围。所述视频图像的采集为实时采集，采集的时间间隔可精确到微秒、毫秒级，以满足用户在显示装置前位置变化时所看到的视频图像为景点当前的现场实景，景点人员流动、风吹草动都能实时在显示装置上显示出来。当然，摄像装置也可以选用广角摄像头，360度全景摄像头仅作为优选方式，并不作为对本技术方案的限制。

S103、根据所述当前位置信息和当前观景视场角对所述视频图像进行处理。

步骤S103具体为：

如果所述当前观景视场角小于摄像装置视场角，则根据所述当前位置信息和当前观景视场角对所述视频图像进行裁剪；

根据显示装置的分辨率对裁剪后的视频图像进行缩放。

当摄像装置为360°全景摄像头时，假设摄像头的水平视场角和垂直视场角均为180°；用户当前横向观景视场角为50°，纵向观景视场角为30°；那么摄像装置拍摄的视频图像要大于在显示装置上显示的图像，则需要按照当前观景视场角和用户当前位置信息对视频图像进行裁剪。

图3是本发明提供的视频图像裁剪原理示意图。参考图3所示，用户从第一个位置变换为第二个位置时，用户当前视场角也发生变化，裁剪的视频图像不同。用户位置变化前显示装置显示的视频图像是在远端摄像装置拍摄的视频图像中裁剪的A区域内容，而用户位置变化后，显示装置显示的视频图像是在远端摄像装置拍摄的视频图像中裁剪的B区域内容，将裁剪的内容进行缩放处理后由显示装置进行显示。如同用户在窗前向外看风景一样，当用户位置变化时，从窗户看到的风景也不同。举例说明，用户相对于显示装置的位置信息通过三维坐标系来表示，以显示装置的中点为原点；将摄像头拍摄的视频图像的中点作为原点建立二维坐标系；用户的位置坐标表示为(x，y，z)时，那么，裁剪视频图像的中心点坐标为(-x、-y)，当用户的位置发生变化时，裁剪视频图像的中心点也相应的移动，根据当前观景视场角裁剪出合适的视频图像。裁剪后的视频图像分辨率不一定和显示装置的分辨率对应，因此，需要对裁剪后的视频图像根据显示装置的分辨率进行缩放处理。此处仅为举例说明，具体实现方式有多种，并不作为对本技术方案的限制。

当用户当前位置超出预设范围时，则进行提醒。在显示装置上设置摄像头，如果用户超出该摄像头的拍摄视场角则进行报警提醒。为了扩大用户活动区域，可以在显示装置上设置两个摄像头，以增大拍摄范围。

S104、发送所述处理后的视频图像至显示装置显示。

将经过步骤S103裁剪过的视频图像发送至显示装置进行显示。本实施例中，显示装置为液晶显示屏。

综上，本发明提供的基于虚拟现实技术的实时观景方法通过获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，根据所述当前位置信息和当前观景视场角对用户指定地点的摄像装置实时拍摄的视频图像进行处理，发送所述处理后的视频图像至显示装置显示，实现了根据用户的位置信息处理实时采集的景点视频图像，就像用户站在窗前看风景一样，满足了用户足不出户欣赏全球各地风景的需求，用户体验好，效果逼真。

图4是本发明提供的基于虚拟现实技术的实时观景方法第二个实施例的方法流程图。本实施例以前述方法为基础，当摄像装置的视场角拍摄的视频图像不能满足需求时的具体实现方式。参考图4所示，该基于虚拟现实技术的实时观景方法包括：

S201、获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，所述当前观景视场角包括横向观景视场角和纵向观景视场角。

S202、如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，调整所述摄像装置的采集角度。

一些摄像头的视场角有限制，比如一般户外摄像头的视场角为150°，但是摄像头的底座固定，摄像头的镜头是可以旋转的，通过摄像头的旋转则可以扩大拍摄范围。

步骤S202具体包括：

1、计算所述当前观景视场角与上一观景视场角的视场角变化量。

2、根据所述视场角变化量判断所述当前观景视场角对应的视频图像是否超出了所述摄像装置采集的视频图像的范围。

例如，当视场角为150°的摄像头拍摄的视频图像，用户前一次的位置信息所裁剪的视频图像已经位于摄像头拍摄的视频图像的边缘，那么当用户再次移动位置时，下次裁剪的视频图像已经超出了摄像头拍摄的视频图像的范围。

3、如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，则调整所述摄像装置的采集角度。

如果判断出下次将要裁剪的视频图像已经超出了摄像头所拍摄的视频图像的范围，那么调整摄像头的镜头角度，则采集到满足裁剪需求的视频图像。

S203、获取摄像装置调整采集角度后实时拍摄的视频图像。

S204、根据所述当前位置信息和当前观景视场角对所述视频图像进行处理。

S205、发送所述处理后的视频图像至显示装置显示。

步骤S201、S203、S204和S205的详细内容请参考图1所示对应内容，这里不再赘述。

综上，本发明提供的基于虚拟现实技术的实时观景方法通过获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，调整所述摄像装置的采集角度，获取摄像装置调整采集角度后实时拍摄的视频图像，根据所述当前位置信息和当前观景视场角对所述视频图像进行处理，发送所述处理后的视频图像至显示装置显示，实现了根据用户的位置信息处理实时采集的景点视频图像，就像用户站在窗前看风景一样，如果摄像装置拍摄的视频图像不能满足裁剪要求，则对远端摄像装置的采集角度进行调整，扩大了观景范围，满足了用户足不出户欣赏全球各地风景的需求，用户体验好，效果逼真。

图5是本发明提供的基于虚拟现实技术的实时观景装置第一个实施例的结构方框图。该基于虚拟现实技术的实时观景装置可以配置于管理服务器，也可以配置于虚拟现实设备。参考图5所示，该基于虚拟现实技术的实时观景装置10包括：

当前观景视场角获取单元100，用于获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，所述当前观景视场角包括横向观景视场角和纵向观景视场角。

视频图像获取单元101，用于获取用户指定地点的摄像装置实时拍摄的视频图像。

视频图像处理单元102，用于根据所述当前位置信息和当前观景视场角对所述视频图像进行处理；具体用于如果所述当前观景视场角小于摄像装置视场角，则根据所述当前观景视场角对所述视频图像进行裁剪，并根据显示装置的分辨率对裁剪后的视频图像进行缩放。

视频图像发送单元103，用于发送所述处理后的视频图像至显示装置显示。

装置的详细内容参见图1所示的方法，这里不再赘述。

综上，本发明提供的基于虚拟现实技术的实时观景装置通过获取用户相对于显示装置的当前的位置信息，根据所述当前位置信息计算出用户当前观景视场角，根据所述当前位置信息和当前观景视场角对用户指定地点的摄像装置实时拍摄的视频图像进行处理，发送所述处理后的视频图像至显示装置显示，实现了根据用户的位置信息处理实时采集的景点视频图像，就像用户站在窗前看风景一样，满足了用户足不出户欣赏全球各地风景的需求，用户体验好，效果逼真。

图6是本发明提供的基于虚拟现实技术的实时观景装置第二个实施例的结构方框图。该基于虚拟现实技术的实时观景装置以前述装置为基础，实现了摄像装置采集角度的调整。参考图6所示，该基于虚拟现实技术的实时观景装置与图5所示装置不同之处在于，还包括：

摄像装置采集角度调整单元104，用于如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围，调整所述摄像装置的采集角度；

所述视频图像获取单元101，具体用于获取摄像装置调整采集角度后实时拍摄的视频图像。

该基于虚拟现实技术的实时观景装置在摄像装置拍摄的视频图像范围不能满足用户移动范围的要求时，对摄像装置的采集角度进行调整，扩大了观景范围，进一步提高了用户观景效果，用户体验好。

图7是本发明提供的基于虚拟现实技术的实时观景系统第一个实施例的结构方框图。参考图7所示，该基于虚拟现实技术的实时观景系统包括管理服务器1、远端摄像装置2、虚拟现实设备3、显示装置4和本地摄像装置5，所述管理服务器1配置有上述所述的基于虚拟现实技术的实时观景装置10，

所述远端摄像装置2布设于世界各地的著名景点，用于拍摄实时视频图像发送至所述管理服务器；

所述本地摄像装置5布设于所述显示装置4上，用于采集显示装置4前方用户面部相对于所述显示装置4的位置信息，并将所述位置信息发送至所述虚拟现实设备3；

所述虚拟现实设备3用于获取所述用户面部相对于所述显示装置4的位置信息并将该位置信息发送至所述管理服务器1；接收所述管理服务器1处理后的视频图像，将所述视频图像发送至所述显示装置4进行显示。

该基于虚拟现实技术的实时观景系统通过远端摄像装置拍摄实时视频图像发送至管理服务器，虚拟现实设备通过本地摄像装置获取用户的面部相对于显示装置的位置信息，并将位置信息发送至管理服务器，管理服务器根据虚拟现实设备发送的位置信息计算出用户视场角，并根据该位置信息和视场角对视频图像进行裁剪，并将裁剪后的视频图像通过虚拟现实设备发送至显示装置进行显示，实现了根据用户的位置信息处理实时采集的景点视频图像，就像用户站在窗前看风景一样，满足了用户足不出户欣赏全球各地风景的需求，用户体验好，效果逼真。本实施例中，基于虚拟现实技术的实时观景装置配置于管理服务器，将所有视频图像处理工作均在管理服务器完成，减少了数据传输量，对网络带宽要求低。

具体地，所述远端摄像装置2为360°全景摄像头，360°全景摄像头拍摄范围大，能满足用户的随意位置。所述本地摄像装置5为广角摄像头，具有较大的拍摄范围，从而使用户具有较大的移动范围。

在一些实施例中，所述管理服务器为云服务器，通过网络与虚拟现实设备连接，且远端摄像装置通过网络与管理服务器连接。管理服务器对全球各地的远端摄像装置传回的视频图像进行管理，所述网络可以为互联网或3G/4G。

图8是本发明提供的基于虚拟现实技术的实时观景系统第二个实施例的结构方框图。参考图8所示，该基于虚拟现实技术的实时观景系统包括管理服务器2、远端摄像装置3、虚拟现实设备1、显示装置4和本地摄像装置5，所述虚拟现实设备1配置有如上述所述的基于虚拟现实技术的实时观景装置10，

所述远端摄像装置3布设于世界各地的著名景点，用于拍摄实时视频图像发送至所述管理服务器2；

所述本地摄像装置5布设于所述显示装置4上，用于采集显示装置4前方用户面部相对于所述显示装置的位置信息，并将所述位置信息发送至所述虚拟现实设备1；

所述管理服务器2用于根据虚拟现实设备1发送的远端摄像装置采集角度调整指令对远端摄像装置3的采集角度进行调整；将远端摄像装置拍摄的实时视频图像发送至所述虚拟现实设备1进行处理；

所述显示装置4用于显示所述虚拟现实设备1处理后的视频图像。

该基于虚拟现实技术的实时观景系统通过远端摄像装置拍摄实时视频图像发送至管理服务器，管理服务器根据虚拟现实设备发送的远端摄像装置采集角度调整指令对远端摄像装置的采集角度进行调整，将远端摄像装置拍摄的实时视频图像发送至所述虚拟现实设备进行处理，实现了根据用户的位置信息处理实时采集的景点视频图像，就像用户站在窗前看风景一样，满足了用户足不出户欣赏全球各地风景的需求，用户体验好，效果逼真。本实施例中，基于虚拟现实技术的实时观景装置配置于虚拟现实设备，将所有视频图像处理工作均在虚拟现实设备完成，减少了管理服务器的工作量，对服务器要求低，有利于降低成本。

具体地，所述远端摄像装置3为360°全景摄像头，360°全景摄像头拍摄范围大，能满足用户的随意位置。所述本地摄像装置5为广角摄像头，具有较大的拍摄范围，从而使用户具有较大的移动范围。

在一些实施例中，所述管理服务器为云服务器，通过网络与虚拟现实设备连接，且远端摄像装置通过网络与管理服务器连接。管理服务器对全球各地的远端摄像装置传回的视频图像进行管理，所述网络可以为互联网或3G/4G。

以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。