三维全景图像的建立方法和系统与流程

本发明涉及虚拟现实技术领域，尤其涉及一种三维全景图像的建立方法和系统。

背景技术：

三维全景图像是通过相机捕捉整个环境场景的图像信息，使用软件进行图像的拼接整合，将平面图像进行处理得到三维全景图像。三维全景图像能够实现把二维的平面图像模拟成真实的三维空间，达到模拟和再现真实环境场景的效果。

随着计算机软硬件技术的发展，智能可穿戴设备的日渐普及，头戴式虚拟现实设备通过图像显示屏将虚拟的环境图像展现在观察者眼前，为观察者营造一种置身于虚拟环境中的体验。

然而，目前用于头戴式虚拟现实设备中的三维全景图像的视角都是观察者的位置不动，以观察者所在位置为中心，原地旋转360°向外观察，同时头部可以仰视和俯视观察。这种观察视角下所呈现的场景使得观察者可活动的区域非常局限，体验效果较差。

技术实现要素：

为了解决上述问题，本发明提供一种三维全景图像的建立方法和系统，可以扩大观察视角，增加用户的沉浸感。

本发明提供一种三维全景图像的建立方法，包括：

多个拍照装置，彼此成球面位置关系对称均匀布置在半球面上，同时朝向半球形的中心方向进行拍照，其中，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；

图像拼接装置，分别与多个拍照装置连接，接收多个拍照装置发送的图像，并将多个拍照装置发送的图像拼接成全景图，所述全景图为半球形的中心方向的全景图；

虚拟现实设备，与图像拼接装置连接，接收图像拼接装置拼接处理后的全景图，将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。

可选地，半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。

可选地，所述的系统还包括：

图像压缩装置，将图像拼接装置拼接处理后的全景图进行压缩处理，所述图像压缩装置布置在图像拼接装置中，或外置于图像拼接装置且与图像拼接装置连接；

图像解压装置，对图像压缩装置压缩处理后的全景图进行解压处理，并将解压处理后的全景图发送给虚拟现实设备进行贴图显示，所述图像解压装置可以布置在虚拟现实设备中。

可选地，图像拼接装置，采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下，对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对，对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个拍照装置拍摄的图像拼接成全景图。

可选地，虚拟现实设备，在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。

本发明还提供一种三维全景图像的建立方法，包括：

获取多个拍照装置朝向半球形的中心方向同时拍摄的图像，其中，所述多个拍照装置彼此成球面位置关系对称均匀布置在半球面上，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；

将多个拍照装置拍摄的图像拼接成全景图，所述全景图为半球形的中心方向的全景图；

将拼接处理后的全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。

可选地，半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。

可选地，所述的方法还包括：

采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下；

对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对；

对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个图像拼接成全景图。

可选地，所述的方法还包括：

在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；

当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；

当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。

可选地，所述的方法还包括：

当监测到位于虚拟现实设备上触发视点高度调整指令的按钮被触发时，触发视点高度调整指令；或者

当监测到佩戴虚拟现实设备的用户连续蹦跳触发视点高度调整指令的预设次数时，触发视点高度调整指令。

本发明实施例通过由彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置同时对半球形的中心方向进行拍照，将多个拍照装置拍摄的图像拼接成全景图并发送给虚拟现实设备将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。由于每个拍照装置拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。进一步地，由于每个拍照装置由外向内从不同角度同时对半球形的中心方向(场景)进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的三维全景图像的建立系统架构图；

图2为本发明实施例提供的一种拍照装置布置示意图；

图3为本发明一实施例提供的三维全景图像的建立方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述xxx，但这些xxx不应限于这些术语。这些术语仅用来将xxx彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一xxx也可以被称为第二xxx，类似地，第二xxx也可以被称为第一xxx。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

本发明通过多个拍照装置从不同角度同时拍摄同一场景，实时获取重叠覆盖整个场景的多个图像，获得更加密集的图像覆盖度，使得能够根据实时用户朝向要求来向该用户提供对应的图像，使得用户获取实时立体视觉效果体验。

图1为本发明一实施例提供的三维全景图像的建立系统架构图，如图1所示，本发明实施例提供的系统包括：

n个拍照装置，彼此成球面位置关系对称均匀布置在半球面上，同时对半球形的中心方向进行拍照，其中，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；其中，n大于3。

本实施例中，半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。在一种可选的实现方式中，可以用球面维度线沿着球半径中心点将半球面划分2份，用球面经度线将半球面划分4份，有相邻两条经度线和相邻两条维度线相交得到八个交点，在八个交点处各布置有广角摄像机，有相邻两条经度线在球面北极相交的交点处布置有广角摄像机。

图2为本发明实施例提供的一种拍照装置布置示意图，如图2所示，使用9个广角摄像机对称均匀布置在半球面上，该9个广角摄像机均朝向半球形的中心方向拍摄，也就是说，每个广角摄像机由外向内从不同角度同时对半球形的中心方向进行拍摄，相邻的广角摄像机拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。

本实施例的系统还包括：图像拼接装置，分别与多个拍照装置连接，接收多个拍照装置发送的图像，并将多个拍照装置发送的图像拼接成全景图，所述全景图为球中心位置处的物体的全景图；

图像拼接装置在具体实现图像拼接时，可以采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下，对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对，对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个拍照装置拍摄的图像拼接成全景图。

本实施例的系统还包括：虚拟现实设备，与图像拼接装置连接，接收图像拼接装置拼接处理后的全景图，将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。

具体地，虚拟现实设备在进行三维全景图时，当监测到用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；当监测到用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰且不失真。

为此，虚拟现实设备上设置有传感器，可以监测用户的位置和视角的变换。

在一种可选的实现方式中，本实施例的系统还包括：

图像压缩装置，将图像拼接装置拼接处理后的全景图进行压缩处理，所述图像压缩装置布置在图像拼接装置中，或外置于图像拼接装置且与图像拼接装置连接；

图像解压装置，对图像压缩装置压缩处理后的全景图进行解压处理，并将解压处理后的全景图发送给虚拟现实设备进行贴图显示，所述图像解压装置可以布置在虚拟现实设备中。

本发明实施例通过由彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置同时对半球形的中心方向进行拍照，将多个拍照装置拍摄的图像拼接成全景图并发送给虚拟现实设备将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。由于每个拍照装置拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。进一步地，由于每个拍照装置由外向内从不同角度同时对半球形的中心方向进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。

基于图1所示的系统架构图，图3为本发明一实施例提供的三维全景图像的建立方法流程示意图，如图3所示，包括：

101、获取彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置针对半球形的中心方向同时拍摄的图像。

其中，所述多个拍照装置彼此成球面位置关系对称均匀布置在半球面上，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；

其中，多个拍照装置在半球面的具体布置包括：半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。如图2所示，使用9个广角摄像机对称均匀布置在半球面上，该9个广角摄像机均朝向半球形的中心方向拍摄，也就是说，每个广角摄像机由外向内从不同角度同时对半球形的中心方向进行拍摄，这样，相邻的广角摄像机拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。

本发明实施例中，每个拍照装置与图像拼接装置连接，可以将拍摄到的图片发送给图像拼接装置。

102、将多个拍照装置拍摄的图像拼接成全景图。

具体地，图像拼接装置接收到每个拍照装置传来的图像之后，需要对图像进行如下处理：投影平面一致化，特征提取，特征匹配，图像配准和融合，曝光补偿，去鬼影，最终得到一个能够覆盖一个半球面模型外表面的全景图贴图。

其中，投影平面一致化处理包括：采用平面投影之间的单应性变换，将每个拍照装置拍摄的不同投影平面下的图像转换到同一个平面下。

其中，特征提取包括：对每个图像进行特征点检测提取，例如可以采用尺度不变特征转换(scale-invariantfeaturetransform，sift)方法提取每个图像的sift特征点，对每个图像进行若干次连续滤波得到第一尺度组图像，把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；对每个尺度中的高斯图像进行差分，形成高斯差分尺度组图像；求解计算这些高斯差分尺度组图像的局部极值点，即为sift特征点。其中，sift特征点是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性。

特征匹配包括：由于相邻的广角摄像机拍摄的图像彼此部分重叠(局部重叠度高)，因此对于有重叠区域的两个图像，先使用ransac(randomsampleconsensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法)算法对特征点筛选，再使用sift/kd-tree(k-dimensional树的简称，是一种分割k维数据空间的数据结构)建立两个图像之间匹配的特征点对。

图像配准和融合包括：图像配准是通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准；图像融合可使用非多分辨率技术或多分辨率技术来提高图像信息的利用率、改善计算机解译精度和可靠性、提升图像的空间分辨率和光谱分辨率。

曝光补偿和去鬼影包括：根据光学透视几何原理，两个不同拍照装置拍摄的图像，总会存在一定的视差，例如重影、鬼影，最终会导致拼接的图像在视觉上出现难以接受的瑕疵，因此需要对图像进行去鬼影处理；另外，由于摄像头具有不同的拍摄角度，例如有的位于向光面，有的位于背光面，从而导致所拍摄的图像出现曝光程度不一致的情况。所以本发明实施例中需要对每个图像进行曝光补偿和去鬼影处理，其中，曝光补偿可以根据目标直方图曲线对图像进行曝光调整。

图像拼接装置重复以上步骤将每个拍摄装置拍摄的图像拼接成全景图。

103、将拼接处理后的全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。

本发明实施例中的虚拟半球面模型是虚拟现实设备通过科学技术模拟仿真现实中的半球面后再叠加到虚拟现实世界被用户所感知的模型，是将虚拟化技术加到使用者感官上再来观察世界的方式。因此，虚拟半球面模型与半球面之间存在位置映射关系。

本发明实施例中，为了提高传输效率，减少网络传输资源，图像拼接装置将每个拍摄装置拍摄的图像拼接成全景图之后，可以对拼接成的全景图进行轻量级的无损压缩再通过网络传输给虚拟现实设备。

虚拟现实设备首先对接收到的全景图进行解压，然后将解压后的全景图对应贴图到虚拟半球面模型的外表面上，形成基于虚拟现实的三维全景图。

本发明实施例中，由于每个拍照装置是由外向内从不同角度同时对半球形的中心方向进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。

具体地，在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示。

当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；其中，视点高度调整指令的触发情况包括但不限于如下举例：当监测到位于虚拟现实设备上触发视点高度调整指令的按钮被触发时，触发视点高度调整指令；或者当监测到佩戴虚拟现实设备的用户连续蹦跳触发视点高度调整指令的预设次数时，触发视点高度调整指令。

当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。如图2所示，当用户沿着半径走近场景中心点时，为了在不同的景深下让虚拟现实设备中能够以高分辨率清晰细致的显示虚拟现实的三维图像，在用户视点针对场景中心点距离拉近时将1080p的分辨率进行升高分辨率处理，例如通过神经网络将分辨率提升指定的倍数，指定的倍数一般设置为2-4倍，视点距离场景中心点越近，设置倍数越高，以此保证图像的清晰和不失真。

需要说明的是，本发明实施例中，虚拟现实设备中设置有传感器，用于对用户头部追踪以确定用户头部在现实世界中的位置和姿态，从而可以确定虚拟世界的观察视角。

本发明实施例通过由彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置同时对半球形的中心方向进行拍照，将多个拍照装置拍摄的图像拼接成全景图并发送给虚拟现实设备将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。由于每个拍照装置拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。进一步地，由于每个拍照装置由外向内从不同角度同时对半球形的中心方向进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。