全景视频图像融合方法及装置与流程

本发明涉及计算机视觉与图像处理技术领域，尤其涉及一种全景视频图像融合方法及装置。

背景技术：

数字三维全景图像，是通过相机捕捉整个环境场景的图像信息，使用软件进行图像的拼接整合，将平面图像进行处理得到的三维全景图像。三维全景图像能够实现把二维的平面图像模拟成真实的三维空间，以达到模拟和再现真实环境场景的效果。

随着计算机软硬件技术的不断发展，智能可穿戴设备日渐普及，头戴式虚拟现实设备通过图像显示屏将虚拟的环境图像展现在使用者眼前，为使用者营造一种置身于虚拟环境中的体验。使用者佩戴头戴式虚拟现实设备时，通过将使用者的视野范围完全限定在图像显示屏的显示范围内，能够隔绝图像显示屏显示范围以外的环境图像，从而让使用者获得沉浸于虚拟场景的体验。

通过多个摄像机拍摄高画质的全景视频图像，保留环境场景中更多的图像细节，能够让使用者通过虚拟现实设备观看全景视频时获得更加真实的沉浸感。在现有技术中，通过多个摄像机采集环境场景的全景视频图像时，相邻摄像机获取的图像之间存在重叠区域，由于拍摄时间与角度差异，重叠区域通常存在色彩亮度及形变程度的差异。在对多个摄像机采集的图像进行拼接得全景图像时，如果将重叠区域的图像只进行简单的叠加处理，将严重影响全景图像的视觉效果。因此，如何使拼接融合后的图像更加平滑自然、过渡清晰，有效地提高全景图像拼接效果，是全景图像拼接合成过程中亟待解决的技术问题之一。

技术实现要素：

本发明所要解决的技术问题在于全景图像分辨率高，图像信息量大，图像拼接融合过程运算复杂度高、耗时长，在解码播放过程中往往不能满足实时性的要求，尤其在连续视频图像上的处理存在延迟的问题。

在鉴于此，本发明一方面提供一种全景视频图像融合方法，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型；根据所述环境场景的空间球面模型，对所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像；根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像头对应的环境场景视频图像中的图像像素点之间的关联映射；根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

优选地，所述预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型的步骤，具体为：所述多个摄像头设置于球状设备表面，所述每个摄像头采集所述环境场景预设空间角度范围的视频图像，所述多个摄像头采集的环境场景视频图像覆盖所述环境场景的空间全景；以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。

优选地，所述预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型的步骤，还包括：根据姿态估计算法，确定所述多个摄像头在所述笛卡尔坐标系中的姿态，得到所述多个摄像头的姿态矩阵。

优选地，所述根据所述环境场景的空间球面模型，对所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像的步骤，还包括：建立所述环境场景空间球面模型的经纬度坐标系，确定所述球面纹理图像中的图像像素点在所述经纬度坐标系中的坐标。

优选地，所述根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像头对应的环境场景视频图像中的图像像素点之间的关联映射的步骤，具体为：根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点的经纬度坐标与所述至少一个摄像头对应的视频图像中的图像像素点的坐标之间的关联映射。

优选地，所述根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合的步骤，具体为：根据所述关联映射，获取所述球面纹理图像中符合图像融合条件的图像像素点，所述球面纹理图像中符合图像融合条件的图像像素点的经纬度坐标分别与所述两个或两个以上摄像头对应 的环境场景视频图像中的图像像素点坐标存在关联映射；根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

本发明另一方面提供一种全景视频图像融合装置，包括：图像采集模块：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；模型建立模块：用于建立所述环境场景的空间球面模型；图像拼接模块：用于根据所述环境场景的空间球面模型，对所述多个摄像单元对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像；关联映射模块：用于根据所述多个摄像单元的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像单元对应的环境场景视频图像中的图像像素点之间的关联映射；图像融合模块：用于根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

优选地，所述多个摄像单元设置于球状设备表面，所述每个摄像单元采集所述环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的环境场景视频图像覆盖所述环境场景的空间全景。

优选地，所述模型建立模块，包括：坐标系构建单元：用于以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型；姿态估计单元：用于根据姿态估计算法，确定所述多个摄像单元在所述笛卡尔坐标系中的姿态，得到所述多个摄像单元的姿态矩阵。

优选地，所述坐标系建立单元，还用于建立所述环境场景空间球面模型的经纬度坐标系，确定所述球面纹理图像中的图像像素点在所述经纬度坐标系中的坐标；以及，所述关联映射模块根据所述姿态估计单元确定的所述多个摄像单元的姿态矩阵，建立所述球面纹理图像中的图像像素点的经纬度坐标与所述至少一个摄像单元对应的视频图像中的图像像素点的坐标之间的关联映射。

优选地，所述图像融合模块，包括：获取单元：用于根据所述关联映射模块确定的关联映射，获取所述球面纹理图像中符合图像融合条件的图像像素点，所述符合图像融合条件的图像像素点的经纬度坐标分别与所述两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点坐标存在关联映射；融合单元：用于根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联 映射的所述两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

以上本发明的技术方案，通过多个摄像头采集环境场景的视频图像，得到环境场景的空间球面模型，根据多个摄像头对应的环境场景视频图像拼接得到环境场景球面纹理图像，建立球面纹理图像中的图像像素点与多个摄像头对应的环境场景视频图像中的图像像素点之间的关联映射，生成关联映射表。根据关联映射表中的关联映射关系，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。通过本发明技术方案的图像融合方式，能够实现简捷高效的图像融合操作，有效地解决了现有技术方案无法流畅播放高分辨率全景视频图像的缺陷，同时显著地降低了大容量视频实时传输对于网络带宽的要求，提升了全景视频播放技术在不同场景中的适用性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例的描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例的说明，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图：

图1示出了根据本发明第一种实施例的全景视频图像融合方法的流程示意图；

图2示出了根据本发明第二种实施例的全景视频图像融合装置的结构示意图；

图3示出了根据本发明第二种实施例的全景视频图像融合装置的模型建立模块的结构示意图；

图4示出了根据本发明第二种实施例的全景视频图像融合装置的图像融合模块的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体的技术细节，以便于充分理解本发明。但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此处描述的其他方式来实施。因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

图1示出了根据本发明第一种实施例的全景视频图像融合方法的流程示意图。

如图1所示，根据本发明第一种实施例的全景视频图像融合方法，主要包括以下步骤：

步骤s101，预设多个摄像头采集环境场景不同空间角度的视频图像，建立环境场景的空间球面模型；

步骤s102，根据环境场景的空间球面模型，对多个摄像头对应的环境场景视频图像进行拼接，得到环境场景空间球面模型对应的球面纹理图像；

步骤s103，根据多个摄像头的姿态矩阵，建立球面纹理图像中的图像像素点与摄像头对应的环境场景视频图像中的图像像素点之间的关联映射；

步骤s104，根据关联映射，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

在该技术方案中，通过多个摄像头采集环境场景的视频图像，建立环境场景的空间球面模型，根据该环境场景的空间球面模型，确定多个摄像头采集的视频图像在环境场景的空间球面模型表面的对应映射关系，将多个摄像头采集的视频图像进行拼接，得到环境场景空间球面模型对应的球面纹理图像，建立球面纹理图像中图像像素点与摄像头采集的视频图像中图像像素点的关联映射，根据关联映射，确定球面纹理图像中符合图像融合条件的图像像素点，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

上述技术方案中，优选地，所述步骤s101，具体为：多个摄像头分布于球状设备表面，每个摄像头采集环境场景预设空间角度范围的视频图像，所述多 个摄像头采集的视频图像覆盖所述环境场景的空间三维全景。具体地，在球状设备表面设置多个摄像头采集环境场景的视频图像，例如，4～32个摄像头，每个摄像头的fov(fieldofview，视场角)为100～220度，该多个摄像头采集的原始视频图像覆盖环境场景的空间全景，即该多个摄像头采集的原始视频图像包含构成环境场景球面全景图像的原始图像数据。

在该技术方案中，进一步地，以球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。

在上述技术方案中，优选地，所述步骤s101，还包括：根据姿态估计算法，确定所述多个摄像头在所述笛卡尔坐标系中的姿态，得到所述多个摄像头的姿态矩阵。具体地，在所述球状设备的球心位置放置相机m，在所述多个摄像头中选定任意摄像头，使相机m与所述选定的摄像头的镜头同轴，也即是使相机m与所述选定的摄像头的镜头光心位于环境场景空间球面模型的同一半径。根据姿态估计算法，确定所述选定的摄像头相对于相机m的姿态矩阵。依此类推，确定所述多个摄像头中的每个摄像头在所述笛卡尔坐标系中的姿态矩阵。

在上述技术方案中，优选地，所述步骤s102，具体为：根据环境场景的空间球面模型，将多个摄像头采集的环境场景视频图像进行球面映射，拼接得到环境场景空间球面模型对应的球面纹理图像。具体地，对多个摄像头采集的环境场景视频图像进行畸变校正后，将多个摄像头对应的视频图像进行球面映射，拼接得到环境场景空间球面模型对应的球面纹理图像。

在上述技术方案中，优选地，所述步骤s102，还包括：建立所述环境场景空间球面模型的经纬度坐标系，确定所述球面纹理图像中的图像像素点在所述经纬度坐标系中的坐标。

在上述技术方案中，优选地，所述步骤s103，具体为：根据多个摄像头的姿态矩阵，确定所述球面纹理图像中的图像像素点的经纬度坐标与所述至少一个摄像头对应的视频图像中的图像像素点的坐标之间的关联映射。具体地，通过将多个摄像头采集的环境场景视频图像进行球面映射，得到多个摄像头对应的经纬度纹理图像，通过拼接得到球面纹理图像，根据每个摄像头在环境场景空间球面模型的笛卡尔坐标系中的姿态矩阵，确定每个摄像头对应的环境场景视频图像中的图像像素点的坐标对应的所述球面纹理图像中的图像像素点的经纬度坐标。

在该技术方案中，通过多个摄像头采集环境场景的视频图像，相邻摄像头采集的视频图像之间存在部分重叠区域，使得拼接得到的球面纹理图像中的部分图像区域与两个或两个以上相邻摄像头采集的视频图像的图像重叠区域相对应。由于相邻的摄像头采集的视频图像在颜色和亮度上通常存在一定的差异，为了使全景视频图像还原更加真实，需要根据图像重叠区域中的图像像素点，对拼接得到的全景视频图像中对应的图像区域进行图像融合处理。具体地，将多个摄像头采集的环境场景视频图像进行球面映射，拼接得到环境场景的球面纹理图像，根据多个摄像头的姿态矩阵，确定每个摄像头对应的视频图像在环境场景的球面纹理图像中的经纬度坐标区间，以及确定每个摄像头对应的视频图像中的图像像素点坐标所对应的所述球面纹理图像中图像像素点的经纬度坐标，建立所述球面纹理图像中每个图像像素点的经纬度坐标与所述摄像头对应的视频图像中的图像像素点坐标的关联映射表。例如，在所述关联映射表中，存储所述球面纹理图像中的图像像素点j的经纬度坐标(u，v)及与图像像素点j存在关联映射的摄像头对应的视频图像中的图像像素点k的参数信息，其中图像像素点k的参数信息包括：图像像素点k对应的摄像头标识d、所述摄像头d的姿态矩阵r以及图像像素点k在所述摄像头d对应的视频图像中的坐标(x，y)。其中，在所述关联映射表中，球面纹理图像中的每个图像像素点与所述至少一个摄像头对应的视频图像中的图像像素点存在关联映射。

在上述技术方案中，优选地，所述步骤s104，具体为：根据所述关联映射，获取所述球面纹理图像中符合图像融合条件的图像像素点，所述球面纹理图像中符合图像融合条件的图像像素点的经纬度坐标分别与所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点坐标存在关联映射；根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。具体地，根据球面纹理图像中的图像像素点的经纬度坐标与所述摄像头采集的环境场景视频图像中的图像像素点坐标的关联映射表，获取所述球面纹理图像中符合图像融合的条件的图像像素点，即所述球面纹理图像中处于图像拼接的重叠区域的图像像素点，所述球面纹理图像中符合图像融合的条件的图像像素点经纬度坐标分别与所述两个或两个以上的摄像头对应的环境场景视频图像中的图像像素点坐标存在关联 映射。进一步地，根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点，通过姿态相关加权方法对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。具体地，分别将所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点的像素与其对应的权重值相乘后求和，得到图像融合后的图像像素点。例如，球面纹理图像中符合图像融合条件的图像像素点c，分别与摄像头e对应的视频图像中的图像像素点p及摄像头f对应的视频图像中的图像像素点q存在关联映射，则根据以下表达式对图像像素点p与图像像素点q进行图像融合，得到图像像素点c对应的像素值c′：

c′＝p′×wp+q′×wq

其中，p′为图像像素点p进行亚像素插值后得到的像素值，q′为图像像素点q进行亚像素插值后得到的像素值，wp为图像像素点p对应的权重，wq为图像像素点q对应的权重，wp与wq的取值范围均为0～1。具体地，根据图像像素点p在摄像头e对应的视频图像中的坐标及图像像素点c与摄像头e在笛卡尔坐标系中的位置关系确定图像像素点p的权重wp；以及，根据图像像素点q在摄像头f对应的视频图像中的坐标及图像像素点c与摄像头f在笛卡尔坐标系中的位置关系确定图像像素点q的权重wq。同样地，球面纹理图像中的图像像素点也可以与两个以上的摄像头对应的环境场景视频图像中的图像像素点存在关联映射，此处不再赘述。

在上述技术方案中，进一步地，通过显示装置显示全景场景视频图像时，根据视频观看视角对应的模型视图矩阵和投影矩阵，确定全景视频图像显示区域在所述环境场景的空间球面模型对应的球面纹理图像中的投影区域。根据所述投影区域在所述球面纹理图像中的经纬度坐标区间，判断所述投影区域中是否包含所述符合图像融合条件的图像像素点。若是，则根据所述投影区域中包含的符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点，对所述投影区域中包含的符合图像融合条件的图像像素点进行图像融合。

值得说明的是，在本发明实施例中，还可以对所述多个摄像头对应的视频图像进行视频分块编码，将所述每个摄像头对应的视频图像分割为预设尺寸的视频图像块。确定球面纹理图像中的图像像素点与所述至少一个摄像头对应的 视频图像块的图像像素点之间的关联映射。根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像头对应的视频图像块中的图像像素点，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

实施例二

图2示出了本发明第二种实施例的全景视频图像融合装置的结构示意图。

如图2所示，根据本发明第二种实施例的全景视频图像融合装置200，主要包括：

图像采集模块201：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；

模型建立模块202：用于建立环境场景的空间球面模型；

图像拼接模块203：用于根据环境场景的空间球面模型，对多个摄像单元对应的环境场景视频图像进行拼接，得到环境场景空间球面模型对应的球面纹理图像；

关联映射模块204：用于根据多个摄像单元的姿态矩阵，建立球面纹理图像中的图像像素点与摄像单元对应的环境场景视频图像中的图像像素点之间的关联映射；

图像融合模块205：用于根据关联映射，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

在该技术方案中，图像采集模块201通过多个摄像单元采集环境场景的视频图像，模型建立模块202根据图像采集模块201采集的环境场景视频图像建立环境场景的空间球面模型，根据该环境场景的空间球面模型，确定多个摄像单元采集的视频图像在环境场景的空间球面模型表面的对应映射关系，图像拼接模块203将多个摄像单元采集的视频图像进行拼接，得到环境场景空间球面模型对应的球面纹理图像，关联映射模块204根据多个摄像单元的状态矩阵，建立球面纹理图像中图像像素点与摄像单元采集的视频图像中图像像素点的关联映射，图像融合模块205根据关联映射，确定球面纹理图像中符合图像融合条件的图像像素点，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

上述技术方案中，优选地，图像采集模块201包括多个摄像单元设置于球 状设备表面，所述每个摄像单元采集所述环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的环境场景视频图像覆盖所述环境场景的空间全景。具体地，在球状设备表面设置多个摄像单元采集环境场景的视频图像，例如，4～32个摄像单元，每个摄像单元的fov(fieldofview，视场角)为100～220度，多个摄像单元采集的原始视频图像覆盖环境场景的空间全景，即多个摄像单元采集的原始视频图像包含构成环境场景球面全景图像的原始图像数据。

在上述技术方案中，优选地，如图3所示，模型建立模块202，包括：坐标系构建单元2021：用于以球状设备的球心为坐标原点构建笛卡尔坐标系，得到环境场景的空间球面模型；姿态估计单元2022：用于根据姿态估计算法，确定多个摄像单元在笛卡尔坐标系中的姿态，得到多个摄像单元的姿态矩阵。具体地，在所述球状设备的球心位置放置相机m，在所述多个摄像单元中选定任意摄像单元，使相机m与所述选定的摄像单元的镜头同轴，也即是使相机m与所述选定的摄像单元的镜头光心位于环境场景空间球面模型的同一半径。根据姿态估计算法，确定所述选定的摄像单元相对于相机m的姿态矩阵。依此类推，确定图像采集模块201的多个摄像单元中的每个摄像单元在笛卡尔坐标系中的姿态矩阵。

在上述技术方案中，优选地，坐标系构建单元2021，还用于建立环境场景空间球面模型的经纬度坐标系，确定所述球面纹理图像中的图像像素点在所述经纬度坐标系中的坐标；以及所述关联映射模块204根据姿态估计单元2022确定的多个摄像单元的姿态矩阵，确定球面纹理图像中的图像像素点的经纬度坐标与所述至少一个摄像单元对应的视频图像中的图像像素点的坐标之间的关联映射。具体地，通过将多个摄像单元采集的环境场景视频图像进行球面映射，得到多个摄像单元采集的视频图像对应的经纬度纹理图像，通过拼接得到球面纹理图像。根据每个摄像单元在环境场景空间球面模型的笛卡尔坐标系中的姿态矩阵，确定每个摄像单元对应的环境场景视频图像中的图像像素点的坐标对应的球面纹理图像中的图像像素点的经纬度坐标。

在该技术方案中，通过多个摄像单元采集环境场景的视频图像，相邻摄像单元采集的视频图像之间存在部分重叠区域，使得拼接得到的球面纹理图像中的部分图像区域与两个或两个以上相邻摄像单元采集的视频图像的图像重叠区域相对应。由于相邻的摄像单元采集的视频图像在颜色和亮度上通常存在一定 的差异，为了使全景视频图像还原更加真实，需要根据图像重叠区域中的图像像素点，对拼接得到的全景视频图像中对应的图像区域进行图像融合处理。具体地，将多个摄像单元采集的环境场景视频图像进行球面映射，拼接得到环境场景的球面纹理图像，根据多个摄像单元的姿态矩阵，确定每个摄像单元对应的视频图像在环境场景的球面纹理图像中的经纬度坐标区间，以及确定每个摄像单元对应的视频图像中的图像像素点坐标所对应的所述球面纹理图像中图像像素点的经纬度坐标，建立所述球面纹理图像中每个图像像素点的经纬度坐标与所述摄像单元对应的视频图像中的图像像素点坐标的关联映射表。例如，在所述关联映射表中，存储所述球面纹理图像中的图像像素点j的经纬度坐标(u，v)及与图像像素点j存在关联映射的摄像单元对应的视频图像中的图像像素点k的参数信息，其中图像像素点k的参数信息包括：图像像素点k对应的摄像单元标识d、所述摄像单元d的姿态矩阵r以及图像像素点k在所述摄像单元d对应的视频图像中的坐标(x，y)。其中，在所述关联映射表中，球面纹理图像中的每个图像像素点与所述至少一个摄像单元对应的视频图像中的图像像素点存在关联映射。

在上述技术方案中，优选地，如图4所示，图像融合模块205，包括：获取单元2051：用于根据关联映射模块204确定的关联映射，获取球面纹理图像中符合图像融合条件的图像像素点，符合图像融合条件的图像像素点的经纬度坐标分别与两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点坐标相关联；融合单元2052：用于根据与球面纹理图像中符合图像融合条件的图像像素点存在关联映射的两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。具体地，根据球面纹理图像中的图像像素点的经纬度坐标与摄像单元采集的环境场景视频图像中的图像像素点坐标的关联映射表，获取单元2051获取所述球面纹理图像中符合图像融合的条件的图像像素点，即所述球面纹理图像中处于图像拼接的重叠区域的图像像素点，所述球面纹理图像中符合图像融合的条件的图像像素点经纬度坐标分别与所述两个或两个以上的摄像单元对应的环境场景视频图像中的图像像素点坐标存在关联映射。进一步地，融合单元2052根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点，通过姿 态相关加权方法对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。具体地，分别将所述两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点的像素与其对应的权重值相乘后求和，得到图像融合后的图像像素点。例如，球面纹理图像中符合图像融合条件的图像像素点c，分别与摄像单元e对应的视频图像中的图像像素点p及摄像单元f对应的视频图像中的图像像素点q存在关联映射，则根据以下表达式对图像像素点p与图像像素点q进行图像融合，得到图像像素点c对应的像素值c′：

c′＝p′×wp+q′×wq

其中，p′为图像像素点p进行亚像素插值后得到的像素值，q′为图像像素点q进行亚像素插值后得到的像素值，wp为图像像素点p对应的权重，wq为图像像素点q对应的权重，wp与wq的取值范围均为0～1。具体地，根据图像像素点p在摄像单元e对应的视频图像中的坐标及图像像素点c与摄像单元e在笛卡尔坐标系中的位置关系确定图像像素点p的权重wp；以及，根据图像像素点q在摄像单元f对应的视频图像中的坐标及图像像素点c与摄像单元f在笛卡尔坐标系中的位置关系确定图像像素点q的权重wq。同样地，球面纹理图像中的图像像素点也可以与两个以上的摄像单元对应的环境场景视频图像中的图像像素点存在关联映射，此处不再赘述。

在上述技术方案中，进一步地，通过显示装置显示全景场景视频图像时，根据视频观看视角对应的模型视图矩阵和投影矩阵，确定全景视频图像显示区域在所述环境场景的空间球面模型对应的球面纹理图像中的投影区域。根据所述投影区域在所述球面纹理图像中的经纬度坐标区间，判断所述投影区域中是否包含所述符合图像融合条件的图像像素点。若是，则根据所述投影区域中包含的符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点，对所述投影区域中包含的符合图像融合条件的图像像素点进行图像融合。

值得说明的是，在本发明实施例中，还可以对所述多个摄像单元对应的视频图像进行视频分块编码，将所述每个摄像单元对应的视频图像分割为预设尺寸的视频图像块。确定球面纹理图像中的图像像素点与所述至少一个摄像单元对应的视频图像块的图像像素点之间的关联映射。根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像单元 对应的视频图像块中的图像像素点，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本领域的技术人员应该明白，上述的本申请实施例所提供的方法中的各步骤，它们可以集中在单个的计算装置进行执行，或者分布在多个计算装置所组成的网络上进行执行。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明技术方案而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。