一种全景相机及其图像生成方法、系统、设备、存储介质与流程

本发明涉及全景相机技术领域，特别涉及一种全景相机及其图像生成方法、系统、设备、存储介质。

背景技术：

vr(即virtualreality)技术能够让使用者进入一个三维空间的沉浸虚拟世界，如同身历其境一般。随着技术的进步，三维立体全景影像技术的应用范围越来越广。全景拍摄技术指的是利用科学技术、专业设备将整个真实的场景映射成全景图像，从而将二维的平面图模拟为三维立体空间，实现虚拟现实浏览。同时，浏览者可以在全景空间里进行切换，自由的观看“天地万物”。全景摄影成为新兴增长领域，而全景相机是全景摄影的核心设备。

全景相机，就是能够进行全景拍摄的摄影器材。除拍照外，还可以应用于动态影像的拍摄，也被称为全景摄像机。由于单个相机镜头的视角范围小于360°，所以全景相机至少配备两个镜头。与传统相机/智能手机的水平旋转拍摄不同，全景相机能够在水平和垂直方向同一时刻拍摄，再通过全景拼接软件处理，生成360°×180°的全景画面。

目前典型的全景相机是利用鱼眼光学镜头来进行全景图像拍摄的设备，一次摄取足够大的视场角的图像，其原理是依据仿生学(鱼眼构造)，经过物理光学的球面镜透射以及折射，一次性地对水平360度，垂直180度的信息进行成像。

然而，当前全景相机全景图生成算法在某些情况下无法保证拍摄得到的全景图像的质量，特别是在夜间拍摄时，很难满足光照充足的条件，拍摄的低亮度全景图像普遍具有很低的对比度，夹杂着大量的噪声，人眼视觉感受较差，尽管相机传感器硬件已经有了飞速的发展和进步，但是由于硬件尺寸以及成本的限制，目前大部分全景相机设备的夜间拍照质量依然很难满足用户的需求和期望。

综上所述可以看出，如何提升夜间拍摄的全景图像的图像质量是目前亟待解决的问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种全景相机及其图像生成方法、系统、设备、存储介质，能够有效地提升夜间拍摄的全景图像的图像质量。其具体方案如下：

第一方面，本发明公开了一种vr全景图像生成方法，应用于包括n个鱼眼镜头的全景相机，n为不小于2的整数；其中，所述方法包括：

采集当前外界环境的实时光照强度；

判断实时光照强度是否小于预设光照强度阈值，如果是，则分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的n组原始鱼眼图像；其中，每组原始鱼眼图像中均包括多帧原始鱼眼图像；

分别对每组原始鱼眼图像进行融合处理，相应地得到n张融合图像；

对所述n张融合图像进行拼接处理，得到拼接后的全景图像。

可选的，所述分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的n组原始鱼眼图像的步骤，包括：

确定实时光照强度的强度等级，得到目标强度等级；

利用预设的强度等级与每组原始鱼眼图像的采集数量之间的映射关系，确定出与所述目标强度等级对应的采集数量，得到目标采集数量；

根据所述目标采集数量，分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的n组原始鱼眼图像；其中，每组原始鱼眼图像的图像帧数与所述目标采集数量相等。

可选的，对每组原始鱼眼图像进行融合处理的过程，包括：

从该组原始鱼眼图像筛选出一帧原始鱼眼图像作为参考帧图像；

将该组原始鱼眼图像中的其他原始鱼眼图像均与所述参考帧图像进行坐标对齐，得到相应的对齐后图像序列；

对所述对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像。

可选的，所述从该组原始鱼眼图像筛选出一帧原始鱼眼图像作为参考帧图像的步骤，包括：

分别计算该组原始鱼眼图像中每帧原始鱼眼图像的平均梯度，然后将平均梯度最大的一帧原始鱼眼图像作为参考帧图像。

可选的，所述对所述对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像的步骤，包括：

分别根据所述对齐后图像序列中每一帧图像与所述参考帧图像所对应的图像坐标之间的像素灰度差值的绝对值，确定所述对齐后图像序列中每一帧图像的加权系数；

根据所述对齐后图像序列中每一帧图像的加权系数，对所述对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像。

可选的，所述对所述n张融合图像进行拼接处理，得到拼接后的全景图像的步骤，包括：

分别对每张融合图像进行平面展开，得到n张展开后图像；

对所述n张展开后图像进行重合区域的配准处理，得到相应的配准结果；

根据所述配准结果，对所述n张展开后图像的重合区域进行融合处理，得到所述全景图像。

第二方面，本发明公开了一种vr全景图像生成系统，应用于包括n个鱼眼镜头的全景相机，n为不小于2的整数；其中，所述系统包括：

光照强度采集模块，用于采集当前外界环境的实时光照强度；

光照强度判断模块，用于判断实时光照强度是否小于预设光照强度阈值；

鱼眼图像采集模块，用于如果是，则分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的n组原始鱼眼图像；其中，每组原始鱼眼图像中均包括多帧原始鱼眼图像；

鱼眼图像融合模块，用于分别对每组原始鱼眼图像进行融合处理，相应地得到n张融合图像；

图像拼接模块，用于对所述n张融合图像进行拼接处理，得到拼接后的全景图像。

第三方面，本发明公开了一种vr全景图像生成设备，应用于包括n个鱼眼镜头的全景相机，n为不小于2的整数；其中，所述设备包括光照传感器、处理器和存储器；其中，所述处理器通过执行所述存储器中保存的vr全景图像生成程序实现前述公开的vr全景图像生成方法。

第四方面，本发明公开了一种全景相机，包括n个鱼眼镜头，其中，n为不小于2的整数，还包括前述公开的vr全景图像生成设备。

第五方面，本发明公开了一种计算机可读存储介质，用于存储vr全景图像生成程序，其中，所述vr全景图像生成程序被处理器执行时实现前述公开的vr全景图像生成方法。

可见，本发明中的全景相机包括n个鱼眼镜头，在外界环境的实时光照强度小于预设的光照强度阈值时，本发明将会分别采集与每个鱼眼镜头相对应的一组原始鱼眼图像，从而得到n组原始鱼眼图像，并且每组原始鱼眼图像中均包括多帧原始鱼眼图像。然后分别对每组原始鱼眼图像进行融合处理，并将融合后得到的n张图像进行拼接，从而得到拼接后的全景图像。由此可见，本发明在光照环境比较暗的情况下，针对每个鱼眼镜头均获取相应的多帧原始鱼眼图像，通过将每组原始鱼眼图像中的多帧原始鱼眼图像进行融合，可以有效地抑制图像中噪声，从而得到与上述n个鱼眼镜头分别一一对应的噪声较小的n张融合图像，由此使得后续拼接处理的全景图像的噪声得到有效地抑制，从而有效地提升了夜间拍摄的全景图像的图像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种vr全景图像生成方法流程图；

图2为本发明实施例公开的一种具体的vr全景图像生成方法流程图；

图3为本发明实施例公开的一种具体的vr全景图像生成方法流程图；

图4为本发明实施例公开的一种vr全景图像生成系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种vr全景图像生成方法，应用于包括n个鱼眼镜头的全景相机，上述n为不小于2的整数；参见图1所示，上述方法包括：

步骤s11：采集当前外界环境的实时光照强度。

本实施例中，可以通过主动采集方式来采集当前外界环境的实时光照强度，也即是令全景相机在开机后便一直开启光照强度的采集功能。

另外，本实施例也可以采用半主动采集方式来采集当前外界环境的实时光照强度，也即是根据实时获取到的其他类型参数来判断是否需要开启光照强度的采集功能，如果是，则开启光照强度的采集功能，以获取当前外界环境的实时光照强度，其中，上述实时获取到的其他类型参数可以包括但不限于当前位置区域的时间参数。例如，如果当前实时获取到的时间参数为晚上8点，则可以根据该时间参数判定当前需要开启光照强度的采集功能，如果当前实时获取到的时间参数为早上8点，则可以根据该时间参数判定当前无需开启光照强度的采集功能。

当然，本实施例也可以采用被动采集方式来采集当前外界环境的实时光照强度，也即是当获取到由预设的触发按钮在被按压的情况下所产生的触发信号，则可以开启光照强度的采集功能。

步骤s12：判断实时光照强度是否小于预设光照强度阈值，如果是，则分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的n组原始鱼眼图像；其中，每组原始鱼眼图像中均包括多帧原始鱼眼图像。

本实施例中，实时光照强度小于预设光照强度阈值时，意味着当前的光照强度不够，会使得图像中出现对图像质量产生不良影响的噪声，这种情况下分别采集与每个鱼眼镜头对应的原始鱼眼图像，从而得到n组原始鱼眼图像，其中，每组原始鱼眼图像中均包括多帧原始鱼眼图像。可以理解的是，本实施例中任意两组原始鱼眼图像中的原始鱼眼图像的帧数可以相等，也可以不等。

需要说明的是，本实施例中，上述预设光照强度阈值可以由用户根据实际情况需要进行相应的具体设定。也即，在上述步骤s12之前还需获取用户通过预设的阈值设定接口输入的光照强度阈值。当然，本实施例中，上述预设光照强度阈值也可以由全景相机根据实际经验值进行自动设定。

步骤s13：分别对每组原始鱼眼图像进行融合处理，相应地得到n张融合图像。

本实施例中，在对每组原始鱼眼图像中的多帧原始鱼眼图像进行融合之后，可以有效抑制最终融合图像中的图像噪声，使得每组原始鱼眼图像对应的融合图像的图像噪声大大少于该组原始鱼眼图像中的每帧图像。

步骤s14：对上述n张融合图像进行拼接处理，得到拼接后的全景图像。

本实施例中，对上述n张融合图像进行拼接处理，得到拼接后的全景图像的步骤，具体可以包括：

分别对每张融合图像进行平面展开，得到n张展开后图像；对上述n张展开后图像进行重合区域的配准处理，得到相应的配准结果；根据该配准结果，对上述n张展开后图像的重合区域进行融合处理，得到全景图像。

可见，本发明实施例中的全景相机包括n个鱼眼镜头，在外界环境的实时光照强度小于预设的光照强度阈值时，本发明实施例将会分别采集与每个鱼眼镜头相对应的一组原始鱼眼图像，从而得到n组原始鱼眼图像，并且每组原始鱼眼图像中均包括多帧原始鱼眼图像。然后分别对每组原始鱼眼图像进行融合处理，并将融合后得到的n张图像进行拼接，从而得到拼接后的全景图像。由此可见，本发明实施例在光照环境比较暗的情况下，针对每个鱼眼镜头均获取相应的多帧原始鱼眼图像，通过将每组原始鱼眼图像中的多帧原始鱼眼图像进行融合，可以有效地抑制图像中噪声，从而得到与上述n个鱼眼镜头分别一一对应的噪声较小的n张融合图像，由此使得后续拼接处理的全景图像的噪声得到有效地抑制，从而有效地提升了夜间拍摄的全景图像的图像质量。

在前述实施例的基础上，本发明实施例公开了一种具体的vr全景图像生成方法，参见图2所示，该方法包括：

步骤s21：采集当前外界环境的实时光照强度。

步骤s22：判断实时光照强度是否小于预设光照强度阈值，如果是，则确定实时光照强度的强度等级，得到目标强度等级。

本实施例中，当实时光照强度小于预设光照强度阈值时，确定实时光照强度的强度等级。可以理解的是，在上述步骤s22之前，需要先确定出光照强度的数值大小范围与强度等级之间的对应关系，根据该对应关系以及实时光照强度所处的数值大小范围，可以确定出相应的强度等级。本实施例中，强度等级越高，则可说明相应的实时光照强度的数值越大，相反，强度等级越低，则可说明相应的实时光照强度的数值越小。

步骤s23：利用预设的强度等级与每组原始鱼眼图像的采集数量之间的映射关系，确定出与目标强度等级对应的采集数量，得到目标采集数量。

可见，本实施例中，在采集任一鱼眼镜头对应的原始鱼眼图像时，所采集的原始鱼眼图像的帧数量与当前实时光照强度的强度等级是相互对应的，也即不同的强度等级对应于不同的采集数量。可以理解的是，实时光照强度的强度等级与上述目标采集数量之间呈反相关关系，也即，强度等级越低，说明此时的图像噪声越大，由此可将上述目标采集数量设为越大的数值。并且需要进一步说明的是，上述目标采集数量不小于2。

步骤s24：根据目标采集数量，分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的n组原始鱼眼图像；其中，每组原始鱼眼图像的图像帧数与目标采集数量相等。

也即，在确定出上述目标采集数量之后，针对每一鱼眼镜头，均采集n帧原始鱼眼图像，其中该n值与上述目标采集数量相等。

步骤s25：分别对每组原始鱼眼图像进行融合处理，相应地得到n张融合图像。

本实施例中，对每组原始鱼眼图像进行融合处理的过程，具体可以包括：

从该组原始鱼眼图像筛选出一帧原始鱼眼图像作为参考帧图像；将该组原始鱼眼图像中的其他原始鱼眼图像均与参考帧图像进行坐标对齐，得到相应的对齐后图像序列；对对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像。

另外，上述从该组原始鱼眼图像筛选出一帧原始鱼眼图像作为参考帧图像的步骤，具体可以包括：

分别计算该组原始鱼眼图像中每帧原始鱼眼图像的平均梯度，然后将平均梯度最大的一帧原始鱼眼图像作为参考帧图像。

进一步的，上述对对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像的步骤，具体可以包括：

分别根据对齐后图像序列中每一帧图像与参考帧图像所对应的图像坐标之间的像素灰度差值的绝对值，确定对齐后图像序列中每一帧图像的加权系数；根据对齐后图像序列中每一帧图像的加权系数，对对齐后图像序列中的所有图像进行加权融合，得到相应的一张融合图像。

步骤s26：对上述n张融合图像进行拼接处理，得到拼接后的全景图像。

本实施例中，对上述n张融合图像进行拼接处理，得到拼接后的全景图像的步骤，具体可以包括：

分别对每张融合图像进行平面展开，得到n张展开后图像；对上述n张展开后图像进行重合区域的配准处理，得到相应的配准结果；根据该配准结果，对上述n张展开后图像的重合区域进行融合处理，得到全景图像。

在前述实施例的基础上，本发明实施例公开了一种更加具体的vr全景图像生成方法，应用于包括2个鱼眼镜头的全景相机；参见图3所示，该方法包括：

步骤s301：采集当前外界环境的实时光照强度。

步骤s302：判断实时光照强度是否小于预设光照强度阈值，如果是，则分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的2组原始鱼眼图像；其中，每组原始鱼眼图像中均包括多帧原始鱼眼图像。

步骤s303：计算第一组原始鱼眼图像中每帧原始鱼眼图像的平均梯度，计算第二组原始鱼眼图像中每帧原始鱼眼图像的平均梯度。

步骤s304：将第一组原始鱼眼图像中平均梯度最大的一帧原始鱼眼图像作为第一参考帧图像，将第二组原始鱼眼图像中平均梯度最大的一帧原始鱼眼图像作为第二参考帧图像。

步骤s305：将第一组原始鱼眼图像中的其他原始鱼眼图像均与第一参考帧图像进行坐标对齐，得到第一对齐后图像序列；将第二组原始鱼眼图像中的其他原始鱼眼图像均与第二参考帧图像进行坐标对齐，得到第二对齐后图像序列。

步骤s306：根据第一对齐后图像序列中每一帧图像与第一参考帧图像所对应的图像坐标之间的像素灰度差值的绝对值，确定对第一齐后图像序列中每一帧图像的加权系数；根据第二对齐后图像序列中每一帧图像与第二参考帧图像所对应的图像坐标之间的像素灰度差值的绝对值，确定对第二齐后图像序列中每一帧图像的加权系数。

步骤s307：根据第一对齐后图像序列中每一帧图像的加权系数，对第一对齐后图像序列中的所有图像进行加权融合，得到第一张融合图像；根据第二对齐后图像序列中每一帧图像的加权系数，对第二对齐后图像序列中的所有图像进行加权融合，得到第二张融合图像。

步骤s308：分别对每张融合图像进行平面展开，得到2张展开后图像；

步骤s309：对上述2张展开后图像进行重合区域的配准处理，得到相应的配准结果；

步骤s310：根据配准结果，对上述2张展开后图像的重合区域进行融合处理，得到全景图像。

相应的，本发明实施例还公开了一种vr全景图像生成系统，应用于包括n个鱼眼镜头的全景相机，n为不小于2的整数；其中，参见图4所示，该系统包括：

光照强度采集模块11，用于采集当前外界环境的实时光照强度；

光照强度判断模块12，用于判断实时光照强度是否小于预设光照强度阈值；

鱼眼图像采集模块13，用于如果是，则分别采集与每个鱼眼镜头对应的一组原始鱼眼图像，得到相应的n组原始鱼眼图像；其中，每组原始鱼眼图像中均包括多帧原始鱼眼图像；

鱼眼图像融合模块14，用于分别对每组原始鱼眼图像进行融合处理，相应地得到n张融合图像；

图像拼接模块15，用于对上述n张融合图像进行拼接处理，得到拼接后的全景图像。

关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

相应的，本发明还公开了一种vr全景图像生成设备，应用于包括n个鱼眼镜头的全景相机，n为不小于2的整数；其中，设备包括光照传感器、处理器和存储器；其中，处理器通过执行存储器中保存的vr全景图像生成程序实现前述实施例中公开的vr全景图像生成方法。

关于上述vr全景图像生成方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种全景相机，包括n个鱼眼镜头，其中，n为不小于2的整数，还包括前述实施例中公开的vr全景图像生成设备。关于该vr全景图像生成设备更加具体的构造可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储vr全景图像生成程序，其中，vr全景图像生成程序被处理器执行时实现前述实施例中公开的vr全景图像生成方法。关于上述vr全景图像生成方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种全景相机及其图像生成方法、系统、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。