一种全景相机的制作方法

本实用新型涉及虚拟现实设备领域，具体而言，涉及一种全景相机。

背景技术：

数字成像设备的普及使得数码图像得到广泛的应用。在实际的科学研究和工程项目中，经常会用到超过人眼视角的超宽视角图像，但由于距离的限制，普通的数字成像设备的视角通常无法将大尺寸的物体用一张照片拍摄下来。为了得到大视角的高分辨率图像，一般采用广角镜头来拍摄，然而在一些特殊环境下，设备本身的限制使得图像的视场宽度不能满足应用要求，例如：利用广角镜头虽然可以得到宽视角的图像，但广角镜头的边缘会产生难以避免的扭曲变形，并且广角镜头价格昂贵，使用费用高。

随着计算机和图像处理技术的发展，图像拼接技术为得到宽视角图像提供了很好的解决方案。图像拼接技术可以将一系列有部分重叠边界的小视角图像，根据不同图像的特征运用不同的处理算法进行匹配对准，从而拼接成一幅宽视角图像。但传统的全景图像拼接方法复杂、效率不高，而且设备昂贵，使用不便，实有必要提供一种方便快捷、简单易用的装置。

技术实现要素：

为解决上述技术问题，本实用新型提供一种全景相机，其仅对各个全景视频图像中重叠区域的深度信息变化大的区域进行逐帧拼接，可减少设备的信息处理量，提高拼接速度。

本实用新型采用的技术方案是：提供一种全景相机，包括支撑架和设于所述支撑架上的壳体，还包括设于所述壳体四周的拍摄模块、深度信息获取模块以及设于壳体内部的图像信号处理器，所述图像信号处理器与所述拍摄模块和所述深度信息获取模块电性相连，所述拍摄模块用于拍摄壳体四周的全景视频图像，所述深度信息获取模块用于获取所述拍摄模块拍摄的全景视频图像的深度信息，所述图像信号处理器用于检测全景视频图像的深度信息变化程度并根据所述深度信息变化程度进行图像拼接和图像合成。

在本实用新型所述的全景相机中，所述拍摄模块包括多个设置在同一圆周不同方向上的二维摄像机，相邻二维摄像机拍摄的有效影像采集空间存在边缘交叉重叠区域。

在本实用新型所述的全景相机中，所述深度信息获取模块包括多个深度摄像机，所述多个深度摄像机从多个视角获取每帧全景视频图像中重叠区域的深度信息。

在本实用新型所述的全景相机中，还包括为所述拍摄模块、深度信息获取模块、图像信号处理器提供电源的电源模块，所述电源模块为蓄电池。

在本实用新型所述的全景相机中，还包括与所述图像合成模块电性连接的通信模块，所述通信模块用于与外部进行通信。

与现有技术相比，本实用新型根据视频流前后帧的深度信息变化程度将重叠区域划分为深度信息变化小的区域和深度信息变化大的区域，且仅对深度信息变化小的区域进行一次拼接，减少了设备的信息数据处理量，提高了重叠区域的拼接效率；通过本实用新型提供的深度信息获取步骤能快速、准确得到立体图像中某一点或某一区域的深度信息，为本实用新型能获得高分辨率的、无缝的全景视频图像提供了坚实基础；此外本实用新型提供的装置使用简单便捷，降低了全景视频图像拼接的复杂度，提高了全景视频图像的拼接效率，具有快速、实时拼接的特点，使设备具有更好的用户体验。

附图说明

下面将结合附图及实施例对本实用新型作进一步说明，附图中：

图1为本实用新型实施例所提供的全景视频图像的拼接方法的流程图；

图2为本实用新型实施例所提供的深度信息获取的结构示意图；

图3为本实用新型实施例所提供的全景相机的结构示意图。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。

如图1所示，本实施例提供一种全景视频图像的拼接方法，包括以下步骤，

S1获取多个全景视频图像，全景视频图像由在同一圆周的不同方向上拍摄的多张立体图像组成，且相邻立体图像的有效影像采集空间存在边缘交叉重叠区域。

本实施例中的全景视频图像由全景相机拍摄，全景视频图像可以是具有动态影像信息的视频帧(如在拍摄环境中运动的人物)或相对静止的视频帧(环境影像)。全景相机包括多个设置在同一圆周不同方向上的二维摄像机，通过多个二维摄像机拍摄的图像一般为大于180度角的全景图像，且为了保证全景图像的完整性，相邻不同朝向的二维摄像机拍摄的有效影像采集空间存在边缘交叉重叠区域。全景相机上邻近两组二维摄像机分别获取的同一发生景深位移变化的物或人的深度信息会表现出差异。

S2获取各个全景视频图像中重叠区域的深度信息，深度信息用于表示全景视频图像中各个像素相对于拍摄位置所处的空间位置。

获取各个全景视频图像中重叠区域的深度信息是指：由深度摄像机从多个视角获取每帧全景视频图像中重叠区域的深度信息。特别的，对于潜在的在空间中产生相对纵深方向位移的人或物，以及人物自身的一些空间动作、手势变化、手握并移动的物件而言，其在全景相机的摄像范围内会产生一景深深度信息阈值点，深度信息阈值点对于相邻两二维摄像机而言，具有相同的景深特征。因此，本实施例提出一种深度信息的获取步骤：由两个深度摄像机从两个视角分别实时获取全景视频图像中某一点或某一区域的深度信息，当某一时隙检测到两个视角获取到的深度信息相同时，将此时检测到的相同深度信息作为上述全景视频图像中某一点或某一区域的深度信息值，即深度信息阈值点。如图2所示，因外界相对纵深方向位移的人或物的移动轨迹是随机的，对于在全景相机拍摄环境中随机移动的人或物的实时深度信息的获取是通过以上两组相邻深度摄像机分别实时获取发生纵深方向位移的人或物的实时深度信息，当在某一时隙，检测相邻的深度摄像机分别获取到的深度信息一致相同时，则以此检测到的相同深度信息作为深度信息阈值点。需要说明强调的是：以上仅为方便说明本实施例而列举对发生位移的人或物件上某一采样点进行深度信息阈值点获取过程进行说明，通常对于一个整体移动中的人或物件而言，优选的，可以选择多个采样点同时在一段时间内进行各个采样点的深度信息阈值点获取操作，并以相对居中的深度信息阈值点作为最终的深度信息阈值点。对显示效果而言，越远处的景深信息表现并没有相对近处景深信息更体现景深感，因此，在获取深度信息阈值点之后，后续继续由相邻两组深度摄像机将实时获取的深度信息与深度信息阈值点进行比较，并以其中效果更好的一个作为后续执行图像拼接的基准。通过此方法可简单、低成本获取获取某一点或某一区域的深度信息，且具有较好的精度和准确度。

S3根据重叠区域的深度信息变化程度将其划分为深度信息变化小的区域和深度信息变化大的区域；所述深度信息变化程度为视频流当前帧图像中某区域的深度信息相对于上一帧图像中对应区域的深度信息的变化程度。

深度信息变化小的区域是指当前帧图像上的区域相对于上一帧图像对应的区域的深度信息变化程度小于设定的阈值；深度信息变化大的区域是指当前图像上的区域相对于上一帧图像对应的区域的深度信息变化程度大于设定的阈值。具体的，深度信息变化小的区域一般是指：对于一般性人物室内场景而言，即场景中固定摆放的家具、位置固定的电器设备(如：灯光源、大屏幕显示设备等)，由于以上物件在此类区域中的摆放是基本是不变化，经深度摄像机拍摄显现出的深度信息也基本不变化或者变化很小，这样就可以通过诸如深度摄像机的方式把全景视频图像中重叠区域中这些深度信息变化小的区域预先提取出来，单独进行重叠区域的图像拼接。深度信息变化大的区域一般是指，在空间中产生相对纵深方向位移的人或物，以及人物自身的一些空间动作、手势变化，手握并移动的物件。如果所拍摄的局部影像相对摄像机先前拍摄的相对位移较大，将导致在拍摄区域内在一段时隙前后所体现的深度信息变化较大，例如人相对摄像机前后运动较大，在同一时刻不同摄像机所拍摄图像中的人则不在同一深度信息，产生了不同层次的深度/视差，在进行图像拼接时，需根据每个视频图像的深度信息从对应的视频图像重叠区域中获取人物图像和非人物图像，非人物图像即全景视频图像重叠区域中深度信息基本不变化或者变化很小的固定摆设环境影像，人物图像即全景视频图像重叠区域中具有动态可变深度信息的人物或物件位移影像；或者根据每个视频图像的深度信息从对应的视频图像中获取背景视频图像和前景图像，背景视频图像即深度信息变化小的区域，前景图像即深度信息变化大的区域。

S4对于重叠区域中深度信息变化小的区域，根据获取的深度信息只作一次图像拼接；对于重叠区域中深度信息变化大的区域，根据获取的深度信息进行逐帧图像拼接。

S5将拼接后的深度信息变化小的区域和深度信息变化大的区域进行粘贴，生成拼接后的重叠区域图像；将全景视频图像的重叠区域与非交叉重叠区域进行粘贴，生成拼接后的全景视频图像。

图像拼接是指根据每个全景视频图像中重叠区域的深度信息从对应的全景视频图像重叠区域中获取多个深度层次的图像数据并对相同深度层次的图像数据进行图像数据间的拼接。在具体实现过程中，对于全景视频图像重叠区域中人物图像和非人物图像，仅对非人物图像数据作一次图像拼接，生成非人物拼接图像数据；对人物图像数据进行逐帧拼接，生成人物拼接图像数据；将拼接后的每一帧全景视频图像中的人物拼接图像数据与非人物拼接图像数据作合成图像处理，生成拼接后的全景视频图像中重叠区域图像；或者对全景视频图像重叠区域中获取的背景图像数据进行一次拼接，生成背景拼接图像数据；对获取的前景图像数据进行逐帧拼接，生成前景拼接图像数据；将拼接后的每一帧全景视频图像中的前景拼接图像数据合成至背景拼接图像数据，生成拼接后的全景视频图像中重叠区域图像。

本实施例根据全景视频流中当前帧图像于上一帧图像的深度信息进行对比，仅对全景视频图像中重叠区域中深度信息变化大的区域进行逐帧拼接，而对重叠区域中深度信息变化小的区域仅进行一次拼接并与各全景视频图像中拼接后的深度信息变化大的区域进行粘贴形成拼接后的重叠区域图像，再将全景视频图像的重叠区域与非交叉重叠区域进行粘贴，生成拼接后的全景视频图像，相比传统拼接模式，省略了全景视频图像中深度信息变化小区域的逐帧拼接，降低了全景视频图像拼接的复杂度，提高了全景视频图像的拼接效率，具有快速、实时拼接的特点。

如图3所示，本实用新型提供一种全景相机，包括支撑架和设于支撑架上的壳体，还包括设于壳体四周的拍摄模块、深度信息获取模块以及设于壳体内部的图像信号处理器，图像信号处理器与拍摄模块和深度信息获取模块电性相连，拍摄模块用于拍摄壳体四周的全景视频图像，深度信息获取模块用于获取拍摄模块拍摄的全景视频图像的深度信息，图像信号处理器用于检测全景视频图像的深度信息变化程度并根据深度信息变化程度进行图像拼接和图像合成。拍摄模块包括多个设置在同一圆周不同方向上的二维摄像机，相邻二维摄像机拍摄的有效影像采集空间存在边缘交叉重叠区域。深度信息获取模块包括多个深度摄像机，多个深度摄像机从多个视角获取每帧全景视频图像中重叠区域的深度信息。本实施例还包括为拍摄模块、深度信息获取模块、图像信号处理器提供电源的电源模块，电源模块采用大容量锂电池，使本实施例具有较好的续航能力。为使本实施例能及时将图片发送给外部设备，本实施例还设有与图像合成模块电性连接的通信模块，通信模块用于将图像合成模块拼接后的全景视频图像通过移动通信或WiFi、蓝牙、红外线等方式传输给其他设备，如手机、电脑等，使用户能随时共享拍摄的照片。

具体的，拍摄模块，用于获取全景视频图像，拍摄模块包括多个设置在同一圆周不同方向上的二维摄像机，为保证全景图像完整性，相邻二维摄像机拍摄的有效影像采集空间存在边缘交叉重叠区域，通过多个二维摄像机拍摄的图像一般为大于180度角的全景视频图像。深度信息获取模块，用于获取全景视频图像中重叠区域的深度信息；深度信息用于表示全景视频图像中各个像素相对于拍摄位置所处的空间位置；深度信息获取模块包括多个深度摄像机，多个深度摄像机从多个视角获取每帧全景视频图像中重叠区域的深度信息。对于潜在的在空间中产生相对纵深方向位移的人或物，以及人物自身的一些空间动作、手势变化、手握并移动的物件而言，其在全景相机的摄像范围内会产生一景深深度信息阈值点，深度信息阈值点对于相邻两二维摄像机而言，具有相同的景深特征。具体的，深度信息获取模块从两个视角分别实时获取全景视频图像重叠区域中某一点或某一区域的深度信息，当某一时隙检测到两个视角获取到的深度信息相同时，将此时检测到的相同深度信息作为上述全景视频图像中某一点或某一区域的深度信息值。此外，深度信息获取模块还可以选择多个采样点同时在一段时间内进行各个采样点的深度信息阈值点获取操作，并以相对居中的深度信息阈值点作为最终的深度信息阈值点。在本实施例中，采用集拍摄模块和深度信息获取模块为一体的立体摄像机，立体摄像机利用一左眼图像获取单元和一右眼图像获取单元同时获取一系列左眼图像与一系列相对应的右眼图像，显示在左眼图像与相对应的右眼图像中的每一像素产生对应左眼图像与右眼图像中的每一相同像素的一深度信息，立体摄像机还利用图像处理器根据对应左眼图像与右眼图像中的每一相同像素的深度信息产生立体全景视频图像。图像信号处理器包括：图像检测模块、图像拼接模块和图像合成模块。图像检测模块，用于检测全景视频图像中重叠区域的深度信息变化程度并根据深度信息变化程度将重叠区域划分为深度信息变化小的区域和深度信息变化大的区域；深度信息变化程度为视频流当前帧图像中某区域的深度信息相对于上一帧图像中对应区域的深度信息的变化程度；图像检测模块将当前帧图像上的区域相对于上一帧图像对应的区域的深度信息变化程度小于设定的阈值的区域设定为深度信息变化小的区域，将当前图像上的区域相对于上一帧图像对应的区域的深度信息变化程度大于设定的阈值的区域设定为深度信息变化大的区域。具体的，可根据每个视频图像的深度信息将对应的视频图像重叠区域划分为人物图像和非人物图像，非人物图像即全景视频图像重叠区域中深度信息基本不变化或者变化很小的固定摆设环境影像，人物图像即全景视频图像重叠区域中具有动态可变深度信息的人物或物件位移影像；或者根据每个视频图像的深度信息从对应的视频图像中获取背景视频图像和前景图像，背景视频图像即深度信息变化小的区域，前景图像即深度信息变化大的区域。图像拼接模块，用于对重叠区域中深度信息变化小的区域根据获取的深度信息作一次图像拼接；对重叠区域中深度信息变化大的区域，根据获取的深度信息进行逐帧图像拼接；图像拼接模块根据每个全景视频图像中重叠区域的深度信息从对应的全景视频图像重叠区域中获取多个深度层次的图像数据并对相同深度层次的图像数据进行图像数据间的拼接来实现图像拼接。图像合成模块，用于将拼接后的深度信息变化小的区域和深度信息变化大的区域进行粘贴，生成拼接后的重叠区域图像；将全景视频图像的重叠区域与非交叉重叠区域进行粘贴，生成拼接后的全景视频图像。

在具体实现过程中，对于全景视频图像重叠区域中人物图像和非人物图像，仅对非人物图像数据作一次图像拼接，生成非人物拼接图像数据；对人物图像数据进行逐帧拼接，生成人物拼接图像数据；将拼接后的每一帧全景视频图像中的人物拼接图像数据与非人物拼接图像数据作合成图像处理，生成拼接后的全景视频图像中重叠区域图像；或者对全景视频图像重叠区域中获取的背景图像数据进行一次拼接，生成背景拼接图像数据；对获取的前景图像数据进行逐帧拼接，生成前景拼接图像数据；将拼接后的每一帧全景视频图像中的前景拼接图像数据合成至背景拼接图像数据，生成拼接后的全景视频图像中重叠区域图像。再将各个全景视频图像的重叠区域与非交叉重叠区域进行粘贴，生成拼接后的全景视频图像。通过本装置可有效降低全景视频图像拼接的复杂度，提高了全景视频图像的拼接效率，具有快速、实时拼接的特点。

以上结合附图对本实用新型的实施例进行了描述，但是本实用新型并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实用新型的启示下，在不脱离本实用新型宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本实用新型的保护之内。