本发明实施例涉及计算机视觉技术，尤其涉及一种全景成像系统及方法。
背景技术：
随着相机产业及人工智能的发展，计算视觉领域无论是在视频采集还是在视频目标识别的性能上和数据规模上都取得了巨大的突破。然而，目前的图像识别算法仍受限于图像的清晰程度与视频数据的质量，对于高清视频监控、高清全景视频拍摄以及在线视频识别等需求，需要提高图像和实时视频的分辨率。
全景图像和视频涉及到宽视场范围，由于单相机的视场达不到360度，因此需要使用至少两个相机获取图像，进行图像拼接以得到全景图像和视频。若要提高全景图像和视频的分辨率，则需要使用高分辨率相机获取图像，对高分辨率图像进行拼接以得到高分辨率的全景图像和视频，但是高分辨率图像的拼接过程计算量较大，耗费计算资源，效率低，难以保证实时性，无法实现亿级像素视频的实时输出与处理。因此对于现有的实时图像和视频采集方案，难以兼顾宽视场总体信息与高分辨率的细节信息。
技术实现要素：
本发明实施例提供一种全景成像系统及方法，能够简单快速地获取兼顾宽视场总体信息与高分辨率细节信息的全景图像序列。
第一方面，本发明实施例提供了一种全景成像系统，包括：
至少两个第一尺度相机，用于实时同步获取第一尺度图像，其中所述至少两个第一尺度相机覆盖全景视场；
至少一个第二尺度相机，用于实时与所述至少两个第一尺度相机同步获取所述全景视场内的第二尺度图像，其中所述第一尺度图像的分辨率低于所述第二尺度图像的分辨率；
图像处理模块，用于对当前帧所有第一尺度图像进行拼接，得到当前帧全景参考图像，以及将当前帧所有第二尺度图像映射到所述当前帧全景参考图像中的对应区域，得到当前帧全景图像。
第二方面，本发明实施例还提供了一种全景成像方法，包括：
控制所有第一尺度相机和所有第二尺度相机实时同步获取图像，其中，所述第一尺度相机获取的第一尺度图像的分辨率低于所述第二尺度相机获取的第二尺度图像的分辨率；
对当前帧所有第一尺度图像进行拼接，得到当前帧全景参考图像；
将当前帧所有第二尺度图像映射到所述当前帧全景参考图像中的对应区域，得到当前帧全景图像。
本实施例的全景成像系统及方法，通过使用两种不同尺度的相机分别获取宽视场低分辨率图像和窄视场高分辨率图像，利用图像处理模块对宽视场低分辨率图像进行拼接，得到低分辨率的全景参考图像，然后将窄视场高分辨率图像映射到全景参考图像中的对应区域，得到全景图像，由此能够简单快速地获取全景图像序列，兼顾宽视场总体信息与高分辨率的细节信息，实现了亿级像素360度全景视频的在线拼接融合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种全景成像系统的结构示意图；
图2是本发明实施例三提供的一种全景成像系统的结构示意图；
图3是本发明实施例四提供的一种相机搭建示意图；
图4是本发明实施例五提供的一种全景成像方法的流程图；
图5是本发明实施例六提供的一种全景成像方法的流程图；
图6是本发明实施例六提供的另一种全景成像方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种全景成像系统的结构示意图，如图1所示，该全景成像系统包括：至少两个第一尺度相机10、至少一个第二尺度相机20和图像处理模块30。图1中仅做示例，其中相机的个数并不代表真实个数。
其中，第一尺度相机10是宽视场低分辨率短焦相机，第二尺度相机20是窄视场高分辨率长焦相机，这样的不同焦距不同视场的相机，能够实现两级不同尺度的成像。本实施例的全景成像系统中各相机可固定安装在预设位置，安装后不可转动，进而各相机配合图像处理模块以获取目标场景的全景图像序列。
上述至少两个第一尺度相机10覆盖全景视场，用于实时同步获取第一尺度图像。考虑到单相机的视场限制，因此需要至少两个第一尺度相机10来满足全景视场需求，第一尺度相机10的个数可以结合单相机的视场确定，相邻的第一尺度相机的视场可以具有部分重叠区域，以便于第一尺度图像的拼接处理。本实施例中全景视场主要指水平视场为360度，对垂直视场不作限定，当然垂直视场可以尽可能的大。每个第一尺度相机10实时获取其对应位置的第一尺度图像，各第一尺度相机10同步获取图像，因此，对于每一帧，得到的第一尺度图像的个数与第一尺度相机个数相同。
上述至少一个第二尺度相机20用于实时与上述至少两个第一尺度相机10同步获取全景视场内的第二尺度图像，第一尺度图像的分辨率低于第二尺度图像的分辨率。第二尺度相机20拍摄的是全景视场内有高分辨率需求的目标位置，例如，视频监控中易发交通事故的路口位置、店铺门口、电梯等。第二尺度相机20的个数可根据实际拍摄需求进行设置。若第二尺度相机20需要覆盖全景视场，本实施例也可以避免多个高分辨率图像拼接导致计算量很大的问题，相对而言，低分辨率图像的拼接以及高分辨率图像的映射过程，计算量要小于单纯的多个高分辨率图像拼接过程。
本实施例中所有相机均同步获取图像，同步方式可以是硬件同步，也可以是软件同步。具体的，硬件同步是指利用一信号(如上升沿信号)同时触发所有相机采集同一时刻的图像；软件方式是指缓存各相机采集的图像时，为各图像打上时间戳，时间戳最相近的图像被认为是同一时刻采集的图像，即维持一个缓冲区域，每次输出各相机最相近时间戳的图像帧。
在实际应用中，根据目标场景的具体需求，确定所有第一尺度相机10和第二尺度相机20的安装位置，本实施例对相机安装方式不进行限定，只要能够实现所有第一尺度相机覆盖全景视场以及第二尺度相机无遮挡地拍摄目标位置，示例性的，三个第一尺度相机10镜头朝外围成一圈，覆盖全景视场，相邻相机重叠视场为10度；三个第二尺度相机20设置在第一尺度相机10下方，镜头对着各自的目标位置。图1仅为了示意全景成像系统包括哪些部件，并未示出相机的搭建，相机搭建可参见实施例四。各第一尺度相机的焦距可以相同，也可以不同；同样的，各第二尺度相机的焦距可以相同，也可以不同。
图像处理模块30用于对当前帧所有第一尺度图像进行拼接，得到当前帧全景参考图像，以及将当前帧所有第二尺度图像映射到当前帧全景参考图像中的对应区域，得到当前帧全景图像。
其中，对当前帧所有第一尺度图像进行拼接，得到的是宽视场低分辨率的全景参考图像；将当前帧所有第二尺度图像(即局部图像)映射到当前帧全景参考图像中的对应区域，得到当前帧全景图像(即全局图像)，全景图像中部分区域是高分辨率，其余区域为低分辨率，用户可以通过缩放操作，查看全景图像中不同分辨率的区域。此外，图像处理模块30实时对采集的各帧图像进行处理，得到单帧全景图像，实时将得到的各帧全景图像融合，得到全景视频。
本实施例的技术方案，通过使用两种不同尺度的相机分别获取宽视场低分辨率图像和窄视场高分辨率图像，利用图像处理模块对宽视场低分辨率图像进行拼接，得到低分辨率的全景参考图像，然后将窄视场高分辨率图像映射到全景参考图像中的对应区域，得到全景图像，由此能够简单快速地获取全景图像序列，兼顾宽视场总体信息与高分辨率的细节信息，实现了亿级像素360度全景视频的在线拼接融合。
实施例二
本实施例在上述各实施例的基础上，对图像处理模块30进一步优化，图像处理模块30可以基于图形处理单元(graphicsprocessingunit，gpu)实现。
图像处理模块30可以包括：
重叠区域确定单元，用于根据第一尺度相机之间的位置关系及视场重叠关系，确定当前帧所有第一尺度图像之间的重叠区域；
位置关系确定单元，用于根据所述重叠区域，确定当前帧所有第一尺度图像之间的位置对应关系；
图像拼接单元，用于根据位置对应关系计算球面映射矩阵，并按照球面映射矩阵将当前帧所有第一尺度图像映射至全景球面中的相应位置，得到当前帧全景参考图像。
其中，相机之间的位置关系可以通过预先标定的相机参数得到；当前帧所有第一尺度图像之间的位置对应关系是指相邻第一尺度图像之间重叠区域的特征点匹配关系；按照球面映射矩阵将当前帧所有第一尺度图像映射至全景球面中的相应位置，由此便实现了第一尺度图像的实时在线拼接，得到全景参考图像。基于球面实现图像拼接，能够更直观地展示场景。
需要说明的是，在线拼接得到的全景参考图像并非最终结果，为了保证视频帧率与整体处理速度，可以采用较为粗糙的标定及映射方式实现全景参考图像的初步拼接，为后面的高分辨率图像映射做准备，例如，使用3×3的球面映射矩阵。
在另一实施方式中，图像处理模块30还可以包括：
下采样单元，用于对当前帧第二尺度图像进行下采样，提取下采样后的第二尺度图像中的特征点，并初始化投影矩阵为单位矩阵，其中投影矩阵表示当前帧第二尺度图像与当前帧全景参考图像的映射关系；
映射参数确定单元，用于根据各特征点、预设图像匹配算法与投影矩阵进行迭代计算得到映射参数；
图像映射单元，用于按照映射参数将当前帧第二尺度图像映射到当前帧全景参考图像中。
其中，通过下采样降低第二尺度图像的分辨率，是为了将第二尺度图像与全景参考图像进行像素对应，方便映射参数的计算。预设匹配算法可以是零均值归一化互相关算法(zero-basednormalizedcrosscorrelation，zncc)等图像匹配算法。按照映射参数将第二尺度图像映射到全景参考图像中，由此实现了局部高分辨率图像到全景低分辨率图像的映射，得到兼顾宽视场总体信息与高分辨率的细节信息的全景图像。
可选的，映射参数确定单元具体用于执行：
步骤a、根据第一尺度相机与第二尺度相机的位置关系，在当前帧全景参考图像中确定各特征点对应的搜索区块；
步骤b、按照投影矩阵将下采样后的第二尺度图像映射到当前帧全景参考图像中，并根据预设图像匹配算法，在各搜索区块内确定对应特征点的最佳匹配点，得到各匹配点对；
步骤c、根据第一尺度相机与第二尺度相机的位置关系以及各匹配点对之间的位置参考关系，消除置信度不满足预设条件的匹配点，并根据剩余的匹配点对更新投影矩阵；
步骤d、重复执行步骤b和步骤c，直到各匹配点对满足预设匹配误差要求，确定满足预设匹配误差要求时的投影矩阵作为映射参数。
其中，搜索区块是全景参考图像中可能与特征点对应的区域。第一尺度相机与第二尺度相机安装并标定后，相机间的位置关系是确定的，虽然基于相机间的位置关系确定匹配点对，但为保证正确迭代计算，因此通过相机间的位置关系来检验并消除不合格的匹配点，具体的，若匹配点对不符合相机间的位置关系，认为该匹配点对的置信度不满足预设条件，删除该匹配点对。各匹配点对之间的位置参考关系是指：第二尺度图像中各特征点之间的位置关系及距离与全景参考图像中相应匹配点之间的位置关系及距离是对应的，简单举例，第二尺度图像中特征点1在特征点2右边，那么全景参考图像中对应的匹配点1也在匹配点2右边。对于不符合位置参考关系的匹配点，认为其置信度不满足预设条件，删除该匹配点。
上述重复执行步骤b和c的迭代计算过程，具体为：首先按照初始的单位投影矩阵将第二尺度图像映射到当前帧全景参考图像中，确定匹配点对，删除不合格的匹配点对，根据剩余的匹配点对重新计算投影矩阵(记为m)；然后按照投影矩阵m再次将第二尺度图像映射到当前帧全景参考图像中，确定匹配点对，删除不合格的匹配点对，根据剩余的匹配点对重新计算投影矩阵(记为n)，以此类推进行迭代计算，直到各匹配点对满足预设匹配误差要求，停止迭代过程，将满足预设匹配误差要求时的投影矩阵作为映射参数。其中，预设匹配误差要求是可以根据精度需求预先设置的。
由此，经过迭代计算，可以精确地得到当前帧的每个第二尺度图像与全景参考图像的映射关系，也可以理解为得到当前帧下的每个窄视场高分辨率的第二尺度相机在环形全局尺度层面的映射关系，按照映射关系可将当前帧的每个第二尺度图像映射到全景参考图像中，实现单帧的亿像素级的环形全景图像。进而，对每一帧图像都实时进行如上处理，各帧全景图像便可构成全景视频。
实施例三
本实施例在上述各实施例的基础上，提供了一种分布式并行处理并传输图像的实施方式，如图2所示，全景成像系统还包括：预处理模块40和压缩传输模块50。
预处理模块40，用于按照预设规则实时将获取的第一尺度图像和第二尺度图像分配给至少两个线程，以按照预设标准并行进行图像预处理；
压缩传输模块50，用于按照预设压缩参数对预处理后的图像进行压缩，将压缩后的图像传输至所述图像处理模块30，以执行图像拼接和图像映射操作。
其中，图像预处理是指对图像进行色彩校正、形状校正、图像增强等处理，各线程需要遵照统一的预设标准进行图像预处理，例如色彩标准、形状标准等，以保证图像的一致性，避免后续图像拼接和图像映射后得到的全景图像不美观。
所有的第一尺度相机和第二尺度相机实时获取图像，一帧一帧的图像均需要进行预处理，为保证处理速度，本实施例中采用多线程并行处理方式进行图像预处理。线程数可以根据实际需求和设备性能进行设置。具体的，可以按照预设规则分配图像给不同的线程，预设规则可以是按帧分配，例如，共3个线程，第i帧的所有图像分配给线程1，第i+1帧的所有图像分配给线程2，第i+2帧的所有图像分配给线程3，第i+3帧的所有图像分配给线程1，依此按序分配或者按照线程空闲程度分配，保证多线程并行处理；预设规则还可以按相机分配，例如，设置与相机个数相同的线程数，相机1采集的图像逐帧分配给线程1，相机2采集的图像逐帧分配给线程2，依此分配，保证多线程并行处理；当然，也可以采用其他预设的分配规则，本实施例对此不进行限制。
图像预处理完毕后，需要传输预处理后的图像到图像处理模块30以执行图像拼接和图像映射操作。为了提高图像传输效率和节省带宽，本实施例中按照预设压缩参数对预处理后的图像进行压缩传输。压缩方式可以使用常见的压缩方式，例如，jpeg压缩等。预设压缩参数可以根据对图像清晰度的实际需求和传输效率进行设置，例如，设置为0.75，保证图像清晰度的同时也可以节省带宽，每台相机占用带宽少，便于支持更多的相机。相应的，图像处理模块30接收到压缩的图像后进行解压缩，进而可执行图像拼接和图像映射操作。
需要说明的是，本实施例中可以利用多线程实现并行压缩和传输，以进一步提高图像传输效率。相应的，图像处理模块30接收到压缩的图像后利用多线程并行解压缩，进而可执行图像拼接和图像映射操作。
在一具体实施例中，可以利用一个终端的不同线程实现预处理模块40、压缩传输模块50和图像处理模块30的功能。
在另一具体实施例中，为进一步提高处理效率，可以使用多个终端来实现图像的处理。例如，利用一个终端的不同线程实现预处理模块40和压缩传输模块50的功能，利用一个终端实现图像处理模块30的功能，终端之间可以通过网络进行通信。又如，利用多个终端分别实现不同线程的功能，示例性的，终端1实现相机1的图像的预处理和压缩，终端2实现相机2的图像的预处理和压缩；在另一示例中，终端1实现第i帧的所有图像的预处理和压缩，终端2实现第i+1帧的所有图像的预处理和压缩，依此根据终端个数轮流或按照终端空闲程度进行分配；并且利用一个终端实现图像处理模块30的功能，终端之间可以通过网络进行通信。
本实施例中，对采集的图像进行预处理，能够保证图像的一致性，避免后续图像拼接和图像映射后得到的全景图像不美观；多线程并行处理方式提高了处理速度；合理压缩传输图像，实现低码率的传输，提高图像传输效率和节省带宽。有效恢复原图，为后续图像拼接与图像映射做出相应的准备。
实施例四
本实施例在上述各实施例的基础上，提供了一种相机的搭建方式，在本实施例中，全景成像系统还包括：支撑机构60，上述至少两个第一尺度相机10和至少一个第二尺度相机20以环形阵列的形式均匀分布在支撑机构60上。
其中，所有的第一尺度相机10覆盖全景视场，按照各相机的视场及视场重叠区域分布在支撑机构60上，第二尺度相机20可以按照要拍摄的目标位置分布在支撑机构60的相应位置上，具体的，可以位于两第一尺度相机之间。
支撑机构60的个数为至少一个，当全景成像系统包括至少两个支撑机构60时，该至少两个支撑机构60可以上下层设置。同样的，可以根据相机视场将各相机分布在支撑机构60上。
支撑机构60的形状、大小、厚度可以根据实际需求进行设置，本实施例对此不进行限定。在一示例中，为节约空间，支撑机构60可以为圆盘结构。图3是本发明实施例四提供的一种相机搭建示意图，如图3所示，所有的第一尺度相机10和第二尺度相机20以环形阵列的形式均匀分布在圆盘结构的支撑机构60上。其中，每个第一尺度相机10的视场均为90度，5个第一尺度相机10均匀分布在支撑机构60上，相机间重叠视场为18度，由此可以实现360度全景的拍摄。在图3中，每个第一尺度相机10配备多个第二尺度相机20，第二尺度相机20拍摄其对应的第一尺度相机10的场景中的局部，用以实现图像的多尺度变换与融合。
本实施例提供的相机搭建方式，以简单的结构实现全景拍摄。在实际应用中，相机及其支撑机构可以安装在固定的监控位置，例如监控杆等，也可以安装在机器人或无人机等可移动设备上。
上述各实施例的全景成像系统可以适用于大型活动场所监控、虚拟现实(virtualreality，vr)全景超高清视频拍摄和在线大数据视频识别系统等相关场景，能够根据需求提供图像和实时视频的高分辨率细节信息。
实施例五
本实施例在上述各实施例提供的全景成系统的基础上，提供了基于该全景系统实现的全景成像方法。图4是本发明实施例五提供的一种全景成像方法的流程图，如图4所示，该方法具体包括：
s410，控制所有第一尺度相机和所有第二尺度相机实时同步获取图像，其中，第一尺度相机获取的第一尺度图像的分辨率低于第二尺度相机获取的第二尺度图像的分辨率。
其中，第一尺度相机是宽视场低分辨率短焦相机，第二尺度相机是窄视场高分辨率长焦相机，这样的不同焦距不同视场的相机，能够实现两级不同尺度的成像。第一尺度图像是宽视场低分辨率图像，第二尺度相机是窄视场高分辨率图像。
s420，对当前帧所有第一尺度图像进行拼接，得到当前帧全景参考图像。
s430，将当前帧所有第二尺度图像映射到上述当前帧全景参考图像中的对应区域，得到当前帧全景图像。
其中，所有的第一尺度相机覆盖全景视场，因此时刻t获取的所有第一尺度图像可以拼接为一个完整的低分辨全景参考图像，时刻t获取的所有第二尺度图像映射到该时刻的全景参考图像中的对应区域，得到时刻t的全景图像，全景图像中部分区域是高分辨率，其余区域为低分辨率，用户可以通过缩放操作，查看全景图像中不同分辨率的区域。实时将得到的各帧全景图像融合，得到全景视频。
本实施例的技术方案，通过使用两种不同尺度的相机分别获取宽视场低分辨率图像和窄视场高分辨率图像，对宽视场低分辨率图像进行拼接，得到低分辨率的全景参考图像，然后将窄视场高分辨率图像映射到全景参考图像中的对应区域，得到全景图像，由此能够简单快速地获取全景图像序列，兼顾宽视场总体信息与高分辨率的细节信息，实现了亿级像素360度全景视频的在线拼接融合。
在上述技术方案的基础上，为了提高处理速度，在对当前帧所有第一尺度图像进行拼接之前，该方法还可以包括：
按照预设规则实时将获取的第一尺度图像和第二尺度图像分配给至少两个线程，以按照预设标准并行进行图像预处理；
按照预设压缩参数对预处理后的图像进行压缩，将压缩后的图像传输至图像处理模块，以执行图像拼接和图像映射操作。
关于图像预处理、压缩和解压缩的具体内容，参考实施例三中所述，本实施例不再赘述。
实施例六
本实施例在上述各实施例的基础上，对s420的图像拼接步骤及s430的图像映射步骤进行了优化。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的全景成像系统的描述。
图5是本发明实施例六提供的一种全景成像方法的流程图，如图5所示，该方法具体包括：
s510，控制所有第一尺度相机和所有第二尺度相机实时同步获取图像，其中，第一尺度相机获取的第一尺度图像的分辨率低于第二尺度相机获取的第二尺度图像的分辨率。
s520，根据第一尺度相机之间的位置关系及视场重叠关系，确定当前帧所有第一尺度图像之间的重叠区域。
s530，根据上述重叠区域，确定当前帧所有第一尺度图像之间的位置对应关系。
s540，根据上述位置对应关系计算球面映射矩阵，并按照球面映射矩阵将当前帧所有第一尺度图像映射至全景球面中的相应位置，得到当前帧全景参考图像。
其中，相机之间的位置关系可以通过预先标定的相机参数得到；当前帧所有第一尺度图像之间的位置对应关系是指相邻第一尺度图像之间重叠区域的特征点匹配关系；按照球面映射矩阵将当前帧所有第一尺度图像映射至全景球面中的相应位置，由此便实现了第一尺度图像的在线拼接，得到全景参考图像。
需要说明的是，在线拼接得到的全景参考图像并非最终结果，为了保证视频帧率与整体处理速度，可以采用较为粗糙的标定及映射方式实现全景参考图像的初步拼接，为后面的高分辨率图像映射做准备，例如，使用3×3的球面映射矩阵。
s550，将当前帧所有第二尺度图像映射到上述当前帧全景参考图像中的对应区域，得到当前帧全景图像。
本实施例中，基于球面实现图像在线拼接，能够更直观地展示场景。
图6是本发明实施例六提供的另一种全景成像方法的流程图，如图6所示，该方法具体包括：
s610，控制所有第一尺度相机和所有第二尺度相机实时同步获取图像，其中，第一尺度相机获取的第一尺度图像的分辨率低于第二尺度相机获取的第二尺度图像的分辨率。
s620，对当前帧所有第一尺度图像进行拼接，得到当前帧全景参考图像。
s630，对当前帧第二尺度图像进行下采样，提取下采样后的第二尺度图像中的特征点，并初始化投影矩阵为单位矩阵，其中投影矩阵表示当前帧第二尺度图像与当前帧全景参考图像的映射关系。
s640，根据各特征点、预设图像匹配算法与投影矩阵进行迭代计算得到映射参数。
s650，按照映射参数将当前帧第二尺度图像映射到当前帧全景参考图像中，得到全景图像。
其中，预设匹配算法可以是zncc等图像匹配算法。按照映射参数将第二尺度图像映射到全景参考图像中，由此实现了局部高分辨率图像到全景低分辨率图像的映射，得到兼顾宽视场总体信息与高分辨率细节信息的全景图像。
可选的，s640可以包括：
步骤a、根据第一尺度相机与第二尺度相机的位置关系，在当前帧全景参考图像中确定各特征点对应的搜索区块；
步骤b、按照投影矩阵将下采样后的第二尺度图像映射到当前帧全景参考图像中，并根据预设图像匹配算法，在各搜索区块内确定对应特征点的最佳匹配点，得到各匹配点对；
步骤c、根据第一尺度相机与第二尺度相机的位置关系以及各匹配点对之间的位置参考关系，消除置信度不满足预设条件的匹配点，并根据剩余的匹配点对更新投影矩阵；
步骤d、重复执行步骤b和步骤c，直到各匹配点对满足预设匹配误差要求，确定满足预设匹配误差要求时的投影矩阵作为映射参数。
上述步骤a到步骤d的具体解释，请参见实施例二。经过迭代计算，可以精确地得到当前帧的每个第二尺度图像与全景参考图像的映射关系，也可以理解为得到当前帧下的每个窄视场高分辨率的第二尺度相机在环形全局尺度层面的映射关系，按照映射关系可将当前帧的每个第二尺度图像映射到全景参考图像中，实现单帧的亿像素级的环形全景图像。进而，对每一帧图像都实时进行如上处理，各帧全景图像便可构成全景视频。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。