一种基于移动平台的全景拍摄系统及方法
【技术领域】
[0001]本发明属于全景拍摄技术领域，尤其涉及一种基于移动平台的全景拍摄系统及方法。
【背景技术】
[0002]图像和视频的拼接技术，即通过对从不同角度拍摄的画面进行拼接及融合从而获得更大视角的画面或者全景画面。目前大部分算法都是通过寻找两两画面重叠区域中相匹配的点，然后将重叠区域配准，并最终将多个画面融合到一起。大多数方案的差异主要集中在数据的采集和使用方面，如:手机中全景拍摄模式:通过用户平移手机，手机会拍摄平移过程中的所有画面，两两拼接后，得到整个场景的画面；通过多个相机分别拍摄不同视角的相片或视频，要求所拍摄画面保证两两之间有重叠的区域，然后通过后期处理的方式，将所拍摄的画面拼接成一个全景画面；通过特制的一体化全景相机，一次性输出全景画面。
[0003]通过手机的全景模式拍摄，拍摄时间长，经常出现拼接错误或由于拍摄过程中有物体移动而产生的“鬼影”，以及无法拍摄全景视频等问题；通过多个相机拍摄，则会存在设备昂贵，无法实时查看拍摄画面，操作复杂以及数据很难同步等问题；通过特制的全景相机来拍摄，由于是独立的拍摄设备，会存在系统设计复杂，价格高昂，携带不变等问题。另外，目前多数设备不支持实时预览全景画面和全景视频拍摄等功能。
【发明内容】
[0004]本发明的目的在于提供一种基于移动平台的全景拍摄系统及方法，旨在解决现有全景拍摄方法存在成本高、拍摄过程繁琐、需要独立拍摄设备、无法录制全景视频的问题。
[0005]本发明是这样实现的，一种基于移动平台的全景拍摄方法，所述基于移动平台的全景拍摄方法包括:
[0006]打开前置相机和后置相机，读取前置相机和后置相机拍摄的图片或视频流以及实时的预览视频流；
[0007]对两路图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；图像矫正是去除部分畸变以及Lens Shading，色彩校正是对于色温的调整，噪点消除涉及图像传感器固有噪声，以及图像数据读取时的噪声消除；
[0008]图像特征点的提取、筛选及匹配；特征点提取算法检测到特征点的位置，并通过对特征点的描述，匹配到该点在另一幅画面中相对应的特征点，为后面的图像配准和拼接做准备；
[0009]图像配准、拼接、融合:基于得到的图像特征点匹配对，计算得到前后相机的相对位置关系，以及画面的重叠区域，即Ifront= K[R|T]K Ibd，其中4_与I badi表示通过特征点提取找到的前后置相机画面的特征点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相对镜头光轴的偏移量以及镜头的畸变参数等，而[RlT]则是需用计算的相机相对位置关系，这个相对位置关系，描述成旋转和平移的数学模型，相对变换矩阵[R|T]是固定的；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑；
[0010]全景图像及视频的压缩及存储；图像渲染显示到移动设备的屏幕上。
[0011]本发明的另一目的在于提供一种所述基于移动平台的全景拍摄方法的全景拍摄系统，所述全景拍摄系统包括:
[0012]读取模块，用于读取前置相机和后置相机拍摄的图片或视频流以及实时的预览视频流；
[0013]图像处理模块，用于对两路图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；
[0014]特征点处理模块，用于图像特征点的提取、筛选及匹配；特征点提取算法检测到特征点的位置，并通过对特征点的描述，匹配到该点在另一幅画面中相对应的特征点，为后面的图像配准和拼接做准备；
[0015]特征点匹配模块，用于图像配准、拼接、融合；基于得到的图像特征点匹配对，计算的到前后相机的相对位置关系，以及画面的重叠区域；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑；
[0016]存储模块，用于全景图像及视频的压缩及存储；
[0017]显示模块，用于图像渲染显示到移动设备的屏幕上。
[0018]进一步，所述图像处理模块包括:
[0019]图像矫正单元，用于去除部分畸变以及Lens Shading ；
[0020]色彩校正单元，用于对色温的调整；
[0021]噪点消除单元，用于对图像传感器固有噪声，以及图像数据读取时的噪声消除。
[0022]进一步，所述全景拍摄系统进一步包括:两个鱼眼镜头和一个加固机构；
[0023]两个鱼眼镜头通过螺纹安装在手机或者平板的前置摄像头和后置摄像头上。
[0024]本发明的另一目的在于提供一种使用所述基于移动平台的全景拍摄方法的智能终端。
[0025]本发明提供的基于移动平台的全景拍摄方法，提出一种基于移动平台(手机或者平板)拍摄全景图像以及视频的方案，要求该移动平台具备前后置两个摄像头，较好地解决了现有全景拍摄方法存在成本高、拍摄过程繁琐、需要独立拍摄设备、无法录制全景视频的问题。此外，本发明的结构简单，操作方便，实用性较强，加固件的作用是将两个鱼眼镜头分别固定在前后置相机上，为了保证成像质量，两个镜头的光轴需要与相机的光轴重合；为了保证结构稳定，加固件首先需要紧紧包裹在手机或平板上，可以通过架子或者保护套的形式固定；加固件要求不能遮挡前后置镜头的视野；两个鱼眼镜头为了固定的稳定性，可以通过螺纹固定在加固件上；加固件的作用是将两个鱼眼镜头分别固定在前后置相机上，为了保证成像质量，两个镜头的光轴需要与相机的光轴重合；为了保证结构稳定，加固件首先需要紧紧包裹在手机或平板上，可以通过架子或者保护套的形式固定；加固件要求不能遮挡前后置镜头的视野；两个鱼眼镜头为了固定的稳定性，可以通过螺纹固定在加固件上。
【附图说明】
[0026]图1是本发明实施例提供的基于移动平台的全景拍摄方法流程图。
[0027]图2是本发明实施例提供的基于移动平台的全景拍摄系统结构示意图。
【具体实施方式】
[0028]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0029]下面结合附图对本发明的应用原理作进一步描述。
[0030]如图1所示，本发明实施例的基于移动平台的全景拍摄方法包括以下步骤:
[0031]第一步，打开前置相机和后置相机；
[0032]第二步，读取前置相机和后置相机拍摄的图片或视频流以及实时的预览视频流；
[0033]第三步，对两路图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整等；
[0034]第四步，图像特征点的提取、筛选及匹配；
[0035]第五步，图像配准、拼接、融合；
[0036]第六步，全景图像及视频的压缩及存储；图像渲染显示到移动设备的屏幕上。
[0037]对两路图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；比较难描述，因为每一个都是一个复杂的操作，而且每一块也都相对标准，只是会针对平台作些调整，例如图像矫正，主要是去除部分畸变以及Lens Shading等，色彩校正主要是对于色温的调整，噪点消除则主要涉及图像传感器固有噪声，以及图像数据读取时的噪声消除，曝光和对比度主要是为了解决高动态场景下的亮度不准确，过明过暗的问题。这些的算法在本发明中并不是保护重点，但可以保护这