些操作步骤，因为算法本身不是很具备新颖性。图像特征点的提取与匹配；特征点的类别以及特征点提取的方法有很多种，例如Harris角点，SIFT, SURF, FAST等。这些方法都可以检测做到合适的特征点，并能够通过对于特征点的描述，匹配到两两画面中的相对应特征点，以为后面的图像配准和拼接做准备。
[0038]图像配准、拼接、融合；具体来讲，基于得到的图像特征点匹配对，计算得到前后相机的相对位置关系，以及画面的重叠区域，即Ifront= K[R|T]K ，其中Ifrant与I badi表示通过特征点提取找到的前后置相机画面的特征点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相对镜头光轴的偏移量以及镜头的畸变参数等，而[R|T]则是需用计算的相机相对位置关系，这个相对位置关系，描述成旋转和平移的数学模型。因为前后置相机的空间位置是固定的，所以一般情况下(例如镜头不松动等)，相对变换矩阵[R|T]也是固定的。这使得在实际产品中，只需要在第一次对不同设备相机的相对位置[RIT]进行测量矫正，之后一直使用同一个变换矩阵进行配准就可以了，不需要每次运行都进行特征点的提取、筛选、匹配以及图像的配准等操作；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑。
[0039]本发明有一个配套的软件系统，主要负责前后置相机的控制、相机数据(实时画面、最终拍摄的照片和视频流)的获取，图像矫正，图像质量修正，曝光及对比度调整，图像特征点的提取、筛选及匹配，图像配准、拼接、融合，以及全景图像及视频的压缩及存储等。因为本发明是基于移动平台的，所以软件会是一个独立的应用软件(Applicat1n)的形式。
[0040]如图2所示，本发明实施例的基于移动平台的全景拍摄系统包括:两个鱼眼镜头和一个加固机构。加固件的作用是将两个鱼眼镜头分别固定在前后置相机上，为了保证成像质量，两个镜头的光轴需要与相机的光轴重合。为了保证结构稳定，加固件首先需要紧紧包裹在手机或平板上，可以通过架子或者保护套的形式固定；加固件要求不能遮挡前后置镜头的视野。两个鱼眼镜头为了固定的稳定性，可以通过螺纹固定在加固件上。
[0041]两个鱼眼镜头通过加固机构安装在移动平台(手机或者平板)的前置摄像头和后置摄像头上。
[0042]前置摄像头和后置摄像头为多个则可以加装到其主拍摄相机(也就是负责成像的相机)上，两个鱼眼镜头视场角Field of ￥丨6?$0￥)，包括水平？0￥、垂直？0￥、对角FoV均大于180°，保证相机能将所有的场景画面包含进来，并能保证两个相机拍摄的画面有一定的重叠区域。现在手机或平板的相机规格非常多样化，所以为了保证所得到的画面能满足后期图像拼接的要求，镜头需要可变焦距。具体可以有几种方案:a)镜头本身具备变焦能力，需要手动调节焦距山)镜头本身具备变焦能力，自动调节焦距；c)通过转接件本文不涉及具体转接件的设计，只是提出这样的方案可能性，转接件的作用和参考设计可参见DSLR的相关部件设计，例如http://vintaRe-camera-lenses.com/rolle1-qbm-adaptermide/来改变整体镜头焦距，需要手动更换转接件。对于采用可变焦鱼眼镜头的方案，调整镜头焦距，达到每个相机所拍摄画面的水平FoV、垂直FoV均大于180。为止，以确保能将全部的场景画面记录下来。
[0043]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于移动平台的全景拍摄方法，其特征在于，所述基于移动平台的全景拍摄方法包括: 打开前置相机和后置相机，读取前置相机和后置相机拍摄的图片或视频流以及实时的预览视频流； 对两路图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；图像矫正是去除部分畸变以及Lens Shading，色彩校正是对于色温的调整，噪点消除涉及图像传感器固有噪声，以及图像数据读取时的噪声消除； 图像特征点的提取、筛选及匹配；特征点提取算法检测到特征点的位置，并通过对特征点的描述，匹配到该点在另一幅画面中相对应的特征点，为后面的图像配准和拼接做准备; 图像配准、拼接、融合:基于得到的图像特征点匹配对，计算得到前后相机的相对位置关系，以及画面的重叠区域，即Ifrant= K[R|T]K ，其中Ifrant与I badi表示通过特征点提取找到的前后置相机画面的特征点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相对镜头光轴的偏移量以及镜头的畸变参数，而[RlT]则是需用计算的相机相对位置关系，这个相对位置关系，描述成旋转和平移的数学模型，相对变换矩阵[R|T]是固定的；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑； 全景图像及视频的压缩及存储；图像渲染显示到移动设备的屏幕上。2.一种如权利要求1所述基于移动平台的全景拍摄方法的全景拍摄系统，其特征在于，所述全景拍摄系统包括: 读取模块，用于读取前置相机和后置相机拍摄的图片或视频流以及实时的预览视频流； 图像处理模块，用于对两路图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整； 特征点处理模块，用于图像特征点的提取、筛选及匹配；特征点提取算法检测到特征点的位置，并通过对特征点的描述，匹配到该点在另一幅画面中相对应的特征点，为后面的图像配准和拼接做准备； 特征点匹配模块，用于图像配准、拼接、融合；基于得到的图像特征点匹配对，计算得到前后相机的相对位置关系，以及画面的重叠区域；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑； 存储模块，用于全景图像及视频的压缩及存储； 显示模块，用于图像渲染显示到移动设备的屏幕上。3.如权利要求2所述的全景拍摄系统，其特征在于，所述图像处理模块包括: 图像矫正单元，用于去除部分畸变以及Lens Shading ； 色彩校正单元，用于对色温的调整； 噪点消除单元，用于对图像传感器固有噪声，以及图像数据读取时的噪声消除。4.如权利要求2所述的全景拍摄系统，其特征在于，所述全景拍摄系统进一步包括:两个鱼眼镜头和一个加固机构； 两个鱼眼镜头通过螺纹安装在手机或者平板的前置摄像头和后置摄像头上。5.一种使用权利要求1所述基于移动平台的全景拍摄方法的智能终端。
【专利摘要】本发明公开了一种基于移动平台的全景拍摄方法，包括：打开前置相机和后置相机；读取前置相机和后置相机拍摄的图片或视频流以及实时的预览视频流；对两路图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；图像特征点的提取、筛选及匹配；图像配准、拼接、融合；全景图像及视频的压缩及存储；图像渲染显示到手机屏幕上。系统包括：两个鱼眼镜头和一个加固机构；两个鱼眼镜头通过加固机构安装在手机或者平板的前置摄像头和后置摄像头上。本发明提出了一种基于移动平台拍摄全景图像以及视频的方法，较好地解决了现有全景拍摄方法存在成本高、拍摄过程繁琐、需要独立拍摄设备、无法录制全景视频的问题。
【IPC分类】H04N5/232, H04N5/225, H04M1/02, H04M1/725
【公开号】CN105376471
【申请号】CN201510956633
【发明人】景好
【申请人】景好
【公开日】2016年3月2日
【申请日】2015年12月21日