一种全景图像生成方法及装置与流程

本发明涉及一种全景图像生成方法及装置。

背景技术：

由于虚拟现实技术带来独特的全景图片或视频展示方式，给人以身临其境的视觉体验，因此其在旅游、看房、教育等领域得到很大地追捧和应用。全景图片是由多组成像单元采集的图片经过拼接而成，而拼接不当会使得拼接区域对不齐，从而导致重影、画面缺失等，直接影响观看者的观看质量和视觉感受。

因此，需要一种新的全景图像生成方法以解决上述问题。

技术实现要素：

本发明的目的是为了解决现有技术中存在的问题，提供一种全景图像生成方法。

为实现上述发明目的，本发明的全景图像生成方法可采用如下技术方案：

一种全景图像生成方法，包括以下步骤：

1)、通过多组成像单元采集多个原始图像；

2)、将步骤1)中原始图像转换为经纬度图像；

3)、获取相邻经纬度图像之间的待拼接区域，所述待拼接区域包括待拼接左图和待拼接右图；

4)、逐点计算所述待拼接左图和待拼接右图之间的位置偏移量场；

5)、对位置偏移量场进行中值滤波处理；

6)、根据滤波后的位置偏移量场，将各待拼接区域进行融合生成全景图像。

更进一步的，步骤2)中将步骤1)中原始图像转换为经纬度图像包括以下步骤：

21、获取原始图像转换为经纬度图像的转换模型；

22、根据所述转换模型，将原始图像转换为经纬度图像。

更进一步的，步骤3)中获取相邻经纬度图像之间的带拼接区域包括以下步骤：

31、利用特征提取算法提取相邻经纬度图像中的特征点，并根据匹配规则进行特征点匹配，得到至少一对成功配对的特征点对；如无成功配对的特征点，则重复步骤1)-3)；

32、根据特征点对p1(x1,y1)和p2(x2,y2)的位置关系，计算单应性矩阵h＝{hij}，公式如下：

根据单应性矩阵h将相邻经纬度图像中一个图像变换到另一个图像所在的坐标系，并计算重合区域的宽度；

33、根据重合区域的宽度，分别截取相邻经纬度图像中的重合宽度图像，获得带拼接图像对。

更进一步的，步骤32)中相邻经纬度图像由左图和右图组成，根据单应性矩阵将右图变换到左图所在的坐标系，获取左图最右侧一列点的第一横坐标，获取右图在左图坐标系下灰度非0值的最左侧点的第二横坐标，第一横坐标和第二横坐标的差即为重合区域的宽度。

更进一步的，步骤33)中截取左图最右侧重合宽度图像，截取右图最左侧重合宽度图像，获取待拼接图像对。

更进一步的，步骤4)中逐点计算所述待拼接左图和待拼接右图之间的位置偏移量场包括以下步骤：

41、在待拼接左图上逐点划分网格，网格点个数n＝w×h，其中，w为左图像宽度，h为左图像高度；

42、以网格点为中心,截取宽度大小为亚像素宽度的区域，此区域为参考图像子区；

43、将参考图像子区在待拼接右图中移动，找到与之最为相似的区域，该区域的中心点即为左图网格点的匹配点，记录该匹配点的位置信息；

44、将右图匹配点的位置与左图网格点的位置分别在x和y方向作差，获得x和y方向的位置偏移量；

45、重复步骤41-44，直到得到所有网格点x和y方向的位置偏移量，从而得到获得x和y方向的位置偏移量场。

更进一步的，步骤5)中对位置偏移量场进行中值滤波处理包括以下步骤：

分别对逐点计算得到的x和y方向的位置偏移量场进行中值滤波。

有益效果：本发明的全景图像生成方法能逐点对齐图像并融合达到无缝拼接的效果，给观看者高质量的浸入式全景体验。

本发明还公开了一种全景图像生成装置，包括图像采集模块、图像矫正模块、带拼接区域标定模块、位置偏移量场计算模块、滤波模块和融合模块，

所述图像采集模块用于通过多组成像单元采集原始图像；

所述图像矫正模块用于将原始图像转换为经纬度图像；

所述待拼接区域标定模块用于获取相邻经纬度图像之间的待拼接区域，所述待拼接区域包括待拼接左图和待拼接右图；

所述位置偏移量场计算模块用于逐点计算待拼接左图和待拼接右图之间的位置偏移量场；

所述滤波模块用于对位置偏移量场进行中值滤波处理；

所述融合模块用于根据滤波后的位置偏移量场，将各待拼接区域进行融合生成全景图像。

更进一步的，还包括音频采集模块和存储模块，所述音频采集模块和存储模块用于录制视频时同步采集音频信号，所述存储模块用于存储图像和音频数据。

更进一步的，还包括压缩编码模块和传输模块，所述压缩编码模块用于将图像数据和音频信号进行压缩，所述传输模块用于将图像和/或音频数据传输至其他终端。压缩编码模块用于减少数据传输带宽或存储空间的需求。

有益效果：本发明的全景图像生成装置能逐点对齐图像并融合达到无缝拼接的效果，给观看者高质量的浸入式全景体验。

附图说明

图1为全景图像生成方法的流程图；

图2为位置偏移量场的流程图；

图3为图像生成装置的结构示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅是本发明的优选实施方式，在阅读了本发明之后，本领域技术人员对本发明的各种不脱离本发明原理的修改均落于本申请所附权利要求所限定的范围。

请参阅图1、图2和图3所示，本发明的全景图像生成方法，包括以下步骤：

1)、通过多组成像单元采集多个原始图像；

2)、将步骤1)中原始图像转换为经纬度图像；

优选的，步骤2)中将步骤1)中原始图像转换为经纬度图像包括以下步骤：

21、获取原始图像转换为经纬度图像的转换模型；

22、根据转换模型，将原始图像转换为经纬度图像。

3)、获取相邻经纬度图像之间的待拼接区域，待拼接区域包括待拼接左图和待拼接右图；

优选的，步骤3)中获取相邻经纬度图像之间的待拼接区域包括以下步骤：

31、利用特征提取算法提取相邻经纬度图像中的特征点，并根据匹配规则进行特征点匹配，得到至少一对成功配对的特征点对；如无成功配对的特征点，则重复步骤1)-3)；

32、根据特征点对p1(x1,y1)和p2(x2,y2)的位置关系，计算单应性矩阵h＝{hij}，公式如下：

根据单应性矩阵h将相邻经纬度图像中一个图像变换到另一个图像所在的坐标系，并计算重合区域的宽度；

33、根据重合区域的宽度，分别截取相邻经纬度图像中的重合宽度图像，获得带拼接图像对。

优选的，步骤32)中相邻经纬度图像由左图和右图组成，根据单应性矩阵将右图变换到左图所在的坐标系，获取左图最右侧一列点的第一横坐标，获取右图在左图坐标系下灰度非0值的最左侧点的第二横坐标，第一横坐标和第二横坐标的差即为重合区域的宽度。

优选的，步骤33)中截取左图最右侧重合宽度图像，截取右图最左侧重合宽度图像，获取待拼接图像对。

4)、逐点计算待拼接左图和待拼接右图之间的位置偏移量场；

优选的，步骤4)中逐点计算待拼接左图和待拼接右图之间的位置偏移量场包括以下步骤：

41、在待拼接左图上逐点划分网格，网格点个数n＝w×h，其中，w为左图像宽度，h为左图像高度；

42、以网格点为中心,截取宽度大小为亚像素宽度的区域，此区域为参考图像子区；

43、将参考图像子区在待拼接右图中移动，找到与之最为相似的区域，该区域的中心点即为左图网格点的匹配点，记录该匹配点的位置信息；

44、将右图匹配点的位置与左图网格点的位置分别在x和y方向作差，获得x和y方向的位置偏移量；

45、重复步骤41-44，直到得到所有网格点x和y方向的位置偏移量，从而得到获得x和y方向的位置偏移量场。

5)、对位置偏移量场进行中值滤波处理；

优选的，步骤5)中对位置偏移量场进行中值滤波处理包括以下步骤：

分别对逐点计算得到的x和y方向的位置偏移量场进行中值滤波。

6)、根据滤波后的位置偏移量场，将各待拼接区域进行融合生成全景图像。

本发明的全景图像生成方法能逐点对齐图像并融合达到无缝拼接的效果，给观看者高质量的浸入式全景体验。

请参阅图3所示，本发明还公开了一种全景图像生成装置，包括图像采集模块、图像矫正模块、带拼接区域标定模块、位置偏移量场计算模块、滤波模块和融合模块，

图像采集模块用于通过多组成像单元采集原始图像；

图像矫正模块用于将原始图像转换为经纬度图像；

待拼接区域标定模块用于获取相邻经纬度图像之间的待拼接区域，待拼接区域包括待拼接左图和待拼接右图；

位置偏移量场计算模块用于逐点计算待拼接左图和待拼接右图之间的位置偏移量场；

滤波模块用于对位置偏移量场进行中值滤波处理；

融合模块用于根据滤波后的位置偏移量场，将各待拼接区域进行融合生成全景图像。

优选的，还包括音频采集模块和存储模块，音频采集模块和存储模块用于录制视频时同步采集音频信号，存储模块用于存储图像和音频数据。

优选的，还包括压缩编码模块和传输模块，压缩编码模块用于将图像数据和音频信号进行压缩，传输模块用于将图像和/或音频数据传输至其他终端。压缩编码模块用于减少数据传输带宽或存储空间的需求。

本发明的全景图像生成装置能逐点对齐图像并融合达到无缝拼接的效果，给观看者高质量的浸入式全景体验。