一种全景拼接接缝处平滑方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其是一种全景拼接接缝处平滑方法及装置。
【背景技术】
[0002] 在监控系统快速发展的今天，系统规模越来越大，监控点越来越多，工作人员面对 越来越多的监控图像已无暇顾及，随着监控范围的不断扩大，需要对整座桥梁、机场、很长 一段公路或者高层建筑进行监控，大多数摄像机的视场达不到这样大的监控范围，因此对 大视场视频监控的要求逐渐增多，逐渐形成了一种高端需求。视频全景拼接作为一种解决 方案，也得到了越来越多的关注。全景拼接接触处往往无法拼接的很平滑，因此，需要一种 全景拼接接缝处平滑方法及装置。
【发明内容】
[0003] 本发明所要解决的技术问题是：提供一种全景拼接接缝处平滑方法及装置，实现 拼接接缝处平滑。
[0004] 为了解决上述技术问题，本发明采用的技术方案为：
[0005] -种全景拼接接缝处平滑方法，包括：
[0006] S101、采集两幅以上待拼接的全景分区图；
[0007] S102、将S101所得全景分区图进行图像特征提取；
[0008] S103、将S102所得全景分区图进行图像特征匹配；
[0009] S104、将S103所得全景分区图投影至同一坐标系下，获得重叠区域；
[0010] S105、在S104所得重叠区域中选取一区域作为融合区域，确定与其匹配图像的融 合区域，剩余区域为非融合区域；
[0011] S106、根据映射关系获取全景图像上的每个像素值，根据所获取的像素值对融合 区域进行图像融合，非融合区域的像素从原始图像映射获取，获得全景图像；
[0012] S107、输出全景图像。
[0013] 本发明采用的另一技术方案为：
[0014] 一种全景拼接接缝处平滑装置，包括依次连接的图像采集模块、特征提取模块、特 征匹配模块、图像处理模块、FPGA处理模块和图像输出模块；
[0015] 所述图像采集模块，用于采集两幅以上待拼接的全景分区图；
[0016] 所述特征提取模块，用于将采集到的两幅以上待拼接的全景分区图进行图像特征 提取；
[0017] 所述特征匹配模块，用于将所述特征提取后的全景分区图进行图像特征匹配；
[0018] 所述图像处理模块，用于将所述特征匹配后的全景分区图投影至同一坐标系下， 获得重叠区域；
[0019] 所述FPGA处理模块包括选取单元和获取单元；
[0020] 所述选取单元，用于在图像处理模块所得重叠区域中选取一区域作为融合区域， 确定与其匹配图像的融合区域，剩余区域为非融合区域；
[0021] 所述获取单元，用于根据映射关系获取全景图像上的每个像素值，根据所获取的 像素值对融合区域进行图像融合，非融合区域的像素从原始图像映射获取，获得全景图 像；
[0022] 所述图像输出模块，用于输出全景图像。
[0023] 本发明的有益效果在于：通过在重叠区域选取融合区域，将图像分为融合区域和 非融合区域，分别对融合区域和非融合区域进行处理，合成全景图，实现全景拼接接缝处的 平滑，合成全景图，实现全景拼接接缝处的平滑。全景图的产生满足了大视场视频监控的要 求，随着监控范围的不断扩大，需要对整座桥梁、机场、很长一段公路或者高层建筑进行监 控，大多数摄像机的视场达不到这样大的监控范围，逐渐形成了一种高端需求。全景拼接接 缝处的平滑可以使全景图看起来更加的流畅。
【附图说明】
[0024] 图1为本发明【具体实施方式】全景拼接接缝处平滑方法的步骤图；
[0025] 图2为本发明【具体实施方式】中的尺度空间极值检测示意图；
[0026] 图3为本发明【具体实施方式】中提取s ift特征点生成本地特征描述符示意图；
[0027] 图4为本发明【具体实施方式】中的灰色区域积分示意图；
[0028] 图5为本发明【具体实施方式】中提取surf特征点生成本地特征描述符示意图；
[0029] 图6为本发明【具体实施方式】中提取到的harris角点示意图；
[0030] 图7为本发明【具体实施方式】中平面投影模型示意图；
[0031] 图8为本发明【具体实施方式】中柱面投影模型示意图；
[0032] 图9为本发明【具体实施方式】中球面投影模型示意图；
[0033] 图10为本发明【具体实施方式】中平均叠加法示意图；
[0034] 图11为本发明【具体实施方式】中选取融合区域的示意图；
[0035] 图12为本发明【具体实施方式】中全景拼接接缝处平滑装置的结构示意图；
[0036] 标号说明：
[0037] 10、图像采集模块；20、特征提取模块；30、特征匹配模块；40、图像处理模块；50、 FPGA处理模块；60、图像输出模块。
【具体实施方式】
[0038] 为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附 图予以说明。
[0039] 本发明最关键的构思在于：通过在重叠区域选取融合区域，将图像分为融合区域 和非融合区域，分别对融合区域和非融合区域进行处理，合成全景图，实现全景拼接接缝处 的平滑。
[0040] 请参照图1，是本发明【具体实施方式】全景拼接接缝处平滑方法的步骤图，具体如 下：
[0041 ] -种全景拼接接缝处平滑方法，包括：
[0042] S101、采集两幅以上待拼接的全景分区图；
[0043] S102、将S101所得全景分区图进行图像特征提取；
[0044] S103、将S102所得全景分区图进行图像特征匹配；
[0045] S104、将S103所得全景分区图投影至同一坐标系下，获得重叠区域；
[0046] S105、在S104所得重叠区域中选取一区域作为融合区域，确定与其匹配图像的融 合区域，剩余区域为非融合区域；
[0047] S106、根据映射关系获取全景图像上的每个像素值，根据所获取的像素值对融合 区域进行图像融合，非融合区域的像素从原始图像映射获取，获得全景图像；
[0048] S107、输出全景图像。
[0049] 从上述描述可知，本发明的有益效果在于：通过在重叠区域选取融合区域，将图像 分为融合区域和非融合区域，分别对融合区域和非融合区域进行处理，合成全景图，实现全 景拼接接缝处的平滑。全景图的产生满足了大视场视频监控的要求，随着监控范围的不断 扩大，需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控，大多数摄像机的视场 达不到这样大的监控范围，逐渐形成了一种高端需求。全景拼接接缝处的平滑可以使全景 图看起来更加的流畅。
[0050] 进一步的，所述步骤S102中"特征提取"采用提取sift、surf或harris特征点。
[0051] 所述提取s ift特征点步骤：
[0052] 1)尺度空间极值检测，初步确定关键点位置和所在尺度。通过高斯核函数与图像 的卷积来实现二维图像的尺度空间。
[0053]
[0054] 在检测尺度空间极值时，图2中标记为叉号的像素需要跟包括同一尺度的周围邻 域8个像素和相邻尺度对应位置的周围邻域9X2个像素总共26个像素进行比较，以确保 在尺度空间和二维图像空间都检测到局部极值；
[0055] 2)精确定位特征点的位置，通过拟合三维二次函数以精确确定关键点的位置和尺 度，同时去除低对比度的关键点和不稳定的边缘响应点；
[0056] 在关键点处用泰勒展开式得到：
[0057]
.，
[0058] 式中，X = (X，y，〇 )τ为关键点的偏移量，D是在D(x，y，〇 )关键点处的值；
[0059] 3)确定特征点的主方向；
[0060]
[0061] Θ (x, y) =a tan2((L(x, y+l)-L(x, y-l))/(L(x+l, y)-L(x-l, y)))；
[0062] 4)生成本地特征描述符；
[0063] 首先将坐标轴旋转为关键点的方向，以关键点为中心取4*4的窗口，如图3所示。 图3中左图的黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像 素，箭头方向代表该像素的梯度方向，箭头长度代表梯度的大小，圆圈代表高斯加权的范围 (越靠近关键点的像素梯度方向信息贡献越大）。接下来在每个4*4的小块上计算8个方向 的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，一个关键点由4*4 共16个种子点组成，每个种子点有8个方向向量信息，即最终形成128维的s ift特征向 量。
[0064] 所述提取surf特征点步骤：
[0065] 1) Integral Images (积分图）；
[0066] 积分图主要是计算图像内某一个区域的像素和，积分图在位置X处的定义如下：
[0067]
[0068] 如图4中灰色区域积分图为：A-B_C+D ;
[0069] 2)近似 Hess ian 矩阵；
[0070] 给定图像I中一点X = (X，y)，其Hess ian矩阵为：
[0071]
[0072] 3)尺度空间描述；
[0073] surf中只是boxfilter的大小变化，而非图像缩放；
[0074] 4)特征点定位；
[0075] 根据Hess ian矩阵求出尺度图像在（x，y)处的极值后，首先在极值点的3X3X3 的立体邻域内进行非极大值抑制，在尺度空间和图像空间中进行插值，使用二次拟合函数 进行插值：
[0076]
,τ
[0077] 对上式进行求导，并取得极值点处的极值为：
[0078]
[0079] 当极值彡0· 03时，该点为特征点；
[0080] 5)特征描述符；
[0081] 如图5,以特征点为中心，沿着主方位构建一个边长为20的正方形，再分为4*4的 子区域，在每个小区域内又分为5*5采样点，计算Haar小波在相对于主方位响应的水平和 垂直方向上的响应；
[0082] 所述提取harris特征点步骤：
[0083] 1)对每一像素点计算相关矩阵m ;
[0084]
[0085]
[0086] . 5
[0087] 2)对m的四个元素进行高斯平滑滤波，得到新的m，高斯函数为：
[0088]
[0089] 3)利用m计算每个像素的角点量cim ;
[0090]
[0091] 4) cim满足大于某一个阈值和cim是某邻域局部极大值，满足条件的就是角点；
[0092] 图6为一幅图像中提取到的harri s角点。
[0093] 由上述描述可知，所述"特征提取"采用提取sift特征点中"通过拟合三维二次函 数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点" 可增强匹配稳定性、提高抗噪声能力；所述"特征提取"采用提取surf特征点中"在尺度空 间和图像空间中进行插值"能够对候选特征点进行亚像素定位。
[0094] 进一步的，所述步骤S104中"