投影"采用平面投影模型或柱面投影模型或球面投 影模型。
[0095] 所述全景图，采用平面投影模型进行合成具体步骤：
[0096] 如图7,平面投影模型是先使用图像配准技术求得待拼接图像间的变换关系，再选 定参考平面，并将图像逐个投影到参考平面，再使用图像融合技术生成全景图像。参考平面 的选取可以是一幅参考图像所在平面，也可以是空间中的任意平面。由于是平面到平面的
变换，戶《木金激措刑加亦施_银阵η。
[0097]
[0098] 该透视变换矩阵是一个3X3的矩阵，最后一个参数固定为1，其余8个参数未知， 需通过特征匹配对计算获取，通过至少4对特征匹配对，8个未知数，8个方程采用最小二乘 法计算。
[0099] 所述全景图，采用柱面投影模型进行合成具体步骤：
[0100] 如图8,把所有图像投影到圆柱体表面，建立以视点〇为原点的柱面二维坐标系 (Xc，Yc)，定义圆柱体的截面半径为f，平面S为图像平面，点P，Q为平面S上的点，点M，N 为圆柱面上的点，且M，N是只Q在圆柱面上的投影点，平面图像S以C为坐标原点。所述 Xc，Yc公式如下：
[0101]
[0102]
[0103] 所述全景图，采用球面投影模型进行合成具体步骤：
[0104] 如图9,把所有图像投影到球体表面，建立以视点0为原点的球面二维坐标系（Xs， Ys)，定义圆柱体的截面半径为f，平面S为图像平面，点P，Q为平面S上的点，点M，N为球 面上的点，且M，N是P，Q在球面上的投影点，平面图像S以C为坐标原点。
[0105] 定义球面原点坐标为（0,0),点P在球面坐标系下的对应点Μ的经纟韦坐标为：
[0106]
[0107]
[0108] 进一步的，所述步骤S106中"图像融合"采用平均叠加法或加权融合。
[0109] 所述步骤S110中的"图像融合"采用平均叠加法具体为：
[0110] 如图10,图像融合区域中像素点的像素值Pixel由两幅图像中对应点的像素值 Pixel_L和Pixel_R平均叠加得到，这里的Pixel可以是RGB或者YUV等格式，根据输入图 像确定：
[0111] Pixel = 0· 5*(Pixel_L+Pixel_R);
[0112] 所述步骤SI 10中的"图像融合"采用加权融合具体为：
[0113] 图像融合区域中像素点的像素值Pixel由两幅图像中对应点的像素值Pixel_I^P Pixel_R加权平均得到，即：Pixel = kXPixel_L+(l_k) XPixel_R，其中k是可调因子；
[0114] 通常情况下0彡k彡1，即在融合区域中，沿图像1向图像2的方向，k由1渐变 为0,从而实现融合区域的平滑拼接。为使图像融合区域中的点与两幅图像建立更大的相关 性，令k = dV(dl+d2)，如图11，其中：dl，d2分别表示融合区域中的点到两幅图像融合区 域的左边界和右边界的距离。重叠区域并不等于融合区域，一旦2幅原始的图像确定，那么 重叠区域宽肯定是固定的，但融合区域是人为控制的，可以在重叠区域范围内选择任意只 要满足融合区域Wl < W2就可以。
[0115] 即使用公式Pixel = dl/(dl+d2) XPixel_L+d2/(dl+d2) XPixel_R进行缝合线处 理，非融合区域直接从原图映射获取。
[0116] 请参考图12,是本发明实施例全景拼接接缝处平滑装置结构示意图，具体如下：
[0117] 一种全景拼接接缝处平滑装置，包括依次连接的图像采集模块10、特征提取模块 20、特征匹配模块30、图像处理模块40、FPGA处理模块50和图像输出模块60 ;
[0118] 所述图像采集模块10,用于采集两幅以上待拼接的全景分区图；
[0119] 所述特征提取模块20,用于将采集到的两幅以上待拼接的全景分区图进行图像特 征提取；
[0120] 所述特征匹配模块30,用于将所述特征提取后的全景分区图进行图像特征匹配；
[0121] 所述图像处理模块40,用于将所述特征匹配后的全景分区图投影至同一坐标系 下，获得重叠区域；
[0122] 所述FPGA处理模块50包括选取单元和获取单元；
[0123] 所述选取单元，用于在图像处理模块所得重叠区域中选取一区域作为融合区域， 确定与其匹配图像的融合区域，剩余区域为非融合区域；
[0124] 所述获取单元，用于根据映射关系获取全景图像上的每个像素值，根据所获取的 像素值对融合区域进行图像融合，非融合区域的像素从原始图像映射获取，获得全景图 像；
[0125] 所述图像输出模块60,用于输出全景图像。
[0126] 从上述描述可知，本发明的有益效果在于：通过在重叠区域选取融合区域，将图像 分为融合区域和非融合区域，分别对融合区域和非融合区域进行处理，合成全景图，实现全 景拼接接缝处的平滑。全景图的产生满足了大视场视频监控的要求，随着监控范围的不断 扩大，需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控，大多数摄像机的视场 达不到这样大的监控范围，逐渐形成了一种高端需求。全景拼接接缝处的平滑可以使全景 图看起来更加的流畅。
[0127] 进一步的，所述FPGA处理模块的获取单元还包括运算器；
[0128] 所述运算器包括依次连接的第一运算器和第二运算器；所述第一运算器，用于对 两幅以上的全景分区图融合区域各对应点的像素值进行叠加；所述第二运算器，用于对第 一运算器所得融合区域各对应点叠加后的像素值取平均值。
[0129] 进一步的，所述FPGA处理模块的获取单元还包括设置单元；
[0130] 所述设置单元，用于预设一可调参数，并根据两幅以上的全景分区图各对应点的 像素值调节参数。
[0131] 由上述描述可知，可调参数是根据两幅以上的全景分区图各对应点的像素值进行 参数调节，可使图像融合效果更好，更加平滑。
[0132] 综上所述，本发明提供的一种全景拼接接缝处平滑方法及装置，通过计算全景分 区图重叠区域，并在重叠区域中选取融合区域和非融合区域进行全景分区图的融合，融合 过程按照原始图像或者视频的格式（RGB或者YUV等），合成全景图，实现全景拼接接缝处 的平滑。全景图的产生满足了大视场视频监控的要求，随着监控范围的不断扩大，需要对整 座桥梁、机场、很长一段公路或者高层建筑进行监控，大多数摄像机的视场达不到这样大的 监控范围，逐渐形成了一种高端需求。全景拼接接缝处的平滑可以使全景图看起来更加的 流畅，便于在生活中的应用。所述"特征提取"采用提取s ift特征点中"通过拟合三维二 次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应 点"可增强匹配稳定性、提高抗噪声能力；所述"特征提取"采用提取 surf特征点中"在尺 度空间和图像空间中进行插值"能够对候选特征点进行亚像素定位；可调参数是根据两幅 以上的全景分区图各对应点的像素值进行参数调节，可使图像融合效果更好，更加平滑。
[0133] 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括 在本发明的专利保护范围内。
【主权项】
1. 一种全景拼接接缝处平滑方法，其特征在于，包括： 5101、 采集两幅以上待拼接的全景分区图； 5102、 将S101所得全景分区图进行图像特征提取； 5103、 将S102所得全景分区图进行图像特征匹配； 5104、 将S103所得全景分区图投影至同一坐标系下，获得重叠区域； 5105、 在S104所得重叠区域中选取一区域作为融合区域，确定与其匹配图像的融合区 域，剩余区域为非融合区域； 5106、 根据映射关系获取全景图像上的每个像素值，根据所获取的像素值对融合区域 进行图像融合，非融合区域的像素从原始图像映射获取，获得全景图像； 5107、 输出全景图像。2. 根据权利要求1所述的全景拼接接缝处平滑方法，其特征在于，所述步骤S102中"特 征提取"采用提取sift、surf或harris特征点。3. 根据权利要求1所述的全景拼接接缝处平滑方法，其特征在于，所述步骤S104中"投 影"采用平面投影模型或柱面投影模型或球面投影模型。4. 根据权利要求1所述的全景拼接接缝处平滑方法，其特征在于，所述步骤S106中"图 像融合"采用平均叠加法或加权融合。5. 根据权利要求4所述的全景拼接接缝处平滑方法，其特征在于，所述图像融合采用 平均叠加法具体为：将两幅以上的全景分区图各对应点的像素值先叠加再取平均值。6. 根据权利要求4所述的全景拼接接缝处平滑方法，其特征在于，所述图像融合采用 加权具体为：预设一可调参数，并根据两幅以上的全景分区图各对应点的像素值调节参数。7. 根据权利要求6所述的全景拼接接缝处平滑方法，其特征在于，所述可调参数的值 域为〇~1。8. -种全景拼接接缝处平滑装置，其特征在于，包括依次连接的图像采集模块、特征提 取模块、特征匹配模块、图像处理模块、FPGA处理模块和图像输出模块； 所述图像采集模块，用于采集两幅以上待拼接的全景分区图； 所述特征提取模块，用于将采集到的两幅以上待拼接的全景分区图进行图像特征提 取； 所述特征匹配模块，用于将所述特征提取后的全景分区图进行图像特征匹配； 所述图像处理模块，用于将所述特征匹配后的全景分区图投影至同一坐标系下，获得 重叠区域； 所述FPGA处理模块包括选取单元和获取单元； 所述选取单元，用于在图像处理模块所得重叠区域中选取一区域作为融合区域，确定 与其匹配图像的融合区域，剩余区域为非融合区域； 所述获取单元，用于根据映射关系获取全景图像上的每个像素值，根据所获取的像素 值对融合区域进行图像融合，非融合区域的像素从原始图像映射获取，获得全景图像； 所述图像输出模块，用于输出全景图像。9. 根据权利要求8所述的全景拼接接缝处平滑装置，其特征在于，所述FPGA处理模块 的获取单元还包括运算器； 所述运算器包括依次连接的第一运算器和第二运算器；所述第一运算器，用于对两幅 以上的全景分区图融合区域各对应点的像素值进行叠加；所述第二运算器，用于对第一运 算器所得融合区域各对应点叠加后的像素值取平均值。10.根据权利要求8所述的全景拼接接缝处平滑装置，其特征在于，所述FPGA处理模块 的获取单元还包括设置单元； 所述设置单元，用于预设一可调参数，并根据两幅以上的全景分区图各对应点的像素 值调节参数。
【专利摘要】本发明涉及图像处理技术领域，尤其是一种全景拼接接缝处平滑方法及装置。通过在重叠区域选取融合区域，剩余区域为非融合区域，将图像分为融合区域和非融合区域，分别对融合区域和非融合区域进行处理，合成全景图，实现全景拼接接缝处的平滑。全景图的产生满足了大视场视频监控的要求，随着监控范围的不断扩大，需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控，大多数摄像机的视场达不到这样大的监控范围，逐渐形成了一种高端需求。全景拼接接缝处的平滑可以使全景图看起来更加的流畅。
【IPC分类】G06T5/50, G06T7/00
【公开号】CN105678719
【申请号】
【发明人】魏园波
【申请人】深圳英飞拓科技股份有限公司
【公开日】2016年6月15日
【申请日】2014年11月20日