一种3d图像拼接方法及装置制造方法
【专利摘要】本发明涉及图像拼接【技术领域】，尤其涉及一种3D图像拼接方法及装置。该方法包括：获取目标监测区域的已布点摄像机拍摄的待拼接图像，拼接图像两两之间具有设定比例的重叠区域；确定待拼接图像中的图像特征点的位置对应关系；利用图像特征点的全局方位信息确定几何投影平面；根据图像特征点的位置对应关系，将所有待拼接图像投影到几何投影平面，确定全局图架构；根据图像特征点的全局坐标进行图像融合，得到三维全景图像。本发明的该3D图像拼接方法及装置，能够快速进行目标监测区域的图像拼接实现3D场景展示，有效克服了现有的逆向三维建模工作量大、周期长、模型难以复用的缺点，使得本发明方案，更能满足用户进行三维场景展现的实际需求。
【专利说明】一种3D图像拼接方法及装置
【技术领域】
[0001] 本发明涉及图像拼接【技术领域】，具体而言，涉及一种3D图像拼接方法及装置。
【背景技术】
[0002] 目前，多利用摄像设备对重点场所、重点设备进行监控。采用摄像设备监控获取的 图像均为二维图像，且每台监控设备仅能获取监控场所或设备的部分图像，不便于用户对 监控场所或设备进行全景监测。例如，在变电站的监控中，布置了数十台摄像机，分别监控 不同的物理和场景对象，如何进行基于三维全景可视化的变电站场景展现与监测是电力用 户的业务需求之一。
[0003] 现有的三维全景可视化场景展现与监测的方法主要是三维巡视、仿真培训和设备 资产管理等，在实现过程中多采用逆向三维建模手段，包括：对已有的监测设备或场景的实 体模型进行拍照或扫描，得到监测模型图像；在三维环境中，基于监测模型图像建立三维数 字模型；将获取的监测场景的监测图像投影到三维数字模型中，进行三维全景可视化展现。
[0004] 上述的方法虽然能够实现三维场景的可视化，但因为监测场所或设备的不同，例 如每个变电站都有不同类型的设备和独特的空间分布特征，若都采用上述三维逆向建模的 方法进行三维场景的展现，需要对每个设备、场所进行建模，导致三维逆向建模工作量大、 周期长、模型难以复用，不能满足用户三维场景展现的实际需求。
【发明内容】
[0005] 本发明的目的在于提供一种3D图像拼接方法及装置，以解决上述的问题。
[0006] 在本发明的实施例中提供了一种3D图像拼接方法，包括：获取目标监测区域的已 布点摄像机拍摄的待拼接图像，所述待拼接图像两两之间具有设定比例的重叠区域；确定 所述待拼接图像中的图像特征点的位置对应关系；利用所述图像特征点的全局方位信息确 定几何投影平面；根据所述图像特征点的所述位置对应关系，将所有所述待拼接图像投影 到所述几何投影平面，确定全局图架构；根据所述图像特征点的全局坐标进行图像融合，得 到三维全景图像。
[0007] 优选地，该方法还包括：获取所述目标监测区域的已布点摄像机的摄像机信息，所 述摄像机信息包括：摄像机个数、摄像机类型及摄像机物理参数。
[0008] 优选地，所述确定所述待拼接图像中的图像特征点的位置对应关系，包括：基于尺 度不变特征转换SIFT算法提取所述待拼接图像中的图像特征点；采用特征点自适应匹配 方法对所述图像特征点进行匹配，得到特征点对；基于外极线约束几何模型和摄像机成像 原理计算所述特征点对之间的位置关系。
[0009] 优选地，所述采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征 点对，包括：根据所述图像特征点的横坐标或纵坐标把所述重叠区域均匀分布；两两计算 所述图像特征点的特征向量的欧氏距离，将所述欧氏距离小于设定的阈值的特征点匹配加 入特征点对。
[0010] 优选地，所述基于外极线约束几何模型和摄像机成像原理计算特征点对之间的位 置关系，包括：基于RANSAC算法估算关于特征点对的基本矩阵；通过外极线约束几何模型 约束所述基本矩阵的估算结果，并联立摄像机成像原理，计算所述图像特征点对的位置关 系。
[0011] 优选地，所述利用所述图像特征点的全局方位信息确定几何投影平面，包括：基于 图像特征点到几何投影平面距离最小的原则，采用最小二乘法拟合所述几何投影平面。
[0012] 优选地，所述根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像， 包括：采用柱面正射投影，将所述待拼接图像投影到柱面全局坐标中，基于所述图像特征点 与柱面之间的映射关系进行图像融合。
[0013] 本发明实施例还提供了一种3D图像拼接装置，包括：图像获取装置，用于获取目 标监测区域的已布点摄像机拍摄的待拼接图像，所述拼接图像两两之间具有设定比例的重 叠区域；位置关系确定模块，用于确定所述待拼接图像中的图像特征点的位置对应关系； 投影模块，用于利用所述图像特征点的全局方位信息确定几何投影平面；根据所述图像特 征点的所述位置对应关系，将所有所述待拼接图像投影到所述几何投影平面，确定全局图 架构；图像融合模块，用于根据所述图像特征点的全局坐标进行图像融合，得到三维全景图 像。
[0014] 优选地，所述位置关系确定模块，包括：图像特征点提取子模块，用于基于尺度不 变特征转换SIFT算法提取所述待拼接图像中的图像特征点；匹配子模块，用于采用特征点 自适应匹配方法对所述图像特征点进行匹配，得到特征点对；位置关系确定子模块，用于基 于外极线约束几何模型和摄像机成像原理计算所述特征点对之间的位置关系。
[0015] 本发明实施例的3D图像拼接方法及装置，利用已布点摄像机获取的图像作为待 拼接图像，通过待拼接图像中的图像特征点的位置对应关系在几何投影平面中进行投影、 拼接，利用该方法无需预先建立目标监测区域的模型，能够快速进行目标监测区域的图像 拼接实现3D场景展示，有效克服了现有的逆向三维建模工作量大、周期长、模型难以复用 的缺点，使得本发明的方法及装置，更能满足用户进行三维场景展现的实际需求。
[0016] 另外，本方法中，为了达到真实展现场景或设备的目的，基于图像特征点全局框架 图的正投影方法，不会出现累积误差所造成图像失真变形的情况，可以达到真实模拟场景 的需求。
【专利附图】
【附图说明】
[0017] 图1示出了本发明实施例中3D图像拼接方法的一种流程图；
[0018] 图2示出了本发明实施例中3D图像拼接方法的另一种流程图；
[0019] 图3示出了本发明实施例中外极线约束几何模型；
[0020] 图4示出了本发明实施例中3D图像拼接装置的结构示意图。
【具体实施方式】
[0021] 下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。
[0022] 本发明基于目标监测区域（例如变电站）三维可视化的应用需求，研究与目标监 测区域视频监控系统相结合的三维全景可视化方法，提出基于摄像机粗精度监控方位实时 监控图像获取，运用自适应图像特征点匹配技术计算匹配点对，估算匹配点基本矩阵，在此 基础上基于外极线约束和摄像机成像原理计算匹配点对之间的位置关系；利用特征点对应 关系进行图像的正射投影，将待拼接图像投影到全局图中，对图像进行融合，从而构建具 有真实场景的实时三维全景图像。
[0023] 基于上述思想，本发明实施例提供了一种3D图像拼接方法，如图1所示，主要处理 步骤包括：
[0024] 步骤Sll :获取目标监测区域的已布点摄像机拍摄的待拼接图像，待拼接图像两 两之间具有设定比例的重叠区域；
[0025] 步骤S12:确定待拼接图像中的图像特征点的位置对应关系；
[0026] 步骤S13:利用图像特征点的全局方位信息确定几何投影平面；
[0027] 步骤S14:根据图像特征点的位置对应关系，将所有待拼接图像投影到几何投影 平面，确定全局图架构；
[0028] 步骤S15:根据图像特征点的全局坐标进行图像融合，得到三维全景图像。
[0029] 利用该方法无需预先建立目标监测区域的模型，能够快速进行目标监测区域的图 像拼接实现3D场景展示，有效克服了现有的逆向三维建模工作量大、周期长、模型难以复 用的缺点，使得本发明的方法，更能满足用户进行三维场景展现的实际需求。
[0030] 另外，本方法中，为了达到真实展现场景或设备的目的，基于图像特征点全局框架 图的正投影方法，不会出现累积误差所造成图像失真变形的情况，可以达到真实模拟场景 的需求。
[0031] 如图2所示，本发明还提供了一种基于上述思想的优选实施方法，该方法主要包 括：
[0032] 步骤S21:实时获取待监测区域已布点摄像机拍摄的待拼接图像。
[0033] 在监测区域中，已布点有摄像机。通过布点的摄像机能够实时获取到监测区域的 监测图像。
[0034] 对于已布点摄像机获取的待拼接图像，两两之间具有设定比例的重叠区域，优选 地，待拼接图像两两之间至少具有20%的重叠区域。
[0035]另外，该方法中预先获取有已布点摄像机的摄像机信息，具体摄像机信息可以包 括摄像机个数、摄像机类型和摄像机物理参数。对于摄像机类型，其可以选择范围包括球 机、枪机、高清摄像机等；摄像机参数包括：摄像机位置、摄像机的焦距、光轴方向、变倍值、 成像元件尺寸及分辨率等。
[0036] 步骤S22:基于SIFT算法提取待拼接图像中的图像特征点。
[0037] 其中，通过SIFT算法提取待拼接图像中的图像特征点的步骤包括：
[0038]1)、尺度空间极值点的检测；在尺度空间通过高斯微分函数来检测潜在的对于尺 度和旋转不变的兴趣点；
[0039] 2)、关键点定位；在兴趣点位置上，确定关键点的位置和尺度；
[0040]3)、关键点方向确定；基于图像局部的梯度方向，给每个关键点分配方向；
[0041] 4)、计算关键点的描述子；在每个关键点的领域内测量图像局部的梯度，最终用一 个特征向量来表达。
[0042] 上述确定出的关键点即待拼接图像中的图像特征点。
[0043] 步骤S23:采用特征点自适应匹配方法，快速判断对图像特征点是否匹配，如果匹 配，则进行步骤S24,否则，重复步骤S23直至找到所有图像特征点的位置关系。
[0044] 对于每个图像特征点，其描述子是一个128维的特征向量。两帧图像中相匹配的 关键点是最相关的，所以欧氏距离最短的，基于此，本步骤中快速判断对图像特征点是否匹 配的方法包括：
[0045] 首先假设特征点对在两幅图的重叠区域上是均匀分布的，利用横坐标或纵坐标把 重叠区域平均分配，通过计算两个图像特征点的特征向量的欧氏距离，将距离小于设定的 阈值的图像特征点匹配加入特征点对；从特征点对集合中按欧氏距离从小到大的顺序取出 特征点个数，即满足特征点对平均分布的要求，又最大化特征点的匹配程度。
[0046] 其中，计算两个特征点之间的欧氏距离公式为：
[0047]
【权利要求】
1. 一种3D图像拼接方法，其特征在于，包括： 获取目标监测区域的已布点摄像机拍摄的待拼接图像，所述待拼接图像两两之间具有 设定比例的重叠区域； 确定所述待拼接图像中的图像特征点的位置对应关系； 利用所述图像特征点的全局方位信息确定几何投影平面； 根据所述图像特征点的所述位置对应关系，将所有所述待拼接图像投影到所述几何投 影平面，确定全局图架构； 根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像。
2. 根据权利要求1所述的3D图像拼接方法，其特征在于，该方法还包括：获取所述目 标监测区域的已布点摄像机的摄像机信息，所述摄像机信息包括：摄像机个数、摄像机类型 及摄像机物理参数。
3. 根据权利要求1所述的3D图像拼接方法，其特征在于，所述确定所述待拼接图像中 的图像特征点的位置对应关系，包括： 基于尺度不变特征转换SIFT算法提取所述待拼接图像中的图像特征点； 采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征点对； 基于外极线约束几何模型和摄像机成像原理计算所述特征点对之间的位置关系。
4. 根据权利要求3所述的3D图像拼接方法，其特征在于，所述采用特征点自适应匹配 方法对所述图像特征点进行匹配，得到特征点对，包括： 根据所述图像特征点的横坐标或纵坐标把所述重叠区域均匀分布； 两两计算所述图像特征点的特征向量的欧氏距离，将所述欧氏距离小于设定的阈值的 图像特征点匹配加入特征点对。
5. 根据权利要求3所述的3D图像拼接方法，其特征在于，所述基于外极线约束几何模 型和摄像机成像原理计算特征点对之间的位置关系，包括： 基于RANSAC算法估算关于特征点对的基本矩阵； 通过外极线约束几何模型约束所述基本矩阵的估算结果，并联立摄像机成像原理，计 算所述特征点对的位置关系。
6. 根据权利要求1所述的3D图像拼接方法，其特征在于，所述利用所述图像特征点的 全局方位信息确定几何投影平面，包括： 基于图像特征点到几何投影平面距离最小的原则，采用最小二乘法拟合所述几何投影 平面。
7. 根据权利要求1所述的3D图像拼接方法，其特征在于，所述根据所述图像特征点的 全局坐标进行图像融合，得到三维全景图像，包括： 采用柱面正射投影，将所述待拼接图像投影到柱面全局坐标中，基于所述图像特征点 与柱面之间的映射关系进行图像融合。
8. -种3D图像拼接装置，其特征在于，包括： 图像获取装置，用于获取目标监测区域的已布点摄像机拍摄的待拼接图像，所述拼接 图像两两之间具有设定比例的重叠区域； 位置关系确定模块，用于确定所述待拼接图像中的图像特征点的位置对应关系； 投影模块，用于利用所述图像特征点的全局方位信息确定几何投影平面；根据所述图 像特征点的所述位置对应关系，将所有所述待拼接图像投影到所述几何投影平面，确定全 局图架构； 图像融合模块，用于根据所述图像特征点的全局坐标进行图像融合，得到三维全景图 像。
9.根据权利要求8所述的3D图像拼接装置，其特征在于，所述位置关系确定模块，包 括： 图像特征点提取子模块，用于基于尺度不变特征转换SIFT算法提取所述待拼接图像 中的图像特征点； 匹配子模块，用于采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征 点对； 位置关系确定子模块，用于基于外极线约束几何模型和摄像机成像原理计算所述特征 点对之间的位置关系。
【文档编号】G06T15/00GK104318604SQ201410567869
【公开日】2015年1月28日 申请日期:2014年10月21日 优先权日:2014年10月21日
【发明者】胡娟, 颜江, 冯宇 申请人:四川华雁信息产业股份有限公司