多目相机的图像配准和拼接方法及其装置的制造方法
【技术领域】
[0001] 本发明涉及数字图像处理技术领域，特别涉及一种多目相机的图像配准和拼接技 术。
【背景技术】
[0002] 目前主要的图像配准拼接技术的介绍如下：
[0003] 1)单平面配准
[0004] 图像配准是指对同一场景从不同的角度，相同或或者不同的传感器拍摄的两幅有 重叠区域的图像进行处理的过程。它从几何上校准参考图像和待配准的图像。两幅图像的 差异主要是来自不同的成像条件，图像配准也称为图像匹配。图像配准的数学描述可定义 成待配准的图像之间的空间变换和灰度变换。要求待配准的图像之间一有部分逻辑上是相 同的。
[0005] 现有单平面配准方法所建立的特征点映射矩阵不能解决特征点一对多的映射问 题。比如基于地面的配准建立的单平面映射矩阵，在有较高的运动目标出现在重叠区域时， 会出现拼接不对齐现象，原因就是缺少深度信息导致。
[0006] 2)图像拼接
[0007] 图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平 滑，图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接 图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过图像 预处理，很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备，让图像质量 能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提 取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图 像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区 域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对 应信息，将图像对齐。图像融合指在完成图像匹配以后，对图像进行缝合，并对缝合的边界 进行平滑处理，让缝合自然过渡。
[0008] 按照传统图像拼接方法对视频进行拼接，计算复杂度高，难以达到对视频进行实 时拼接。
[0009] 3)基于单一平面的深度信息校正和深度补偿
[0010] 在现有基于深度信息的校正和补偿技术中，通过深度估计计算后，统计深度信息， 然后根据深度信息对图像进行校正和补偿。这种方法不能解决相机成像部分畸变的配准情 况。这是用单一深度估计信息校正带来的问题，难以达到无缝的效果。
[0011] 综上所述，目前的图像配准拼接技术中，主要采用单平面配准方法，存在无法加入 深度信息或深度信息无法准确被用于配准过程的问题，从而导致配准结果出现错误，无法 在拼接时达到无缝的拼接效果。
【发明内容】
[0012] 本发明的目的在于提供一种多目相机的图像配准和拼接方法及其装置，通过根据 深度信息，可自适应对特征点进行分类，从而建立多维映射矩阵，使多目视频图像的配准更 加准确，克服了单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。
[0013] 为解决上述技术问题，本发明的实施方式公开了一种多目相机的图像配准方法， 该多目相机包括至少两个摄像头，该配准方法包括以下步骤：
[0014] 获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时 拍摄的具有重叠区域的同步图像；
[0015] 提取同步图像组中同步图像的特征点，并计算同步图像的深度值；
[0016] 根据深度值自适应将同步图像的特征点划分到不同的特征点平面；
[0017] 将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹配特征点并根 据匹配特征点建立特征点平面的映射矩阵；
[0018] 基于多个特征点平面对应的多维映射矩阵生成配准参数。
[0019] 本发明的实施方式还公开了一种多目相机的图像拼接方法，多目相机包括至少两 个摄像头，方法包括以下步骤：
[0020] 根据上一实施方式公开的图像配准方法获取配准参数；
[0021] 根据配准参数，对摄像头拍摄的视频流中同步图像组中的同步图像进行多平面映 射；
[0022] 将同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。
[0023] 本发明的实施方式还公开了一种多目相机的图像配准装置，该多目相机包括至少 两个摄像头，该装置包括：
[0024] 获取单元，用于获取多个在时域上连续的同步图像组，其中，每个同步图像组包括 至少两帧同时拍摄的具有重叠区域的同步图像；
[0025] 提取单元，用于提取同步图像组中同步图像的特征点，并计算同步图像的深度 值；
[0026] 划分单元，根据深度值自适应将同步图像的特征点划分到不同的特征点平面；
[0027] 矩阵单元，用于将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹 配特征点并根据匹配特征点建立特征点平面的映射矩阵；
[0028] 参数单元，用于基于多个特征点平面对应的多维映射矩阵生成配准参数。
[0029] 本发明的实施方式还公开了一种多目相机的图像拼接系统，该多目相机包括至少 两个摄像头，该系统包括：
[0030] 如上一实施方式公开的图像配准装置；
[0031] 映射单元，用于根据配准参数，对摄像头拍摄的视频流中同步图像组中的同步图 像进行多平面映射；
[0032] 融合单元，用于将同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。
[0033] 本发明实施方式与现有技术相比，主要区别及其效果在于：
[0034] 通过提取多个在时域上连续的同步图像组中同步图像的特征点，可根据这些特征 点和特征点所在图像的深度值自适应将不同特征点进行分类，并建立多维映射矩阵，进而 根据多维映射矩阵将同时拍摄的图像进行配准，根据深度信息将特征点自适应分类的方法 能得到更精确的多维映射矩阵，使得多目视频图像的配准更加准确，后续融合效果更好，从 而克服单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。
[0035] 基于多特征点平面的多维映射矩阵，可更加准确的获取配准信息，图像拼接融合 效果好，克服单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。且在 固定相机镜头的情况下，一定标定配准后获取的配准参数无需再次标定，在拼接时可直接 使用，快速方便。
[0036] 进一步地，采用自适应的划分，可根据实际的景深情况，实时自动调整特征点的分 类情况，使得特征点的分类更加准确，进而提高多维映射矩阵的计算精度，使得配准拼接图 像融合效果更佳。
[0037] 进一步地，通过设立对应表或其他方式，可根据实际需要实现特征点平面的自适 应划分，提高配准精确度。
【附图说明】
[0038] 图1是本发明第一实施方式中一种多目相机的图像配准方法的流程示意图；
[0039] 图2是本发明第一实施方式中一种双目相机的图像配准方法的流程示意图；
[0040] 图3是本发明第一实施方式中一种特征点平面间仿射变换过程的示意图；
[0041] 图4是本发明第二实施方式中一种多目相机的图像拼接方法的流程示意图；
[0042] 图5是本发明第二实施方式中一种双目相机的图像拼接过程的示意图；
[0043] 图6是本发明第三实施方式中一种多目相机的图像配准装置的结构示意图；
[0044] 图7是本发明第四实施方式中一种多目相机的图像拼接系统的结构示意图。
【具体实施方式】
[0045] 在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本 领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化 和修改，也可以实现本申请各权利要求所要求保护的技术方案。
[0046] 为使本发明的目的、技术方案和优点更加清