楚，下面将结合附图对本发明的实施 方式作进一步地详细描述。
[0047] 本发明第一实施方式涉及一种多目相机的图像配准方法。图1是该多目相机的图 像配准方法的流程示意图。
[0048] 传统的图像配准都是通过单帧图像提取特征点，本发明采用多帧图像的特征点提 取，多余多帧图像提取到的特征点结合景深信息按特征点平面进行划分。具体地，如图1所 示，该多目相机包括至少两个摄像头，且该配准方法包括以下步骤：
[0049] 在步骤101中，获取多个在时域上连续的同步图像组，其中，每个同步图像组包括 至少两帧同时拍摄的具有重叠区域的同步图像。
[0050] 此后进入步骤102,提取同步图像组中同步图像的特征点，并计算同步图像的深度 值。
[0051] 特征点提取方法可以采用常用的Harris (哈里斯）角点检测算法， SUSAN(S_nallest Univalue Segent assiilating Nucleus,最小同值分割吸收核）角点 检测算法以及DoG(Difference of Gaussian,双高斯差）算子角点检测算法，SIFT(Scale Invariant Feature Transfor，尺度不变特征转换）等方法。
[0052] 此后进入步骤103,根据深度值自适应将同步图像的特征点划分到不同的特征点 平面。
[0053] 在本发明的一优选例中，该步骤103包括以下子步骤：
[0054] 对深度值建立用于描述深度值的分布情况的高斯模型，并通过下式计算深度值的 高斯分布概率密度f(x):
[0056] 其中，μ为所述深度值的平均值，是高斯分布的位置参数，描述特征点的集中趋势 位置，σ为所述深度值的方差，描述特征点分布的离散程度，X为特征点深度值变量；
[0057] 根据下式计算所有特征点的平均深度差k :
[0059] 其中，山为第i个特征点的深度值，N为特征点的总数目，i = 1，2,......,N-1,N；
[0060] 根据平均深度差和深度值的方差将所述特征点划分到不同的特征点平面。例如， 通过以下方式实现本子步骤：
[0061] 设置平均深度差和深度值方差的数值范围与特征点平面的数目的对应表；从对应 表中获得当前计算得到的平均深度差和深度值的方差所对应的特征点平面的数目。
[0062] 此外，可以理解，在本发明的其他实施方式中，也可以根据其他方式对特征点进行 分类，比如判断平均深度差是否大于预定阈值，如果判断结果是，则将特征点划分到与该预 定阈值对应数目的特征点平面，如果判断结果为否，则所有特征点被划分到同一特征点平 面。这样可简单的将景深大和景深小的图像中的特征点进行合理分类。例如，如果平均深 度差k < 3 σ，则景深较小，只需将所有特征点分在一个特征点平面L〇上，如果k彡3 σ，则 将特征点分到L。、Lp L2三层或更多层特征点平面。
[0063] 可以理解，根据的μ大小可分析出拍摄场景是否为大视差场景，根据σ可判断出 景深的变化范围的大小。一般平均深度差越小，特征点平面的数目就越少。采用自适应的 划分，可根据实际的景深情况，实时自动调整特征点的分类情况，使得特征点的分类更加准 确，进而提高多维映射矩阵的计算精度，使得配准拼接图像融合效果更佳。
[0064] 通过设立对应表或其他方式，可根据实际需要实现特征点平面的自适应划分，提 高配准精确度。拍摄时期或拍摄场景等拍摄条件的不同会产生不同的深度信息，自适应可 根据拍摄条件的变化灵活调整特征点的分类。
[0065] 此后进入步骤104,将划分到同一特征点平面的特征点进行匹配得到特征点平面 的匹配特征点并根据匹配特征点建立特征点平面的映射矩阵。
[0066] 此后进入步骤105,基于多个特征点平面对应的多维映射矩阵生成配准参数。
[0067] 此后结束本流程。
[0068] 在一实际应用中，该多目相机具有两个摄像头，即为双目相机。优选地，如图2所 示，该双目相机的图像配准过程为：算法配准方法采用基于特征方法，首先提取Α、Β图的特 征点，（SIFT或Harris特征点）然后通过RANSAC方法提纯，Α图尺度不变，Β图根据提取的 特征点自动计算放大系数，作为参数保存，最后使用网格变形方法算法计算出A、B图的映 射表。具体描述如下：
[0069] 1.多平面特征点提取
[0070] 1)在双目视频的重叠区域获取到多帧图像组A，图像组B (图像组A和图像组B中 拍摄时间相同的两张图像构成该双目相机相应时刻的同步图像组，如Ai和&构成同步图像 组％表示图像组A中第i个图像，表示图像组B中第i个图像），其中i = 1，2,...）； [0071 ] 2)对图像组A，B提取特征点
[0072] 采用Harris角点作为特征点。Harris角点的提取与匹配流程如下：
[0073] a)以Gaussian函数计算图像X、y方向的导数Ix和Iy。
[0074] b)经过偏移（u, v)后，图像在坐标为（X，y)的像素点I (X，y)的亮度变化
,Ix为I (X，y)在X方向的导数，Iy为 I (X，y)在y方向的导数。c)计算角点响应函数R = det(K)_m(trace(K))2,其中det为矩 阵K的行列式，trace为矩阵K的迹，m = 0. 04,当R大于阈值且在某邻域内取得局部极值 时对应的点即为Harr i s角点。
[0075] 2.双目图像（A。BJ深度值计算
[0076] 3)双目图像（A。深度计算。对（4, 计算视差图，获得深度信息，计算方法 如下：
[0078] 其中Ω为重叠区域范围，Bjo)表示为图像&中与图像移量为〇的匹配 块，arg min或者arg max为通用的表达方式，意思是优化取得最小或最大值；在这里的表 示最小深度值。
[0079] 4)对1)中所有提取的特征点附加深度信息，特征点具有的深度值所处范围的划 分方法为（以三层特征点平面为例） ：
[0080] d〇 = min (d)；
[0081] d3 = max (d)；
[0082] Δ d = (d3-d〇) /3 ；
[0083] di = d〇+ Δ d ；
[0084] d2 =山+ Δ d
[0085] d。为深度值的最小值，d3为深度值的最大值。山，d2由均匀间隔Δ d计算而来。即 得到与三层特征点平面对应的三个深度值范围：d。~山，山~d2和d2~d 3。
[0086] 3.自适应特征点平面划分
[0087] 采用上述步骤103中描述的子步骤，建立高斯模型，计算平均深度差和深度值的 方差，如果平均深度差k < 3 〇，则景深较小，只需将所有特征点分在一个特征点平面L。上， 如果k > 3 〇，则将特征点分到L。、Lp L2三层或更多层特征点平面。
[0088] 例如，具有三层特征点平面，则将多帧提取到的特征点按深度信息分类，将其分配 到不同平面L。~L2，如下表所示：
[0089]
[0090] 4.对各特征点平面进行特征点匹配和映射矩阵计算
[0091] a)特征点匹配，对于两幅图像得到的角点（即特征点）做聚类匹配，经过 RANSAC (-种根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效 样本数据的算法）过滤掉匹配错误的点，得到图像匹配的特征点
[0092] b)计算映射矩阵，每个特征平面得到对应映射矩阵％，建立多维度的映射表矩阵 M(x, y, d)其中X，y为像素坐标,d为深度信息，用于确定该坐标位于的平面依据。常规基于 匹配特征点建立两张图像映射关系的算法有基于特征计算单应性矩阵、图像变形等，这里 我们采用特征点匹配后对应的