。本实施例的执行主体为描述符 生成装置，适用于多模图像配准中需要生成描述符的场景。具体的，本实施例包括如下步 骤：
[0042] 101、提取图像中的特征点。
[0043] 本步骤中，使用特征点检测器检测出图像中的特征点，特征点检测器例如可W为 快速特征检测器（FastFea1:ureDetector,FAST)、快速视网膜（FastRetinaKey,FREAK) 检测器、SIFT检测器等。
[0044] 102、提取所述图像的轮廓。
[0045] 本发明实施例中的图像，指待配准的图像，对每幅图像执行步骤101~105W生成 描述符，然后在多模图像配准中，通过描述符，根据一定的相似性准则对各幅图像的对应特 征点进行匹配、叠加。该过程中，待配准的图像至少为两幅，该至少两幅图像来自不同类型 的成像传感器，如红外成像传感器、可见光成像传感器等。
[0046] 图像的轮廓，即图像的边缘线，本步骤中，可采用Canny边缘检测算法等提取出待 配准图像的轮廓。
[0047] 103、将形成所述轮廓的各子线段中，具有相近斜率且相邻的至少一条子线段在长 度方向上合并，W形成至少一条线段，所述具有相近斜率的子线段为斜率差小于预设阔值 的子线段。
[0048] 图像的轮廓可视为由很多个子线段组成，该些子线段依次首尾相接形成图像的轮 廓。本步骤中，将该些子线段中斜率相近且相邻的子线段在长度方向上进行合并，合并成一 条线段。该子线段的合并过程中，合并的子线段至少为两条斜率相近的子线段，例如，=条 子线段斜率相近且依次相邻，则对该S条子线段进行合并。其中，由于轮廓中很少存在斜率 相同，即完全平行的子线段，因此将斜率差小于一定预设阔值的子线段作为斜率相近的子 线段。
[0049] 104、根据所述至少一条线段的方向，确定所述特征点的主方向。
[0化0] -般来说，线段是点的集合，其在多模图像中比点更加稳定。本步骤中，对于每一 个特征点，根据其周围至少一条线段的方向确定出主方向。
[0化1] 105、根据所述主方向旋转所述特征点的邻域，并根据旋转后的邻域对所述特征点 进行描述，从而生成所述特征点的描述符。
[0化2] 特征点的邻域指图像内，特征点周围一定大小的区域。平面内，每个点相对于坐 标原点，都可用坐标描述，具体可参见图2,图2为本发明描述符生成过程中特征点的邻域 的旋转示意图。如图2所示，特征点A的原始坐标例如为A(x，y)，对邻域旋转后，坐标例 如为A'(X'，y')，则
。本步骤中，根据主方向旋转特征点的邻 域，即旋转坐标系，将坐标系的水平轴旋转到原点和点A形成的线段方向，从而确保旋转不 变性。然后，基于SIFT描述子对特征点进行描述，从而生成特征点的描述符。当然，也可 W基于边缘直方图巧dgeOrientedHistogram,EOH)描述子、部分灰度不变特征（Partial IntensityInvariantFea1:ureDescriptor,PII抑）描述子等对特征点进行描述，从而生 成特征点的描述符，本发明并不W此为限。
[0化3] 本发明实施例提供的描述符生成方法，对输入图像提取轮廓，并根据轮廓提取至 少一条线段，然后根据线段的方向确定检测出的特征点的主方向，根据主方向对特征点的 邻域进行旋转，并根据旋转后的邻域对特征点进行描述，从而生成特征点的描述符。该过程 中，主方向的确定主要依赖于特征点邻域的线段的方向，而多模图像中，线段相对于点更加 稳定，使得各幅图像对应的特征点的描述符具有可重复性，提高描述符的准确性，进而提高 多模图像配准精度。
[0054] 上述实施例中，对于一个具体的特征点，可根据该特征点的邻域内各线段的长度 或各线段的平均梯度确定出主方向。下面，对如何确定特征点的主方向进行详细说明。
[0055] 在一种可行的实现方式中，对于一个具体的特征点，可根据该特征点的邻域内长 度最长的线段确定出主方向。具体的，从至少一条线段中，确定特征点的邻域内长度最长的 线段，将长度最长的线段的方向作为特征点的主方向。
[0056] 在另一种可行的实现方式中，对于一个具体的特征点，可根据该特征点的邻域内 平均梯度最大的线段确定出主方向。具体的，确定特征点的邻域内各线段的平均梯度，其 中，对于每一条线段，平均梯度为该线段包括的至少两个点沿线段方向的梯度的平均值。然 后，确定特征点的邻域内平均梯度最大的线段，将该平均梯度最大的线段的方向作为特征 点的主方向。
[0057] 上述实施例中，对于一个具体的特征点，在确定出主方向并根据该主方向对特征 点的邻域进行旋转后，可基于SIFT描述子、EOH描述子等对特征点进行描述，从而生成特征 点的描述符。下面，对如何对特征点进行描述从而生成描述符的过程进行详细说明。
[005引在一种可行的实现方式中，对于一个具体的特征点，可基于SIFT描述子对其进 行描述。具体的，在确定出主方向并根据该主方向对特征点的邻域进行旋转后，将旋转后 的邻域划分为NXN个子区域，1 ;在各子区域内将0~360°划分为4个方向；对于 每一子区域，确定子区域的各方向的梯度幅值；对各子区域的各方向的梯度幅值进行累 加，归一化生成特征点的描述符。该过程中，4个方向中的第一方向为；337. 5。~0、0~ 22. 5。、157. 5。~202. 5。；第二方向为；22. 5。~67. 5。、202. 5。~247. 5。；第S方向 为；67. 5。~112.5。，247. 5。~292.5。；第四方向为；112. 5。~157.5。，292. 5。~ 337. 5。。
[0化9] 需要说明的是，上述的基于SIFT描述子对特征点的描述，与现有技术中的基于 SIFT描述子对特征点的描述是不同的。现有技术中基于SIFT描述子对特征点的描述为；将 旋转后的特征点的邻域划分为NXN个子区域；在各子区域内将0°~360°按照0~45°、 45°~90。，……，315。~360°分为8个方向，再计算8个方向的梯度直方图，绘制每个 方向梯度幅值的累加值，最后归一化得到特征点的描述符。之所W不同，是因为发明人发 现：多模图像配准中，经常会出现梯度方向反转的情况，此时，0°~45°和180°~225°、 45°~90。和225°~270°，......，的梯度方向是一致的，因此可将8个方向合并成四个 方向。
[0060] 在另一种可行的实现方式中，对于一个具体的特征点，可基于EOH描述子对其进 行描述，从而生成特征点的描述符。具体的，在确定出主方向并根据该主方向对特征点的邻 域进行旋转后，由于旋转后，特征点的坐标不一定准确落在像素上，因此使用双线性插值得 到旋转后的图像。然后，对于每一个特征点，将该特征点周围NXN的区域等分成16块，对每 一块计算出一个边缘方向直方图，每个直方图代表了对应块内轮廓的方向分布。采用5个 柱化ins)的直方图，其中的4个bins代表不同的方向，分布对应0°，90°，45° ,135°，另 一个bin代表没有方向，意味着周围没有轮廓，每个bin的数值为块内相应方向的线段的数 目。对该NXN区域内的每个像素点都根据其周围3X3区域的像素点使用5个滤波器计算 出一个响应，该 5 个滤波器分别为{1，2, 1 ;0, 0, 0 ;-1，-2, -1}，{-1，0, 1 ;-2, 0, 2 ;-1，0, 1}， (2, 2, -1 ;2, -1, -1 ;-1, -1, -：[}，{-1, 2, 2 ;-1, -1, 2 ;-1, -1, -：[}，{-1, 0, 1 ;0, 0, 0 ;1, 0, -：[}， 分别对应五个bin,经过其中一个滤波器响应最大的，则对应特征点的方向就落在该bin 中，从而得到一个16X5的矢量，再用该矢量中的每一个元素除W该个矢量的欧几里得范 数，从而得到归一化后的矢量，即为特征点的描述符。
[0061] 图3为本发明描述符生成装置的结构示意图。本实施例提供的描述符生成装置是 与本发明图1实施例对应的装置实施例，具体实现