一种球面特征提取方法
【专利摘要】本发明公开了一种球面特征提取方法，涉及计算机视觉领域，所述方法包括以下步骤：通过测地线网格获取均匀参数化表示的球面图像；对球面图像进行FAST的特征检测；通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤后特征点的描述符。本发明计算速度快，能够实时地对球面特征进行检测和描述。本发明相对于现有的球面特征提取算法和基于局部平面投影的方法也具有较好的算法鲁棒性。本发明的鲁棒性在相机发生旋转和移动时均有所体现。
【专利说明】一种球面特征提取方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种球面特征提取方法，本发明作为计算 机视觉领域的基础技术可用于全景图拼接、基于球面图像的图像检索以及基于大视角图像 的三维重建等。
【背景技术】
[0002] 随着图像拼接技术的日趋成熟和全景相机的发展，非专业用户也能够利用自己手 中的设备进行球面全景数据的采集。由于拥有更广阔的视野，球面全景图像越来越多地应 用于虚拟现实、漫游导航、变化检测、场景重建等系统中。球面图像普及的同时，如何对球面 全景图像进行特征提取成为研究人员日益关注的话题。
[0003] (1) ORB (Oriented FAST and Rotated BRIEF)特征（见文献[1]) :Rublee 等 在2011年提出一种快速鲁棒的平面图像二值特征。该特征以FAST(Features from Accelerated Segment Test)特征检测算子和 BRIEF (Binary Robust Independent Elementary Features)特征描述符为基础，并引入了尺度不变性和旋转不变性。其中尺度 不变性通过构建图像尺度金字塔，在尺度金字塔的每一层中进行特征点的检测和描述来实 现。旋转不变性通过将描述符采样模式依据特征点的主方向进行旋转来实现，其中特征点 主方向由图像灰度质心确定。为了提高算法的鲁棒性，BRIEF特征描述算法中随机生成的 采样模式改为借助机器学习的方式来得到。由于FAST特征检测算子和BRIEF描述符都是 基于图像灰度值大小的比较来实现，0RB能够快速地对特征点进行检测和描述。生成的二 值特征不仅降低了存储消耗，也提高了描述符匹配的速度。
[0004] (2)球面 SIFT (Scale Invariant Feature Transform)特征（见文献[2]):该方 法将平面SIFT特征提取方法移植到球面图像上，由Cruz-Mota等于2012年提出。球面图 像与平面图像最大的不同在于球面图像一般存在采样不一致问题，例如球面两极区域的采 样率远高于赤道区域。因此，如何处理这种采样不一致性成为球面特征提取需要首先解决 的问题。Cruz-Mota等借助球面调和函数对球面图像进行高斯模糊，进而建立球面域尺度金 字塔。基于球面金字塔，SIFT特征被移植来对球面图像进行特征检测和描述。然而，由于 球面调和函数自身存在计算复杂度高、具有带宽约束等问题，该方法在计算速度、鲁棒性等 方面存在一定缺陷。
[0005] 由于球面图像的采样不一致性，平面图像的特征提取算法（如文献[1])不能直 接应用到球面全景图像上。现有的球面特征提取算法（如文献[2])大多借助球面调和函 数建立球面尺度空间，进而在球面域内检测或描述特征。然而，由于球面调和函数的计算 复杂度比较高，此类方法不适用于对处理速度要求比较严格的应用，如SLAM (Simultaneous Localization And Mapping,同步定位与地图构建）等。同时，由于球面调和函数具有带宽 约束的问题，此类方法在鲁棒性等方面也存在一定缺陷。
【发明内容】
[0006] 本发明提供了一种球面特征提取方法，本发明实现了快速地检测、描述特征，并且 能够鲁棒地在不同球面图像间找到相互匹配的像素点，为高层应用提供必要的匹配点输 入，详见下文描述：
[0007] -种球面特征提取方法，所述方法包括以下步骤：
[0008] 通过测地线网格获取均匀参数化表示的球面图像；
[0009] 对球面图像进行FAST的特征检测；
[0010] 通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取 过滤后特征点的描述符。
[0011] 本发明的基础是球面均匀参数化表示方法，球面经过均匀参数化表示后，球面的 每个像素拥有近似相同的邻域结构，并且其邻域可以当成局部平面来处理。由于这些特性， 平面图像快速鲁棒的特征提取技术可以被移植，用于处理球面图像。本发明以平面0RB特 征为原型，提出了用于处理球面全景图像的特征检测与描述算法。本发明具有以下优点：
[0012] (1)与现有基于球面调和函数的球面特征提取算法相比，本发明计算速度快，能够 实时地对球面特征进行检测和描述。其速度优势主要源于三个方面：第一，以球面FAST为 特征检测算子，通过对样本球面图像进行训练的方式，对特征检测过程进行了加速；第二， 通过比较特征点邻域内若干组像素灰度级大小的方式来产生描述符，代替了传统浮点型描 述符中计算梯度直方图并进行归一化的过程，对特征描述过程进行了加速；第三，本发明生 成的描述符为二进制串，进行匹配时采用的距离度量为海明距离。海明距离的计算可以通 过对两个二进制串进行异或操作并统计结果串中为1的位的数目实现，对特征匹配过程进 行了加速。
[0013] (2)与直接使用平面特征提取算法对球面特征进行检测和描述的方法相比，本发 明具有更好的鲁棒性。该鲁棒性体现在特征检测算子的可重复性（repeatability)和描述 符的准确性（precision)上。同时，本发明相对于现有的球面特征提取算法和基于局部平 面投影的方法也具有较好的算法鲁棒性。本发明的鲁棒性在相机发生旋转和移动时均有所 体现。
【专利附图】
【附图说明】
[0014] 图1为geodesic grid(测地线网格）的构建方式示意图：
[0015] (a)为正二十面体示意图；(b)为弧等分示意图；（c)为弧4等分时得到的多面体； (d)为多面体的对偶网格geodesic grid。
[0016] 图2为geodesic grid(测地线网格）的结构示意图：
[0017] (a)为geodesic grid被分成全等的五部分示意图；(b)为计算网格示意图；（c) 为存储网格不意图。
[0018] 图3为对存储网格进行边界扩展的示意图；
[0019] 图4为计算网格和存储网格邻域定义及坐标系转换示意图；
[0020] (a)为计算网格的邻域定义及坐标系转换示意图；(b)为存储网格邻域定义及坐 标系转换示意图。
[0021] 图5为球面FAST特征检测算子示意图；
[0022] 其中，k为待处理像素，加粗边界的六边形标记的像素为对像素 k检测特征时需要 考查的像素。
[0023] 图6为一种球面特征提取方法的流程图。
【具体实施方式】
[0024] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0025] 本发明提出了快速鲁棒的球面特征提取新技术。与现有技术不同，本发明以球面 的均匀参数化表示方法为基础，在球面域内采用灰度值比较的方式来检测和描述特征点， 不仅加快了特征提取的速度，并有效的提高了算法的鲁棒性。本发明属于计算机视觉领域， 涉及球面图像均匀参数化表示、球面图像特征检测、球面图像特征描述与匹配三部分，详见 下文描述：
[0026] 101 :通过geodesic grid(测地线网格）获取均勻参数化表示的球面图像；
[0027] a)建立单位球内接正二十面体，作为初始的多面体A ;
[0028] b)二等分多面体A的所有边，并归一化等分点，使等分点落在球面上；
[0029] c)根据多面体的信息连接相应的等分点与原始顶点，得到细分的多面体B ;
[0030] d)若多面体B的分辨率达到预设的分辨率，进入步骤e);否则，将B作为初始多面 体A，重复步骤b)和步骤c);
[0031] e)构建d)中生成多面体的对偶网格即geodesic grid ;
[0032] f)基于geodesic grid对球面图像进行采样，得到该表示方法下的球面图像。
[0033] 下面结合附图来说明本步骤的详细操作，本步骤包括：geodesic grid的构建、球 面图像的转换、转换后图像边界的扩展等步骤；
[0034] l、geodesic grid的构建：首先建立单位球的内接正二十面体。由于需要构建球面 图像的尺度金字塔，采用弧等分的方式代替二等分多面体的边再归一化等分点的方案。使 用球面大弧连接正二十面体的相邻顶点。将每条弧线进行η等分，用大弧两两连接等分点， 等分点和弧线的交点作为多面体新的顶点。当三条弧线不能交于同一点时，使用三个交点 的质心（经过归一化处理）作为新的顶点，如图1所示。连接新的顶点和正二十面体初始 的顶点，得到指定分辨率的多面体。构建多面体的对偶网格，即以多面体的每个顶点为中心 构建维诺单元。得到的对偶网格便为geodesic grid。根据其构建方式可知，弧线进行η等 分时生成的geodesic grid的分辨率，即网格单元的数目，为Ne= 10Χη2+2。为了建立球面 图像的尺度金字塔，分别构建η = 64,80,102,128,162, 204, 256的geodesic grid，即尺度 金字塔每层的分辨率分别为 40962,64002,104042,163842, 262442,416162,655362。由于不 同的球面图像对应相同的球面参数化表示方式，将构建的geodesic grid进行存储。处理 新的球面图像时，直接读取存储的网格信息对球面图像进行转换，提高了算法的执行速度。
[0035] 2、球面图像的转换：根据存储的geodesic grid信息对球面图像进行采样，采样 时依据经纬度对球面像素进行双线性插值。将球面拆成全等的五部分（如图2a所示）并 将每部分展平得到一个平行四边形结构（如图2b所示）。由于后续的特征检测和描述基于 该结构，称其为计算网格。将计算网格通过一定程度的拉伸得到易于存储的矩形结构，称其 为存储网格。像素的存储和索引基于存储网格进行。由于存储网格是通过计算网格进行拉 伸得到，为了将存储网格中像素的坐标转换成计算网格中的形式，需要定义坐标转换矩阵。 根据存储网格中的正交坐标系和计算网格中倾斜的坐标系相对应这一事实（图4a中两个 短箭头定义的坐标系），可得坐标转换矩阵的形式为：
[0036]
【权利要求】
1. 一种球面特征提取方法，其特征在于，所述方法包括以下步骤： 通过测地线网格获取均匀参数化表示的球面图像； 对球面图像进行FAST的特征检测； 通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤 后特征点的描述符。
2. 根据权利要求1所述的一种球面特征提取方法，其特征在于，所述通过测地线网格 获取均匀参数化表示的球面图像的步骤具体为： a) 建立单位球内接正二十面体，作为初始的多面体A ; b) 二等分多面体A的所有边，并归一化等分点，使等分点落在球面上； c) 根据多面体的信息连接相应的等分点与原始顶点，得到细分的多面体B ; d) 若多面体B的分辨率达到预设的分辨率，进入步骤e);否则，将多面体B作为初始多 面体A，重复步骤b)和步骤c); e) 构建d)中生成多面体的对偶网格； f) 基于对偶网格对球面图像进行采样，得到球面图像。
3. 根据权利要求1所述的一种球面特征提取方法，其特征在于，所述对球面图像进行 FAST的特征检测的步骤具体为： a) 建立不同分辨率下以的球面图像，每一种分辨率下的球面图像作为球面尺度金字塔 中的一层； b) 对球面尺度金字塔的每一层利用球面FAST进行特征点检测； c) 计算潜在特征点的FAST得分，当得分在邻域像素的FAST得分中最大时保留该特征 点，否则将该特征点移除。
4. 根据权利要求1所述的一种球面特征提取方法，其特征在于，所述通过图像灰度值 比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤后特征点的描述符的 步骤具体为： a) 利用像素点邻域的灰度质心计算特征点的主方向； b) 根据计算得到的每个特征点的主方向，对采样模式进行相应的旋转； c) 对旋转后采样模式中的每个位置对（Xi，yi)，如果像素灰度值I (Xi) < I (yi)，则描述 符中对应的位为1 ;否则为0 ; d) 将c)中根据每个位置对得到的二进制比较值进行串联，组成某个特征点的描述符。
【文档编号】G06T15/10GK104217459SQ201410448587
【公开日】2014年12月17日 申请日期:2014年9月4日 优先权日:2014年9月4日
【发明者】万亮, 冯伟, 张加万, 赵强 申请人:天津大学