专利名称：一种图像特征点匹配模块的面向对象系统框架建立方法
技术领域：
本发明涉及一种图像信息处理方法，特别涉及一种图像特征点匹配模块的面向对象系统框架建立方法。
背景技术：
特征点检测与匹配是计算机视觉中的最基本的问题，它在众多视觉任务中，比如图像识别、图像理解和三维重构等等，都有重要应用，因为长期受到研究者的普遍关注，并且文献中已有大量的研究报道。图像的特征点通常是指图像中的角点、曲率较大的边缘点和块状结构点等。与图像边缘特征一样，特征点也是图像的最基本特征，是图像分析、图像理解和三维重构中的最基本要素。特征点检测一直是研究者普遍关注的问题，通过长期研究文献中已出现了大量的检测方法。常用的检测方法分为三类基于图像灰度的方法，基于图像梯度的方法，以及基于图像二阶微分的方法。图像特征点描述在文献中也有很多方法，目前最流行的是基于直方图的方法。例如SIFT描述、GLOH描述和DAISY描述都是创建梯度方向和位置方向的直方图；Spin Image描述子创建边缘点的位置直方图；Shape Contex描述是创建边缘点的位置直方图。在不同的特征描述方法中，利用的局部图像信息通常是不同的。例如，Spin Image利用灰度值的空间分布信息，SIFT和GLOH利用了方向梯度大小的空间分布信息。近年来，局部二元模式被用于特征描述，并且取得了与SIFT描述相当的效果。CS-LBP通过统计中心对称的局部对称的局部三元模式的直方图进行特征描述，CS-STP则通过统计中心对称的局部三元模式的直方图进行特征描述。可以说，众多的特征描述方法以及特征匹配方法各有优缺点，其经验公式和适应范围皆不相同，为了方便研究者对特征点描述算法和匹配方法进行比较性的研究，本发明提出了一种图像 特征点匹配模块的面向对象系统框架建立方法。
发明内容
本发明是针对现有图像特征点匹配算法存在可扩展性不足的问题，提出了一种图像特征点匹配模块的面向对象系统框架建立方法，利用软件开发过程的面向对象的思想，将多幅图像进行特征点提取，建立特征点超空间划分的树状结构，搜索匹配以获得两幅图像甚至多幅图像间的匹配关系。本发明的技术方案为一种图像特征点匹配模块的面向对象系统框架建立方法，包括如下步骤
O电脑采集η幅图像数据，在多幅图像上进行特征点提取；
2)构建特征点描述子表达的特征点的数据结构，数据结构包括构造特征点类型和构造特征点描述子基础类，
构造特征点类型特征点的位置信息和特征点坐标变换方法；
构造特征点描述子基础类CFeatureDescriptor a)特征点描述子表描述子表中存放的特征点特征的全部数据信息；
b)特征点描述子的生成算法；
c)特征点描述子匹配算法；
d)特征点描述子匹配修正算法；
e)特征点描述子的特征点或非特征点的扩散算法； f )特征点描述子搜索运算；
3)选择算法根据特征点描述子数据结构生成派生类，派生出包括特征点和特征点描述子信息的特征点实体类；
4)将采集的任意一幅图的特征点划分为树状空间，形成初始匹配集，选取其他图针对初始匹配集进行特征点扫描；
5)根据匹配关系函数对多幅图像匹配点进行匹配扫描，得到多幅图像间的匹配关系，即得到图像由匹配关系类建立的链表结构。所述步骤3 )中算法可选 Harris 算子类 CHarrisDescriptor、
Harris-Affine 算子 CHarris_AffineDescriptor 类、
Hessian-Affine 算子 CHessian_AffineDescriptor 类、
SIFT 算法基础 CSIFTDescriptor 类、
LIOP 算法基础 CLl OPDescriptor 类。所述步骤4)中树状空间可用二叉树状结构在m维空间的个特征点上进行搜索，在m维上找出某一个最大方差维，并在这一维上的中值点上画超平面，将m维空间分成左半超平面和又半超平面，并记录超平面的最大方差维的数值，将其作为划分左分支和右分支的基准，继续左分支和右分支上执行上述的步骤，直到某分支上仅剩余一个特征点，将其称为叶子分支，结束递归循环。所述步骤5)中匹配扫描是一个在树状空间上进行查找的过程，如对于第二幅待匹配图像而言，第一幅图像作为初始匹配集，则将第一幅图像的特征点划分为树状空间，而在第二幅图像中按照扫描的方式，从I号索引点开始进行扫描直到最后一个，假设目前搜索到第〖个特征点，根据其特征描述子所确定在超平面空间的位置，确定出该节点在特征空间树状结构的哪个节点处，从而建立有限特征点的匹配关系，匹配关系函数为匹配距离是否小于设定值，就可以判断特征点是否与该点具有匹配关系，如小于确认为具有匹配关系加入匹配关系列表。本发明的有益效果在于本发明图像特征点匹配模块的面向对象系统框架建立方法，为进一步基于多幅图像的三维重建算法提供数据支撑，为特征点匹配算法的研究提供系统框架。
图1为本发明图像特征点匹配模块的面向对象系统框架建立流程 图2为本发明图像特征点匹配模块的面向对象系统基础类库 图3为本发明图像特征点匹配模块的面向对象系统框架建立实施例采集图像I 图4为本发明图像特征点匹配模块的面向对象系统框架建立实施例采集图像2图；图5为本发明图像特征点匹配模块的面向对象系统框架建立实施例匹配结果 图6为本发明图像特征点匹配模块的面向对象系统框架建立匹配关系库图。
具体实施例方式一、首先图像特征点匹配模块的面向对象系统框架建立所需环境
硬件环境最低配置
1)有源摄像头配置 CPU :奔腾1. 6Ghz 内存 256MB
声卡需要语音监听、双向对讲时必备 硬盘需要录制图像，应不低于40G
2)其他硬件设备
300M-1 IN无线路由器(两台)，WD-500M电力载波器(两台)，笔记本电脑(两台以上)。软件环境
操作系统32、64 位 Windows2000/WindowsXP/Windows2003/Windows Vista/ffindows7，Mac OS等操作系统。
浏览器InternetExplorer/MoziIla Firefox/Google Browser 网络协议TCP / IP。二、其次如图1所示图像特征点匹配模块的面向对象系统框架建立流程图，电脑采集η幅图像数据，在多幅图像上进行特征点提取及特征描述子的构造，形成各个图像的特征描述子集合；使用David G. Lowe提出的尺度不变特征描述子(Scale InvariantFeature Transform, SIFT)对多幅图像进行特征点的提取,提取后的单个描述子除特征点的亚像素级位置外，还包括了特征点的128维的灰度值方图最大方向的角度数值描述；构建特征点描述子表达的特征点的数据结构，选择算法根据特征点描述子数据结构生成派生类，双派生出包括特征点和特征点描述子信息的特征点实体类；建立特征点超空间划分的树状结构，将特征点描述子进行超空间区域的匹配扫描；根据匹配关系函数对匹配点进行搜索后得到多幅图像匹配关系，即匹配的特征点。三、如图2所示图像特征点匹配模块的面向对象系统基础类库图，本实施例中采用的是大小为653X490的图像，共获得1004个特征点。为了扩大程序对算法的适用程度，需要构造一个能够满足各种描述子表达的特征点的表示数据结构。1、构造特征点类CFeaturePoint如下内容
1)特征点的位置信息，如横坐标和纵坐标的亚像素级别的位置；
2)特征点坐标变换方法，如仿射变换等；
2、构造特征点描述子基础类CFeatureDescriptor如下内容,第一项是数据信息,后五项是描述了该类中所应用的所有算法
1)特征点描述子表，描述子表中存放了特征点特征的全部数据信息；
2)特征点描述子的生成算法；
3)特征点描述子匹配算法；
4)特征点描述子匹配修正算法；5)特征点描述子的特征点(非特征点)的扩散算法；
6)特征点描述子搜索运算。有了特征点描述子的基础类以后，根据这个基础类可以生成多个派生类，包括 著名的 Harris 算子类 CHarrisDescriptor、
Harris-Affine 算子 CHarris_AffineDescriptor 类、
Hessian-Affine 算子 CHessian_AffineDescriptor 类、
SIFT 算法基础 CSIFTDescriptor 类、
LIOP算法基础CLIOPDescriptor类，LIOP算法是我国中科院自动化所的学者提出的一套基于局部灰度序模式的特征描述方法等，这里的类具有开放性，用户可以根据自己的算法需求定义出自己的算法类，可方便的进行算法之间的比较性研究。这里根据特征点以及特征点描述子的派生类，双派生出包括特征点和特征点描述子信息的特征点实体类。至此，就构成了特征点描述字的实体类，该实体类的实例化就是所得到的某个特征点描述，利用C++的模板技术，还可以将特征点链接成链表形式，如形成特征点链FeaturePoints,方便遍历、修改等操作。根据特征描述子集合的匹配关系，形成初始匹配集，并确认初始基本矩阵，特征点链FeaturePoints的表示方法对于多个图像间的搜索过程的运算量较大，通常会先将特征点链转换成一种树状表达方 法后，再进行多幅图像的特征点匹配。本实施例采用一种对空间分割的二叉树的方法，将η维表达的特征点描述字进行超空间区域的划分。特征点描述子类CFeatureDescriptor的特征点描述子表m_Feature所表达的特征点如下公式
X = =(公式 I)
= {xW =1-·■ J =1-·' }(公式 2)
I表示特征点的链表，该链表中的各个节点&表示-难的特征点，假设目前一共生成了《个特征点。可以这样认为，它们共同构成了在m维空间日V个点。从而问题转变成为对这《个点的划分以便能够执行快速的匹配策略。建立一种二叉树状结构 在■维空间的「个点上进行搜索,在m维上找出某一个最大方差维，并在这一维上的中值点上画超平面，将m维空间分成左半超平面和又半超平面，并记录超平面的最大方差维的数值，将其作为划分左分支和右分支的基准。继续左分支和右分支上执行上述的步骤，直到某分支上仅剩余一个特征点，将其称为叶子分支，结束递归循环。该二叉树的构成函数为
BiTree_Creat ( FeaturePoints ps, Tree_node* kd_root );输入为特征点链，输出为树状结构的一个指针，树状结构的内容如下struct Tree_node{
int index;空间分割的索引值
double featurevalue;空间分割的特征值
bool leaf;是否为叶子节点FeaturePoints* features;该节点下的所有特征点；
int η;特征点个数；
struct Tree_node 氺 kd_left; 左子树 struct Tree_node 氺 kd_right; 右子树
}；
如图3、4、5所示，匹配过程是一个在二叉树划分的空间上进行查找的过程，如对于第二幅待匹配图像而言，第一幅图像为查找对象，则将第一幅图像的特征点划分为树状空间，而在第二幅图像中按照扫描的方式，从I号索引点开始进行扫描直到最后一个。假设目前搜索到第；个特征点，根据其特征描述子所确定在超平面空间的位置，就可以确定出该节点在特征空间树状结构的哪个节点处，从而建立有限特征点的匹配关系，根据匹配公式
(3)，就可以判断特征点是否与该点具有匹配关系。设&为待匹配图像某个特征点的描述
子，ys-为树状节点有限特征点内的某个特征点描述子，则匹配关系函数如下。
权利要求
1.一种图像特征点匹配模块的面向对象系统框架建立方法，其特征在于，包括如下步骤 1)电脑采集n幅图像数据，在多幅图像上进行特征点提取； 2)构建特征点描述子表达的特征点的数据结构，数据结构包括构造特征点类型和构造特征点描述子基础类， 构造特征点类型特征点的位置信息和特征点坐标变换方法； 构造特征点描述子基础类CFeatureDescriptor a)特征点描述子表描述子表中存放的特征点特征的全部数据信息； b)特征点描述子的生成算法； c)特征点描述子匹配算法； d)特征点描述子匹配修正算法； e)特征点描述子的特征点或非特征点的扩散算法； f )特征点描述子搜索运算； 3)选择算法根据特征点描述子数据结构生成派生类，派生出包括特征点和特征点描述子信息的特征点实体类； 4)将采集的任意一幅图的特征点划分为树状空间，形成初始匹配集，选取其他图针对初始匹配集进行特征点扫描； 5)根据匹配关系函数对多幅图像匹配点进行匹配扫描，得到多幅图像间的匹配关系，即得到图像由匹配关系类建立的链表结构。
2.根据权利要求1所述图像特征点匹配模块的面向对象系统框架建立方法，其特征在于，所述步骤3)中算法可选 Harris 算卞失 CHarrisDescriptor、 Harris-Affine 算子 CHarris_AffineDescriptor 类、 Hessian-Affine 算子 CHessian_AffineDescriptor 类、 SIFT 算法基础 CSIFTDescriptor 类、 LIOP 算法基础 CLlOPDescriptor 类。
3.根据权利要求1所述图像特征点匹配模块的面向对象系统框架建立方法，其特征在于，所述步骤4)中树状空间可用ニ叉树状结构在f唯空间日ヤI个特征点上进行搜索，在W维上找出某ー个最大方差维，并在这ー维上的中值点上画超平面，将m维空间分成左半超平面和又半超平面，并记录超平面的最大方差维的数值，将其作为划分左分支和右分支的基准，继续左分支和右分支上执行上述的步骤，直到某分支上仅剩余一个特征点，将其称为叶子分支，结束递归循环。
4.根据权利要求1所述图像特征点匹配模块的面向对象系统框架建立方法，其特征在于，所述步骤5)中匹配扫描是一个在树状空间上进行查找的过程，如对于第二幅待匹配图像而言，第一幅图像作为初始匹配集，则将第一幅图像的特征点划分为树状空间，而在第二幅图像中按照扫描的方式，从I号索引点开始进行扫描直到最后ー个，假设目前捜索到第个特征点，根据其特征描述子所确定在超平面空间的位置，确定出该节点在特征空间树状结构的哪个节点处，从而建立有限特征点的匹配关系，匹配关系函数为匹配距离是否小于设定值，就可以判断特征点是否与该点具有匹配关系，如小于确认为具有匹配关系加入匹配 关系列表。
全文摘要
本发明涉及一种图像特征点匹配模块的面向对象系统框架建立方法，利用软件开发过程的面向对象的思想，将多幅图像进行特征点提取，构建特征点描述子表达的特征点的数据结构，选择算法根据特征点描述子数据结构生成派生类，派生出包括特征点和特征点描述子信息的特征点实体类，建立特征点超空间划分的树状结构，搜索匹配以获得两幅图像甚至多幅图像间的匹配关系。为进一步基于多幅图像的三维重建算法提供数据支撑，为特征点匹配算法的研究提供系统框架。
文档编号G06T7/00GK103065321SQ20131000650
公开日2013年4月24日 申请日期2013年1月9日 优先权日2013年1月9日
发明者刘刚, 夏祥武, 文光磊 申请人:上海电力学院