一种基于学习的图像配准自动检验方法

专利名称：一种基于学习的图像配准自动检验方法
技术领域：
本发明属于计算机视觉和模式识别领域。具体地说，涉及到图像 配准结果的检验。
背景技术：
图像配准是计算机视觉及其相关应用领域中的一个基本问题。如 何度量二幅图像是否真正配准，换句话说，如何合理度量配准变换后 二幅图像之间的相似性，是图像配准的一个核心问题，直接决定了是
否可以进行全自动配准。本发明以基于Fourier-Mdlin变换配准算法为 例，提出了一种基于机器学习的图像配准自动检验方法。
我们先对基于Fourier-Mellin变换的图像配准算法中存在的问题 作一个详细的分析和说明。
1、基于Fourier-Mellin变换的图像配准方法
1.1相位相关法
设/2"力为,(x,力在x和_y方向分别平移x。和少。后的图像，艮卩
若y;和/2对应的Fourier变换分别为A("，v)和^(",v)，那么，根据 Fourier变换位移不变理论，它们之间满足如下关系
<formula>formula see original document page 4</formula>
其中《表示《的复共轭。可以看出，交叉功率谱的相位等价于两
幅图像的相位差。通过对(3)式进行Fourier逆变换(也称相位相关 函数)，在Oc,力空间的(x。，^)处将形成一个脉冲函数，脉冲峰值位置即 为两幅图像的相对平移量;c。和A。 1.2两步法计算图像的相似变换参数
考虑被配准的两幅图像^c,力和Kx，力，其中s(x,力是r(x,力经
过平移、旋转和一致尺度縮放(即两个方向的尺度变换因子相等)变 换后的图像，即
力=r[(cr(;c cos a + y sin a) — x0, cr(—x sin a + y cos a) — ;v。 ] (4) 那么^c，力和巾，力对应的Fourier变换S("，"和i (w,力之间满足 5*(w, v) = ("'v)cr_2 J 7 [a*_1 cos a + v sin a)， <t—1 (一w sin a + v cos a)] | (5) 其中A("，v)是图像s(;c,力的频谱相位，这个相位依赖于平移、旋转 和尺度縮放，但是，频谱幅度
15X", v) |= cr-21 i [cr一 (w cos a + v sin a)， cr_1 (—w sin a + v cos a)〗| (6)
是平移不变量。
式(6)说明，如果图像旋转了一个角度，那么对应的幅度谱也将
旋转同样的角度，如果图像尺度縮放因子为CT，那么频谱幅度相应的 縮放为CT-'。
频谱幅度的平移不变性使得旋转角度a和縮放因子(T可以和平移 量X。和少。进行分离计算。频谱幅度仅与旋转角《和缩放因子有关，
而与平移量0c。,y。)无关，因此，可以通过图像幅度谱求出旋转角度《和
縮放因子CT。
(1)第一步在变换空间用相位相关法求旋转角度《和縮放因子
将图像幅度谱先转换到极坐标(A0下，得到
r，,p),/ cose,psin。1 (7) 、(Ap),(/ cos0,/ si竭l (8) 注意，频谱幅度是极角e的周期函数，又因为图像是实函数，所
以
(e + wr，"-…，-2,-l，0,+l,+2,… (9) 因此可以只用幅度谱的上半平面(0《e<;r)来进行后续计算。再 将p坐标转换到bgp空间，根据Fourier变换的旋转和尺度变换性质， 这样可以将图像的旋转和尺度縮放简化为对数-极(log-^/"r)空间的平 移问题。
走义-
，OgP) = r,P) (10) ^W,l0gP) = 、(e,P) (11) 其中 和、分别是r和S的幅度谱在极坐标系A^)中表示。那么很 容易得出
((9，1og/ )H^-o:,log/9-log(t) ( 12)
或者 w,;i)- (e-a,;i-k) (13)
/9 ,ac = log ct 。
可以看出，通过上述变换，式(13)变换为与式(1)相同的形式， 这样就可以在对数-极(Log-Polar)空间应用相位相关法，按照式(2) 和(3)，求得《和"
如果对数的底取为"那么
cr = Z (14)
这样就求出了旋转角度《和比例因子O"。
式(10)或(11)被称为Fourier-Mdlin变换。
(2)第二步在图像空间用相位相关法求平移参数;c。和j。 根据求出的a和cr对图像^c,力进行归整(warp)得到图像s,(x，力， 这时，A(x,力和K^,力之间只有平移变形，然后再一次应用相位相关法， 通过式(2) (3)在图像空间计算出^(x,力和^c，力之间的平移量;c。
2、基于Fourier-Mellin变换的图像配准方法分析 从上一部分的内容可知，基于Fourier-Mellin变换的配准方法分两 步在不同的空间来求解相似变换参数(旋转角度a，尺度縮放系数S和 平移参数r)。第一步在图像幅度谱的对数-极(log-polar)空间，求解旋 转角度和尺度縮放系数，第二步在图像空间求解平移参数。
从信号处理的角度讲，当两个信号之间没有干扰，并且严格满足 平移变换时，这两个信号交叉功率谱(式3)的逆Fourier变换(以后 我们称这个变换为相位相关函数，由于这个函数的取值通常都是复数， 所指的相关数值大小都是指复数的模)是一个脉冲函数，如图la所示， 脉冲位置对应于两个信号的相互平移；但是，在实际应用中， 一般情
况下，信号总是存在一定的干扰和误差的，这时相位相关函数并不是 一个理想的脉冲函数，而是呈现图lb的形状，这时，最大相关值的位 置仍然对应于两个信号的平移量；如果信号干扰很大，或者信号之间 不满足平移变换关系，那么相位相关函数将没有明显的峰值，而呈现 出不规则分布，如图lc所示。
为了后面叙述方便，把Fourier-Mellin算法中第一步计算旋转角度 和尺度縮放系数时相位相关法得出的相关函数值称作相关值I ，相应 的最大相关值称为峰值I ，把第二步计算平移参数时相位相关法得出 的相关函数值称作相关值II ，相应的最大相关值称为峰值II 。
2.1第一步相位相关法分析
在Fourier-Mellin算法的式(4) 式(6)推导过程中，有一个重要的 前提，即一幅图像旋转一定角度后的傅立叶变换频谱等价于未经旋转 的图像的傅立叶变换频谱旋转相同的角度。Stone等人[l] Harold S. Stone, Bo Tao, and Morgan McGuirre, "Analysis of image registration noise due to rotationally dependent aliasing," Journal of Visual Communication and Image Representation, vol. 14, pp. 114-135,2003，对 由于图像旋转产生的频谱混叠所引起的图像配准噪声进行了详细分 析，并且推导出，虽然对无限长图像数据而言，这个假设是正确的， 但是对于,腐长离—^"房像数据而言，这个基本前提是不正确的。其主 要原因是由于依赖于旋转的频谱混叠(即对不同的旋转角度其频谱混 叠程度是不同的)引起的artifacts和旋转变换中插值误差产生的 artifacts造成的。Stone等人的研究得出第一，由于依赖于旋转的频 谱混叠的影响，在第一步相位相关计算中，可能会产生一个错误的相 关峰值和一个正确的相关峰值，而且错误峰值可能会大于正确的峰值，
因此，第一步相位相关法求得的峰值I并不能可靠地对应正确的匹配 参数位置；第二，由于错误峰值的出现，第一步相位相关法求得的峰 值I大大小于理论值l.O，甚至降到了0.03以下。
文献[2] Luca Lucchese and Guido Maria Cortelazzo, "A noise-robust frequency domain technique for estimating planar roto-translations," IEEE Trans. Signal Processing, vol. 48, no. 6， pp. 1769-1786， 2000 Luca Lucchese and Guido Maria Cortelazzo, "High resolution estimation of planar rotations based on Fourier transform and radial projection," In Proc. ISCAS 97, vol. 2， pp. 1181-1184, June 1997等都针
对这种由于旋转引起的问题进行了详细研究，并采取了一些诸如加窗 和滤波等措施来提高峰值、减少频谱混叠、增加鲁棒性，但仍然未能 从根本上解决这个问题。
需要特别说明的是，在文献[l-3]中，尽管给出了频谱混叠的量化 分析，并且也采取了一些有效的措施来改善频谱混叠造成的影响，但 是，这些措施适用于两幅图像内容完全相同，而仅考虑图像旋转带来 的相应问题时是有一定效果的。但实际问题远远不是这样简单，比如 文献[1]中，也明确指出由于插值问题造成的误差，但这个影响很难量 化估计，也没提出什么非常有效的措施来解决这个问题。如果再把各 种因素造成的影响综合在一起，就更难量化分析了。比如，在通常的 应用中，被匹配的两幅图像之间仅有部分重叠，同时还可能存在平移 和尺度縮放等变形，还有其它多种噪声。对这类情况，目前理论上还 不能定量地推导出这些因素造成的影响。
通过我们大量的实验发现，根据峰值I的/经i小也无法判断匹 配结果的正确与否。文献[4] B. S. Reddy and B. N. Chatterji， "An FFT-Based technique for translation, rotation, and scale-invariant image registration," IEEE Trans. Image Processing, vol, 5， no. 8， pp. 1266-1271， 1996中提到， 一般情况下，峰值I小于0.03结果就不可靠了，但我们 实验发现，即使峰值I大于O.l，结果也未必可靠，而两幅图像真正匹 配时，峰值I小于0.03的情况在噪声较大的情况下是很常见的。因此 可以认为，这个取值0.03是和具体应用有关的。在文献[5] Q,S. Chen， M. Defrise, and F. Deconinck, ， "Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 16, no. 12 , pp. 1156 - 1168， 1994中，对该算法的性能定义了 3种量化评价指 标，即输出信噪比、峰值的尖锐性和PD(PercentDiscrimination),但都 不适宜作为确定配准与否的判断标准。
实验还发现，通过相关值I的位置分布来进行配准检验也是没有 规律可循的。
2.2第二步相位相关法分析
将Fourier变换位移理论应用于两幅图像之间仅有平移的配准问 题，如果两幅图像之间的平移量是像素的整数倍时，该方法是一种精 确的配准方法。虽然在频域也存在频谱混叠的问题，但不同于具有旋 转的情况，因为这时对于被配准的两幅图像而言其影响是相同的[l]。
在基于Fourier-Mellin变换的图像配准应用中，具体情况和Fourier 变换位移理论的假设有所不同，这主要体现在第一，图像本身是离 散取样的，图像间的平移量可能对应于非整数倍的像素值；第二，在 实际应用过程中，要求配准的两幅图像并不严格满足相似变换关系； 第三，两幅图像之间多数情况下只有部分重叠区域；第四，在基于 Fourier-Mellin变换的图像配准基本算法中，第一步运算过程中 Log-Polar坐标变换和第二步运算过程的图像归整，都存在插值误差； 第五，由于变换参数都是离散取值，所以第一步求得的旋转角度和尺 度缩放系数总有微小的误差，而且将直接影响第二步的运算；第六， 一些其它的诸如背景噪声等原因也会引入误差。
通过理论分析和大量的实验发现，由于上述多种噪声的存在，对 相关值II的大小和相关位置的分布造成了不同程度的影响，但总的来
说，呈现出如下三类分布形式
1、 单峰分布
在理想的情况下，即没有任何误差的情况下，在正确的匹配位置 处的相关值最大，并且等于l，而其它位置的相关值为0，是标准的脉 冲函数，如图la所示；在具有较小误差的情况下，仍具有明显的单峰 值，即峰值II明显大于其它处的相关值，如图lb所示。
2、 无规律分布
和单峰分布正相反，当各种干扰非常严重时，相关值II在每点的 数值都很小，杂乱无章，呈现无规律的分布。如图lc所示。
3、 局部凸峰分布
考虑到上述各种噪声的影响，相互配准的两幅图像之间的相关值
II还常常会呈现出另一种分布。这种分布既不象单峰分布那样具有明 显的峰值结构，也不是毫无规律的分布。表现出来的形式是，前几个 依次最大的相关值相差不大，且其对应的相关位置全部或大部分都集 中分布于最大相关位置的较小邻域(并非一定是以最大相关位置为中 心的对称分布)，形成一个"凸峰"。更具体点说，这种凸峰分布还可以 进一步细化为以下三种形式
(1) 前几个最大相关值相对较大，但数量较少，通常只有2 3个，
如图2a所示。
(2) 前几个最大相关值数值较小(甚至和噪声数据相差不大)，但 数量较多，通常可达到4个到IO个以上，如图2b所示。
(3) 有时，前几个最大相关值对应的相关位置中会有个别位置偏离 这个集中的凸峰区域，但这些位置往往是孤立的，不会形成相对集中 的区域，这通常是由随机因素造成的，如图2c所示。
上述三种分布情况可以解释为在较为理想的情况下，相关能量 主要集中在某一点，且数值较大；随着误差的增大，主要的相关能量 分散在一个较小的区域，而且数值越大，分布范围越窄，数值越小， 分布范围越宽；当两幅图像本身就不配，或者误差大到无法判断是否 配准时，相关能量呈现出无规律的分布，且每点的相关值都很小。

发明内容
在上述Fourier-Mellin变换的图像配准算法中，由于第一步相位相 关计算出来的配准参数的不确定性，再加上各种噪声的影响，使得第 二步相位相关计算出来的相关值的大小和分布情况变得十分复杂，很 难定量和准确地描述这些情况，本发明的目的是要解决传统方法中图 像配准结果的检验问题，判定Fourier-Mellin配准算法计算出来的匹配 参数的正确性，即根据这些参数自动判断两幅图像是否配准，为实现 图像全自动配准提供了有力的保障，为此，本发明提出一种基于学习 的图像自动配准检验方法。
本发明中图像配准自动检验步骤如下采用相位相关图作为样本 数据；利用相位相关图构造特征数据；设计分类器对特征数据进行分
类，根据分类结果进行配准检验。
根据本发明的实施例，所述的采用相位相关图作为样本数据，是
采用基于Fourier-Mellin变换图像配准算法中第二步相位相关算法中 的相关值作为原始的样本数据。
根据本发明的实施例，所述的构造特征数据，是根据基于 Fourier-Mellin变换图像配准算法中第二步相位相关算法中最大的前n 个相关值的大小和分布来构造特征数据。
根据本发明的实施例，所述的构造特征数据，其第一种特征数据 构造方式为提取第二步相位相关算法中的相关值中最大的前n个相 关值中，如果这些相关值位于以最大相关值为中心一定大小的邻域内， 则保留这些相关值，如果这些相关值位置偏离这个区域，则将相应的 相关值置为0。
根据本发明的实施例，所述的构造特征数据，其第二种特征数据 构造方式为将利用第一种特征数据构造方式构造的特征数据，经过 主分量分析(PCA)进行降维处理，构成第二种特征数据。
根据本发明的实施例，所述分类器设计，分类器模型釆用支持向 量机(SVD)，核函数为高斯函数。
根据本发明的实施例，所述第一种特征数据，最终选择的前n个 最大相关值中，n=6，相应的特征向量个数为17。
根据本发明的实施例，所述第二种特征数据，最终选择的前n个 最大相关值中，n=2，相应的特征向量个数为13。
根据本发明的实施例，分类器模型所采用的高斯核函数中，参数 cr2的取值范围为0.01 0.1。
本发明的有益效果对本发明中提出的基于学习的自动图像配准 检验方法，通过400组不同的图像在不同干扰下的图像配准结果进行 检验，正确检验率达到100%，较好地解决了传统方法中自动检验图 像是否配准这一难题。100%的正确率说明了这种基于分类器的图像配 准检验方法是非常有效和鲁棒的。当然，在我们的实验中，没有发现 误分类的情况，但这并不是说在任何情况下均不会出现误分，但至少 说明这种方法具有很高的可信度。


图la是已有技术Fourier变换位移理论用于图像匹配时的相关 值典型理想的峰值分布图
图1 b是己有技术Fourier变换位移理论用于图像匹配时的相关
值典型实际的峰值分布
图lc是已有技术Fourier变换位移理论用于图像匹配时的相关
值典型不匹配时的峰值分布
图2a是己有技术局部凸峰分布类型较窄的凸峰分布示意图 图2b是已有技术局部凸峰分布类型较宽的凸峰分布示意图 图2 c是已有技术局部凸峰分布类型具有毛刺的凸峰分布示意图 图3是本发明基于学习的图像配准自动检验方法流程图 图4是本发明中用于通过机器学习设计分类器的不同图像类型 图5是已有技术有监督的机器学习基本模型 图6是巳有技术最优分类面示意图
具体实施例方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的 实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
在本发明中所关心的问题，如何判定Fourier-Mellin配准算法计算 出来的匹配参数的正确性，换句话说，如何根据这些参数自动判断两 幅图像是否配准。
根据前一部分的分析，相关峰值I的大小不可靠，相关值I的分 布也没有发现什么规律，而相关值II似乎有些规律，所以本发明的第 一个想法是不依赖于相关值I的大小和分布，而主要依靠相关值II 的大小和分布来判断匹配参数的正确性。
对于本发明所关心的问题，自然的想法是设定一个阈值，如果 相关值II大于这个阈值即判定为配准，否则判定为未配准。然而，由 于Fourier-Mellin配准算法具有较高的鲁棒性，即使系统整体误差比较 大时，仍然可能得出正确的匹配参数，只是在这种情况下，最大相关
值变得很小，甚至和其它位置的相关值相差不多，因此选取一个恰当 的阈值是很困难的。基于此，本发明排除了设定阈值的想法，而通过 同时考虑相关值II的大小和分布，来判定图像的配准情况。
另外，从上述背景技术2.2的分析可以看出，尽管相关值n的大 小和分布具有一定的规律，但是要定量和准确地描述这些规律却比较 困难，尤其是凸峰分布的多样化，使问题描述变得十分复杂。解决这 个问题的思路构成了本发明的第二个想法将相关值n的大小和分布
看作一个向量样本(即图3中的相位相关图)，然后从相位相关图中提
取恰当的特征数据输入到已经学习好的分类器，由分类器自动分为配 准和未配准两种情况，这样，就将图像的匹配度量问题转化成了参数 空间的模式分类问题。
本发明中提出了一种基于机器学习的自动图像配准检验方法。该
方法的整体框图如图3所示，采用相位相关图作为样本数据；利用相 位相关图构造特征数据；设计分类器对特征数据进行分类，根据分类 结果进行配准检验。图3中图像1和图像2是被配准的两幅图像，图 像1和图像2给入基于Fourier -Mellin变换的图像配准算法的配准模 块3 ，用于将两幅图像配准;配准模块3的输出给入相位相关图模块4， 用于将相关值II构成相位相关图；特征数据提取模块5提取相关图模 块4中相位相关图的特征数据，分类器6将特征数据提取模块5输出 的特征数据进行分类并输出配准7或未配准8信息。
相位相关图可以这样理解设想这样一幅图像，图像中每个象素 点的灰度值由对应该位置的相位相关值II代替，该位置的相关值大， 类似于普通图像中该点的灰度值高，同样，该位置的相关值小，类似 于该点的灰度值低，这样我们就可以将相关值II的大小和分布看作一 幅"相位相关图"。
在具体实施过程中，最主要的是通过机器学习确定性能最好的特 征数据构造方式并设计自动配准检验分类器。
本发明釆用有监督的学习方法来设计分类器，其机器学习的基本 模型可以用图5表示，首先用一定数量的已知样本(称这些样本为训
练样本)通过训练过程进行分类器设计，形成一个分类决策函数。当 分类器设计完成后，对于任一新来的测试数据，通过分类决策函数，
可自动输出一个分类结果即图中的预测输出。由于支持向量机(SVM) 具有较好的推广能力，所以本章采用支持向量机作为分类器模型[6] Vapnik, The Nature of Statistical Learning Theory, Springer Verlag， New York， 1995 T. Joachims, Making large-Scale SVM Learning Practical. Advances in Kernel Methods - Support Vector Learning, B. Sch6lkopf and C. Burges and A. Smola (ed.)， MIT-Press, 1999。
1、支持向量机(SVM)
支持向量机是建立在结构风险最小化原理基础上实现统计学习理 论的算法。它根据有限的样本信息，在模型复杂性和学习能力之间寻 求最佳折衷，以期获得最大的泛化能力。它不需要事先假定和估计样 本分布参数，通过在小样本里寻找最大分类空隙，得到两类问题的线 性分界面。对于非线性分类问题，它通过核函数代替内积运算，把原 问题转换成高维空间的线性分类问题，再运用最大分类空隙算法处理。
我们首先从线性可分的情况出发来分析支持向量机。 对两类线性可分问题(参看图6是已有技术最优分类面示意图)， 设线性可分样本集为(^7,),/ = 1,—，^ x"、 1}是类别标号。"
维空间中线性判别函数的一般形式为介"=^义+ 6，分类面方程为
<formula>formula see original document page 14</formula> 0 (15)
我们将判别函数进行归一化，使两类所有样本都满足l/0c)^1，即使得 离分类面最近的样本的|/00| = 1，这样分类间隔就等于2/卜||，因此， 使间隔最大等价于使|卜| (或lnf)最小；而要求分类面对所有样本正 确分类，就是要求它满足
<formula>formula see original document page 14</formula>(16)
因此，满足上述条件且使lnf最小的分类面就是最优分类面(如图6 中粗实线所示)。过两类样本中离分类面最近的点且平行于最优分类面 的超平面(如图6中的两条细实线所示)上的训练样本就是上式中使
等号成立的那些样本，它们叫做支持向量。
支持向量机就是通过训练样本设法寻找这个最优分类面。
广义地讲，求解最优分类面可以归结为如下二次规划问题[6]:
<formula>formula see original document page 15</formula> (17)
<formula>formula see original document page 15</formula>(18)
其中C〉0是由用户指定的某个常数，它实际上起控制对错分样本惩罚 的程度的作用，实现在错分样本的比例与算法复杂度之间的折衷。
实际求解二次规划式(17)时利用对偶技术，可得到其Wolf对偶规 划[6]为
<formula>formula see original document page 15</formula>
其最优解CX'和最优超平面W'.;c + 6' = 0之间的关系有
<formula>formula see original document page 15</formula>
而b'由对偶关系求出。注意，式(21)中w'的计算只与非零的a;有关， 称满足a〉0对应的训练样本向量;c,为支持向量(sv)。线性支持向量机 的判别函数具有如下形式
<formula>formula see original document page 15</formula (22)
为了处理非线性分类问题，引入了广义线性分类函数即采用非线 性向量映射0:;ceW —(D(;c)eF，这里F是一个高维(甚至是无穷维) 空间，称为特征空间。当选择合适的映射O(x)后，可以将原来不能线 性分类的数据集<formula>formula see original document page 15</formula>映射为线性可分的样本<formula>formula see original document page 15</formula>，在特征空间F采用前面线性分类的方法可得 到线性分类超平面。注意，在训练过程式(19)和检验过程式(22)中，样 本点都是以点积的形式出现，即x,.xj。如果存在一个核函数使得下式 成立
<formula>formula see original document page 16</formula>
那么我们只要在训练过程和检验过程中用核函数来代替样本数据的点
积(在特征空间)，而不需要知道映射函数o的表达式。将核函数《带 入对偶规划式(19)中，得到非线性的支持向量机
<formula>formula see original document page 16</formula>(24)
<formula>formula see original document page 16</formula>(25)
非线性支持向量机^判别函数为
<formula>formula see original document page 16</formula> (26)
通过有监督的机器学习方法确定了式(24)中的a,及对应的支持向量x, 和6后，也就完成了分类器式(26)的设计。当任一新来的样本数据;c输 入分类器式(26)后，符号函数/(x)的两种不同取值，分别代表了两类 问题的分类结果。
在本发明的具体实施过程中，采用文献[7]中的SVM实现方法， 式(25)中C取值为5，式(26)中选用的核函数为高斯函数，定义为
<formula>formula see original document page 16</formula>27)
所述分类器设计，分类器模型采用支持向量机，核函数为高斯函 数。所釆用的高斯核函数中，参数^取值范围为0.01或0.05或0.1。
2、原始数据获取
手持数码相机，旋转不同的角度、调节不同的焦距，选取若干种 不同的场景类型，如图4是本发明实施例中用于机器学习的不同图像 类型，其中选取了5种场景，每种场景拍摄若干对图片，在我们的发 明中，5种场景共拍摄了 400对图像。注意在拍摄时使这些图像有 些近似满足相似变换关系，有些则专门不满足这种关系，分别用于机 器学习时的图像配准数据和未配准数据。
所述的采用相位相关图作为样本数据，是采用基于Fourier-Mellin 变换图像配准算法中第二步相位相关算法中的相关值作为原始的样本
数据。
应用基于Fourier-Mdlin变换的基本配准算法计算同一场景不同 图像间的匹配参数，然后采用图像拼接技术来主观判断两幅图像是否 配准。这样，把每次的实验结果全部记录下来，作为原始数据库。数 据库中的每个记录格式如下
Re= {Saye/"y^ ， Co^t; ， 5b《}
其中， 是对应每个记录的三个数组。few/77/。中
记录一些基本信息，如图像名称、图像大小、是否配准等；C。rr是个
数组，记录以最大相关位置为中心的5x5大小的邻域内每个位置的相 关值大小，也即每个记录c。"对应一幅相位相关图；&^是一个和^〃相 同大小的数组，记录c。"数组中对应位置的相关值在图像所有相关值 中按从大到小的排列序号。
在这些数据中，有些是配准的数据，有些是未配准的数据，从这 些数据中，各选择一部分数据组成训练集，其余部分组成测试集，分 别选取一半数据用于训练，另一半用于测试。 3、特征数据构造
特征数据选取的好坏，对模式分类系统的性能有重要的影响。我们 对不同的特征数据构造方式进行了大量的实验和比较，结果表明，以 下两种特征数据构造方式取得了最好的效果，表1是最终设计的分类 器参数及对400对图像的分类结果。
所述的构造特征数据，是根据基于Fourier-Mdlin变换图像配准算 法中第二步相位相关算法中最大的前n个相关值的大小和分布来构造 特征数据。
(1) 所述的构造特征数据，其第一种特征数据构造方式为提取 第二步相位相关算法中所有相关值II中的前n个最大数按从大到小顺 序组成n维特征数据，如果这些相关值对应的位置位于以最大相关值 为中心的一定大小的邻域内(我们采用5x5大小的邻域)，则保留这 些数据，如果这些相关值位置偏离这个区域，则将相应的相关值置为 0。
(2) 所述的构造特征数据，其第二种特征数据构造方式为将通过
第一种特征数据构造方式构造的特征数据，经过主分量分析(PCA)
进行降维处理。按前几个最大特征值之和占所有特征值之和95%的原 则，保留这些特征值对应的特征向量，然后将数据投影到这些特征向 量空间。即构成第二种特征数据。
表l通过机器学习设计的特征数据参数及最终的分类结果
<formula>formula see original document page 18</formula>具体实施方式
小结
首先采用一定的训练样本，采用文献[7]中的SVM实现方法，计算 出分类器式(26)中",及对应的支持向量x,和6，即完成了分类器设 计；当需要对新的图像配准结果进行判断检验时，首先通过 Fourier-Mellin变换配准方法计算出相关值II (即相位相关图)，然后， 采用表l中的任意一种特征数据构造方法构造特征数据，最后，将特 征数据输入到己经设计好的分类器式(26)，那么，分类器的两种不同 输出分别代表了配准和未配准的情况。
需要说明的是，尽管本发明中提出的方法是针对基于 Fomier-Mellin变换的配准算法的，但这种基于学习的图像配准检验思 想同样可以应用到其它配准方法中。
上面描述仅仅是用于实现本发明及其实施例，因此，本发明的范 围不应由该描述来限定。根据本领域技术人员的理解，在不脱离本发 明的范围的任何修改或局部替换，均属于本发明权利要求限定的范围。
权利要求
1、一种基于机器学习的图像配准自动检验方法，其特征在于图像配准自动检验步骤如下采用相位相关图作为样本数据；利用相位相关图构造特征数据；设计分类器对特征数据进行分类，根据分类结果进行配准检验。
2、 按权利要求1所述的基于机器学习的图像配准自动检验方法，其特征在于所述的采用相位相关图作为样本数据，是采用基于Fourier-Mellin变换图像配准算法中第二步相位相关算法中的相关值 作为原始的样本数据。
3、 按权利要求1所述的基于机器学习的图像配准自动检验方法， 其特征在于所述的构造特征数据，是根据基于Fourier-Mdlin变换图 像配准算法中第二步相位相关算法中最大的前n个相关值的大小和分 布来构造特征数据。
4、 按权利要求3所述的基于机器学习的图像配准自动检验方法，其特征在于所述的构造特征数据，其第一种特征数据构造方式为提取第二步相位相关算法中所有相关值II中的前n个最大值按从大到 小顺序组成n维特征数据，如果这些相关值位于以最大相关值为中心 一定大小的邻域内，则保留这些相关值，如果这些相关值位置偏离这 个区域，则将相应的相关值置为0。
5、 按权利要求3所述的基于机器学习的图像配准自动检验方法，其特征在于所述的构造特征数据，其第二种特征数据构造方式为将利用第一种特征数据构造方式构造的特征数据，经过主分量分析进 行降维处理，即构成了第二种特征数据。
6、 按权利要求1所述的基于机器学习的图像配准自动检验方法，其特征在于所述分类器设计，分类器模型采用支持向量机，相应的核函数为高斯函数。
7、 按权利要求4和6中所述的特征数据构造方式和分类器设计， 其特征在于所述特征数据，最终选择的前n个最大相关值中，n=6，
8、 按权利要求5和6中所述的基于机器学习的图像配准自动检验 方法，其特征在于所述特征数据，最终选择的前n个最大相关值中， n=2，相应的特征向量个数为13。
9、 按权利要求6所述的基于机器学习的图像配准自动检验方法， 其特征在于所采用的高斯核函数中，参数^的取值范围为0.01 0.1。
全文摘要
本发明属于计算机视觉和模式识别，公开一种基于机器学习的图像配准自动检验方法；该方法主要包括以下几个部分采用相位相关图作为样本数据；利用相位相关图构造特征数据；通过分类器对特征数据进行分类，根据分类结果进行配准检验。本发明中采用有监督的机器学习方法设计分类器，并用该分类器来自动检验图像的配准结果。对400组不同图像在不同干扰下进行了配准实验，结果显示，正确检验率为100％。100％的正确率说明了这种基于分类器的图像配准检验方法是非常鲁棒的。
文档编号G06K9/52GK101110103SQ200610103258
公开日2008年1月23日 申请日期2006年7月20日 优先权日2006年7月20日
发明者李晓明, 胡占义 申请人:中国科学院自动化研究所