对噪声有鲁棒性的图像配准方法和系统的制作方法

对噪声有鲁棒性的图像配准方法和系统的制作方法
【专利摘要】公开了一种用于将失真图像处理成参考原始图像对准的配准图像的图像配准方法。对原始图像的失真可以包括缩放、旋转和噪声。所述方法基于关联两个图像的拉东变换来确定旋转角，以及在任何添加的噪声将会抵消的前提下通过除以每个图像的整体亮度的平均值来确定缩放因数。使用快速傅里叶变换(FFT)估算全局空间移位。在一个实施方式中，失真图像在旋转之前首先被缩放成原始图像的大小。在另一个实施方式中，在旋转失真图像之前原始图像首先被缩放成失真图像的大小，最后将失真图像进行缩放以匹配原始图像。还提供了用于图像配准的相应系统。
【专利说明】对噪声有鲁棒性的图像配准方法和系统

【技术领域】
[0001] 本发明总体上涉及数字图像处理，特别地，涉及结合参考图像来处理图像。
[0002] 本发明涉及图像配准，包括估算参考图像与失真图像之间的平移、旋转和缩放参 数。特别地，本发明涉及对噪声有鲁棒性的图像配准（registration)方法和系统。
[0003] 本发明涉及评估图像的视觉质量，以及特别涉及对仿射变换具有鲁棒性的评估图 像的视觉质量的方法和系统。

【背景技术】
[0004] 图像配准是诸如图像质量评估、医学成像、自动目标识别等应用中的重要任 务。现有的图像配准方法包括例如：A. Averbuch、R. R. Coifman、D. L. Donoho、M. Israeli、 Y. Shkolnisky 和 I. Sedelnikov 在 SIAM 期刊 Scientific Computing2008 年 1 月第 30 卷 第二本 785-803 页的论文 "AFramework for Discrete Integral Transformations II- The2D Discrete Radon Transform",他们使用了对图像的大的平移、旋转和缩放的基于 伪极坐标的估算；G. Wolberg和S. Zokai在图像处理IEEE国际会议论文集（ICIP)的 2000 年 493-496 页的论文 "Robust Image Registration Using Log-Polar Transform，'， 他们还通过使用对数极坐标变换研究了鲁棒图像配准；G. Varghese和Z. Wang在视频技 术电路和系统IEEE学报2010年第20卷第七本1032-1040页的论文"Video denoising based on a spatiotemporal Gaussian scale mixture model"，他们使用了傅里叶变换来 估算全局空间转移；B. S. Reddy and Β· N. Chatterji在图像处理IEEE学报1996年第5卷 第八本 1266-1271 页的论文"An FFT-based technique for translation, rotation and scale-invariant image registration",他们提出了基于FTT的平移、旋转和缩放不变的 图像配准技术；K. Jafari-Khouzani和H. Soltanian-Zadeh在模式分析与机器智能IEEE学 报 2005 年第 27 卷第六本 1004-1008 页的论文"Radon transform orientation estimation for rotation invariant texture analysis",他们将拉东变换运用到旋转不变纹理分析 的方向估算上；E. De Castro和C. Morandi在模式分析与机器智能IEEE学报1987年第 PAMI-95 卷 700-703 页的论文"Registration of translated and rotated images using finite Fourier transforms",他们使用有限傅里叶变换开发了平移和旋转图像的图像配准 方法，但是该方法不能够呈现缩放变化；W. Wei、S. Wang，X. Zhang和Z. Tang在信息取证与 安全IEEE学报2010年第5卷第三本507-517页的论文"Estimation of image rotation angle using interpolation-related spectral signatures with application to blind detection of image forgery",他们通过使用插值相关的光谱特征来应用到盲检测伪造图 像估算了图像旋转角；D. G. Lowe在国际期刊Computer Vision2004年第60卷第2本91-110 页的论文"Distinctive Image Features from Scale-Invariant Keypoints，'，他提出 了缩放 不变关键点提取和配准（SIFT)的独特的图像特征方法；以及H. Bay、A. Ess、T. Tuytelaars 和L. Van Gool在计算视觉和图像理解（CVIU) 2008年第110卷第三本346-359页的论文 " SURF: Speeded Up Robust Features "，他们开发了 SURF (快速鲁棒特征），其自称比SIFT更 快。
[0005] 在全参考图像质量评估中，通常将失真图像与参考图像比较来获得视觉质量度 量，通过比较两个图像来计算该视觉质量度量。存在多个用于生成这种质量度量的方法， 包括：Z. Wang、A. C. Bovik、H. R. Sheikh 和 Ε· P. Simoncelli 在图像处理 IEEE 学报 2004 年 第 13 卷第四本 600-612 页的论文 "Image quality assessment:From error visibility to structural similarity"中提出的简单的峰值信噪比（PSNR)测量的结构相似度（SSIM) 指数、Η· R. Sheikh和A. C. Bovik在图像处理IEEE学报2006年第15卷第二本430-444页 的论文"Image information and visual quality"中提出的视觉信息保真（VIF)指数。而 且，Rezazadeh和Coulombe在信号、图像和视频处理2011年9月1_15页的论文"Novel discrete wavelet transform framework for full reference image quality assessment^ 中和在Procedia工程（Procedia Engineering)(爱思唯尔期刊）中发表的"A novel discrete wavelet domain error-based image quality metric with enhanced perceptual performance" '中提出了全参考图像质量评价的离散小波变换框架，而Qian和Chen在奥 地利维也纳的摄影测量、遥感和空间信息科学ISPRS国际期刊2010年7月5-7日第204-208 页的论文 "Four reduced-reference metrics for measuring hyperspectral images after spatial resolution enhancement"中研发了用于测量空间分辨率增强后高光谱图像的视 觉质量的4种减少的参考度量。
[0006] 然而，还需要在工业中研发用参考图像调整图像的简单而快速并且准确的方法， 该方法可以避免和减轻现有技术的缺点，能够改善对视觉图像质量的客观测量，以及可以 提供对噪声有鲁棒性的图像配准。


【发明内容】

[0007] 本发明的目的是提供一种用于将第一图像Y处理成与第二图像X对准的配准图像 Y*的图像配准方法和系统。
[0008] 根据本发明的一个方面，提供了一种将第一图像Y处理成与第二图像X对准的配 准图像Y*的图像配准方法，所述方法包括：
[0009] (a)确定参考图像X与失真图像Y之间的缩放因数"a"；
[0010] (b)通过缩放因数"a"改变失真图像Y的大小，从而生成规范化的失真图像Y2 ;
[0011] (c)确定参考图像X和规范化的失真图像Y2之间的旋转角" Θ。"；
[0012] (d)通过旋转角" Θ。"旋转规范化的失真图像Y2,从而获得旋转的失真图像Y3 ;以 及
[0013] (e)通过将旋转的失真图像Y3平移成与参考图像X水平和垂直对准来获得配准的 图像Y*。
[0014] 在上述方法中，步骤（a)包括通过计算参考图像X的像素值的和与失真图像Y的 像素值的和之比来确定缩放因数"a"。
[0015] 步骤（a)还包括用零值像素填充参考图像X和失真图像Y中较小者，以使得参考 图像X和失真图像Y的水平和垂直尺寸相等（equalise)。
[0016] 步骤（b)还包括使失真图像Y居中从而形成居中的失真图像Y1，以及通过缩放因 数"a"改变居中的失真图像Y1的大小来生成规范化的失真图像Y2。
[0017] 步骤（C)包括分别形成参考图像X和规范化的失真图像Y2的拉东变换R1和R2， 以及计算拉东变换R1和R2的行的互相关来确定旋转角" Θ。"。
[0018] 计算互相关包括：
[0019] (i)计算拉东变换R1的每行与拉东变换R2的每行之间的循环互相关集，每个循环 互相关定义各行之间的旋转偏移角" Θ " ；
[0020] (ii)为每行选择具有最高值的循环互相关；以及
[0021] (iii)为每行确定每个选择的循环互相关定义的旋转偏移" Θ "，以
[0022] 及将旋转角" Θ/设置为等于确定的旋转偏移" Θ "的中值。
[0023] 计算互相关还包括：
[0024] (iv)计算拉东变换R1和拉东变换R2的一维（1D)快速傅里叶变换（FFT);
[0025] (v)将拉东变换R1和拉东变换R2的ID FFT合并成中间结果R3 ;
[0026] (vi)生成包括循环互相关的第二中间结果R4,第二中间结果R4基于中间结果R3 的元素；
[0027] (vii)在中间结果R3的每行中选择具有最商值的循环互相关；以及
[0028] (viii)确定每个选择的循环互相关中定义的对应的旋转偏移" Θ "，以及将旋转 角" Θ/设置成等于确定的旋转偏移" Θ "的中值。
[0029] 合并步骤包括形成拉东变换R1的ID FFT与拉东变换R2的ID FFT的"共轭"函数 的按分量逐个作出的乘积（component-wise product)。
[0030] 在上述方法中，步骤（Vi)还包括：对应于各个角" Θ "为每个分量对第二中间结果 R4中的行确定最大值。该方法还包括取最大值的中值，所述中值对应于旋转角" Θ ^"。
[0031] 该方法还包括对预处理图像Y*执行视觉质量评估，例如执行以下视觉质量评估 中的任一者：确定峰值信噪比（PSNR);计算结构相似性（SSM)指数；以及计算视觉信息保 真（VIF)指数。
[0032] 根据本发明的另一方面，提供了一种将第一图像处理成与第二图像对准的配准图 像Y*的图像配准方法，所述方法包括：
[0033] (a)确定第一图像与第二图像之间的缩放因数"a" ；
[0034] (b)通过用缩放因数"a"改变第一图像的大小来使得第一图像和第二图像的大小 相等，从而生成大小改变版本的第一图像；
[0035] (c)使用拉东变换来确定大小改变版本的第一图像与第二图像之间的旋转角 " Θ 〇，，；
[0036] ⑷通过旋转角" Θ ^"旋转大小改变版本的第一图像，并在将其平移成与第二图像 水平和垂直对准后将其输出为配准的图像Y*。
[0037] 根据本发明的再一个方面，提供了一种将失真图像Y处理成与参考图像X对准的 配准图像Y*的系统，该系统包括：
[0038] 处理器；
[0039] 计算机可读存储介质，具有存储于其上的用于由处理器执行的计算机可读指令， 形成：
[0040] 缩放因数估算模块，用于确定缩放因数"a" ；
[0041] 图像大小改变模块，用于使用缩放因数"a"将失真图像Y的大小改变成大小改变 的失真图像Y2 ;
[0042] 旋转角确定单元，用于估算旋转角" θ / ;
[0043] 图像旋转模块，用于将大小改变的失真图像Y2旋转旋转角Θ /形成修正的图 像Y3;以及
[0044] 图像平移模块，用于平移修正的图像Y3,以生成配准图像Y*。
[0045] 在上述系统中，所述旋转角确定单元还包括：
[0046] 拉东变换模块，用于分别生成大小改变的失真图像Y2和参考图像X的拉东变换R1 和R2 ;以及
[0047] 拉东变换修正模块，用于根据拉东变换R2和R1估算旋转角" Θ。"。
[0048] 该系统还包括图像估算模块处理模块，用于对配准图像Y*进行视觉质量评估。
[0049] 在上述系统中，图像估算模块处理模块通过以下任一种方式执行视觉质量评估：
[0050] 确定峰值信噪比（PSNR);
[0051] 计算结构相似度（SSIM)指数；以及
[0052] 计算视觉信息保真（VIF)指数。
[0053] 该系统还包括：
[0054] 图像居中模块，用于将失真图像Y居中，以及生成居中图像Y1 ;
[0055] 其中所述图像大小改变模块被配置为使用缩放因数"a"对居中图像Y1改变大小 成大小改变的失真图像Y2。
[0056] 该系统还包括：
[0057] 图像遮蔽模块，用于从失真图像Y中提取遮蔽图像Y0 ;以及
[0058] 质心（centroid)计算模块，用于根据遮蔽图像Y0确定中心参数"c/'和"cc" ；
[0059] 其中图像居中模块被配置为使用中心参数"c/'和"c。"根据失真图像Y生成居中 图像Y1。
[0060] 该系统还包括：
[0061] 平移估算模块，用于确定居中图像Y3与参考图像X之间的偏移向量"TV"；
[0062] 其中所述图像平移模块被配置为使用偏移向量"TV"平移修正图像Y3以生成配准 图像Y*。
[0063] 下面还描述了本发明另一个实施方式的系统和方法。
[0064] 根据本发明的另一个方面，提供了一种将失真Y处理成与参考图像X对准的配准 图像Y*的图像配准方法，该方法包括：
[0065] (a)确定参考图像X与失真图像Y之间的缩放因数"a"；
[0066] (b)通过缩放因数"a"的倒数（inverse)改变参考图像X的大小，从而生成大小改 变的参考图像X2 ;
[0067] (c)确定大小改变的参考图像X2和失真图像Y之间的旋转角" Θ。" ；
[0068] (d)将失真图像Y通过旋转旋转角Θ /，从而获得旋转的失真图像Y3 ;以及
[0069] (e)通过缩放因数"a"改变旋转的失真图像Y3的大小，从而获得配准的图像Y*。
[0070] 在上述方法中，步骤（a)包括通过计算参考图像X的像素值的和与失真图像Y的 像素值的和的比例来确定缩放因数"a"。
[0071] 步骤（a)还包括用零值像素填充参考图像X和失真图像Y中较小者，以使得参考 图像X和失真图像Y的水平和垂直尺寸相等。
[0072] 步骤（c)还包括使失真图像Υ居中从而形成居中的失真图像Υ1，以及进行大小改 变的参考图像Χ2与居中的失真图像Υ1之间的旋转角" Θ ^"的确定。
[0073] 步骤（c)包括分别形成大小改变的参考图像Χ2和失真图像Υ的拉东变换R1和 R2,以及计算拉东变换R1和R2的行的互相关来确定旋转角" Θ。"。
[0074] 步骤（c)包括分别形成大小改变的参考图像Χ2和居中的失真图像Υ1的拉东变换 R1和R2,以及计算拉东变换R1和R2的行的互相关来确定旋转角" Θ。"。
[0075] 计算互相关包括：
[0076] (i)计算拉东变换R1的每行与拉东变换R2的每行之间的循环互相关集，每个循环 互相关定义了各行之间的旋转偏移角" Θ "；
[0077] (ii)为每行选择具有最高值的循环互相关；以及
[0078] (iii)为每行确定每个选择的循环互相关定义的旋转偏移" Θ "，以及将旋转角 " Θ/设置为等于确定的旋转偏移" Θ "的中值。
[0079] 计算互相关还包括：
[0080] (iv)计算拉东变换R1和拉东变换R2的一维（1D)快速傅里叶变换（FFT);
[0081] (v)将拉东变换R1和拉东变换R2的ID FFT合并成中间结果R3 ;
[0082] (vi)生成包括循环互相关的第二中间结果R4,第二中间结果R4基于中间结果R3 的元素；
[0083] (vii)在中间结果R3的每行中选择具有最高值的循环互相关；以及
[0084] (viii)确定每个选择的循环互相关中定义的对应的旋转偏移" Θ "，以及将旋转 角" Θ/设置成等于确定的旋转偏移" Θ "的中值。
[0085] 合并步骤的步骤（v)包括形成拉东变换R1的ID FFT与拉东变换R2的ID FFT的 "共轭"函数的按分量逐个作出的乘积。
[0086] 步骤（vi)包括对应于各个角" Θ "为第二中间结果R4中的每行确定最大值。
[0087] 该方法还包括取最大值的中值，所述旋转角" Θ ^"对应于中值指示的互相关所指 的角。
[0088] 该方法还包括对配准图像Y*执行视觉质量评估。
[0089] 根据权利要求12所示的方法，其中执行以下视觉质量评估中的任一者：确定峰值 信噪比（PSNR);计算结构相似性（SSM)指数；以及计算视觉信息保真（VIF)指数。
[0090] 根据本发明的再一个方面，提供了一种将第一图像处理成与第二图像对准的配准 图像Y*的图像配准方法，所述方法包括：
[0091] (a)确定第一图像与第二图像之间的缩放因数"a" ；
[0092] (b)通过用缩放因数"a"改变图像中一个图像的大小来使得第一图像和第二图像 的大小相等，从而生成各个大小改变的版本；
[0093] (c)使用拉东变换来确定第一图像与第二图像或第一图像与第二图像的各个大小 改变版本之间的旋转角" Θ ^"；以及
[0094] (d)将第一图像旋转旋转角Θ /，并在将其平移成与大小改变版本的第二图像 水平和垂直对准，以及在用缩放因数"a"第一次改变其大小后将其输出为配准的图像Y*。 [0095] 根据本发明的再一个方面，提供了一种通过将失真图像Y与参考图像X对其来将 失真图像Y处理成配准图像Y*的系统，该系统包括：
[0096] 处理器；
[0097] 计算机可读存储介质，具有存储于其上的用于由处理器执行的计算机可读指令， 形成：
[0098] 缩放因数估算模块，用于确定参考图像X与失真图像Υ之间的缩放因数"a" ；
[0099] 旋转角确定单元，用于估算参考图像X与失真图像Y之间的旋转角" Θ。" ；
[0100] 图像旋转模块，用于将失真图像Y旋转旋转角Θ ^"以形成旋转的失真图像Y3 ; 以及
[0101] 图像缩放模块，用于改变旋转的失真图像Y3的大小，以生成配准图像Y*。
[0102] 该系统还包括可选的居中模块，该可选的居中模块用于生成居中图像Y1，其中所 述旋转角确定单元被配置为估算参考图像X与居中图像Y1之间的旋转角" θ 〇" ；
[0103] 该系统还包括图像预缩放模块，该图像预缩放模块用于将参考图像X缩放缩放因 数"a"的倒数以成为大小改变的参考图像X2,其中所述旋转角确定单元被配置为估算大小 改变的参考图像X2与居中图像Y1之间的旋转角" Θ /。
[0104] 该系统还包括平移估算模块，该平移估算模块用于确定修正的图像Y3与参考图 像X之间的偏移向量"TV"，所述图像平移模块被配置为使用偏移向量"TV"平移旋转的失真 图像Y3以生成配准图像Y*。
[0105] 该系统还包括图像估算模块处理模块，用于对配准图像Y*进行视觉质量评估。
[0106] 图像估算模块被配置为通过以下任一种方式执行视觉质量评估：确定峰值信噪比 (PSNR);计算结构相似度（SSIM)指数；以及计算视觉信息保真（VIF)指数。
[0107] 由此，提供了改进的图像配准方法和系统。

【专利附图】

【附图说明】
[0108] 根据下面对优选实施方式的详细描述，将会更全面地理解本发明的实施方式，应 该参考附图来阅读所述优选选实施方式。所述附图不应该被理解为限制本发明，而应该仅 仅是示例性的。
[0109] 图1示出了图像对准系统100的总框图；
[0110] 图2a示出了基于仿射变换的图像调整系统200. 1的框图；
[0111] 图2b示出了本发明第二实施方式的基于可替换的放射变换的图像调整系统 200. 0的框图；
[0112] 图3示出了根据本发明第一实施方式的基于仿射变换的重新对准方法300的流程 图；
[0113] 图4包括图4a、4b和4c，示出了图3的基于仿射变换的重新对准方法的图形结果；
[0114] 图5-13示出了详细描绘了用图3的重新对准方法获得的实验结果的图形化结 果；
[0115] 图5a、6a和7a示出了"原始"测量的DM0S (纵轴）相对于PSNR、MSSM和VIF分 数（横轴）的散布图；
[0116] 图5b、6b和7b不出了对图像进行仿射预处理之后的测量的相应散布图；
[0117] 图8a、9a和10a示出了对于分别带有另外的仿射失真的LIVE图像数据库中所有 失真图像的"原始"测量的DMOS (纵轴）相对于PSNR、MSSM和VIF分数（横轴）的散布 图；
[0118] 图8b、9b和10b示出了对图像进行仿射预处理之后的测量的相应散布图；
[0119] 图11a、lib和11c示出了分别针对度量PSNR、MSSIM和VIF讲行平移来# LIVE数 据库中的选择的图像失真的实验结果的曲线图；
[0120] 图12a、12b和12c示出了分别针对度量PSNR、MSS頂和VIF在1-15度范围进行旋 转来使LIVE数据库中的选择的图像失真的实验结果的曲线图；
[0121] 图13a、13b和13c示出了分别针对度量PSNR、MSS頂和VIF在0. 5-1. 0范围进行 缩放来使LIVE数据库中的选择的图像失真的实验结果的曲线图；
[0122] 图14不出了基于拉东变换的对准系统的一组框图的不意图1400 ;
[0123] 图15是本发明第三实施方式的基于第一拉东变换的图像对准系统1500的框图；
[0124] 图16示出了针对图15的系统的基于第一拉东变换的方法1600 ;
[0125] 图17示出了对图16的步骤1660 "相关变换"的解释；
[0126] 图18-22示出了用于表示图23中描述的本发明第四实施方式的执行的实验结果， 其中图18-22中每个示出了原始图像、其失真版本和由本发明第三实施方式的方法和由现 有技术方法配准的对应的失真图像；
[0127] 图23示出了本发明第四实施方式的基于增强的拉东变换的图像对准系统2300的 框图；
[0128] 图24示出了图23的系统的基于第二拉东变换的方法2400 ;
[0129] 图25示出了对图24的步骤2450 "估算旋转角"的解释；以及
[0130] 图26示出了图像对准系统100的实施方式的结合的框图2600。

【具体实施方式】
[0131] 本发明提出了用于对失真图像进行预处理的系统和方法，通过该系统和方法，可 以在计算质量度量之前将失真图像与参考图像对准。用于将失真图像与参考图像对准的过 程还可以不同方式被称为"进行配准"或"配准"。
[0132] 对失真图像进行图像质量评估的全参考方法基于将失真图像与参考图像进行比 较的特定形式。如果失真包括改变几何性质，诸如两个图像之间的尺寸差异、失真图像在其 包络线内的水平和/或垂直位移或旋转、或其他变形，现有的全参考质量评估方法不能够 生成与视觉评估一致的质量度量。
[0133] 本发明实施方式中推荐的图像配准方法的其他应用为将两个图像进行自动比较， 所述两个图像在外部观察上看上去（几乎）一样但在尺寸、旋转上不同，或者其中一个图像 有噪声。
[0134] 从而图像配准可以应用在遥感（地图更新）和计算机视觉中。
[0135] 医学图像配准（对同一患者在诸如变换检测或肿瘤检测的不同时间点拍摄的图 像数据）可以用于弥补由于例如呼吸或解剖改变造成的弹性（也称为非刚性）变形。医学 图像的非刚性配准也可能用于将患者的图像数据配准成解剖图谱，诸如用于神经成像的塔 莱拉什图谱（Talairach atlas)。
[0136] 图像配准的还一个用处可以是在天体摄影术中对准为太空拍摄的图像。使用控制 点（自动或手动输入），可以在一个图像上进行转换从而将主特征与第二图像对准。
[0137] 图像配准还可以是全景图创建的基本部分。本发明推荐的该技术可以实时地实 施，并运行于嵌入式设备上，诸如相机或可拍照手机。
[0138] 图1示出了图像对准系统100的总框图，该图像对准系统100包括提供参考图像X 的参考图像源110、提供失真图像Y的失真图像源120和包括对准参数估算过程140、图像 对准过程150和图像估计过程160的图像预处理系统130。
[0139] 参考图像X和失真图像Y两者输入到图像预处理系统130中，在所述图像预处理 系统130中通过参考参考图像X对失真图像Y进行预处理以生成预处理的图像Y*，该预处 理的图像Y*也被称为配准图像Y*。
[0140] 通常，图像估计过程160将参考图像X和预处理图像Y*作为输入接收，以及生成 估计结果Q0。
[0141] 失真图像Y可以追溯到参考图像X，其中失真图像的失真可以是以下任意项的单 独的或者结合的结果：压缩之后对图像解压缩；以旋转、平移为特征的几何变换或者图像 的线性缩放；裁剪图像造成部分图像损失；由于在噪声信道上传输造成的噪声增加。
[0142] 对准参数估算过程140的目的是通过参考参考图像X来分析失真图像Y，以及生成 一组对准参数AP，所述对准参数AP提供对失真的几何方面的估算。
[0143] 然后图像对准过程150使用对准参数AP来将失真图像Y转换成预处理图像Y*， 该预处理图像Y*也可以被称为配准图像Y*。使用对准参数AP，图像对准过程150就这样 对失真图像Y的一些或所有几何失真进行补偿，但是不改变图像的视觉性质。结果，通过图 像对准过程150将失真图像Y转换成配准图像Y*，即将失真图像Y配准和与参考图像X对 准。
[0144] 图像估计过程160可以基于传统的视觉质量测量，其中估计结果Q0表示诸如结构 相似性（SSIM)指数或视觉信息保真（VIF)指数的质量度量。在这种情况下，当对预处理图 像Y*计算估计结果Q0时，估计结果Q0假定为失真图像Y的真实视觉质量度量，这是因为 预处理动作仅修正几何失真而不改变图像的视觉内容。例如，压缩和噪声效应保持不变。
[0145] 在许多其他应用中，图像估计过程160的输出Q0可以简单的为失真图像Y与参考 图像X之间的视觉相似性指标，例如当失真图像X和参考图像Y两个图像为同一场景的独 立的照片时。
[0146] 图像预处理系统130的第一实施方式基于：
[0147] -从参考图像X和失真图像Y两者提取多组关键点；
[0148] -从X和Y中匹配选定数量的多对最靠近的关键点；
[0149] -对第一仿射变换的参数求解；
[0150] -生成为第一仿射变换的倒数的第二仿射变换；
[0151] -在失真图像Y上应用第二仿射变换，从而生成预处理图像Y*。
[0152] 关键点就是所谓的D. G. Lowe在计算机视觉国际期刊2004年第60卷第二本 91-110 页上的"Distinctive Image Features from Scale-Invariant Keypoints，'中提出的 尺度不变特征变换（SIFT)参数集，其用于表征图像中的特有区域。提出了对准参数估算过 程140的特定实现和图像对准过程150的对应实现。
[0153] 图2a示出了图像预处理系统130的第一实施方式的基于仿射变换图像对准系统 200. 1的框图，该图像预处理系统130包括图1的对准参数估算过程140的实施方式的仿射 变换参数估算子系统210和图1的图像对准过程150的实施方式的仿射图像变换模块220。
[0154] 仿射变换参数估算子系统210包括像素填充模块230、X-SIFT提取模块240、 Y-SIFT提取模块250、关键点匹配模块260、仿射变换生成模块270和反向变换模块280。
[0155] 在像素填充模块230中，以不改变的方式传递两个图像X和Y，除非两个图像按照 其以像素测量的水平和垂直尺寸"M"和"N"来说大小不一样。如果他们大小不相等，则通 过适当地用零值像素填充一个或两个图像来调整他们以及使他们的水平和垂直尺寸大小 相等（对于每个尺寸，我们用其尺寸中最小的分辨率填充图像）。尺寸相等的图像将被称为 均等参考图像X'和均等失真图像Y'，均等参考图像X'和均等失真图像Y'两者都是Μ X N 像素。
[0156] 为了简单起见，在下面的描述中，我们理解在任何给定情况中像素填充实际上可 以是不必须的，由此均等参考图像X'和均等参考图像Υ'将会持续被简称为参考图像X和 失真图像Υ。对图像处理概念熟悉的人很容易理解如果完成了像素填充，则可以执行处理步 骤（在实施方式的描述中未示出）从配准图像Υ*中移除多行或多列像素从而保证配准图 像Υ*的尺寸与（真实）参考图像X的尺寸匹配。
[0157] 在X-SIFT提取模块240和Υ-SIFT提取模块250中，分别以关键点集Κχ和Ky的 形式从参考图像X和失真图像Y中提取D. G. Lowe在计算机视觉国际期刊2004年第60卷 第二本91-110页上的"Distinctive Image Features from Scale-Invariant Keypoints，'中 描述的尺度不变特征变换（SIFT)特征。
[0158] 将关键点集Κχ和Ky输入到关键点匹配模块260中。
[0159] 在关键点匹配模块260中，从关键点集"Κχ"和"Ky"中选择预定数目的具有最接 近匹配特征的向量的关键点作为匹配的关键点子集Κχ'和Ky'。选择的关键点子集Κχ'和 Ky'被发送到仿射变换生成模块270,用于计算正向仿射变换"FAT"的参数，所述正向仿射 变换几乎非常接近参考图像X与失真图像Y之间的几何关系。将FAT发送到反向变换模块 来被反向，从而生成反向仿射变换IAT，该反向仿射变换表示图1的对准参数AP的集的第一 实施方式。
[0160] 在仿射变换参数估算子系统210中，应用反向仿射变换IAT来将失真图像Y变换 成配准图像Y*。
[0161] 图2b示出了图像预处理系统130的第二实施方式的基于变换的仿射变换的图像 对准系统200. 2的框图。图2b的基于变换的仿射变换的图像对准系统200. 2提供了和图 2a的基于仿射变换的图像对准系统200. 1相同的功能，除了反向变换模块280和仿射图像 变换模块220被结合成单个的、更有效的仿射补偿图像生成模块290。
[0162] 图3是根据本发明第一实施方式的基于仿射变换的重新对准方法300的流程图， 包括以下步骤：
[0163] 310"零填充图像"；
[0164] 320 "提取关键他正"；
[0165] 330 "匹配关键点"；
[0166] 340 "匹配像素的数目〈NK ? "
[0167] 350 "估算仿射参数"；
[0168] 360 "反向变换"；
[0169] 370 "执行仿射变换"；
[0170] 380 "生成仿射补偿图像"；以及
[0171] 390 "填充空白像素"。
[0172] 参考图像X被写作x(i，j)，其中i = 1到m，而j = 1到n，且失真图像Y被写作 y (i，j)，其中i = 1到m'，而j = 1到η'。假设参考图像X受到各种失真（包括压缩、噪 声污染和可能的仿射变换）生成了失真图像Υ。预计两个图像（X和Υ)不会是完全不同的 图像。
[0173] 在图2a的像素填充模块230中执行的步骤310 "零填充图像"中，参考图像X的 尺寸m和η与失真图像Y的对应尺寸m'和η'进行比较。
[0174] 如果参考图像X和失真图像Υ不具有相同数目的像素，则将均等图像X和Υ的尺 寸设置为Μ和Ν，其中Μ比m和m'大，Ν比η和η'大。然后通过在较短的尺寸上在原始图 像周围添加零像素来填充图像，以根据具体情况创建替代参考图像X和失真图像Υ的均等 参考图像X'或均等失真图像Υ'。为了简化描述，被填充或没有被填充的图像将被称为参考 图像X和失真图像Υ。
[0175] 在图2a的X SIFT提取模块240和Y SIFT提取模块250中执行的步骤320 "提取 关键特征"中，计算缩放不变特征变换（SIFT)来分别检测和描述参考图像X和失真图像Y 中的本地特征，David Lowe在计算机视觉国际期刊2004年第60卷第二本91-110页上的 "Distinctive Image Features from Scale-Invariant Keypoints" 中提出了详细的方法。
[0176] 从参考图像X和失真图像Y两者中提取SIFT关键点。根据David Lowe的"SIFT" 方法，获得关键点列表，其中每个关键点包括本地描述符的向量（即诸如颜色、纹理等对内 容的视觉特征的描述）和其在图像中的位置。对于参考图像X和失真图像Y，通过该方法分 别获得多个（多个集合的）Kx和Ky关键点。每个关键点由128个值的描述符向量表示，并 耦合到包括4个值的位置记录上，所述4个值包括关键点的行指数、列指数、缩放因数和方 向。
[0177] 然后将关键点描述符标准化为表示N维欧几里得空间中的点，其中N = 128,对应 于每个描述符的128个值。
[0178] 在图2a的关键点匹配模块260中执行的步骤330 "匹配关键点"中，计算参考图 像X的关键点与失真图像X的关键点之间的NK个接近匹配，其中通过128维空间中的距离 值确定匹配的接近度。如果在关键点特征方面其距离小于到第二接近匹配距离的距离比 (distRatio)倍数，则只能接受匹配。可以从0. 2到0. 6的范围中选择参数距离比，在下面 所述的实验中使用了值〇. 4作为距离比。
[0179] 为了有效进行计算，计算单位向量之间的点积比欧式距离可以更有效。值得注意 的是，由单位矢量的点积的反余弦（acos)计算的角度之比近似于小角度的欧氏距离的比 例。因此，在从最近到第二近的邻域的向量角的比例小于距离比时仅保持匹配。
[0180] 在步骤340 "匹配像素的数目〈NK ? "中，确定是否在先前步骤330中找到了至少 NK个匹配的关键点对。NK的值优选设置为4。如果找到了小于4个匹配的关键点对（从步 骤340输出"是"），则不能够执行失真图像Y和仿射处理，并且功能必须停止，否则（从步 骤340输出"否"），则执行进行到步骤350。
[0181] 在图2a的放射变换生成模块260中执行的步骤350 "估算仿射参数"中，可以使 用线性最小二乘法来确定匹配的关键点对之间的全局放射变换：
[0182] 具体地，如下确定仿射变换中的参数。
[0183] 参考图像中的点[ikjklT到失真图像中的点[u kvk]T的仿射变换可以写成：
[0184]

【权利要求】
1. 一种将失真图像Y处理成与参考图像X对准的配准图像Y*的图像配准方法，该方法 包括： (a) 确定所述参考图像X与所述失真图像Υ之间的缩放因数"a" ； (b) 通过所述缩放因数"a"的倒数来改变所述参考图像X的大小，从而生成大小改变的 参考图像X2 ; (c) 确定所述大小改变的参考图像X2和所述失真图像Y之间的旋转角" Θ / ; (d) 通过旋转角Θ ^"旋转所述失真图像Y，从而生成旋转的失真图像Y3 ;以及 (e) 通过所述缩放因数"a"改变所述旋转的失真图像Y3的大小，从而获得所述配准图 像Y*。
2. 根据权利要求1所述的方法，其中所述步骤（a)包括通过计算所述参考图像X的像 素值的和与所述失真图像Y的像素值的和之比来确定所述缩放因数"a"。
3. 根据权利要求1或2所述的方法，其中所述步骤（a)还包括用零值像素填充所述参 考图像X和所述失真图像Y中较小者，以使得所述参考图像X和所述失真图像Y的水平和 垂直尺寸（m和η)相等。
4. 根据权利要求1-3中任一项所述的方法，其中所述步骤（c)还包括使所述失真图像 Υ居中从而形成居中的失真图像Υ1，以及确定所述大小改变的参考图像Χ2与所述居中的失 真图像Υ1之间的旋转角" Θ。"。
5. 根据权利要求1-4中任一项所述的方法，其中所述步骤（c)包括分别形成所述大小 改变的参考图像Χ2和所述失真图像Υ的拉东变换R1和R2,以及使用所述拉东变换R1和 R2来确定旋转角" Θ。"。
6. 根据权利要求4或5所述的方法，其中所述步骤（c)还包括分别形成所述大小改变 的参考图像Χ2和所述居中的失真图像Υ1的拉东变换R1和R2,以及计算所述拉东变换R1 和R2的行的互相关来确定所述旋转角" Θ ^"。
7. 根据权利要求5或6所述的方法，该方法还包括计算所述拉东变换R1和R2的行的 互相关以确定所述旋转角" Θ /，包括： (i) 计算所述拉东变换R1的每行与所述拉东变换R2的每行之间的循环互相关集，每个 循环互相关定义了各行之间的旋转偏移角" Θ "； (ii) 为每行选择具有最商值的循环互相关；以及 (iii) 为每行确定由每个选择的循环互相关定义的旋转偏移" Θ "， 以及将所述旋转角" Θ/设置为等于确定的旋转偏移" Θ "的中值。
8. 根据权利要求1-7中任一项所述的方法，该方法还包括对所述配准图像Y*执行视觉 质量评估。
9. 一种通过将失真图像Y与参考图像X配准来将所述失真图像Y处理成配准图像Y* 的系统，该系统包括： 处理器； 存储装置，具有存储于其上的用于由所述处理器执行的计算机可读指令，形成： 缩放因数估算模块，用于确定所述参考图像X和所述失真图像Y之间的缩放因数"a" ； 旋转角确定模块，用于估算所述参考图像X与所述失真图像Y之间的旋转角" Θ ^"； 图像旋转模块，用于将所述失真图像Y旋转旋转角Θ ^"以形成旋转的失真图像Y3 ; 以及 图像缩放模块，用于改变所述旋转的失真图像Y3的大小，以生成所述配准图像Y*。
10. 根据权利要求9所述的系统，该系统还包括可选的居中模块，该可选的居中模块用 于生成居中图像Υ1，其中所述旋转角确定单元被配置为估算所述参考图像X与所述居中图 像Υ1之间的旋转角" Θ。"。
11. 根据权利要求9或10所述的系统，该系统还包括图像预缩放模块，该图像预缩放模 块用于将所述参考图像X缩放所述缩放因数"a"的倒数以成为大小改变的参考图像Χ2,其 中所述旋转角确定单元被配置为估算所述大小改变的参考图像X2与所述居中图像Y1之间 的旋转角" Θ ^ "。
12. 根据权利要求11所述的系统，其中所述旋转角确定模块还被配置为分别形成所述 大小改变的参考图像X2与所述失真图像Y的拉东变换R1和R2,以及使用所述拉东变换R1 和R2来确定所述旋转角" Θ。"。
13. 根据权利要求9-12中任一项所述的系统，该系统还包括： 平移估算模块，用于确定所述旋转的失真图像Y3与所述参考图像X之间的偏移向量 "TV"；以及 图像平移模块，被配置为使用所述偏倚向量"TV"平移所述旋转的失真图像Y3来生成 配准图像Y*。
14. 根据权利要求9-13中任一项所述的系统，该系统还包括：图像估算模块处理模块， 该图像估算模块处理模块用于对所述配准图像Y*执行视觉质量评估。
15. 根据权利要求14所述的系统，其中所述图像估算模块处理模块被配置为通过以下 任意方式执行所述视觉质量评估： 确定峰值信噪比（PSNR);计算结构相似性（SSM)指数；以及计算视觉信息保真（VIF) 指数。
【文档编号】G06T7/00GK104067312SQ201280064221
【公开日】2014年9月24日 申请日期:2012年12月24日 优先权日:2011年12月24日
【发明者】G·陈, S·库隆布 申请人:高等技术学校