专利名称：一种图像拼接方法
技术领域：
本发明提供一种图像拼接方法，尤其涉及一种将多幅二维图像按时间顺序进行配 准、融合、拼接以及生成全景图像处理的方法。
背景技术：
图像拼接(image mosaic)是计算机视觉热门的研究领域，已经成为多媒体、医学 图像处理和计算机图形学领域中的热点问题。图像拼接问题可以定义成对一系列空间重叠 的图像进行特征提取、运动参数估计及图像融合和增强的处理过程，最终生成一个无缝的、 高分辨率的宽视角图像。图像拼接技术主要分为三个主要步骤图像预处理、图像配准、图像融合与边界平 滑，图像预处理主要指图像配准前，将图像进行噪声抑制、纹理和对比度的增强以及直方图 的归一化等预处理，使配准图和活动图不存在明显的差异。图像预处理主要是为图像配准 做准备，让图像质量能够满足图像配准的要求如果图像质量不理想时不经过图像预处理 就进行图像配准，很容易造成两幅图像中的一些子区域之间或特征点之间的误匹配。图像 配准主要指基于配准图和活动图中的图像关键特征或灰度信息，寻找最佳的匹配特征点或 子区域，搜索每个子区域对或特征点对之间运动向量，最终估计出两幅图像之间的全局的、 线性或非线性的运动变换参数。图像拼接的成功与否关键是图像的配准的效果。然而，通常的待配准的医学图像 之间，不同目标区域可能存在多种非线性变换，或者存在大面积的无明显特区域(如均勻 纹理区域或同色区域等)，这些情况大大增加了图像匹配的难度和挑战。因此，一个好的图 像配准算法应该能够在多种情况下准确找到图像间的对应息和特征点，将图像对齐。图像融合指在完成图像匹配以后，对图像进行拼接、缝合，并对缝合的边界进进行 平滑处理，让缝合边界区域自然过渡。图像配准主要基于活动图和配准图中的匹配特征或灰度信息，寻找最佳匹配的特 征点对或图像子区域对，计算每个特征点对或子区域对间的运动向量，并估计两幅图像之 间的全局的线性或非线性的运动变换参数。大多数超声图像拼接技术采用最小二乘法原则 估计全局的运动变换参数，如US5782766，CN1839760A, CN101455576A等都采用最小二乘法 则来估计全局运动参数，而且由于处理时间上的限制，参数估计和特征点匹配都是通过一 次迭代完成。应用SAD相关的方法对提取的特征点或子区域进行匹配的准确率较低，，而且即 使在较为理想的匹配结果中，有一部分特征点或子区域会落在在局部的运动组织上时，这 样特征点或子区域便成为所谓的孤立点(outlier)，会造成运动估计的误差，这主要是由于 局部的组织运动区域和背景有不同的运动参数，而基于灰度值的SAD匹配结果再直接应用 最小二乘法估计运动变换参数的方法无法克服孤立点所造成的影响。大部分医学图像拼接、配准方法都基于特征点或子区域的匹配来完成运动估计， 找到匹配的特征点对或子区域对之后，再应用贝叶斯估计来完成对运动参数的计算，这样的配准过程通常无法收敛到最优解而且耗时较长，一个较为直观的办法用迭代近邻点算 法(Iterative Closest Point Method)来提高配准精度，简称ICP算法，这样使得运动参 数估计得以收敛到一个状态空间的最佳点。然而，ICP算法的有效性非常依赖于运动参数 的初始值，为了有效解决这一问题，该技术方案考虑应用图像拼接中的传统Ransac算法来 搜索一个较为联想的运动参数的初始值。现有图像拼接技术都是在配准图的相应的特征点或子区域的一个更大的图像 领域内，搜索与活动图相匹配的特征点和子区域来实现特征点匹配算法的，该匹配方 法的缺点是搜索过程非常耗时，而应用启发性搜索只有可能找到一个局部最优解，如 CN101455576A应用爬山法来解决特征点匹配算法的耗时问题。CN1839760A指出，由于噪音 和组织运动等因素，会造成特征点的运动偏移量的误差，但其并没有给出有效的解决办法。 运动的目标区域内的特征点通常不参与运动参数的估计，这是由于运动区域的特征点本身 通常不是刚性运动，当目标区域运动速度较快时，可以考虑对运动区域进行有效的检测并 单独进行配准。综上所述，现有图像拼接技术无法解决特征点或子区域的匹配精度差问题，也无 法有效地处理运动目标对刚性配准参数估计造成的影响，以及特征点和子区域匹配搜索算 法的耗时问题。
发明内容
本发明提供一种图像拼接方法，本发明考虑到应用视频处理中的运动检测技术， 在每个特征点上，计算伪运动向量(pseudo motion vector)用来补偿已经估计到的运动 向量，这样的处理不仅可以缩小在特征点匹程中的搜索范围，而且可以更快速到找到最优 匹配，从而为直接地解决图像中由于感兴趣目标区域运动而产生的图像配准误差。本发明 提出应用运动补偿方案以及运动目标区域的滤除方法，更快速到找到最优的匹配的运动向 量，并且可以有效地减轻运动目标区域所带来的图像配准误差。本发明为解决上述技术问题所采用的技术方案为一种图像拼接方法，图像序列为，I1,...，Ii;...，In，其时间间隔为Δ，包括以下步 骤A.建立二维坐标，将第一帧图像设成配准图f和拼接图Xtl,并设置活动图g = I2 和处理步长为Δ = 1及i = 2 ；B.在活动图g上寻找一系列特征点F= {(xj; yj) I j = 1，...，m}，其中(Xj，Yj) 为第j个特征点在活动图中的位置即坐标值；C.基于特征点集F，迭代搜索初始的最优的子集f c F，使得初始运动参数估计 T0 = ( 。, Cf , C07 )最佳，其中α ^为运动变换中的旋转角度，Cf和C〖分别是在Xx轴方向和Y 轴方向的位移参数；D.对每个特征点，估计在配准图上所对应的特征点的位置{(Χ*」，y*」)e f I j = 1，. . .，m}，并迭代求解一组最佳的运动参数；E.基于估计到的运动参数T = (a,Cx，CY)，将当前活动图Ii拼接到当前拼接图， 再将活动图其设置成配准图，若拼接的图像宽度大于显示图像窗口，则将图像中所有像素 点向后平移至图像新拼接的部分或区域可以完全显示出来；
F. i = i+Δ，如果i帧图像存在，则返回步骤B;否则将拼接图像左移若干个像素 点，直至图像新拼接的部分显示出来，并输出拼接图像。 所述B步骤包括以下步骤
Bi.对当前活动图像g计算其水平方向梯度值和垂直方向梯度值&和&，核函数
分别为: 并求解梯度幅值图像ge=|gx+gy ；B2.为了将得到的幅值图像&做二值化，在W，256]范围内线性搜索一个阈值 ftg，满足以下度量fb值最小； s = I {(x，y) I ge(x，y) > ftg}t = I {(x，y) I ge(x，y)≤ ftg}B3.根据得到的阈值ftg计算二值图像gb，然后对二值图像gb进行平滑滤波，滤波 窗口大小为W1XW1^1默认值为5，滤波窗口内每个系数值均为1，得到的滤波图像为一个非 二值图像为&；B4.将活动图像均分成m个不重叠的子区域，每个区域是个W2XW2，例如针对 512X512大小的图像，W2默认值可以取16 ；B5.在每个子区域搜索出一个特征点集合Fi = {(Xj,yj) |j = 1，. . .，m}使其满足 该点的在图像&(x，y)上的灰度值最大，并且&(x，y) > Th，阈值Th默认值为5。 所述C 步骤包括以下步骤Cl.估计初始迭代参数，L= ( , Qx5C07 )如果 I β - γ I < ε = 0. 0001, T0 = IVpE = F,, β和γ分别为前两帧运动旋转的角度，否则，执行以下步骤；C2.在前特征值排在前59位的特征点作为子集，在这一子集中随机选择4个特征 点为特征集合F1;C3.对&其中的每一像素点(X，y)，将其旋转为β角度以后，在配准图以相应的 点为中心的一个区域中搜索和其匹配的、并使匹配值SAD值最小的像素点，匹配的模板窗 口 大小为 W3 X W3, W3 默认值为 5，搜索区域为[x-1 Prev_Cx |，x+2 | Prev_Cx | ] X [y-1 Prev_CY |， y+|PreV_CY|]，这里假设探头的运动方向为从左向右，PrevJ5^P Prev_CY是前一帧的最终 运动参数估计值；
C4.对&中的每个像素点，在配准图f中都找到相应的匹配点，然后应用最小二乘 法估计参数A= ( aR, CCtr ): C5.在配准图f中找到相应的特征点集F* = TK(F)，以F中的每个像素点(X， y)为中心的模板和以F*中对应的映射像素点(χ*，y*)为中心的模板之间的Normalized Correlation的值NC，模板大小为w3Xw3
「π α/Γ见=,一 ,_a和b为像素点在活动图g上和配准图f上的灰度值；C6.根据 NC 的值，再将 F 分成两组 A= {(x,y) |NC((x,y), (x*，y*)) > ftg2}和 B ={(χ, y) NC((x, y), (x*，y*))彡 ft&} ft& 为一阈值，默认为 0. 7 ；如果 |A|/|F >0.5, T0 = TE, E = A，进入步骤C7 ；否则重复C2-C5 ；C7.输出 E 和 T0。所述D步骤包括以下步骤Dl.将特征点集E映射到配准图f上，得到新的特征点集合E* = T(E)；D2.对E中的每一像素点(X，y)在配准图中相应的匹配点(x*，y*) = T(χ, y) e E*，执行基于光流的运动补偿，Xm = X氺-gΔ (χ, y)/gx (χ, y)；yM = y*-g Δ t (χ，y) /gy (χ，y)；gAt(x，y) = f(x*，y*)_g(x，y)；D3.在以(xM，yM)中心的子区域，[xM_w4，xM+2Xw4, ] X [yM-w5, yM+w5]，搜索和(χ, y) 更为匹配的像素点(x2，y2)使匹配的Normalized Correlation的值最小，模板匹配的窗口 大小为w3Xw3，W4和W5的默认值为3 ；D4.找出 E 中子集 E1= {(x，y) |NC((x，y)，(x*，y*))彡 l_ftg3}，ftg3 默认值可以 为0. 3 ；在配准图上有相应的匹配点集E2 ；D5.如果集合IE11 > 10，基于集合E1和E2应用M-estimator估计运动参数T = (a, Cx, Cy)，否则直接跳到步骤D6，这里Errk是第k个特征点的匹配误差；D6.重复子步骤Dl至D5共5次，如果最终检测的运动向量非常大，跳到步骤Dl， 否则输出T。所述E步骤包括以下步骤El.根据运动变换T到活动图g映射成f* = TiMg)图像的灰度值可以通过双线 性插值的到；E2.令fM = f*，将当前拼接图Xp1与fM进行融合，如果当前像素点的既在前M-I帧 出现过，又在fM出现过，进行基于最近邻的图像融合，即 R (N)是像素点(x，y)的3 X 3领域；E3.对新生成的拼接图分别做一次Laplacian边缘增强和各项同性滤波。所述F步骤包括以下步骤Fl.如果最终检测的运动向量非常小，Δ = Δ+1 ；F2.如果最终检测的运动向量非常大如果Δ > 1，则Δ = Δ-1并且i = i_l， 返回步骤B，否则终止图像拼接，提示调整探头运度；F3.令i = i+Δ，如果第i帧图像存在并且拼接后图像宽度小于感兴趣区域的窗 口宽度，则返回步骤B;否则，左移图像若干个像素点，直至图像新拼接的部分全部落在感兴 趣区域的窗口，并输出图像。本发明提供了一种更快速有效的图像配准方法，提高配准的精确度。
图1是本发明实施例二维宽景超声图像成像系统硬件结构图；图2是本发明实施例二维宽景超声图像拼接方法流程示意图；图3是本发明实施例关键特征点检测算法流程示意图；图4是本发明实施例初始运动变换参数和初始特征点子集估计方法流程示意图；图5是本发明实施例迭代近邻点算法(ICP)估计图像配准运动变换参数流程示意 图；图6是本发明实施例宽景图像融合方法流程示意图；图7是本发明实施例宽景图像显示及图像拼接步长调整示意图。
具体实施例方式下面根据附图和实施例对本发明作进一步详细说图1是该发明所应用的超声成像系统的结构组件图用户通过输入设备配置超声 扫描所需的参数及宽景成像的配置参数，用户输入设备主要和计算机中央处理器连接，可 以对图像存储区域12中的数据进行图像显示、处理，存储及打印等操作。超声图像和宽景 图像都可以通过显示器13显示给用户；计算机中央处理器和超声系统的主处理器14相连 接，并可通过其对超声成像程中的参数配置、及模式选择进行操作。探头16在受检器官的 皮肤表面进行运动扫描，用以获取感兴趣区域15的超声图像，而目标区域15可能需要一幅 大视野的图像来显示整个器官或组织，比如对一个较大器官的尺寸的测量。超像系统可将 图像序列22拼接成一个宽景图像24，然后将目标区域15的完整组织结构信息显示给用户。发射控制单元14产生的发射波形经过探头16向目标区域15发射超声波，接收到 的超声回波，经过波束合成17的延时控制、通道合成等处理后，接收控制器18则将射频信号转换成视频信号进一步处理，处理后的信号经过扫描转换单元20处理后转换成超声视 频序列22 ；主处理器14可以通过传输控制电路19设置、调整和监测超声系统的工作参数， 并用以产生电流驱动探头工作。以上描述简单介绍了宽景超声成像的设备，这和大多数医用超声系统体系结构没 有差别，而基于超声视频的宽景图像的拼接方法基本不依赖于超声设备。图2介绍了本发 明的宽景图像拼接方法的流程图，它描述了从超声图像序列22生成宽景图像24的过程1.从图像存储区域中提取图像帧序列，I1, ...，Ii, ...，In，将配准图和活动图设 成f= Ii;g= I2 ；再取宽景图像X1 = f，且有i = 2，步长为Δ ；2.在第i幅图像上，也就是当前活动图，寻找一系列特征点F = {(xj; yj) I j = 1，…，m}；3.基于特征点集F，迭代找出初始的最优的子集ECjF，使得初始运动参数估计 To = ( a0, Cfj , C07 )最佳；4.基于特征点子集E和初始运动变换Ttl，迭代搜索E中每个特征点的运动到配 准图上的相应像素点，即集合E* = {(x*j; e Ij j = 1, ... , mE}，基于E和Ε*应用 M-estimator迭代估计最佳的运动参数Ti= ( α , Cx, CY)；5.基于Ti= (a，Cx，CY)，把活动图g融合到宽景图Xh;6. i = i+Δ如果第i帧图像存在，则返回步骤2 ；否则结束退出。上述处理程序包含三大部分，图像子区域的划分和关键特征点的检测，活动图像 和配准图像之间的配准，活动图与宽景图像的融合。图像配准的关键特征点通常决定了图 像配准的效果，好的特征点会克服图像中的噪音等图像质量差的问题，本发明基于图像边 缘提取和分割技术，采用了一个鲁棒性较强的特征提取的方法检测关键特征点集合。图3 说明了特征点检测算法的流程图，一种实现鲁棒性较特征点检测包含以下几个子步骤(1)对当前活动图像20计算其水平方向梯度值和垂直方向梯度值gx和gy，核函 数分别为
ο -Γ 2 0-2 1 0 -1 "12 1 0 0 0 -1 -2 -1并求解梯度幅值图像ge = I gx I +1 gy I(2)为了将得到的幅值图像&做二值化，子步骤203在W，256]范围内线性搜索 一个阈值ftg，满足以下度量fb值最小； (3)子步骤205根据得到的阈值ftg计算二值图像gb，然后对二值图像gb进行平 滑滤波，滤波窗口大小为W1 χ W1 (W1默认值为5)，滤波窗口内每个系数值均为1，得到的滤波 图像为一个非二值图像为&(4)将活动图像均分成m个不重叠的子区域，每个区域是个W2XW2，例如针对 512X512大小的图像，W2默认值可以取16 ；(5)在每个子区域搜索出一个特征点集合Fi = {(Xj,yj) |j =，. . .，m}使其满足该 点在图像& (x，y)上的灰度值最大，并且& (x，y) > Th，阈值Th默认值为5。图像序列U放置在一段存储区域(内存或硬盘)，按图像的生成的时间先后顺序排 放，并按同样顺序读取。本发明的点提取中二值化算法采用了一种动态阈值的方法，即将活 动图中的所像素的灰度值作为样本进行分类，当寻找一个最优的阈值使得类内距离之和与 类间距之比达到最小。基于二值化图像即Edge图像计算每个像素点周围像素点灰度值之 和，作为效果特征来检测每个图像子区域的特征点，这样的特征点提取办法具有更强的鲁 棒性。通常来说，图像特征点的数目对图像配准精度影响很大，特征点越多，最后配准的 误差越小，但会使配准过程更耗时。即使有足够的特征点，往往在配准图中搜索对应的特征 点精度也不是很理想，并且需要在一个很大区域搜索与之相匹配的像素点，换句话说，大部 分的特征点匹配过程非常依赖于初始的运动变换参数，为了解决这一技术难题我们应用计 算机视觉中的Ransac算法来同时估计有效的特征点集合和初始运动变换参数，找到一个 最优的初始运动变换参数和一个有效的特征子集。图4说明了应用Ransac算法来估计初 始的最优特征点子集和初始的运动参数，其包含以下处理过程(1)_(7)(1)估计初始迭代参数，Γ0=( C0X,C07 ):如果 I I < ε = 0.0001，T0 = IV1, E = F，(β和γ分别为前两帧运动旋转的角度)否则，执行以下步骤(2)在前特征值排在前59位的特征点作为子集，在这一子集中随机选择4个特征 点为集合Fl ；(3)对&其中的每一像素点(X，y)，将其旋转为β角度以后，在配准图以相应的 点为中心的一个区域中搜索和其匹配的、并使匹配值SAD值最小的像素点，匹配的模板窗 口 大小为 W3 X W3 (w3 默认值为 5)，搜索区域为[x-1 Prev_Cx |，x+2 | Prev_Cx | ] X [y-1 Prev_CY, y+|PreV_CY| ]，这里假设探头的运动方向为从左向右，PrevCx和Prev_CY是前一帧的最终运 动参数估计值；(4)Fl中的每个像素点中找到在配准图中找到相应的匹配点，应用最小二乘法估 计参数A= ( C^,Ctr ) (5)在配准图R中找到相应的特征点集F* = Te(F)以F中的每个像素点(x，y) 为中心的模板和以F*中对应的映射像素点(χ*，y*)为中心的模板之间的NormalizedCorrelation的值NC，模板大小为w3Xw3 Y^kHbk-F)NC= I^kI^k_6a和b为像素点在活动图g上和配准图f上的灰度值；(6)接着按 NC 的值将 F 分成两组 A = {(x,y) |NC((x,y), (x*，y*)) > ftg2}和 B ={(x,y) NC((x，y)，(x*，y*))彡 ftg2}，ft& 为一阈值，默认为 0.7 ；如果 |A|/|F >0.5, 1； = ^ = 4，进入步骤6;否则重复(2)-(5)；⑵输出e和t0;RANSAC (Random Sample Consensus)是随机抽样一致性算法的缩写。它可以应用 于任何一个基于数据集的模型估计问题。给定一个数据集，如果数据集中有一定数目的奇 异点(Outliers)，在图像配准过程中，由配准算法检测到的图像特征点往往包含大量的奇 异点，这是由于图像获取过程中所导致的图像质量下降和图像噪音所引起的；而传统的模 型参数的估计方法无法去除这些奇异的特征点对参数估计的影响，解决这一问题可以用随 机抽样一致性算法。Ransac算法是一种随机的优化算法，因此，即使每次运算求出的结果可 能尽不相同，但每一次随机迭代都有可能给出一个更合理的结果，因此提高迭代次数会改 善模型估计的效果。Ransac实际上是一种随机采样的方法，其目标是找到一个最小采样数目的最优数 据子集来估计模型参数，以上步骤A-G是Ransac方法在特征点匹配算法中的一种实现E 中点的数目越多，参数估计的越准确。在得到比较理想的初始特征点子集E和初始运动参数估计Ttl之后，我们应用迭代 近邻点算法来进一步求解更为精确的图像配准所需的运动变换参数τ: ST = Ttl，然后执行 ICP即迭代近邻点算法下处理(1)-(7)(1)将E映射到配准图f上得到新的映射点集E* = T (E)；对F中的每一像素点(x，y)在配准图中相应的匹配点(x*，y*) = T(x,y) e Ε*执 行基于光流的运动补偿，xM =y)/gx(x, y)；yM = y*_gAt(x，y)/gy(x，y)；δΔ (χ, y) = f (χ*，y*) _g (χ, y)；(2)在以(χμ，ym)中心的子区域，[xM-w4, xm+2Xw4, ] X [yM-w5, yM+w5]，搜索和(χ, y) 更为匹配的像素点(x2，y2)使匹配的Normalized Correlation的值最小，模板匹配的窗口 大小为W3X W3 (W4和W5的默认值为3)；(3)找出 E 中子集 E1= {(x，y) |NC((x，y)，(x*，y*))彡 l_ftg3}，ftg3 默认值可以 为0. 3 ；在配准图上有相应的匹配点集E2 ；(4)如果集合IE1I > 10，基于集合El和E2应用M-estimator估计运动参数T = (a，Cx，CY)，否则直接跳到步骤这里Errk是第k个特征点的匹配误差；(5)重复子步骤(1)至(5)共5次，如果最终检测的运动向量非常大，跳到步骤VI， 否则输出T。超声图像拼接技术的特征点匹配算法是通过在配准图上的相应的像素点的一个更大的邻域里，搜索与活动图上的特征点相匹配的特征点，这样的搜索过程非常耗时，而应 用启发性搜索一般情况下只能找到一个局部最优解，应用迭代近邻点算法虽然可以解决局 部最优解的问题，但是搜索本身的耗时问题没有完全解且有可能搜索时间变得更长；但基 于每个像素点上的灰度信息计算一个伪运动向量可以用来补偿已经估计到的运动向量，这 样的处理可以缩小在特征点匹配过程中的搜索邻域的范围，从而解决特征点匹配的耗时问 题；如果感兴趣区域存在运动组织，需要滤除运动目标区域内的特征点，可以考虑应用相邻 两帧或多帧图像相减来检测的运动物体区域，，图像相减的结果也可以应用形态学方法进 处理，例如Top-hat算法和Bottom-hat算法，把“运动物体区域”中的关键特征点滤除。这 样的处理可以消除超声图像噪音和组织运动等因素对图像配准所造成的误差。图像配准后，可以根据得到的活动图和配准图之间的运动变换参数，将活动图g = 1拼接到当前的宽景图像Xh，完成像融合部分。实际上，该步骤是将活动图根据运动参数 T将活动图融合到当前配准图f上的一个过程可按时间顺序将活动图g拼接到现有的宽 景图Xh上，生成新的宽景图像Xi 假设当前活动图为g = Ii和配准图f = IH那么TH是 配准过程得到的配准图f和活动图g之间的刚性运动变换；特别地，活动图经过配准后的生 成图像是经过若干次迭代完成的，即图像Tj(Ii)，且Ti* = Ti · IV1. · · T0,再将有的宽景图 像Xh和配准后的图像Tj(Ii)进行融合成新的宽景图X”全景图中的任何一个像素点可 能会在序列中的若干个帧图像中都出现，因此在计算全景图中该点的值时，可以充分利用 此点在视频帧序列中所有出现的值。考虑到运动组织和噪音的存在以及成像参数的差异性 等原因的影响，可以对这些值进行简单的处理，如一下步骤中的子步骤(2)。(1)按运动变换T到活动图g映射成f* = Ti* (g)，图像g*的灰度值可以通过双线 性插值的到；(2)令fM = f*，将当前拼接图Xh与fm进行融合，如果当前像素点的既在前M-I帧 出现过，又在fM出现过，进行基于最近邻的图像融合，即
R (N)是像素点(x，y)的3 X 3领域；(3)对新生成的拼接图分别做一次Laplacian边缘增强和各项同性滤波。当探头运动过快或过慢时，都会影响视频图像相邻帧的重叠的信息量，直接影响 图像配准的速度和效果，适当地调节配准步长Δ会提高图像配准和拼接的效率如果新生 成的宽景图Xi的宽度大于图像显示窗口，则将该图像中所像素点向后平移若干个像素点， 直至图像新拼接的部分可以完全显示出来；i = i+Δ如果第i帧图像存在，则返回步骤2， 图7描述宽景图像拼接步长调整的流程图(1)如果最终检测的运动向量非常小，Δ = Δ+1 ；(2)如果最终检测的运动向量非常大如果Δ > 1，则Δ = Δ-1并且i = i-1， 返回步骤II，否则终止图像拼接，提示调整探头运动速度；(3)令i = i+Δ，如果第i帧图像存在并且拼接后图像宽度小于感兴趣区域的窗
13口宽度，则返回步骤II ；否则，左移图像若干个像素点，直至图像新拼接的部分全部落在感 兴趣区域的窗口，并输出图像。 本领域技术人员不脱离本发明的实质和精神，可以有多种变形方案实现本发明， 以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本 发明说明书及附图内容所作的等效结构变化，均包含于本发明的权利范围之内。
权利要求
一种图像拼接方法，其图像序列为I1，...，Ii，...，In，其时间间隔为Δ，包括以下步骤 A.建立二维坐标，第一帧图像设成配准图f和拼接图Xo，并设活动图g＝I2和处理步长为Δ＝1及i＝2；B.在活动图g上寻找一系列特征点F＝{(xj，yj)|j＝1，...，m}，其中(xj，yj)为第j个特征点在活动图中的位置坐标值；D.对每个特征点，估计在配准图上所对应的特征点的位{(x*j，y*j)∈f|j＝1，...，m}，其中(x*j，y*j)为第j个特征点在配准图中的位 坐标值，并求解一组最佳的运动参数；E.基于求解的运动参数，当前活动图Ii拼接到当前拼接图，再该活动图设成配准图，若拼接的图像宽度大于显示图像窗口，则图像中所有像素点向后平移至图像新拼接的部分或区域可以完全显示出来；F.i＝i+Δ如果第i图像存在，则返回步骤B；否则拼接图像左移若干个像素点，至图像新拼接的部分显示出来，并输出拼接图像，其特征在于所述D步骤中的求解方式为迭代求解。FDA0000024335640000011.tif,FDA0000024335640000012.tif,FDA0000024335640000013.tif,FDA0000024335640000014.tif,FDA0000024335640000015.tif,FDA0000024335640000016.tif,FDA0000024335640000017.tif,FDA0000024335640000018.tif,FDA0000024335640000019.tif,FDA00000243356400000110.tif
2.根据权要求1所述的一种图像拼接方法，其特征在于所述B步骤包括以下步骤 Bi.对当前活动图像计算其水平方向梯度值和垂直方向梯度值gx*gy，核函数分别为K =K =_1 0-1" 2 0-2(1 0-1 "12 1 0 0 0-1 -2-1并求解梯度幅值图像ge= |gx|+ |gy I ；B2.将得到的幅值图像ge做二值化，在
范围内线性搜索一个阈值ftg，满足以下度量fb值最小；s + t^= Σ y)' I y) I y) > Μ) Ige (x^y)>ftg^2= Σ ge(^y)i\{(^y)\ge(^y)<ftg}\ge (x^ftgS = I {(X，y) ge (x, y) > ftg} t = I {(x,y) ge(x,y) ^ ftg}B3.根据得到的阈值ftg计算二值图像gb，然后对二值图像gb进行平滑滤波，滤波窗口 大小为WlXWl，Wl默认值为5，滤波窗口内每个系数值均为1，得到的滤波图像为一个非二值 图像gF ；B4.将活动图像均分成m个不重叠的子区域，每个区域是个W2XW2，针对512x512大小的图像，W2默认值取16;B5.在每个子区域搜索出一个特征点集合Fi = ((Xjj7j) I j=l,...,m}使其满足该点的 在图像&(x，y)上的灰度值最大，并且&(x，y) > Th，阈值Th默认值为5。
3.根据权利要求1所述的一种图像拼接方法，其特征在于所述B步骤和D步骤之间包 括以下C步骤C.基于特征点集F，迭代找出初始的最优的子集f C f，基于E估计的运动参数 T0 = (a。,Cf,CD为在一个有效的特征点子集上的最佳匹配效果，其中α。为运动变 换中的旋转角度，Cf和Q7分别是在轴χ方向和γ轴方向的位移参数。
4.根据权利要求3所述的一种图像拼接方法，其特征在于所述C步骤包括以下步骤 Cl.估计初始迭代参数，T0= ( 。，C0X,C07 ):如果< ε =0. OOOLT0 = T^1,E = F，，β和γ分别为前两帧运动旋转的，否则，执行以下步骤；C2.将前特征值排在前59位的特征点作为子集，在这一子集中随机选择特征点为特征 集合F1;C3.对Fl其中的每一像素点(X，y)，将其旋转为β角度以后，在配准图以相应的点 为中心的一个区域中搜索和其匹配的、并使匹配值SAD值最小的像素点，匹配的模板窗口 大小为 w3Xw3，W3 默认值为 5，搜索区域为[x-|Prev_Cx|, x+2 | Prev_Cx | ] X [y-1 Prev_CY| , y+|Prev_CY ]运里探头的运动方向为从左向右，prev_Cx和Prev_CY是前一帧的最终运动 参数估计值；C4.对&中的每个像素点，在配准图f中都找到相应的匹配点，然后应用最小二乘法估 计参数A= ( C^,Ctr )「X*、'COS(QTji) -Sin(QTji)^「X、_L(Γχ\v sin^) Cos(CCr)jTCY V^R JC5.在配准图f中找到相应的特征点集F* = TK(F)，以F中的每个像素点(X，y)为 中心的模板和以F*中对应的映射像素点(χ*，y*)为中心的模板之间的Normalized Correlation的值NC，模板大小为w3Xw3 NC Σ Μ-^-b)a和b为像素点在活动图g上和配准图f上的灰度值；C6.根据得到NC的值，，将特征点集合F分成两组A= {(A，y) |NC((x, y)，(x*，y*)) > ftg2}和B= {(χ, y) INC ((χ, y), (χ*，y*)) ^ ftgj , ftg2 为一阈值，默认为 0. 7 ；如果 Al/|F > 0. 5，T0 = TE, E = A，进入步骤 C7 ；否则重复 C2-C5 ； C7.输出E和T。。
5.根据权利要求1所述的一种图像拼接方法，其特征在于所述D步骤包括以下步骤 Dl.令T = Ttj，将E映射到配准图f上得到新的映射点集E* = T(E)；D2.对E中的每一像素点(x，y)在配准图中相应的匹配点(x*，y*) = T(x,y) e Ε*执 行基于光流的运动补偿χΜ = χ氺-g“(x，y)/gx(x，y)； D3.在以(xM，yM)中心的子区域，[xM_w4，xM，+2Xw4，]X[yM-w5，yM+w5]，搜索和(x, y)更 为匹配的像素点(x2，y2)使匹配的Normalized Correlation的值最小，模板匹配的窗口大 小为w3Xw3，W4和W5的默认值为3 ；D4.找出E中子集E1 = {(x, y) NC((χ, y), (x*，y*)) ( l_ftg3}，代而默认值可以为 0. 3 ；在配准图上有相应的匹配点集E2 ；D5.如果集合IE11 > 10，基于集合E1和E2应用Mstimator估计运动参数T = (a ,Cx, Cy)，否则直接跳到步骤D6，这里Errk是第k个特征点的匹配误差；D6.重复子步骤Dl至D5共5次，如果最终检测的运动向量非常大，跳到步骤D1，否则 输出T。
6.根据权利要求1所述的一种图像拼接方法，其特征在于所述E步骤包括以下步骤 El.按运动变换IV1，把活动图g映射成f* = Ti* (g)，图像f*的灰度值通过双线性插值得到；E2.令fm = f*，将当前拼接图Xp1与fM进行融合，如当前像素点在前M-I帧出现过，又 在fM出现过，进行基于最近邻的图像融合，即M R(N)是像素点(χ, y)的3X3领域；E3.对新生成的拼接图分别做一次Laplacian边缘增强和各项同性滤波。
7.根据权利要求1所述的一种图像拼接方法，其特征在于所述F步骤包括以下步骤 Fl.如果最终检测的运动向量非常小， ；F2.如果最终检测的运动向量非常大如果Δ >1，则Δ = Δ-1并且i = i-l，返回 步骤B，否则终止图像拼接，提示调整探头运动速度；F3.令 如果第i帧图像存且拼接后图像宽度小于感兴趣区域的窗口宽度，则 返回步骤B;否则，左移图像若干个像素点，直至图像新拼接的部分全部落在感兴趣区域的 窗口，并输出图像。
全文摘要
本发明提供一种图像拼接方法，具体是一种二维宽景超声图像拼接方法，应用于实时获取或已存储的超声视频图像序列，利用相邻两帧图像的高度相关性，即配准图和活动图，检测活动图像中关键特征点，估计活动图和配准图之间的运动向量，用于完成相邻图像的特征点之间的运动匹配和全局运动参数估计，即得到一个旋转角度和位移量，进而完成两幅图像的配准过程；根据得到的运动参数将当前图像映射到配准图上或者宽景图像的坐标系，进而实现已有的宽景图和配准后的图像之间的融合。如果宽景图像超过当前显示设备窗口大小，将图像整体向后移动若干个像素点，直至宽景图像中新拼接的部分完全显示出来；否则，处理下一幅图像。
文档编号G06T7/00GK101901481SQ201010250868
公开日2010年12月1日 申请日期2010年8月11日 优先权日2010年8月11日
发明者张羽, 徐漫涛, 潘梁亮, 陆汇海 申请人:深圳市蓝韵实业有限公司