专利名称：基于运动目标轨迹的动态图像配准方法
技术领域：
本发明涉及的是一种图像处理技术领域的配准方法，具体是一种基于运动目标轨 迹的动态图像配准方法。
背景技术：
图像配准，即对在不同时间、用不同探测器、从不同视角获得的同一个场景的单幅 图象或多帧图像，利用图像中公有的景物进行匹配的过程。对单幅图像的匹配称为静态图 像配准，对连续多帧图像的匹配，称为动态图像配准。静态图像配准需要解决的问题是两幅图像在空间域上的对应关系，主要有基于灰 度的配准方法(如基于互相关、互信息的图像配准方法)、基于频域的配准方法(如基于快 速傅立叶变换、小波变换、金字塔变换的图像配准方法)、基于特征(这里的特征指边缘、角 点、轮廓或者面目标等)的配准方法。然而在实际应用中，有时需要同时考虑两幅图像在时 间域上的对应关系，这反映为动态图像配准问题。与静态图像配准相比，动态图像配准不但 需要求解两个或多个图像序列之间的空间变换关系，还要求解不同序列的两帧图像在时间 上的对应关系。研究动态图像配准方法可解决单幅图像配准中出现的空间歧义问题，处理 许多单幅图像配准不能或不易处理的情况。动态图像配准增加了图像序列间动态方面的有 效信息，消除传感器类型不同带来的影响，可以实现有效的配准。经对现有技术文献的检索发现，专利申请号200810059124. 1，名称“基于快 速图像配准的视角变化条件下视频前景提取方法”，该技术采用流形学习的方法建立背 景模型，是动态图像配准的预处理部分，未涉及动态图像目标描述和匹配。专利申请号 200910052453. 8，名称“一种基于特征点的图像配准方法”，该技术采用链码描述特征点进 行静态图像的配准，未涉及动态图像配准。动态图像配准是对二维序列图像配准，专利申请 号=200710119046. 5，名称“自动的深度图像配准方法”，该技术是对三维图像采用ICP方 法进行点配准。专利申请号=200780010175. 9，名称“图像配准方法”，该技术属动态图像 配准范畴，采用基于灰度的配准方法对对应帧进行匹配，未考虑时间域的配准。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于运动目标轨迹的动态图 像配准方法。本发明采用运动目标检测、特征点提取、轨迹描述和轨迹匹配策略等方法，对 具有运动目标的动态图像实现时间和空间配准，避免了采用穷举搜索法获取时间域的对应 关系，运算量小且配准精度较高。本发明是通过以下技术方案实现的本发明包括如下步骤1、帧频变换预处理。NTSC视频是以30fps运行，PAL视频以25fps运行。如果待 配准的图像序列具有不同的帧频时，图像序列必须首先进行帧频变换预处理，使两图象序 列具有同样的帧频。帧频变换可采用线性插值法或重取样法。
2、运动目标提取。针对背景固定的情况，先采用累加平均图像作为初始背景，根据 灰度均值和方差进行背景更新，获得每帧对应的背景图像，使用背景剪除得到每帧图像上 的运动目标。针对背景变化的情况，采用图像差分法获得每帧的运动目标。由于有噪声的 影响，对运动目标进行腐蚀和膨胀运算，去掉孤立噪声点，获得目标的连通区域。3、轨迹生成。提取目标区域的质心作为特征点，特征点采用三维坐标表征(空间 两维和时间维)。通过质心位置相邻性和目标区域大小的联合限制条件，进行前后帧间的目 标质心关联，生成运动目标的轨迹。当目标被遮挡时，会出现目标区域不能提取、目标区域 大小异常变化或者质心位置异常变化的情况，当目标再次出现时，认为是新的目标，并生成 新的轨迹。当多个目标重叠后分开时，被重叠的目标认为是被遮挡，作为新的目标生成新的 轨迹，重叠目标根据质心位置相邻性和目标区域大小的联合限制条件继续进行目标关联， 生成运动目标的轨迹。4、轨迹描述和匹配。为了对轨迹进行匹配，需要对轨迹进行描述。对每条轨迹采 用改进的八邻域链码表示方法，并对链码进行加权滤波操作，平滑后的链码用来描述轨迹。 定义链码相似度度量，获得匹配的轨迹段。匹配轨迹段上的对应点即为时间和空间上的同 名特征点。5、匹配参数获取。针对同名特征点，建立时间和空间域的变换，通过最小二乘法计 算时间维的偏差参数和空间维的尺度、旋转、平移变量。6、对应帧间配准精度检测和微调整处理。由于平台和相机的运动、以及目标检测 时存在的误差，获得的整体空域配准参数对某些帧的配准精度不理想。在对应帧上手工选 取对应点，采用均方误差估计配准精度。配准精度应优于1个像元。如果某对应帧图像精度 高于1个像元，对旋转和平移变量在小范围内均勻调整，使配准精度优于1个像元的旋转、 平移变量为该对应帧调整后的配准参数。本发明对待配准的动态图像序列根据获取的帧频进行线性插值，使两序列有相同 的帧频。针对背景固定和变化两种情况进行背景检测和运动目标提取。由于有噪声的影响， 对提取的目标区域需要进行分析，去掉噪声点，获得目标的连通区域。对目标区域进行特征 点提取和前后帧间关联，生成运动目标的轨迹。针对目标被遮挡后再次出现时，认为是新的 目标，针对目标重叠后再次分开时，根据运动方向进行目标关联。采用链码描述目标轨迹并 进行匹配，可得到匹配的轨迹对。根据轨迹对上的对应匹配点，计算待配准的动态序列在时 间和空间上的匹配参数。对对应帧的配准精度进行检测，以及微调整获得最终的配准参数。本发明利用图像序列中运动目标的轨迹实现动态图像时间和空间上的配准，即得 到时间域上对应帧间的偏差，还得到空间域上对应帧间的尺度、旋转和平移变化量。本发明 可同时获取时间和空间的配准参数，避免采用穷举搜索法获取时间域的对应关系，运算量 小且配准精度较高。
图1为基于轨迹的动态图像配准流程图。图2为本发明实施例中采用的部分图像序列；其中图2(a)为基准图像序列，图2(b)为待配准的图像序列。图3为运动目标轨迹其中图3(a)为基准图像序列的运动目标轨迹图，图3(b)为待配准的图像序列运 动目标轨迹图。图4为轨迹匹配图；其中图4(a)为基准图像序列的匹配轨迹图，图4(b)为待配准的图像序列匹配轨 迹图。图5为动态图像配准结果。
具体实施例方式以下结合附图对本发明的实施例作详细说明以下实施例在以本发明技术方案为 前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施 例。实施例如图1所示，实施例首先输入基准的动态图像和待配图像，通过帧频变换实现时 间维具有相同的分辨率，采用背景剪除法或者图像差分法进行运动目标提取，通过位置相 邻性和面积门限生成运动目标的轨迹，采用改进的链码方法进行轨迹描述，定义相似性度 量进行轨迹匹配获得匹配参数，最后采用均方误差检测对应帧间配准精度，进行微调整处 理后获得最终的匹配参数。本实施例包括如下步骤1、帧频变换预处理输入基准动态图像和待配动态图像，因为是NTSC或PAL制式的动态图像数据，先 将视频数据分解为帧图像序列。NTSC制式的序列是以30fps获取，PAL制式的序列以25fps 获取，如果输入数据制式不一样，即待配准的图像序列具有不同的帧频时，需对待配准的图 像序列进行帧频变换预处理，对低频的图像序列，使用线性插值法，获得新的图像序列，使 两图象序列具有相同的帧频，即基准动态图像和待配动态图像在时间维上具有相同的分辨 率。2、运动目标提取设基准图像序列和待配图像序列分别为fikyd) *f2(x，y，t)。对&0^，7，0 *f2(x，y，t)分别进行运动目标提取。针对背景固定的情况，先采用累加平均图像B(x，y) 作为初始背景，根据Y. Yang (1992)的方法进行背景更新，获得每帧对应的背景图像Bt (x， y)，Bf (X，y，t)定义为差分二值图像
权利要求
一种基于运动目标轨迹的动态图像配准方法，其特征在于，包括如下步骤步骤1、帧频变换预处理；步骤2、运动目标提取；步骤3、轨迹生成；步骤4、轨迹描述；步骤5、轨迹匹配；步骤6、匹配参数获取；步骤7、对应帧间配准精度检测和微调整处理。
2.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，步骤1 中所述的预处理，是指输入基准动态图像和待配动态图像，先将视频数据分解为帧图像序 列，即待配准的图像序列具有不同的帧频时，需对待配准的图像序列进行帧频变换预处理， 对低频的图像序列，使用线性插值法，获得新的图像序列，使两图象序列具有相同的帧频， 即基准动态图像和待配动态图像在时间维上具有相同的分辨率。
3.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，步骤2中 所述的运动目标提取，是指设基准图像序列和待配图像序列分别为fi(X，y，t)和f2(x，y， t)对 ^χ,γ,υ和f2(x，y，t)分别进行运动目标提取；针对背景固定的情况，先采用累加 平均图像B(x，y)作为初始背景，根据Y. Yang(1992)的方法进行背景更新，获得每帧对应的 背景图像Bt (x, y)，Bf (X，y，t)定义为差分二值图像[Oothers对Bf(x，y，t)进行腐蚀和膨胀运算，去掉孤立噪声点，像素值为1的具有连通区域的为 运动目标区域，针对背景变化的情况，采用图像差分法获得每帧的运动目标。
4.根据权利要求3所述的基于运动目标轨迹的动态图像配准方法，其特征是，所述的 图像差分法获为对Bf(x，y，t)进行腐蚀和膨胀运算，去掉孤立噪声点，像素值为1的具有连 通区域的为运动目标区域，计算t时刻第k个运动目标区域包含的像素数记为区域面积Sk, t，计算t时刻第k个运动目标区域的质心记为Ck (X，y，t)，对所有时刻的运动目标区域计算 其面积和质心，采用质心作为运动目标的特征点，面积作为运动目标的属性。
5.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，步骤3中 所述的轨迹生成假设Ckl (x, y, t)、Ck2 (χ, y, t+1)分别是t时刻和t+1时刻提取到的运动目标质心，其 面积分别是Skl, t Sk2, t+1，质心坐标分别是(xkl，ykl)和(xk2，yk2)，时间坐标分别是t和t+1，对所有时刻的质心进行关联，得到运动目标的轨迹，长度为η的第k个运动目标轨迹标 记为Trajk= {Ck(x, y, t), Ck(χ, y, t+1), ·.., Ck(x, y, t+n_l)}。
6.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，所述的 运动目标轨迹标记，其新目标的判断方法如下如果满足
7.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，步骤4 中所述的轨迹描述，对于轨迹的描述采用H. Li (1995)提出的改进8邻域链码表示的方法如 下假定一条长度为η的轨迹Traj的8邻域链码表示为Ia1, a2, a3，. . .，an}，改进后的链 码表示先对原8邻点链码Ia1, a2, a3，. . .，an}进行如下变换(其中mod表示求模操作)得 至Ij {b” b2, b3, . . . , bj
8.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，步骤5中 所述的轨迹匹配，其方法如下假设轨迹TrajA和TrajB分别是从基准序列和待配序列选取的待配轨迹，其改进链码表示分别为k,和力3，...,^vbI，从两个轨迹上分别任取长度均为 n(3^n^min(NA,NB))的轨迹段α和β，其中α起始于轨迹Tra jA的第k个点，β起始于轨迹TrajB的第1个点，则α和β之间的匹配度定义为
9.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，步骤6中 所述的匹配参数获取假定同名特征点{(/^ )已:A =(n，U仏=O2nUJl,建立时间和空间域的变换
10.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，步骤7 中所述的配准精度检测和微调整处理，是指假定f\(x，y，ti)和f2(x，y，t2)是配准的对应帧图像，其配准参数是G = (s，θ，dx, dy, dt)；先从对应帧上手工选取N对若干同名点对，选取N大于6，点对图像上分布较均勻；设为{札仏):凡=(4，)0€/；，仏=(^)€/2^,采用均方误差RMS检测配准精度，RMS 定义为
全文摘要
一种图像处理技术领域的基于运动目标轨迹的动态图像配准方法。包括如下步骤步骤1、帧频变换预处理；步骤2、运动目标提取；步骤3、轨迹生成；步骤4、轨迹描述；步骤5、轨迹匹配；步骤6、匹配参数获取；步骤7、对应帧间配准精度检测和微调整处理。本发明可同时获取时间和空间的配准参数，避免采用穷举搜索法获取时间域的对应关系，运算量小且配准精度较高。
文档编号G06T7/00GK101937565SQ201010284808
公开日2011年1月5日 申请日期2010年9月16日 优先权日2010年9月16日
发明者庹红娅, 张庭厚, 敬忠良, 李元祥 申请人:上海交通大学