一种用于动平台移动目标侦测中的图像配准方法
【专利摘要】公开了一种用于动平台移动目标侦测中的图像配准方法，包括：S1、根据先验信息获取图像整体在一帧时间内的水平偏移量估计值Δx、垂直偏移量估计值Δy；S2、根据灰度投影算法计算当前帧图像相对参考帧图像的行偏移量Δxn、列偏移量Δyn；S3、根据Δxn、Δyn、Δx、Δy确定当前帧图像的水平配准值δx、垂直配准值δy，以对当前帧图像进行配准，获取第一配准图像；S4、根据sift算法计算第一配准图像相对参考帧图像的旋转偏移量Δθ，并以Δθ作为旋转配准值对第一配准图像进行配准，获取第二配准图像。本发明提高了配准算法的实时性和精度，提高了移动目标的检测概率，降低了虚警率。
【专利说明】
一种用于动平台移动目标侦测中的图像配准方法
技术领域
[0001] 本发明涉及一种图像处理领域，尤其涉及一种用于动平台移动目标侦测中的图像 配准方法。
【背景技术】
[0002] 移动侦测，又称运动检测，常用于无人值守监控录像和自动报警。通常，根据探测 平台的运动状态可将移动侦测技术分为定平台移动目标侦测、动平台移动目标侦测。
[0003] 在现有技术中，定平台移动目标侦测技术已经较为成熟。然而，在动平台移动目标 侦测中，由于探测器和目标均处于运动状态，因此移动目标侦测的虚警率很高。如何提高动 平台移动目标的检测概率、降低虚警率，是动平台移动目标侦测技术亟待解决的问题。
【发明内容】
[0004] 本发明的目的在于提出一种用于动平台移动目标侦测中的图像配准方法，以提高 配准算法的实时性和精度，进而提高移动目标的检测概率，降低虚警率。
[0005] 根据本发明的用于动平台移动目标侦测中的图像配准方法，包括以下步骤：
[0006] S1、根据先验信息获取图像整体在一帧时间内的运动矢量估计值;所述运动矢量 估计值包括:水平偏移量估计值A X、垂直偏移量估计值A y;
[0007] S2、根据灰度投影算法计算当前帧图像相对参考帧图像的行偏移量Δχη、列偏移 量 Ayn;
[0008] S3、根据Δ χη、Δ yn、Δ X、Δ y确定当前帧图像的水平配准值δχ、垂直配准值5y，以对 当前帧图像进行配准，获取第一配准图像；
[0009] 其中，当 Δ χη、Δ yn满足 Δ xn<b Δ X且 Δ yn<b Δ y时，δχ、δγ满足：
[0010] δχ= Δ χη, 5y= Δ yn；
[0011] S4、根据sift算法计算第一配准图像相对参考帧图像的旋转配准值△ θ，以对第一 配准图像进行配准，获取第二配准图像；
[0012] 其中，参考帧图像为第η-1帧图像，当前帧图像为第η帧图像，η为大于1的整数;b为 预先设置的常数，且b>l。
[0013] 优选的，在步骤S1中，Δ X、Δ y的计算公式为：
[0016]式中，vx是转台水平运动角速度，f是图像的帧频率，α是探测器的方位视场角，w是 图像的宽度;vy是转台垂直运动角速度，β是探测器的俯仰视场角，h是图像的高度。
[0017] 优选的，在步骤S3中，当Δ χη 2 b Δ χ或者Δ yn 2 b Δ y时，δχ与5y满足：
[0020] 式中，Δ χη-m、…、Δ χη-2、Δ χη-1分别为第n_m、…、n_2、n_l帧图像的行偏移量，Δ yn-m、…、Δ yn-2、Δ yn-1 分别为第n_m、…、η-2、η_1 帧图像的列偏移量，Δ χη-jtH·· Δ χη-2+ Δ χη-1 为在当前帧图像之前的前m帧图像的行偏移量之和，△ yn-m+…△ yn-2+△ 在当前帧图像 之前的前m帧图像的列偏移量之和。
[0021] 优选的，b = 2。
[0022] 优选的，m = 5。
[0023] 优选的，步骤S2具体包括:S21、计算当前帧图像在每行的灰度投影值r〇Wn(i)、每 列的灰度投影值Column n(j)，以获取当前帧图像的行、列灰度投影曲线，
[0025]式中，r〇Wk⑴为第k帧图像在第i行上的灰度投影值，Co lumnk (j)为第k帧图像在第 j列上的灰度投影值，pic(i，j)为第(i，j)个像素点的灰度值，q为一帧图像的总行数，p为一 帧图像的总列数；
[0026] S22、对当前帧图像、参考帧图像的行、列灰度投影曲线作相关运算，
[0029] 式中，C(u)为行上的相关运算值，C(v)为列上的相关运算值，N为图像在行上的抖 动范围，Μ为图像在列上的抖动范围，1 < u < 2N+1，1 < v < 2N+1;
[0030] S23、根据C(u)、C(v)取最小值时对应的自变量计算行偏移量Δ Χη、列偏移量Δ yn，
[0031] Δ Xn = Umin(C(u))+N-l ;
[0032] Δ yn=Vmin(c(v)+M-l ；
[0033] 式中，umin(c(u))为C(u)取最小值时对应的自变量，Vmin(c(v))为C(v)取最小值时对应 的自变量。
[0034]优选的，在步骤S22中，N、M的取值满足：
[0035] N= int(0. lw)；
[0036] M= int(0. lh)；
[0037] 式中，int〇表示对函数取整。
[0038] 本发明的技术方案中，首先通过先验信息对图像整体的运动矢量进行估计，获取 图像在一帧时间内的水平偏移量估计值A X、垂直偏移量估计值△ y;然后根据灰度投影算 法计算图像的行偏移量Δ χη、列偏移量Δ yn;并根据Δ χη、Δ yn与Δ X、Δ y的比较结果确定水 平配准值δχ、垂直配准值δγ，以对图像进行配准，获取第一配准图像;最后根据sift算法计 算第一配准图像相对参考帧图像的旋转配准值ΔΘ，以对第一配准图像进行配准，获取第二 配准图像。本发明提高了配准算法的实时性和精度，提高了移动目标的检测概率，降低了虚 警率。
【附图说明】
[0039] 通过以下参照附图而提供的【具体实施方式】部分，本发明的特征和优点将变得更加 容易理解，在附图中：
[0040] 图1是现有技术中的灰度投影算法的流程示意图；
[0041 ]图2是本发明实施例中的图像配准方法的流程示意图；
[0042]图3是本发明实施例中的sift算法中的特征描述符示意图。
【具体实施方式】
[0043] 下面参照附图对本发明的示例性实施方式进行详细描述。对示例性实施方式的描 述仅仅是出于示范目的，而绝不是对本发明及其应用或用法的限制。
[0044] 在动平台情况下，由于目标和探测器具有相对运动，因此采用传统的移动目标侦 测算法虚警率极高。为了提高检测概率、降低虚警率，需要对图像进行配准。在现有技术中， 图像配准算法主要包括灰度投影算法、sift算法。图2为现有技术中的灰度投影算法的流程 示意图。如图2所示，现有技术中的灰度投影算法主要包括以下步骤:灰度投影、相关运算、 运动估计、运动补偿。虽然灰度投影算法比较简单，但是其只适用于图像平移情况，无法计 算图像旋转量，同时灰度投影算法的抗噪声能力较差，无法实现像素级匹配。因此，当有外 部噪声干扰时，比如图像模糊或者图像中有较多运动目标等等，现有的灰度投影算法的配 准精度较差，甚至很可能出现配准错误。sift算法主要包括以下步骤：图像特征检测、图像 特征描述和图像匹配。sift算法具有旋转、尺度不变性，能计算图像旋转量，而且能实现像 素级匹配，但是其计算量较大、复杂耗时、实时性差。
[0045] 基于现有图像配准算法的缺陷，本发明提供了一种新的图像配准方法，将灰度投 影算法与sift算法结合起来进行图像配准，并对灰度投影算法进行了改进，以提高图像配 准的精度和实时性，进而满足快速搜索中对移动目标进行侦测报警的需求。本发明的主要 思路是，首先通过先验信息对图像整体的运动矢量进行估计;然后根据灰度投影算法计算 当前帧图像相对参考帧图像在行、列上的偏移量;并根据图像整体运动矢量估计值对灰度 投影算法的计算结果进行校验，以确定图像在水平、垂直方向上的配准值，进而获取第一配 准图像;再根据sift算法计算第一配准图像相对参考帧图像的旋转配准值，以获取第二配 准图像。
[0046] 下面结合附图对本发明实施例中的技术方案进行详细说明。
[0047] 在本发明实施例中，动平台具体为一安装有探测器的转台。根据伺服系统的特性 可知，转台在搜索过程中以水平运动和垂直运动为主，同时还伴有轻微的旋转。因此，在对 探测器拍摄的图像进行配准时，我们主要对图像的水平偏移量、垂直偏移量以及旋转量进 行补偿。图1为本发明实施例中的用于动平台移动目标侦测中的图像配准方法。如图1所示， 所述图像配准方法包括以下步骤：
[0048] S1、根据先验信息获取图像整体在一帧时间内的运动矢量估计值;所述运动矢量 估计值包括:水平偏移量估计值A X、垂直偏移量估计值A y。
[0049] 在步骤S1中，我们需要首先分析先验信息，以实时获得探测器的视场角度、图像分 辨率大小、转台运动角速度以及帧频率等信息，然后再基于估计图像整体运动矢量的公式 获取水平偏移量估计值A X、垂直偏移量估计值A y。具体的，A X、A y的计算公式为：
[0052]在以上计算公式中，vx是转台水平运动角速度，f是图像的帧频率，α是探测器的方 位视场角，w是图像的宽度;vy是转台垂直运动角速度，β是探测器的俯仰视场角，h是图像的 高度。
[0053] S2、根据灰度投影算法计算当前帧图像相对参考帧图像的行偏移量Δχη、列偏移 量A yn。其中，当前帧图像为第η帧图像，参考帧图像为第η-1帧图像，η为大于1的整数。
[0054] 步骤S2主要由三个步骤S21、S22、S23构成。其中，步骤S21为:计算当前帧图像在每 行的灰度投影值r〇Wn(i)、每列的灰度投影值Columnn(j)，以获取当前帧图像的行、列灰度投 影曲线。具体的，row n(i)、Columnn( j)的计算公式为：
[005?]式中，rowk⑴为第神贞图像在第i行上的灰度投影值，Columnk( j)为第神贞图像在第 j列上的灰度投影值，pic(i，j)为第(i，j)个像素点的灰度值，q为一帧图像的总行数，p为一 帧图像的总列数。
[0057]步骤S22为:对当前帧图像及参考帧图像的行、列灰度投影曲线作相关运算。具体 的，相关运算公式为：
[0060] 式中，C(u)为在行上的相关运算值，C(v)为在列上的相关运算值，N为图像在行上 的抖动范围，Μ为图像在列上的抖动范围，1 < u < 2N+1，1 < v < 2N+1。较佳的，N、M的取值可以 根据图像的宽度w和高度h确定。比如，在具体实施时，可根据下式确定N、M的取值：
[0061] N= int(0. lw)；
[0062] M=int(0.1h);
[0063] 式中，int〇表示对函数取整。
[0064] 步骤S23为:根据C(u)、C(v)取最小值时对应的自变量计算行偏移量Δχη、列偏移 量A yn。具体的，△ χη、Δ yn的计算公式为：
[0065] Δ Xn = Umin(C(u))+N-l ;
[0066] Δ yn=Vmin(c(v)+M-l ；
[0067] 式中，umin(c(u))为C(u)取最小值时对应的自变量，Vmin(c(v))为C(v)取最小值时对应 的自变量。
[0068] S3、根据Δ χη、Δ yn、Δ X、Δ y确定当前帧图像的水平配准值δχ、垂直配准值5y，以对 当前帧图像进行配准，获取第一配准图像。
[0069] 具体的，在步骤S3中，将步骤S2获得的Δ Χη、Δ yn与步骤S1获得的Δ X、Δ y进行比 较，并根据比较结果确定当前帧图像的水平配准值Sx、垂直配准值δγ。其中，当△ Xn、△ ^满 足 Δ xn<b Δ X且 Δ yn<b Δ y时，δχ、δγ的取值为：δχ= Δ χη，δγ= Δ yn。当 Δ χη 2 b Δ X或者 Δ yn 2 b Ay时，δχ与的取值为：
[0072] 式中，Δ χη-m、…、Δ χη-2、Δ χη-1分别为第n_m、…、n_2、n_l帧图像的行偏移量，Δ yn-m、…、Δ yn-2、Δ yn-1 分别为第n_m、…、η-2、η_1 帧图像的列偏移量，Δ χη-jtH·· Δ χη-2+ Δ χη-1 为在当前帧图像之前的前m帧图像的行偏移量之和，△ yn-m+…△ yn-2+△ 在当前帧图像 之前的前m帧图像的列偏移量之和。
[0073] 也就是说，在步骤S3中，我们根据步骤S1中获取的图像运动矢量估计值对步骤S2 中灰度投影算法的计算结果进行剔伪。当灰度投影算法的计算结果小于b倍的图像的运动 矢量估计值时，我们认为灰度投影算法的计算结果可取，并将其作为当前帧图像的配准值。 当灰度投影算法的计算结果大于b倍的图像的运动矢量估计值时，我们认为灰度投影算法 的计算结果出错，因此采用前m帧的计算结果的平均值作为当前帧图像的配准值。本发明实 施例通过采用图像运动矢量估计值对灰度投影的计算结果进行剔伪，提高了灰度投影算法 的抗噪声能力，进而提高了图像的配准精度。
[0074]在步骤S3中，b为预先设置的常数，并且b>l。较佳的，常数b的取值满足:b = 2,常 数m的取值满足:m=5。在具体实施时，本领域技术人员可根据需要确定常数b、常数m的取 值。比如，常数b取3,常数m取7。只要不影响本发明的实施，无论常数b、常数m取何值，都在本 发明的保护范围内。
[0075] S4、根据sift算法计算第一配准图像相对参考帧图像的旋转配准值ΔΘ，以对第一 配准图像进行配准，获取第二配准图像。
[0076]在步骤S4中，我们将第一配准图像的水平、垂直方向作为sift算法的主方向，然后 再利用sift算法对第一配准图像进行精配准，从而大大降低了 sift算法的计算量。
[0077]图3示出了 sift算法中特征点描述向量的计算方法。从图3中的左侧分图可见， sift算法中的特征点描述向量包括16个子区域，每个子区域包括一个8维描述向量，将其首 尾相连从而形成一个128维的特征描述向量。可见，单纯采用sift算法进行图像配准的计算 量非常大。本发明实施例通过将步骤S3中获得的运动配准值作为sift算法的主方向，将128 维特征向量减少到图3右侧分图所示的32维特征向量，从而在保证配准精度的前提下，将 Sift算法的耗时降低到原来的1/16,从而提高了图像配准的实时性。鉴于如何采用sift算 法进行精配准的技术特征属于本领域的公知常识，因此本申请对此不再赘述。
[0078] 根据本发明实施例的图像配准方法得到第二配准图像后，可通过对第二配准图像 和参考帧图像进行灰度差分、阈值分割、区域标记和轨迹关联处理，以实现对移动目标的侦 测报警。通过在移动侦测技术中采用本发明实施例的图像配准方法，提高了移动目标的检 测概率、降低了虚警率。
[0079] 虽然参照示例性实施方式对本发明进行了描述，但是应当理解，本发明并不局限 于文中详细描述和示出的【具体实施方式】，在不偏离权利要求书所限定的范围的情况下，本 领域技术人员可以对所述示例性实施方式做出各种改变。
【主权项】
1. 一种用于动平台移动目标侦测中的图像配准方法，其特征在于，所述方法包括： 51、 根据先验信息获取图像整体在一帧时间内的运动矢量估计值;所述运动矢量估计 值包括:水平偏移量估计值A X、垂直偏移量估计值Δ y ; 52、 根据灰度投影算法计算当前帧图像相对参考帧图像的行偏移量△ χη、列偏移量Δ yn； 53、 根据Δ χη、Δ yn、Δ X、Δ y确定当前帧图像的水平配准值δχ、垂直配准值5y，以对当前 帧图像进行配准，获取第一配准图像； 其中，当 Δ χη、Δ yn满足 Δ Xn〈b Δ X且 Δ yn〈b Δ y时，δχ、δγ满足： δχ= Δ xn,5y= Δ yn； 54、 根据Sift算法计算第一配准图像相对参考帧图像的旋转配准值△ θ，以对第一配准 图像进行配准，获取第二配准图像； 其中，参考帧图像为第η-1帧图像，当前帧图像为第η帧图像，η为大于1的整数;b为预先 设置的常数，且b>l。2. 如权利要求1所述的方法，其特征在于，在步骤S1中，△ X、△ y的计算公式为： p式中，vx是转台水平运动角速度，f是图像的帧频率，α是探测器的方位视场角，w是图像 的宽度;vy是转台垂直运动角速度，β是探测器的俯仰视场角，h是图像的高度。3. 如权利要求1或2所述的方法，其特征在于，在步骤S3中，当Δ Xn 2 b Δ X或者Δ yn 2 b Δ y时，δχ与满足：式中，Δ χη-m、. . .、Δ χη-2、Δ χη-1分别为第n_m、. . .、n-2、n_l帧图像的行偏移量，Δ yn-m、· · ·、Δ yn-2、Δ yn-丨分别为第n_m、· · ·、η-2、η_1 帧图像的列偏移量，Δ χη-m+. · · Δ χη-2+ Δ Χη-1为在当前帧图像之前的前m帧图像的行偏移量之和，Ayn_m+. . . 为在当前帧 图像之前的前m帧图像的列偏移量之和。4. 如权利要求3所述的方法，其特征在于，b = 2。5. 如权利要求4所述的方法，其特征在于，m=5。6. 如权利要求5所述的方法，其特征在于，步骤S2具体包括： S21、计算当前帧图像在每行的灰度投影值rown(i)、每列的灰度投影值Columnn( j)，以 获取当前帧图像的行、列灰度投影曲线，式中，rowk (i)为第k帧图像在第i行上的灰度投影值，Co lumnk( j)为第k帧图像在第j列 上的灰度投影值，pic(i，j)为第（i，j)个像素点的灰度值，q为一帧图像的总行数，p为一帧 图像的总列数； 522、 对当前帧图像、参考帧图像的行、列灰度投影曲线作相关运算， y=i式中，C(u)为行上的相关运算值，C(v)为列上的相关运算值，N为图像在行上的抖动范 围，Μ为图像在列上的抖动范围，1 < u < 2N+1，1 < v < 2N+1; 523、 根据C(u)、C(v)取最小值时对应的自变量计算行偏移量△ χη、列偏移量Δ yn， A Xn = Umin(C(u))+N-l ; A yn = Vmin(C(v)+M-l ; 式中，umin(c(u))为C(u)取最小值时对应的自变量，Vmin(c(v))为C(v)取最小值时对应的自 变量。7.如权利要求6所述的方法，其特征在于，在步骤S22中，N、M的取值满足： N= int(0. lw)； M= int(0 · lh); 式中，int〇表示对函数取整。
【文档编号】G06T3/00GK105869108SQ201610169110
【公开日】2016年8月17日
【申请日】2016年3月23日
【发明人】张挺, 李海涛, 李香祯, 石志强, 朱敏
【申请人】北京环境特性研究所