一种基于光流与帧间匹配的运动目标检测方法与流程

本发明涉及一种基于光流与帧间匹配的运动目标检测方法，适用于高清图像复杂场景下运动目标检测领域。

背景技术：

目标检测技术是数字图像处理与人工智能领域一项重要技术，其致力于从复杂的背景中分割出候选目标，以便进行进一步的跟踪、识别等处理。目标检测就是要在背景中定位出感兴趣目标的位置及尺寸。针对目标运动情况，可分为静目标检测与动目标检测两大类。

动目标检测的常用方法有：帧间差分、背景差分及运动分割等。帧间差分利用帧间的变化实现检测，常用方法有两帧或三帧差分方法。背景差分法使用背景图或通过模型重构背景，与当前帧差分得到运动目标区域，常用方法为混合高斯模型背景建模方法。运动分割方法主要使用光流提取运动矢量，并进行分割。面向动态背景的方法主要是先匹配后差分的方法。通过匹配得到背景间的运动关系，通常使用相位相关方法或特征匹配的算法来实现。

但上述已有方法存在的缺点主要体现在：

(1)对于帧间差分方法，在运动目标位移较小时，帧间差分无法分割出目标。帧间差分方法无法应对背景同时运动的问题，无法将背景与目标隔离。

(2)背景差分方法都无法应对背景运动问题，在背景持续运动时，背景差分方法无法成功构建背景模型，使得差分无法进行。预先存储背景的方法在动态背景下也无法使用。

(3)运动分割方法的缺陷在于：光流的计算中会包含较多的噪声，在进行光流的分割时难以将噪声与目标准确地区分开来，导致算法的误警率较高。

(4)先匹配后差分的方法缺陷在于：相位相关方法考虑全局的整体偏移，但精度较低，也无法应对旋转、缩放等变化，特征点匹配法不对背景前景进行区分，如果前景的特征点比例较大，则其匹配得到的不再是背景的变换模型，影响最终的结果。

技术实现要素：

本发明解决的技术问题是：针对复杂场景中运动目标的检测，提供一种基于光流与帧间匹配的方法，结合运动分割方法与先匹配后差分的方法，提升目标检测的精度与准确度。

本发明的技术解决方案为：一种基于光流与帧间匹配的运动目标检测方法，其特点在于步骤如下：

(1)预处理输入的两帧图像；

(2)粗校准两帧图像，计算得到整体环境偏移分量；

(3)计算所述两帧图像的光流场；

(4)利用光流场减去整体环境偏移分量，得到光流场运动幅度；

(5)利用设定阈值将光流场运动幅度阈值化，得到去除整体环境偏移分量的运动目标区域和非运动区域；

(6)精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵；

(7)利用透视变换矩阵将前一帧图像变换到后一帧图像的坐标系下；

(8)对步骤(7)处理得到的两帧图像进行差分，对差分得到的结果进行阈值分割，并使用形态学运算滤除噪声，得到多个连续运动目标区域；

(9)对多个连续运动目标区域聚类，得到区域的中心坐标；

(10)将中心坐标之间距离小于设定阈值的连续运动目标区域合并输出，得到检测到的运动目标。

在步骤(1)中所述两帧图像若为彩色图像，进行灰度化处理。

在步骤(2)中使用相位相关法粗校准所述两帧图像，得到整体的环境偏移分量，包括以下步骤：

(1)对两幅图像进行傅里叶变换；

(2)计算两幅图像傅里叶变换的互功率谱；

(3)对互功率谱计算傅里叶反变换；

(4)找到傅里叶反变换尖峰，得到两幅图像间粗匹配的结果，作为整体的环境偏移分量。

在步骤(3)中使用Farneback稠密光流算法计算所述两帧图像的光流场，或光流算法根据任务需要进行更换。

在步骤(5)中，得到所述运动目标区域和非运动区域的实现为：将运动幅度大于设定阈值的点作为运动目标区域，小于设定阈值的作为非运动区域。

在步骤(6)中精配准两帧图像，并计算前一帧图像到后一帧图像的透视变换矩阵的实现，包括以下过程：

(1)对所述两帧图像进行改良自FAST算法的ORB特征点的提取，各个计算特征点的特征值，利用所述运动目标区域与非运动区域，滤除所述图像运动目标区域的特征点，保留所述图像非运动区域的特征点，对特征点的特征值使用欧氏距离进行特征匹配，选取欧式距离最小的点作为匹配点对，进而实现精匹配，ORB特征可根据需要更换为其他特征点检测算法；

(2)使用RANSAC算法筛匹配点对，进而得到前一帧到后一帧背景部分的透视变换矩阵。

在步骤(9)中利用广度优先区域生长算法对多个连续运动目标区域聚类。

本发明与现有技术相比的优点在于：

(1)本发明使用了基于光流与帧间匹配的方法，有效结合了运动分割及先匹配后差分的方法，结合高精度的特征点匹配方法，解决了传统帧间差分方法无法应对动态背景的问题。同时与运动分割方法相比，其不直接利用光流进行处理，不受到其背景噪声的影响。与先匹配后差分的方法相比，其匹配精度高，且在处理点时排除了前景上的特征点，使得计算得到的变换模型是真实可靠的背景变换模型。

(2)本方法可以适用于多种不同的特征点检测及特征值计算方法，也可适用多种不同的光流方法。可根据实际任务不同的需要选择各种不同的算法具体实现，灵活性强

附图说明

图1为本发明一种基于图像带通滤波的显著目标检测方法的流程框图；

图2为输入的原始图像；

图3为原始图像配准后的结果；

图4为匹配后差分的结果；

图5为差分结果二值化的结果；

图6为最终输出的检测结果。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

本发明方法步骤为：(1)输入两帧图像，对两帧图像进行预处理。如果原始图像为彩色图像，进行灰度化，得到灰度图像；(2)对两幅图像进行第一次粗配准。使用相位相关法进行第一次粗配准，对全局运动状况进行估计，得到整体的环境偏移分量；(3)对两幅图像进行光流计算，得到图像的光流场；(4)使用光流场减去粗配准计算得到的环境偏移分量；(5)对光流场运动幅度使用一个阈值进行阈值化，得到去除环境偏移的运动目标区域和非运动区域；(6)进行精配准，对两幅图像进行特征点提取，计算特征点的特征值，并滤除运动目标区域的特征点，仅保留背景区域的特征点，对特征点进行特征匹配，并计算前一帧到后一帧透视变换矩阵；(7)使用得到的透视变换矩阵将前一帧变换到后一帧的坐标系下；(8)将配准后的两帧图像进行差分，对差分结果进行阈值分割，并使用形态学开运算滤除噪声，得到检测到的运动区域；(9)对每个连续的运动区域进行聚类，得到各个连续区域的中心坐标；(10)将中心距离小于一定值的运动区域合并并输出最终的结果。

以一套动目标检测软件为例详细说明，其输入图像分辨率为1280x720，RGB彩色图像。

如图1所示，本发明具体实现如下：

(1)输入两帧图像，两帧图像间隔2帧，对两帧图像进行预处理。对图像进行灰度化，得到灰度图像，记为fn与fn+2。其中一帧图像如图2所示。

(2)对两幅图像进行第一次粗配准。使用相位相关法进行第一次粗配准，对全局运动状况进行估计，得到整体的偏移分量。

假设fn+2是fn平移(x0,y0)得到的，即fn+2(x,y)＝fn(x+x0,y+y0)，根据傅里叶变换的平移特性，fn与fn+2的傅里叶变换结果可表示为：

Fn+2(u,v)＝exp(-2jπ(u×x0+v×y0))Fn(u,v)

式中Fn(u,v)为fn的傅里叶变换结果，Fn+2(u,v)为fn+2的傅里叶变换结果，j为虚数单位，(u,v)是傅里叶变换后坐标系中的坐标。

其中exp(-2jπ(u×x0+v×y0))可表示为两幅图像的互功率谱：

式中Fn+2^*(u,v)是Fn+2(u,v)的共轭。

因此对互功率谱进行傅里叶反变换即可在(x0,y0)点得到一个尖峰。只需找到这个尖峰，即可得到两幅图像间粗匹配的结果。将此作为图像整体的偏移分量。整个过程步骤如下：

1)对两幅图像进行傅里叶变换；

2)计算两幅图像傅里叶变换的互功率谱；

3)对互功率谱计算傅里叶反变换；

4)找到傅里叶反变换的尖峰位置，得到两幅图像间粗匹配的结果，作为整体的环境偏移分量。

(3)对两幅图像进行Farneback稠密光流计算，得到图像的光流场d(x)。

对于图像在某个邻域内可以进行多项式展开：

式中x′是相对该邻域原点的坐标，A1,A2,b1,b2,c1,c2为多项式展开得到的常数,d为该点的光流矢量。

可以得到：

A1＝A2

b2＝b1-2A1d

c2＝c1

由此可解得：

可进行以下简化：

A，Δb为计算中间变量，可得到方程：

Ad＝Δb

结合光流在邻域内应稳定的先验知识，得到以下结果：

ω为邻域内的权重因子，x为相对图像原点的坐标，d(x)为图像x位置的光流矢量。

(4)使用光流场减去粗配准计算得到的偏移分量。

d′(x)＝(vx(x),vy(x))＝d(x)-(x0,y0)

d′(x)为在x位置减去全局运动向量后的光流,vx(x)为x位置水平位移，vy(x)为x位置垂直位移。

(5)对光流场运动幅度使用一个阈值进行阈值化，得到去除环境偏移的运动目标区域和非运动区域。

每点的运动幅度v(x)定义如下：

将运动幅度大于5像素的点作为前景，小于5像素的作为背景。

(6)进行精配准，对两幅图像进行ORB特征点的提取，各个计算特征点的特征值。ORB特征改良自FAST算法，引入了特征点的方向，是一种极为高效的特征点及特征值提取算法。

在该步骤中，利用步骤(5)得到的运动区域与非运动区域，滤除运动目标区域的特征点，仅保留背景区域的特征点，对特征点的特征值使用欧氏距离进行特征匹配，选取欧式距离最小的点作为匹配点对。

在完成匹配后，使用RANSAC算法对匹配点对进行筛选，在RANSAC算法过程中得到前一帧到后一帧背景部分的透视变换矩阵。

(7)使用得到的透视变换矩阵将前一帧变换到后一帧的坐标系下：

u＝x×w

v＝y×w

式中[x,y]为旧坐标系下的坐标，w为固定值1，[x′,y′]为新坐标系下的坐标。[u,v,w],[u′,v′,w′]为中间参量，表示齐次坐标系下的点坐标。矩阵为透视变换矩阵，过程中使用双线性插值法进行插值。匹配结果如图3所示。

(8)将配准后的两帧图像进行差分。差分效果如图4所示。对差分结果进行阈值分割，并使用形态学开运算滤除噪声，得到检测到的二值运动区域。检测到的二值运动区域如图5所示。

(9)将二值运动区域结果进行聚类，使用广度优先区域生长算法进行聚类。逐行扫描图像，将未被分类的且分割结果为1的点作为种子点，使用4邻域区域生长法进行广度优先搜索聚类，将聚类点标记为已分类点，并继续扫描。同时计算每个连续区域的中心位置。

(10)将中心距离小于60的运动区域合并，并输出最终的结果。最终输出结果叠加检测框后如图6所示。

图3所示的差分结果表示，经过粗配准、光流法筛选背景区域，在背景区域采集特征点进行匹配的方法，能够准确地估计图像间的变换关系，变换后结果差分后，背景区域仅包含非常弱的灰度变化，说明对背景的匹配非常成功。图6最终的检测结果显示，通过形态学滤波与区域合并，能够准确地用检测框将各个物体框出，且几乎没有误检区域。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。