智能移动终端防镜头抖动视频运动目标检测方法与流程

本发明涉及智能视频处理领域，尤其涉及一种智能移动终端防镜头抖动视频运动目标检测方法。

背景技术：

近些年，各种各样的摄像头被安装在不同的公共场合，例如公路、街角、大型商场、医院、学校和机场等，以实现视频监控的目的。传统视频监控依赖于人工对这些视频数据进行主观意识的分析判断，对其中的动作行为做出理解，然后才得出结论做出反馈。传统视频监控也存在诸多缺陷，尤其是在摄像头的镜头出现抖动时，监控人员一旦不能对抖动视频中的运动目标做出研判，一旦遗漏重要信息可能造成无法挽回的后果。同时，伴随着智能移动终端的不断涌现，摄像头也作为重要部件被安置在智能移动终端中。因此，无论是视频监控还是利用智能移动终端的视频拍摄，针对视频中运动目标的检测尤为重要，这也成为当下研究的热点之一。

视频运动目标处理技术通过模拟人类对视觉图像响应，对视频场景中的运动目标分类、识别、跟踪，在这些基本视频场景处理的基础上以期实现对视频中运动目标行为分析判断和理解。智能化视频处理的过程中，无论是运动目标的分类、识别、跟踪，还是后续的行为的判断和理解都是建立在成功检测出视频运动目标的前提下进行的，即视频场景中运动目标的提取质量对智能化视频处理的结果至关重要。视频运动目标提取是从视频中提取出正在运动或者说是变化的区域作为感兴趣区域，为后续高级图像处理提供服务。

然而，在摄像头固定的情况下，现有方法都默认视频数据的采集是在摄像头被固定的前提下工作的，一旦手持智能移动终端拍摄视频时，如相机或是手机，容易出现镜头抖动，传统针对非抖动镜头的视频运动目标检测方法将会无用武之地，导致抖动的镜头对运动目标提取产生干扰，造成大面积误检。

技术实现要素：

本发明所要解决的技术问题是针对上述现有技术提供一种在镜头出现抖动时，能够有效检测抖动视频中运动目标的智能移动终端防镜头抖动视频运动目标检测方法。

本发明解决上述技术问题所采用的技术方案为：智能移动终端防镜头抖动视频运动目标检测方法，其特征在于，包括以下步骤：

(1)对智能移动终端获取的原始视频进行分帧，得到一组独立的原始帧图像序列，并对原始帧图像序列中的各原始帧图像按照分帧的先后顺序编号，得到具有独立编号的原始帧图像序列；

(2)以预设差值作为编号间隔，在具有独立编号的原始帧图像序列S(i,j)中连续选取部分原始帧图像组成原始图像S(i,j)；

(3)对原始图像S(i,j)进行灰度化处理，得到灰度图像Y(i,j)；其中，原始图像S(i,j)转换为灰度图像Y(i,j)采用如下转换公式：

Y(i,j)＝0.257×r(i,j)+0.504×g(i,j)+0.239×b(i,j)；

其中，r(i,j)、g(i,j)、b(i,j)分别对应原始图像S(i,j)的颜色空间三维坐标中的红、绿、蓝颜色分量，Y(i,j)是该像素点对应的灰度值；

(4)对灰度图像Y进行预处理，得到预处理图像I，并采用均值是零的二维高斯滤波对预处理图像I滤波处理；其中：

高斯滤波采用的二维高斯函数g(i,j)为：

其使用的图像模板算子为

(5)建立背景像素模型M(i,j)，M(i,j)＝{v₁,v₂,…,v_N}；其中，v_k(i,j)表示图像(i,j)位置上的像素值，k是背景像素样本中的序号，M(i,j)表示图像(i,j)位置上的N个样本观察值；

(6)根据背景像素模型M(i,j)进行分类，建立以v(i,j)为中心，以R为半径的球S_R(v(i,j))，进行比较并分类；其中，比较分类过程如下：当处在球S_R(v(i,j))以内的样本观察值的数量K不小于基数K_min，即K≥K_min时，则判定当前像素v(i,j)为背景点；其中，K表示为K＝{S_R(v(i,j))∩{v₁,v₂,…,v_N}}；

(7)对背景像素模型M(i,j)进行初始化，在第一帧图像中随机选择相邻像素值与目标像素的样本进行混合，M₁(i,j)＝{v₁(y|y∈N_G(i,j))}，每一个相邻位置y上的像素通过同样的方式被随机的选取，M₁(i,j)表示第一帧图像序号的背景模型，N_G(i,j)表示与像素位置(i,j)相邻的像素；

(8)更新背景像素模型M(i,j)，并采用保守更新策略，配合着向被前景区域遮挡的像素注入空间相邻像素信息实现更新，使用v(i,j)更新背景模型M(i,j)，随机的选择样本数量为6中的一个像素值进行更新；

(9)每次对背景模型进行更新时，以随机的更新判定为背景的像素位置上的模型，依然保留在模型中的概率P(t,t+dt)为：

N为样本数量；

(10)采用图像背景像素的偏移量d对当前帧图像进行运动补偿和修正，再使用修正后的图像与背景模型匹配，得到检测结果；其中，背景偏移量d＝[d_x d_y]^T；

(11)根据邻域窗口内的像素对比计算结果，得到偏移量ε(d)；其中，偏移量ε(d)计算公式如下：

其中，w_x、w_y是与邻域窗口相关的参数，窗口的尺寸表示为2(w_x+1)×2(w_y+1)，(u_x,u_y)为背景图像中的特征角点，M表示背景模型，I表示当前帧图像；

(12)考察当前帧图像I中特征角点(u_x,u_y)周围的像素点，计算得到具有最小偏移量ε(d)的像素点(u_x1,u_y1)，并把该像素点(u_x1,u_y1)当作对应背景点(u_x,u_y)的像素点，得到像素(u_x,u_y)在当前帧图像I中的偏移量d，其中，偏移量d计算如下：

d＝(u_x1-u_x,u_y1-u_y)；

(13)计算多个背景图像上特征角点的位移均值S₁以及位移中值S₂，并以所得位移均值和位移中值的平均值作为整个背景图像的偏移量S；其中，位移均值S₁、位移中值S₂和偏移量S的计算公式如下：

N为样本数量；

(14)利用偏移量S修正背景模型，并提取运动目标F，其中，运动目标F提取公式如下：

F{S_R(v(i,j))∩M(i+d_x,j+d_y)}。

为了在获取连续原始帧图像的同时，又能够保证对抖动视频中运动目标的检测效果，作为优选，所述步骤(2)中的预设差值设置为2。

为了提高运动目标检测的精确度，所述半径R为20，基数K_min为2。

与现有技术相比，本发明的优点在于：在对抖动镜头获取的视频运动目标检测时，通过将抖动视频分割成若干独立编号的原始帧图像，并以预设差值作为间隔，提取连续的原始帧图像组成原始图像，以保证原有视频不会出现大的像素点缺失，原始图像经利用优化的图像空间转换参数转换做灰度化处理、二维高斯滤波处理后，得到具有高压缩率、纯净的灰度图像，通过建立背景像素模型和球模型，对处理所得图像分类，得到背景点；背景模型经初始化和实时更新后，选择采用图像背景像素的偏移量对当前帧图像进行运动补偿和修正，并利用偏移量修正背景模型，提取运动目标。该方法通设定优化的图像空间转换参数，得到压缩率的灰度图像；利用图像背景像素的偏移量对当前帧图像进行运动补偿和修正，以补偿镜头的抖动、消除不稳定的抖动镜头对视频运动目标提取带来的恶劣影响。

附图说明

图1为本发明中智能移动终端防镜头抖动视频运动目标检测方法的流程示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，为了防止镜头抖动对智能移动终端采集的视频运动目标检测影响，本实施例中提供的智能移动终端防镜头抖动视频运动目标检测方法，包括以下步骤：

步骤1，对智能移动终端获取的原始视频进行分帧，得到一组独立的原始帧图像序列，并对原始帧图像序列中的各原始帧图像按照分帧的先后顺序编号，得到具有独立编号的原始帧图像序列；

例如，在获取的时长为10秒的原始视频A.mp4文件中，将该10秒的原始视频先后分割成独立的200幅独立的原始帧图像，即200幅原始静止图像；同时，按照先后分帧的顺序，分别对这200幅独立的原始帧图像编号为001号、002号、003号、…、200号；则该200幅原始帧图像构成一个数量为200的原始帧图像序列；

步骤2，以预设差值作为编号间隔，在具有独立编号的原始帧图像序列S(i,j)中连续选取部分原始帧图像组成原始图像S(i,j)，以保证原有视频不会出现大的像素点缺失；

为了在获取连续原始帧图像的同时，又能够保证对视频中运动目标的检测效果，作为优选，预设差值设置为2。例如，设定编号间隔的预设差值为2，初始原始帧图像为002号帧图像，则原始帧图像序列中被连续选取的部分原始帧图像分别为002号、004号、006号、…、198号和200号帧图像，被选取的该100幅帧图像组成原始图像S(i,j)；

步骤3，对原始图像S(i,j)进行灰度化处理，得到灰度图像Y(i,j)；其中，

Y(i,j)＝0.257×r(i,j)+0.504×g(i,j)+0.239×b(i,j)；

其中，r(i,j)、g(i,j)、b(i,j)分别对应原始图像S(i,j)的颜色空间三维坐标中的红、绿、蓝颜色分量，Y(i,j)是该像素点对应的灰度值；在本实施例中，针对红、绿、蓝颜色分量，分别设定优化的图像转换参数0.257、0.504和0.239，以得到具有高压缩率的灰度图像，由此得到具有小容量的灰度图像，从而可以有效的节约智能移动终端的存储空间，进一步提高智能移动终端的运行效率；

步骤4，在步骤3得到的灰度图像基础上，对灰度图像Y进行预处理，得到预处理图像I，并采用均值是零的二维高斯滤波对预处理图像I滤波处理，得到纯净的预处理图像，从而可以弥补后续单独使用三帧差分法难以满足对运动目标提取质量要求的不足；其中，本步骤4中的二维高斯函数为g(i,j)，g(i,j)的计算公式如下：

其使用的图像模板算子为

步骤5，建立背景像素模型M(i,j)，M(i,j)＝{v₁,v₂,…,v_N}；其中，v_k(i,j)表示图像(i,j)位置上的像素值，k是背景像素样本中的序号，M(i,j)表示图像(i,j)位置上的N个样本观察值；

步骤6，根据背景像素模型M(i,j)进行分类，建立以v(i,j)为中心，以R为半径的球S_R(v(i,j))，进行比较并分类；其中，处在球S_R(v(i,j))以内的样本观察值的数量K不小于基数K_min，即K≥K_min时，则令当前像素v(i,j)为背景点；其中，K＝{S_R(v(i,j))∩{v₁,v₂,…,v_N}}；

为了提高运动目标检测的精确度，以实现运动目标与背景图像的准确分离，在本实施例中，球半径R为20，基数K_min为2；其中，球S_R(v(i,j))的半径R即为与背景模型中的样本匹配的阈值，最小基数K_min即为成功匹配背景模型的阈值；

步骤7，对背景像素模型M(i,j)进行初始化，在第一帧图像中随机选择相邻像素值与目标像素的样本进行混合，M⁰(i,j)＝{v⁰(y|y∈N_G(i,j))}，每一个相邻位置y上的像素通过同样的方式被随机的选取，M⁰(i,j)表示第一帧图像序号的背景模型，N_G(i,j)表示与像素位置(i,j)相邻的像素；

步骤8，更新背景像素模型M(i,j)，并采用保守更新策略，配合着向被前景区域遮挡的像素注入空间相邻像素信息实现更新，使用v(i,j)更新背景模型M(i,j)，随机的选择样本数量为6中的一个像素值进行更新；

步骤9，在每次对背景模型进行更新时，以随机的更新判定为背景的像素位置上的模型，依然保留在模型中的概率P(t,t+dt)为：

其中，N为样本数量，样本数量在本实施例中选择设定为4；

步骤10，采用图像背景像素的偏移量d对当前帧图像进行运动补偿和修正，再使用修正后的图像与背景模型匹配，得到检测结果；其中，背景偏移量d＝[d_x d_y]^T；

步骤11，根据邻域窗口内的像素对比计算结果，得到偏移量ε(d)；其中，偏移量ε(d)计算公式如下：

其中，w_x、w_y是与邻域窗口相关的参数，窗口的尺寸为2(w_x+1)×2(w_y+1)，(u_x,u_y)为背景图像中的特征角点，M表示背景模型，I表示当前帧图像；

步骤12，考察当前帧图像I中特征角点(u_x,u_y)周围的像素点，计算得到具有最小偏移量ε(d)的像素点(u_x1,u_y1)，并把该像素点(u_x1,u_y1)当作对应背景点(u_x,u_y)的像素点，得到像素(u_x,u_y)在当前帧图像I中的偏移量d，其中，偏移量d计算如下：

d＝(u_x1-u_x,u_y1-u_y)；

步骤13，计算多个背景图像上特征角点的位移均值S₁以及位移中值S₂，并以所得位移均值S₁和位移中值S₂的平均值作为整个背景图像的偏移量S；位移均值S₁、位移中值S₂和偏移量S的计算公式如下：

位移均值

位移中值

整个背景图像的偏移量N为样本数量；在本步骤13中定义的整个背景图像的偏移量S可以有效的解决单独采用位移平均值S₁作为背景图像偏移量对后续背景模型修正带来的不利影响；

步骤14，利用偏移量S修正背景模型，并按照如下公式提取运动目标F，其中，运动目标F提取公式如下：

F{S_R(v(i,j))∩M(i+d_x,j+d_y)}。

本实施例对本发明提供的智能移动终端防镜头抖动视频运动目标检测方法和传统的自适应密度函数估计检测方法仿真比较发现，利用本发明提供的检测方法几乎完全的检测出抖动视频中的运动目标。这是由于该检测方法中，通过分割原始抖动视频为若干独立编号的原始帧图像，并以预设差值选取连续的原始帧图像作为原始图像，保证了原有视频不会出现大的像素点缺失；同时，通过利用图像背景像素的偏移量对当前帧图像进行运动补偿和修正，以对镜头的抖动进行补偿，很好的消除了不稳定的抖动镜头对运动目标提取带来的恶劣影响，从而正确的提取出了前景目标，即抖动视频中的运动目标。