基于流水线结构的高速视频目标检测方法
【专利摘要】本发明属于图像处理、光电技术【技术领域】，具体涉及一种基于流水线结构的高速视频目标检测方法。本发明的方法采用8线程流水处理方式，并行实施以下线程：视频获取线程、灰度化线程、背景学习线程、视频差分线程、阈值分割线程、形态滤波线程、区域划分线程和特征统计与存储线程。本发明的方法解决了现有PC环境下高清视频目标检测速度慢、实时性差的技术问题；采用多线程并行流水式处理结构，在多核CPU环境下可在满足检测性能的同时极大的提高程序的运行速度，为后续智能视频分析速度提供了较大提升空间。
【专利说明】基于流水线结构的高速视频目标检测方法
【技术领域】
[0001]本发明属于图像处理、光电技术【技术领域】，具体涉及一种基于流水线结构的高速视频目标检测方法。
【背景技术】
[0002]随着高清相机的发展，在PC环境下的智能视频分析的速度成为其应用的限制。在智能视频目标分析系统中，目标检测处理所需的步骤较多，如视频解码、背景建模、图像差分、二值化、形态学滤波、区域划分、目标关联、写数据库等，因此程序运行缓慢，影响了系统的实时性。由于大多视频分析系统的视频处理速度要求超实时处理，必须对处理算法及整个处理架构做出相应设计。因此，找到一种高速的视频目标检测方法是整个系统软件设计的重要任务。
【发明内容】
[0003]本发明需要解决的技术问题为:现有技术中PC环境下高清视频目标检测速度慢、实时性差。
[0004]本发明的技术方案如下所述:
[0005]采用8线程流水处理方式，并行实施以下线程:1)视频获取线程；2)灰度化线程；
3)背景学习线程；4)视频差分线程；5)阈值分割线程；6)形态滤波线程；7)区域划分线程；
8)特征统计与存储线程。
[0006]作为优选方案，
[0007]本发明的方法流程如下所述:
[0008]I)视频获取线程
[0009]将视频文件解码成帧图像Fk，并存入公用内存区，对其进度标志dP_Read进行自增；
[0010]2)灰度化线程
[0011]判断灰度化线程线程进度标志dP_Gray是否小于dP_Read:
[0012]若dP_Gray≥dP_Read,则进行短暂休眠；
[0013]若dP_Gray〈dP_Read，则对采集到的帧图像Fk进行灰度化操作，将结果记为Fgk，，并将其存入公共内存区，对其进度标志dP_Gray进行自增；
[0014]3)背景学习线程
[0015]判断背景学习线程进度标志dP_Background是否小于dP_Gray:
[0016]若dP_Background ≥dP_Gray,则进行短暂休眠；
[0017]若dP_Background〈dP_Gray,则根据当前图像、前帧图像、前帧背景求取对应像素背景差和帧间差，判断是否进行背景更新；
[0018]对所有像素进行以上操作就完成了背景更新，得到当前帧的背景图像BGk，对其进度标志dP_Background进行自增；[0019]4)视频差分线程
[0020]判断视频差分线程进度标志dP_Diff是否小于dP_Background:
[0021]若dP_Diff ^ dP_Background,则进行短暂休眠；
[0022]若dP_Dif f <dP_Background,则针对当前背景BGk与当前帧灰度图像Fgk,计算背景差分图像Dk，将图像Dk存入公共内存区，对其进度标志dP_Diff进行自增；
[0023]5)阈值分割线程
[0024]判断阈值分割线程进度标志dP_Threshold是否小于dP_Diff:
[0025]若dP_Threshold ^ dP_Diff,则进行短暂休眠；
[0026]若dP_Threshold〈dP_Diff，则计算图像Dk的均值μ和标准差σ，针对图像Dk中大于μ + σ的像素值，采用最大类间方差法对图像Dk进行分割，形成分割图像Dtk，将图像Dtk存入公共内存区，对其进度标志dP_ThreShold进行自增；
[0027]6)形态滤波线程
[0028]判断形态滤波线程进度标志dP_Morph是否小于dP_Threshold:
[0029]若dP_Morph ^ dP_Threshold,则进行短暂休眠；
[0030]若dP_Morph〈dP_Threshold,则去除图像Dtk中的噪点、填补空洞,将去噪、填补空洞之后的图像Dmk存入公共内存区，对其进度标志dP_Morph进行自增；
[0031]7)区域划分线程
[0032]判断区域划分线程进度标志dP_Region是否小于dP_Morph:
[0033]若dP_Region≥dP_Morph,则进行短暂休眠；
[0034]若dP_Region〈dP_Morph,则对图像Dmk中的目标区域进行区域标记,通过判断非O像素点之间的连通性，将同属于一个区域的像素点标记在一起；经过区域标记后，得到一组目标，统计各目标的横纵方向的最大最小值，计算其外接矩形的面积，统计其重心，将前一帧图像中标记出的各目标与当前帧求取的目标进行相似性帧间关联；将目标区域信息存入公共内存区，对其进度标志dP_Region进行自增；
[0035]8)特征统计与存储线程
[0036]判断特征统计与存储线程进度标志dP_Feature是否小于dP_Region:
[0037]若dP_Feature ^ dP_Region,则进行短暂休眠；
[0038]若dP_Feature〈dP_Region,则特征统计通过对本帧出现的目标以图像Dmk作为掩膜，对RGB图Fk进行特征提取；将提取出的特征写入数据库，以备后续处理使用；对其进度标志dP_Feature进行自增。
[0039]作为优选方案，
[0040]背景学习线程中，判断是否进行背景更新的具体流程如下所述:
[0041]设像素(i，j)帧间差为Df，背景差为Db，帧间差阈值为FThr，背景差阈值为BThr。若满足|Df| SFThr且Db>BThr，则对像素(i，j)叠加更新量m进行背景更新；否则不背景更新。
【权利要求】
1.一种基于流水线结构的高速视频目标检测方法，其特征在于:采用8线程流水处理方式，并行实施以下线程: 1)视频获取线程；2)灰度化线程；3)背景学习线程；4)视频差分线程；5)阈值分割线程；6)形态滤波线程；7)区域划分线程；8)特征统计与存储线程。
2.根据权利要求1所述的基于流水线结构的高速视频目标检测方法，其特征在于:本发明的方法流程如下所述: 1)视频获取线程 将视频文件解码成帧图像Fk，并存入公用内存区，对其进度标志dP_Read进行自增； 2)灰度化线程 判断灰度化线程线程进度标志dP_Gray是否小于dP_Read: 若dP_Gray≥dP_Read,则进行短暂休眠； 若dP_Gray〈dP_Read，则对采集到的帧图像Fk进行灰度化操作，将结果记为Fgk,，并将其存入公共内存区，对其进度标志dP_Gray进行自增； 3)背景学习线程 判断背景学习线程进度标志dP_Background是否小于dP_Gray: 若dP_Background ^ dP_Gray,则进行短暂休眠； 若dP_Background〈dP_Gray,则根据当前图像、前帧图像、前帧背景求取对应像素背景差和帧间差，判断是否进行背景更新； 对所有像素进行以上操作就完成了背景更新，得到当前帧的背景图像BGk，对其进度标志dP_Background进行自增； 4)视频差分线程 判断视频差分线程进度标志dP_Diff是否小于dP_Background: 若dP_Diff ^ dP_Background,则进行短暂休眠； 若dP_Diff〈dP_Background,则针对当前背景BGk与当前帧灰度图像Fgk,计算背景差分图像Dk，将图像Dk存入公共内存区，对其进度标志dP_Diff进行自增； 5)阈值分割线程 判断阈值分割线程进度标志dP_Threshold是否小于dP_Diff: 若dP_Threshold ^ dP_Diff,则进行短暂休眠； 若dP_Threshold〈dP_Diff，则计算图像Dk的均值μ和标准差σ，针对图像Dk中大于μ + σ的像素值，采用最大类间方差法对图像Dk进行分割，形成分割图像Dtk，将图像Dtk存入公共内存区，对其进度标志dP_ThreShold进行自增； 6)形态滤波线程 判断形态滤波线程进度标志dP_Morph是否小于dP_Threshold: 若dP_Morph ^ dP_Threshold,则进行短暂休眠； 若dP_Morph〈dP_Threshold,则去除图像Dtk中的噪点、填补空洞,将去噪、填补空洞之后的图像Dmk存入公共内存区，对其进度标志dP_Morph进行自增； 7)区域划分线程 判断区域划分线程进度标志dP_Region是否小于dP_Morph: 若dP_Region≥dP_Morph,则进行短暂休眠；若dP_Region〈dP_Morph,则对图像Dmk中的目标区域进行区域标记,通过判断非O像素点之间的连通性，将同属于一个区域的像素点标记在一起；经过区域标记后，得到一组目标，统计各目标的横纵方向的最大最小值，计算其外接矩形的面积，统计其重心，将前一帧图像中标记出的各目标与当前帧求取的目标进行相似性帧间关联；将目标区域信息存入公共内存区，对其进度标志dP_Region进行自增； 8)特征统计与存储线程 判断特征统计与存储线程进度标志dP_Feature是否小于dP-Region: 若dP_Feature≥dP_Region,则进行短暂休眠； 若dP_Feature〈dP_Region,则特征统计通过对本帧出现的目标以图像Dmk作为掩膜，对RGB图Fk进行特征提取；将提取出的特征写入数据库，以备后续处理使用；对其进度标志dP_Feature进行自增。
3.根据权利要求2所述的基于流水线结构的高速视频目标检测方法，其特征在于:背景学习线程中，判断是否进行背景更新的具体流程如下所述: 设像素(i，j)帧间差为Df，背景差为Db，帧间差阈值为FThr，背景差阈值为BThr:若满足I Df I ≤FThr且Db>BThr，则对像素(i, j )叠加更新量m进行背景更新；否则不背景更新；
4.根据权利要求2所述的基于流水线结构的高速视频目标检测方法，其特征在于:形态滤波线程中，采用形态滤波操作去除图像Dtk中的噪点，填补空洞:采用3*3的矩形模板对Dtk进行腐蚀操作，去除噪声；之后采用5*5矩形模板对其进行膨胀操作，填补空洞，形成图像Dmk。
5.根据权利要求2所述的基于流水线结构的高速视频目标检测方法，其特征在于:区域划分线程中，所述相似性帧间关联具体操作为:对当前帧任意目标T计算其与前帧目标之间的重叠面积，若有重叠则将前帧目标记为候选目标；去除与目标T的面积差值超过10%目标T的面积的候选目标，之后选择距离目标T的质心欧式距离最近的候选目标作为目标T的关联目标，两个目标分配相同且唯一的目标ID。
【文档编号】G06T7/00GK103514603SQ201310438522
【公开日】2014年1月15日 申请日期:2013年9月24日 优先权日:2013年9月24日
【发明者】李亚鹏, 柴智, 杨文佳 申请人:北京环境特性研究所