基于局部约束非负矩阵分解的运动显著区域提取方法与流程

文档序号:13073556阅读:304来源:国知局

本发明属于图像处理技术领域,具体涉及一种运动显著性区域的提取方法,可用于智能视频监控、运动分析及人机交互中。



背景技术:

视频运动特征提取是视频处理中最为关键的技术之一,广泛应用于视频行为识别和目标追踪。目前,对于视频运动特征的提取已经取得了一定的进展,但是如何有效去除背景对运动特征提取的干扰仍然是一个具有挑战性的问题。在运动特征提取中较为常见的背景去除方法有:

(1)muraseh,sakair.movingobjectrecognitionineigenspacerepresentation:gaitanalysisandlipreading[j].patternrecognitionletters,1996,17(2):155-162.文中采用卡尔曼滤波算法,对当前帧对应像素的导数和灰度进行估计,即通过递推算子由前一帧像素的灰度值及其对应的导数值估计当前帧,实现对背景模型的实时更新和抵抗光照变化影响,但是这种方法一旦模型出现错误,错误持续的时间相当长。

(2)staufferc,grimsonwel.adaptivebackgroundmixturemodelsforreal-timetracking[c]//computervisionandpatternrecognition,1999.ieeecomputersocietyconferenceon.ieee,1999,2.文中运用混合高斯分布,克服了核密度估计算法需要存放大量数据的难题,实现了对单个像素建立模型并自动更新,克服了光照变化和背景复杂带来的影响,但是这种模型本身包含较多参数因而较复杂。

非负矩阵分解nmf是在矩阵中所有元素为非负条件下的一种矩阵分解方法,能够大大降低数据特征的维数,分解特性合乎人类视觉感知直观体验,分解结果具有可解释和明确的物理意义,自提出以来受到人们的广泛关注,已成功应用于模式识别、计算机视觉和图像工程等多个领域。

目前已提出的非负矩阵分解方法主要有:

leedd,seunghs.learningthepartsofobjectswithnonnegativematrixfactorization.nature,1999,401(6755):788-791。提出了一种新的矩阵分解方法—非负矩阵分解。该种方法是将一个所有元素都非负的矩阵分解为两个元素依旧非负矩阵的乘积,同时有效降低维数。基本非负矩阵分解能够用于数据聚类,但其在聚类过程中仅仅依靠低维特征的相似性,很容易导致聚类簇之间的交叉混叠,因此聚类效果并不令人满意。



技术实现要素:

本发明的目的在于针对上述已有技术的不足,提出一种基于局部约束非负矩阵分解的运动显著性区域提取方法,以提高聚类效果,从而有效去除复杂背景,获得运动显著性区域,更准确地提取有效的视频运动特征信息。

实现本发明的技术关键是在非负矩阵分解算法的目标函数中引入系数矩阵的局部约束项,利用该种局部约束非负矩阵分解算法进行视频序列的轨迹聚类,使得同类样本的聚类簇更紧凑。其实现步骤包括如下:

(1)获取样本视频序列,设置轨迹提取的长度m,并进行稠密轨迹提取;

(2)将同一目标约束帧作为起始帧后获得的轨迹向量表示为向量,依次排列构成非负数据矩阵x;

(3)向非负矩阵分解模型中引入局部约束项,构造局部约束非负矩阵分解lc-nmf的目标函数;

(4)对lc-nmf的目标函数进行优化求解,得到基矩阵f和系数矩阵h;

(5)利用lc-nmf的目标函数对步骤(2)中构造的非负数据矩阵进行分解,即对轨迹进行聚类;

(6)统计各聚类簇中的轨迹数目,获得轨迹数目集合num,并对该集合num中的聚类簇标号按其所对应的轨迹数目的升序排列,得到轨迹数目集合num';计算各聚类簇的离散程度,获得轨迹离散度集合disp,并对该集合disp中的聚类簇标号按其所对应的离散度的降序排列,得到轨迹离散度集合disp';

(7)对上述两个集合num'和集合disp'中的前个聚类簇标号求交集得到集合t,从所有聚类簇中将集合t中聚类簇标号对应的聚类簇删除,得到轨迹筛选后的结果,其中r表示分解维数,为向下取整;

(8)根据轨迹筛选之后的结果,通过轨迹在视频帧的坐标位置,利用形态学膨胀的方法,获得各视频帧中相应的运动显著区域。

本发明与现有技术相比具有以下优点:

1)本发明通过向非负矩阵分解模型中引入对系数矩阵的局部线性约束项,使得聚类中心和同类样本更紧凑,同时增大了各聚类中心之间的差异性;

2)本发明通过将局部约束非负矩阵分解算法用于对稠密轨迹的聚类并筛选,降低了背景对运动特征提取的干扰,从而更有效地提取显著性区域。

附图说明

图1是本发明的实现流程图。

具体实施方式

参照图1,基于局部约束非负矩阵分解的运动显著区域提取方法,按如下步骤进行:

步骤1,获取样本视频序列,设置轨迹提取的长度m,并进行稠密轨迹提取。

从公开的行为识别数据库中获取样本视频序列,利用轨迹提取方法进行稠密轨迹提取,本实例利用的是wangh等人于2013年在proceedingsoftheieeeinternationalconferenceoncomputervision上发表的actionrecognitionwithimprovedtrajectories一文中改进的基于稠密光流的轨迹提取方法,提取视频序列的稠密轨迹,其步骤如下:

(1.1)从youtube或ucf-sports这些国际通用行为识别数据库中获得视频序列;

(1.2)对视频序列进行稠密采样,即由gunnar算法计算得到采样点处的稠密光流,并通过相邻帧之间的特征点匹配估计单应矩阵以移除摄像头运动;

(1.3)移除摄像头运动后重新计算光流,然后对稠密采样点进行长度为m的轨迹跟踪,获得稠密运动轨迹。

步骤2,将提取的轨迹表示为向量,且将同一目标帧作为起始帧后获得的轨迹向量依次排列构成非负数据矩阵x。

(2.1)选取视频中的目标帧作为起始帧,提取长度为m的轨迹;

(2.2)将轨迹在每一帧中的空间位置依次排列构成长度为2m非负列向量x·i,其中,i=1,2,...,n,n为包含的轨迹的总数目;

(2.3)将n个向量x·i依次排列构成数据矩阵

步骤3,向非负矩阵分解模型中引入局部约束项,构造局部约束非负矩阵分解的目标函数。

(3.1)由基矩阵f=[f·1,f·2,...,f·j,...,f·r]构造局部加权算子r如下:

其中,f·j表示f的第j个列向量,j=1,2,...,r,r表示分解维数,||·||2表示欧氏距离,δ为调节参数,用于调节衰减速度;

(3.2)构造系数矩阵h的局部约束项:其中⊙表示对两个矩阵中的对应元素相乘,||·||f表示求矩阵的f-范数;

(3.3)将上述约束项引入非负矩阵分解模型中,得到局部约束非负矩阵分解lc-nmf的目标函数:

其中,λ为局部约束项参数。

步骤4,对局部约束非负矩阵分解的目标函数进行优化求解,得到基矩阵f和系数矩阵h。

(4.1)随机初始化基矩阵f(0)和系数矩阵h(0),使得基矩阵f(0)中的任意元素满足其中,是基矩阵f(0)中第i行ψ列元素,r表示分解维数;系数矩阵h(0)中的任意元素满足其中,是系数矩阵h(0)第ψ行u列的元素;

(4.2)按如下公式更新基矩阵f(t)中的元素

作为本次对基矩阵f(t)中元素的迭代更新结果,其中,为迭代t-1次的基矩阵f(t-1)的第i行ψ列元素,其中,矩阵q是局部约束项关于基矩阵f求导之后的结果,t∈[1,iter],iter为预先定义的最大迭代次数;

(4.3)根据(4.2)得到的基矩阵f(t)中的元素按如下公式更新系数矩阵h(t)中的元素

其中,为本次对系数矩阵h(t)中元素的迭代更新结果,为迭代t-1次的系数矩阵h(t-1)的第ψ行u列的元素;

(4.4)采用预定义的最大迭代次数iter作为停止迭代条件,当迭代次数t达到iter次后,停止迭代,输出基矩阵f(iter)和系数矩阵h(iter);否则,返回步骤(4.2)。

步骤5,利用提出的局部约束非负矩阵分解方法对步骤(2)中构造的非负数据矩阵进行分解。

将轨迹构成的非负数据矩阵x作为输入,利用lc-nmf方法按照步骤4)进行优化求解,得到基矩阵f和系数矩阵h,即轨迹聚类的结果,其中,基矩阵f为聚类中心集合,系数矩阵h为聚类簇中各个支撑点隶属于对应聚类簇的标签集合。

步骤6,通过统计各个聚类簇的轨迹数目和各个聚类簇的离散度,对得到的聚类簇排序并筛选。

(6.1)根据步骤5)中聚类结果,统计各个聚类簇中的轨迹数目,获得轨迹数目集合num;

(6.2)度量各个聚类簇的离散程度,获得离散度集合disp:

其中,traji为当前聚类簇的任意支撑点,μ为当前聚类簇的聚类中心,d(·,·)为任意向量之间的欧式距离,n为当前聚类簇中的支撑点数目;

(6.3)对num中的聚类簇标号按其所对应的数目升序排列,得到轨迹数目集合num',对集合disp中的聚类簇标号按其所对应的离散度的降序排列,得到轨迹离散度集合disp';

(6.4)对集合num'和集合disp'中的前个标号求交集得到集合t,并将集合t中的标号对应的簇删除,得到轨迹筛选后的结果,从而获得运动显著性区域,其中为向下取整;

这样能够选择离散度高且数目少的聚类簇,而这些聚类簇被判定为属于背景的,非运动主体,因此,将其删除,得到轨迹筛选后的结果。

步骤7,根据轨迹筛选之后的结果,通过轨迹在视频帧的坐标位置,利用形态学膨胀的方法,获得各视频帧中相应的运动显著区域。

以上描述仅是本发明的一个具体实例,不构成对本发明的任何约束,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1