一种视频中的感兴趣区域跟踪方法及装置的制作方法

文档序号:7853385阅读:93来源:国知局
专利名称:一种视频中的感兴趣区域跟踪方法及装置的制作方法
技术领域
本发明涉及一种视频处理技术领域,尤其涉及一种视频处理过程中感兴趣区域跟踪的方法及装置。
背景技术
随着通信技术的普及和发展,相应的移动电视,视频会议以及视频监控等视频服务也飞速发展起来。在用户通过各种各样的终端及不同的接入方式访问开展相应的视频服务的过程中,用户终端的多样性和网络环境的复杂性,使得如何有效传输视频内容成为设计视频服务系统的巨大挑战。目前,SVC(可伸缩视频编码)技术能够在一定程度上有效传输相应的视频内容。SVC技术是通过在一段码流中同时编码多种码率、分辨率、帧率的子码流,在传输节点根据网络状况以及用户或者用户设备的需求进行简单的抽取操作就可以生成相应得适配码流。SVC技术相对于单一码流技术,其能提供一个空间、时间、质量可伸缩的码流,即从这个码流中可以抽取一些子码流。相应的子码流能满足网络传输速率以及终端用户对视频在空间、时间和信噪比等方面的需求,因此,SVC技术使得视频流能够更好地适应各种不同的网络环境和用户终端。在SVC技术中,能提供的最低质量编码层被称作BL (基本层),能增强空间分辨率、时间分辨率或者信噪比强度的编码层被称作EL(增强层)。其中,空间可伸缩性使用分层编码(Layered Coding)的方法,利用层间的运动、纹理和残差信息;时间可伸缩性采用分级双向预测巾贞(Hierarchical B)编码技术;对于信噪比的可伸缩性,可以采用CGS (粗粒度质量可伸缩)和MGS (中等粒度质量可伸缩)的方法。相应的SVC技术还提供了对ROI (感兴趣区域)编码的支持。ROI通常是指视频帧中对于浏览者而言包含具有明确高层语义的物体的区域,如某人,某物体等。在用户进行视频浏览的过程中,如果其设备的显示尺寸小,或者其可用带宽降低,则可以尽量保持感兴趣区域的清晰度,以不影响用户对该视频的观赏体验。例如,当接入带宽不足时,可以删除部分非感兴趣区域以适应带宽需求对视频主观质量的影响,即当带宽不足以传输基本层和增强层的编码码流时,可以传输基本层和ROI的编码码流以充分利用带宽,在一定程度上可以保持视频质量,保证用户的主观体验感受。为了实现利用ROI编码技术以适应各种不同的应用,则需要确定视频各帧中ROI的位置和大小,通常可以采用视频跟踪技术以确定视频各帧中ROI的大小和位置。下面将对目前采用的通过视频跟踪技术确定视频各帧中ROI的实现方案进行描述。目前采用的一种ROI跟踪方式为基于粒子滤波算法实现,具体是将跟踪的区域表示成一个粒子(矩形或椭圆形等),粒子可以包括各种状态,如运动速度、方向,区域大小等。在跟踪时,在当前帧中通过重要性采样生成一定数量的粒子,并根据该一定数量的粒子与参考帧中待跟踪区域的粒子的相关性,通过加权得到当前帧中粒子的稳定状态,从而获得当前帧中的待跟踪区域。相应的,具体的基于粒子滤波算法获得当前帧中的待跟踪区域的处理方式包括(I)初始化取k = O (即初始时刻),按P (X。)抽取N个样本点χΓ,i = I, ···, N,其中P(Xo)是指初始化的目标概率分布,具体地,可以设定为第一帧中以目标的位置大小为均值的高斯分布。 (2)重要性采样3_) ~ q(xk I X^1 , ),令==(41,, ),其中 i = I,…,N,其中,$ 表示k时刻第i个粒子的状态,巧丨表示从O时刻(初始时刻)到k时刻为止粒子的状态,z1:k表示从I时刻(初始跟踪时刻)到k时刻为止目标的观测值(一般指跟踪目标的颜色直方图),.<“是指,¢( IX丨I1,&)是指有了 I至k帧的观测值和第i个粒子至k-Ι帧的状态的条件下,第k帧中粒子的状态分布的估计,即重要性函数。
/,■·. m p(z, I x )p(x I χ(Ρλ)(3)计算权值吣,必=< υ 若采用一步转移后验状态分布,该式
可简化为=0( IxD,其中,/Kq I )是指观测模型,即表示粒子;f1是所跟踪目标的概率,PUf11 . )是指状态转移模型,即目标由k-Ι帧向k帧运动的概率分布模型。
(O
(J) _ ω女(4)归一化权值
J=I
O(5)重采样根据各自归一化权值巧)的大小复制或舍弃样本巧!,得到N个近似服从Pixil IZ1J分布的样本42。令4° = (X)I0 =1/N, 1 = 1, , N。(6)输出结果算法的输出是粒子集〃_ = 1 J},用它可以近似表示后验概率和函数X(l:k的期望,其中
八I TV后验概率:P(X时 I zI:*) = -^Σδ,ω (cfeO:*)函数X(l:k 的期望
_O(7)令k = k+Ι,重复上述过程⑵至过程(6)。在上述实现方案中,若要获得稳定的跟踪效果,则需较多的粒子数目,而粒子数目越多,则跟踪所需的计算量越大,导致处理复杂程度大大增加。

发明内容
本发明的目的是提供一种视频中的感兴趣区域跟踪方法及装置,以在保证跟踪效果的前提下减少跟踪过程中的处理复杂度。本发明的目的是通过以下技术方案实现的一种视频中的感兴趣区域跟踪方法,包括获取当前帧中像素或宏块的运动矢量,并根据所述运动矢量确定感兴趣区域ROI的移动速度分布参数,还根据参考帧中ROI的状态信息确定ROI缩放参数;利用所述ROI的移动速度分布参数和缩放参数对当前帧中采样获得的粒子进行状态转移处理,并根据状态转移后的粒子确定当前帧的ROI位置及大小。可选地,所述确定ROI的移动速度分布参数的步骤包括
根据当前帧中像素或宏块的运动矢量确定当前帧中像素或宏块对应的参考像素或宏块在参考帧中的位置,并在当前帧中像素或宏块的运动矢量中选取所述位置位于参考帧中ROI内的参考像素或宏块对应的当前帧中像素或宏块的运动矢量;根据选取获得的当前帧中像素或宏块的运动矢量确定所述ROI的移动速度分布参数;可选地,所述确定ROI缩放参数的步骤包括根据选取获得的当前帧中像素或宏块的运动矢量确定对应的当前帧中像素或宏块,并根据该当前帧中像素或宏块和对应的参考帧中的像素或宏块确定所述ROI缩放参数。可选地,所述ROI的移动速度分布参数包括
权利要求
1.一种视频中的感兴趣区域跟踪方法,其特征在于,包括 获取当前帧中像素或宏块的运动矢量,并根据所述运动矢量确定感兴趣区域ROI的移动速度分布参数,还根据参考帧中ROI的状态信息确定ROI缩放参数; 利用所述ROI的移动速度分布参数和缩放参数对当前帧中采样获得的粒子进行状态转移处理,并根据状态转移后的粒子确定当前帧的ROI位置及大小。
2.根据权利要求I所述的方法,其特征在于, 所述确定ROI的移动速度分布参数的步骤包括 根据当前帧中像素或宏块的运动矢量确定当前帧中像素或宏块对应的参考像素或宏块在参考帧中的位置,并在当前帧中像素或宏块的运动矢量中选取所述位置位于参考帧中ROI内的参考像素或宏块对应的当前帧中像素或宏块的运动矢量;根据选取获得的当前帧中像素或宏块的运动矢量确定所述ROI的移动速度分布参数; 所述确定ROI缩放参数的步骤包括 根据选取获得的当前帧中像素或宏块的运动矢量确定对应的当前帧中像素或宏块,并根据该当前帧中像素或宏块和对应的参考帧中的像素或宏块确定所述ROI缩放参数。
3.根据权利要求2所述的方法,其特征在于,所述ROI的移动速度分布参数包括
4.根据权利要求3所述的方法,其特征在于,所述对当前帧中采样获得的粒子进行状态转移处理的步骤包括 根据所述ROI的移动速度分布参数确定粒子状态转移的速度Vp V2,包括;以O I的均匀分布产生随机数μ,如果μ < α,贝IJ令V1,=Oj,标志变量C1 =1,否则,以分布P(MVm)选取在上一模块中统计的运动矢量集合G中的一个元素对应的两个分量(MV' x,m' y)分别作为 Vl、V2 的值,即令 V1 = MV' x、V2 = m' y,并记 = O,α为状态转移参数,其初始值为预先设定,在后续的粒子更新过程中更新该值的方式包括
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据状态转移后的粒子确定当前帧的ROI的步骤包括 对进行状态转移处理后的粒子执行各粒子区域颜色直方图统计处理,并根据各粒子区域颜色直方图统计处理结果进行粒子更新处理; 根据粒子更新处理获得的结果计算ROI位置大小。
6.一种视频中的感兴趣区域跟踪装置,其特征在于,包括 移动速度分布参数及缩放参数确定模块,用于获取当前帧中像素或宏块的运动矢量,并根据所述运动矢量确定感兴趣区域ROI的移动速度分布参数,,还用于根据参考帧中ROI的状态信息确定缩放参数; 粒子状态转移模块,用于利用所述移动速度分布参数及缩放参数确定模块确定的ROI的移动速度分布参数和缩放参数对当前帧中采样获得的粒子进行状态转移处理; ROI确定模块,用于根据所述粒子状态转移模块进行状态转移后的粒子,确定当前帧的ROI位置及大小。
7.根据权利要求6所述的装置,其特征在于,所述移动速度分布参数及缩放参数确定模块具体包括 运动矢量获取模块,用于根据当前帧中像素或宏块的运动矢量确定当前帧中像素或宏块对应的参考像素或宏块在参考帧中的位置,并在当前帧中像素或宏块的运动矢量中,选取所述位置位于参考帧中ROI内的参考像素或宏块对应的当前帧中像素或宏块的运动矢量; 参数确定模块,用于根据所述运动矢量获取模块选取获得的当前帧中像素或宏块的运动矢量确定所述ROI的移动速度分布参数和缩放参数;还根据选取获得的当前帧中像素或宏块的运动矢量确定对应的当前帧中像素或宏块,并根据该当前帧中像素或宏块和对应的参考帧中的像素或宏块确定所述ROI缩放参数。
8.根据权利要求7所述的装置,其特征在于,所述参数确定模块包括ROI的移动速度分布参数估计模块,用于估计ROI的移动速度分布参数,且估计获得的 所述ROI的移动速度分布参数包括
9.根据权利要求8所述的装置,其特征在于,所述粒子状态转移模块包括 粒子位置速度转移模块,用于根据所述ROI的移动速度分布参数估计模块获得的ROI的移动速度分布参数确定粒子状态转移的速度Vp V2,包括;以O I的均匀分布产生随机数μ,如果μ < α,则令V1 =OJ J2,标志变量C1 = I,否则,以分布P(MVm)选取在上一模块中统计的运动矢量集合G中的一个元素对应的两个分量(MV' x’m' y)分别作为VpV2的值,即令V1 = MV' X、V2 = MV' y,并记Oq,α为状态转移参数,其初始值为预先设定,在后续的粒子更新过程中更新该值的方式包括,
10.根据权利要求6-9任一项所述的装置,其特征在于,所述ROI确定模块包括 各粒子区域颜色直方图统计处理模块,用于对进行状态转移处理后的粒子执行各粒子区域颜色直方图统计处理; 粒子更新模块,用于根据各粒子区域颜色直方图统计处理结果进行粒子更新处理; ROI位置大小计算模块,用于根据粒子更新处理获得的结果计算ROI位置大小。
全文摘要
本发明公开了一种视频中的感兴趣区域跟踪方法及装置,包括首先,获取当前帧中像素或宏块的运动矢量,并根据所述运动矢量确定感兴趣区域ROI的移动速度分布参数,还根据参考帧中ROI的状态信息确定ROI缩放参数;之后,利用所述ROI的移动速度分布参数和缩放参数对当前帧中采样获得的粒子进行状态转移处理,并根据状态转移后的粒子确定当前帧的ROI位置及大小。本发明实施例可以利用存在于压缩码流中或者编码时产生的运动矢量信息指导粒子状态转移过程,从而可以在保证跟踪效果的情况下,减少跟踪过程中所需的粒子数目,进而降低跟踪处理的复杂程度,并可以获得较佳的跟踪效果。
文档编号H04N7/26GK102682454SQ20121013291
公开日2012年9月19日 申请日期2012年4月28日 优先权日2012年4月28日
发明者刘震, 张冬, 李厚强 申请人:中国科学技术大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1