基于运动轨迹分析的视频关键帧提取方法
【专利摘要】本发明公开了一种基于运动轨迹分析的视频关键帧提取方法，涉及图像处理方法技术领域。所述方法包括如下步骤：对视频时空切片进行粗略提取，确认运动片段；对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹；对时空切片运动轨迹进行预处理，检测时空切片运动轨迹的方向曲线拐点和尺度曲线拐点；根据检测到的时空切片运动轨迹的方向曲线拐点和尺度曲线拐点确定运动目标尺度和方向拐点，进行关键帧提取并输出关键帧。所述方法提取的视频关键帧具有更高的准确性，且计算量较小。
【专利说明】
基于运动轨迹分析的视频关键帧提取方法
技术领域
[0001] 本发明涉及图像处理方法技术领域，尤其涉及一种基于运动轨迹分析的视频关键 帧提取方法。
【背景技术】
[0002] 随着视频数据的爆炸式增长，快速、准确地分析和浏览视频已经成为一个迫切需 要解决的难题。关键帧提取作为一种解决方案越来越受到人们的关注。关键帧是一种经典、 高效的视频浓缩形式，用关键帧代替原视频可以大大降低数据量，同时也便于检索和浏览 视频。由于视频数据的多样性和复杂性，以及关键帧的视觉主观性，目前复杂场景下的关键 帧提取仍然是一项极具挑战性的课题。
[0003] 评价关键帧主要看其能否全面、准确的再现原视频的主要事件，在保证全面提取 的情况下，尽量降低冗余。广泛应用的关键帧提取算法多是基于视频底层特征分析的，以单 帧或少量帧的特征变化为标准提取关键帧。由于缺乏完整时间维的特征分析，难以从整体 上把握关键帧的数量及位置，并且容易受到场景变化、目标姿态变化、目标遮挡等干扰造成 重要特征漏检，进而导致真正的关键帧没有被提取到。提取结果与视频的真实语义之间存 在差异，不能全面、准确的反应视频的真实语义，也就是说，关键帧提取结果不符合人眼视 觉感知。
[0004] 人眼视觉总是倾向于关注运动的目标，运动状态改变比运动本身更具视觉吸引 力。因为相比于只包含匀速运动状态目标的视频帧，包含目标运动状态改变(比如：启动、停 止、加速、减速、伸手、弯腰以及方向改变等)的视频帧能够提供更多的有用信息。
[0005] 文献 1 (key frame extraction based on spatiotemporal motion trajectory Optical Engineering Volume 54，Issue 5)给出了一种提取固定数目时空切片（记作Nus) 的方法，但是该方法难以选取合适的Nus，因为它与算法计算量以及时空切片运动轨迹MTSS 完整度密切相关。Nus越大，MTSS越完整，但计算量也会随之增加，致使上述方法几乎不可能 同时做到计算高效和MTSS的完整提取。再者，大多数监控视频中，运动目标稀疏的分散到冗 长的视频流中，存在着大量的静止片段，造成视频关键帧很难被有效的提取出来。
【发明内容】
[0006] 本发明所要解决的技术问题是提供一种基于运动轨迹分析的视频关键帧提取方 法，所述方法提取的视频关键帧具有更高的准确性，且计算量较小。
[0007] 为解决上述技术问题，本发明所采取的技术方案是：一种基于运动轨迹分析的视 频关键帧提取方法，其特征在于所述方法包括如下步骤：
[0008] 对视频时空切片进行粗略提取，确认运动片段；
[0009] 对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹MTSS;
[0010] 对时空切片运动轨迹MTSS进行预处理，检测时空切片运动轨迹MTSS的方向曲线拐 点Id和尺度曲线拐点Is;
[0011] 根据检测到的时空切片运动轨迹MTSS的方向曲线拐点Id和尺度曲线拐点Is确定运 动目标尺度和方向拐点Is, d，进彳丁关键帧提取并输出关键帧。
[0012] 进一步的技术方案在于:所述视频时空切片是水平切片，定义尺度和方向发生改 变的帧为关键帧。
[0013] 进一步的技术方案在于:视频V(x，y，t)的水平切片Sk表示为： pi pi …pL p) --pIa p\
[0014] sk ^...... (1) p{ pi ?PiA Pi ---PU Pl .? m m t m X Pf -p1L p ]I_
[0015] 式中：&(户/)表示视频中位置x = j，y=k，t = i处的像素，满足jG [1，W]，kG [1，H]， i G [ 1，L]，W X H表示视频帧的大小，L表示视频的长度。
[0016] 进一步的技术方案在于:水平切片Sk上的时空切片运动轨迹MTSS表示为： {A - pl){pl - d-x) ?' ? (A- Ph )
[00i7] ⑵。 (pi^pl) -(pI-pQ - (Pi-PL)
[0018] 进一步的技术方案在于:所述的对视频内的时空切片进行粗略提取，确认运动片 段的方法如下:在粗略提取中，提取较少数量的时空切片Nss来确定视频运动片段，时空切片 运动轨迹MTSS表征运动目标的存在，时空切片运动轨迹MTSS的像素数目仏表征运动目标的 相对显著性，基于公式(2)，第巧帧的'由下式计算得到：
[0019] (3) M 1
[0020] 式中： 10, if [MTSSiF,)]^^ "、
[0021] P[MmS(F)]^l (4) |l, otherwise
[0022]根据公式(3)，一定数量的时空切片Nss上的Nm表示为：
[0023] Nm = Nm(l)UNm(2)U---UNm(Nss) (5)
[0024] 那么，的视频片段为运动片段，运动具有连续性，孤立的运动帧将被视为干 扰而去除，其中T用于度量目标运动的充分性。
[0025] 进一步的技术方案在于:所述的对运动片段内的时空切片进行精细提取的方法如 下：
[0026] 提取较多的时空切片Nis，以获取完整的MTSS:
[0027] MTSS=MTSS(1) UMTSS(2) U …UMTSS(Nis) (6)。
[0028] 进一步的技术方案在于:所述的方向曲线拐点Id的计算方法如下： 「8 MTSS起、止点
[0029] 々=4|#| MTSS 弯曲 （7) 0 otherwise
[0030] 式中：9表示MTSS偏离原轨迹的角度，满足0G (-31/2,31/2)。
[0031] 进一步的技术方案在于:所述的尺度曲线拐点13的计算方法如下： 8 |w| > w6
[0032] /s = < 8丨m'|/ 0 < |w| < % ( 8 ) Q |wj = Q
[0033] 式中:wo和w分别表示MTSS的原始尺度和尺度变化。
[0034]进一步的技术方案在于:MTSS的尺度和方向拐点Is,d由下式得到：
[0035] Is,d = Is+Id (9)。
[0036] 进一步的技术方案在于:如果需要提取的关键帧数目K是给定的，并且不等于MTSS 的尺度和方向拐点Is,d曲线的峰值数目M，采用如下步骤处理：
[0037] 1)如果M>K，提取具有较高Is,d值的K帧作为关键帧；
[0038] 2)如果M<K，使用插值算法提取额外的(K-M)个关键帧。
[0039] 采用上述技术方案所产生的有益效果在于:本发明提出了粗略、精细相结合的切 片提取方法，粗略提取用于确定视频运动片段，精细提取用于获取完整的MTSS，利用时空切 片分析目标的运动轨迹，在MTSS的尺度和方向拐点处提取关键帧，所提取的关键帧既反应 了目标运动状态的局部改变，又反应了目标运动状态的全局改变。实验结果表明本发明所 提出的方法比当前主流方法具有更高的准确性，并且算法的计算量相当、甚至更小。
【附图说明】
[0040] 图1是本发明所述方法的流程图；
[0041] 图2是不同方向的视频时空切片图；
[0042]图3是平均镜头重构度比较图；
[0043]图4是现有技术文献1的关键帧提取结果图；
[0044]图5是本发明的关键帧提取结果图。
【具体实施方式】
[0045] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0046] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以 采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的 情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0047] 总体的，如图1所示，本发明公开了一种基于运动轨迹分析的视频关键帧提取方 法，所述方法包括如下步骤：
[0048] 对视频时空切片进行粗略提取，确认运动片段；
[0049] 对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹MTSS;
[0050] 对时空切片运动轨迹MTSS进行预处理，检测时空切片运动轨迹MTSS的方向曲线拐 点Id和尺度曲线拐点Is;
[0051 ]根据检测到的时空切片运动轨迹MTSS的方向曲线拐点Id和尺度曲线拐点Is确定运 动目标尺度和方向拐点Is, d，进彳丁关键帧提取并输出关键帧。
[0052]下面对本发明所述方法进行详细说明：
[0053]时空切片是一种高效的视频时空分析方法，具有计算量低、抗干扰能力强等优点。 它只提取图像空间的部分行、列，保留了完整的视频时间维信息，而空间维信息的匮乏可以 通过多个切片的信息融合来减缓。在长时间维的历史信息辅助下提取关键帧，可以有效的 避免干扰。时空切片通常包括三种:水平切片、垂直切片和对角线切片，如图2所示。
[0054] 不同方向的时空切片反映的目标运动信息不同。对角线切片反映的是目标在斜向 运动时的信息。垂直切片反映的是视频垂直区域的像素灰度变化趋势，主要应用于目标个 数统计、瞬时速度估计以及高度测量等。水平切片包含最为丰富的目标信息和场景变化信 息，其纹理表征着目标的运动轨迹。
[0055] 本发明中的视频时空切片是水平切片，通过分析时空切片纹理，可以得到目标的 运动状态。静止目标的水平坐标固定不变，像素灰度随时间的分布保持一致，切片纹理表现 为具有恒定宽度的水平条纹。运动目标的颜色与背景不同，其运动会导致时空切片的灰度 变化，产生有别于水平条纹的切片纹理，所产生的纹理变化表征着目标的运动状态改变。
[0056] 本发明中，关键帧定义为包含目标运动状态改变（局部改变和全局改变）的视频 帧。传统的轨迹分析方法能够实现运动状态改变的检测，但通常计算复杂度高、消耗时间 长。目标运动状态的局部改变和全局改变可以分别由时空运动轨迹的尺度和方向准确的反 映出来，因此，本发明基于时空切片对运动轨迹的尺度和方向进行分析，提出了一种关键帧 提取方法，该方法将MTSS(Motion Trajectory on Spatiotemporal Slice,时空切片运动 轨迹)的尺度和方向发生改变的帧提取为关键帧。
[0057]视频V(x，y，t)的水平切片Sk表示为： p\ A pU pI --pL A _8] &W…旧 (i) \p( Pi pU Pi '.pL Pi Ypi H ".jCi pI_
[0059] 式中：5'办/)表示视频中位置x = j，y = k，t = i处的像素，满足jG [1，W]，kG [1，H]， i G [ 1，L]，W X H表示视频帧的大小，L表示视频的长度。
[0060] 从公式（1)可以推出，静止目标的时空运动轨迹呈现水平条纹，运动目标的时空运 动轨迹呈现弯曲。因此，水平切片Sk上的MTSS(时空切片运动轨迹)可以表示为： (pi - pi)，， (p) - pU)…（A - pL)
[0061] MTSS(Skjipt-pry^ (2) (Pipf)…（p! -p;a)…i'Pi，PiA i ? * ?' V ? -(g -/，r)…（u\) (w -
[0062] 通常，单一时空切片上的MTSS并不完整，融合多个时空切片可以提高MTSS的完整 度。本发明提出了粗略、精细相结合的切片提取策略，粗略提取用于确定视频运动片段，精 细提取用于获取完整的MTSS。
[0063]在粗略提取中，提取少量的时空切片（记作Nss)来确定视频运动片段。MTSS表征着 运动目标的存在，MTSS的像素数目（记作Nm)表征着运动目标的相对显著性。基于公式（2)， 第巧帧的N m可由下式计算得到：
[0064] ^(^)=1{^^(/-；)]；( (3 >
[0065] 式中： 「 n rr.,7-"v...1 if [MTSS(h])]^Q 、
[0066] /-[.v//^S(r,)J = ^ C4) 1otherwise
[0067]根据公式(3)，NSS时空切片上的Nm可以表示为：
[0068] Nm = Nm(l)UNm(2)U---UNm(Nss) (5)
[0069] 那么，用于量度目标运动的充分性）的视频片段为运动片段，运动具有连 续性，孤立的运动帧将被视为干扰而去除。
[0070] 精细提取只在运动片段中进行，提取较多的时空切片(记作Nls)，以期获取完整的 MTSS：
[0071] MTSS=MTSS(1) UMTSS(2) U …UMTSS(Nis) (6)
[0072] 通常，Nis比Nss大很多，所以上式的MTSS被视作完整MTSS。
[0073] MTSS随着目标运动状态的改变而改变，MTSS的空域尺度变化反映了目标运动状态 的局部改变，其时域方向变化反映了目标运动状态的全局改变。因此目标运动状态的局部 和全局改变可以由MTSS的尺度曲线拐点（记作I s)和方向曲线拐点（记作Id)分别充分捕捉 到。
[0074] 为了简单起见，Id表示为： :8 MTSS起、止点：
[0075]/,,=< 41(9| MTSS 弯曲 （7 ) 0 otherwise
[0076] 式中：0表示MTSS偏离原轨迹的角度，满足0G (-jt/2，V2)。
[0077 ] Is表亦为： 8 | w| > w0
[0078] /, -i8|w|/H'0 0<|w[<>v0 (b) 0 |w| = .0
[0079] 式中:wo和w分别表示MTSS的原始尺度和尺度变化。
[0080] MTSS的尺度和方向拐点(记作Is,d)可由下式得到：
[0081] Is；d = ls+Id (9)。
[0082]实际应用中，如果需要提取的关键帧数目K是给定的，并且不等于Is,d曲线的峰值 数目M，可以采用如下步骤处理：
[0083] 1)如果M>K，提取具有较高Is,d值的K帧作为关键帧；
[0084] 2)如果M<K，使用插值算法提取额外的(K-M)个关键帧。
[0085]实验与分析：
[0086] 为了验证本发明所提出的关键帧提取方法的性能，将其与当前的主流方法(文献1 所述方法)进行了对比。对比实验在四段不同类型的监控视频上进行，分别为：
[0087] (A)Jogging_on_the_playgroundl,
[0088] (B)Hall_cifl,
[0089] (C)Garden corner,
[0090] (D)Computer room。
[0091]视频(A)主要包括目标运动状态的全局改变，另外三段视频则具有明显的目标运 动状态局部改变。实验参数设置为:Nss = 6，Nis = 72，Nus = 36。实验在通用型个人计算机上完 成，基本配置为：Intel Core 2.3GHz CPU和4GB内存。
[0092] 在客观性能方面，采用了SRD(Shot Reconstruction Degree，镜头重构度)评估准 则。SRD值越高，表明所提取的关键帧捕捉视频内容改变（即目标运动状态改变)越准确。两 种方法在视频(A)上的SRD评估结果非常相似。但在其它三段监控视频上，具有明显的不同， 当提取的关键帧比率从1 %变化到7 %时，平均SRD值如图3所示。
[0093]从图3可以看出，本发明所提出的方法在SRD性能上具有明显的优势。具体地，在关 键帧比率小于3%时，两种方法的SRD性能相当；在关键帧比率大于等于3%时，本发明所提 出的方法的SRD性能明显优于对比方法，高达1.2dB。原因在于，本发明所提出的方法充分利 用了目标运动状态的全局和局部改变，而文献1中的方法只关注目标运动状态的全局改变。 [0094]在主观性能方面，本发明所提出的方法也具有较高的准确性。从四段监控视频的 实验结果来看，测试视频中目标运动状态的局部和全局改变都能够由本发明所提出的方法 准确的检测到，而文献1中的方法在面对局部运动状态改变时，准确性并不理想。图4-5只给 出了视频(B)(格式为Common Intermediate Format，CIF)的实验结果作为示例来分析两种 方法的检测准确性，此视频具有典型的目标运动状态局部改变和全局改变。
[0095] 图4和图5分别给出了两种方法的关键帧提取结果。在视频(B)中，目标运动状态的 全局改变主要包括两个行人分别走进大厅(视频前半部分)和走出大厅(视频后半部分）。明 显的目标运动状态的局部改变包括穿黑色上衣的行人弯腰去放下公文包和穿白色上衣的 行人伸手去拎起仪器(视频中间部分）。这些目标运动状态的局部和全局改变都非常具有视 觉吸引力，因此，这些位置的视频帧可以作为基准来评估两种方法的检测准确性。
[0096] 图4和图5的开头、末尾部分都和评估基准相似，中间部分的关键帧具有明显的不 同。具体地，图4选取了第394帧（穿黑色上衣的行人转身、弯腰)和第435帧（穿白色上衣的行 人转身、伸手)作为关键帧，而图5则选取了尺度变化更为明显的第417帧（穿黑色上衣的行 人弯腰去放下公文包)和第459帧（穿白色上衣的行人伸手去拎起仪器）。显然，图5更准确的 展现了评估基准的视频内容，所提取的关键帧语义更丰富，更为符合人眼视觉感知。原因在 于:本发明所提出的方法充分利用了 MTSS的尺度和方向特征，而文献1中的方法却只关注 MTSS的方向。由此可见，本发明所提出的方法具有更好的主观性能，尤其是在目标运动状态 的局部改变明显的视频场景中。
[0097]表1给出了两种方法在测试视频(A)、（B)、（C)和(D)上的平均每帧计算时间。可以 看出，本发明所提出的方法的平均每帧的计算时间随着运动片段比率的降低而降低。具体 地，本发明所提出的方法与文献1中的方法在运动片段比率为51 %、32%和28%时的平均每 帧计算时间相当，但是当运动片段比率降低至6%时，本发明所提出的方法的计算时间具有 明显的降低，此时的平均每帧计算时间不到文献1的方法的三分之一。
[0098]表1平均每帧的计算时间(单位:秒）
[0100]综上，本发明提出了粗略、精细相结合的切片提取方法，粗略提取用于确定视频运 动片段，精细提取用于获取完整的MTSS，利用时空切片分析目标的运动轨迹，在MTSS的尺度 和方向拐点处提取关键帧，所提取的关键帧既反应了目标运动状态的局部改变，又反应了 目标运动状态的全局改变。实验结果表明本发明所提出的方法比当前主流方法具有更高的 准确性，并且算法的计算量相当、甚至更小。
【主权项】
1. 一种基于运动轨迹分析的视频关键帧提取方法，其特征在于所述方法包括如下步 骤： 对视频时空切片进行粗略提取，确认运动片段； 对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹MTSS; 对时空切片运动轨迹MTSS进行预处理，检测时空切片运动轨迹MTSS的方向曲线拐点Id 和尺度曲线拐点Is; 根据检测到的时空切片运动轨迹MTSS的方向曲线拐点Id和尺度曲线拐点Is确定运动目 标尺度和方向拐点Is, d，进彳丁关键帧提取并输出关键帧。2. 如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述视 频时空切片是水平切片，定义运动目标尺度和方向发生改变的视频帧为关键帧。3. 如权利要求2所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，视频V (x，y，t)的水平切片Sk表示为：式中ACp/)表示视频中位置X = j，y = k，t = i处的像素，满足j G [I，W]，ke [I，H]，i e [I，L]，WX H表示视频帧的大小，L表示视频的长度。4. 如权利要求3所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，水平切 片Sk上的时空切片运动轨迹MTSS表示为：5. 如权利要求4所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的 对视频内的时空切片进行粗略提取，确认运动片段的方法如下:在粗略提取中，提取较少数 量的时空切片N ss来确定视频运动片段，时空切片运动轨迹MTSS表征运动目标的存在，时空 切片运动轨迹MTSS的像素数目N m表征运动目标的相对显著性，基于公式(2)，第?1帧的^由 下式计算得到：根据公式(3)，一定数量的时空切片Nss上的Nm表示为： Nm = Nm(I) UNm(2) U ··· UNm(Nss) (5) 那么，的视频片段为运动片段，运动具有连续性，孤立的运动帧将被视为干扰而去 除，其中τ用于度量目标运动的充分性。6. 如权利要求5所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的 对运动片段内的时空切片进行精细提取的方法如下： 提取较多的时空切片Nis，以获取完整的MTSS: MTSS=MTSs(I) UMTSS(2) U ··· UMTSS(Nis) (6) 〇7. 如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的 方向曲线拐点Id的计算方法如下：式中：Θ表示MTSS偏离原轨迹的角度，满足Θ e (-jt/2，Ji/2)。8. 如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的 尺度曲线拐点Is的计算方法如下：式中:wo和w分别表示MTSS的原始尺度和尺度变化。9. 如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，MTSS的 尺度和方向拐点Is,d由下式得到： Is,d = Is+Id (9)010. 如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，如果 需要提取的关键帧数目K是给定的，并且不等于MTSS的尺度和方向拐点I s,d曲线的峰值数目 M，采用如下步骤处理： 1) 如果M>K，提取具有较高Is,d值的K帧作为关键帧； 2) 如果M<K，使用插值算法提取额外的(K-M)个关键帧。
【文档编号】G06T7/20GK105931270SQ201610270653
【公开日】2016年9月7日
【申请日】2016年4月27日
【发明人】张云佐, 王学军, 赵正旭
【申请人】石家庄铁道大学