视频摘要处理方法、装置、电子设备和存储介质与流程

文档序号:30577600发布日期:2022-06-29 10:14阅读:99来源:国知局
视频摘要处理方法、装置、电子设备和存储介质与流程

1.本发明实施例涉及视频处理技术领域,尤其涉及一种视频摘要处理方法、装置、电子设备和存储介质。


背景技术:

2.随着视频监控高清化时代的到来,海量视频数据的查看和检索成为用户的重点关注。视频摘要是一种视频压缩技术,对视频数据进行处理,提取出用户感兴趣的内容,通过一定的方法重新排列并呈现。以此缩短视频数据的长度,让用户能够快速地找到自己想看的内容。
3.在视频摘要检索方面,现有方法大多通过以图搜图等方法进检索,即建立运动目标和待检索目标的关联,进行匹配和搜索,该方法效率较低。并且在运动对象附近有多个干扰目标时,容易导致检索错误。


技术实现要素:

4.本发明实施例提供一种视频摘要处理方法、装置、电子设备和存储介质,以提高视频摘要检索的效率和准确率。
5.第一方面,本发明实施例提供了一种视频摘要处理方法,包括:
6.根据接收到的检索指令确定视频摘要中的待检索位置;其中,所述视频摘要为基于原始视频的至少两帧图像生成;
7.确定所述待检索位置到所述视频摘要中各运动对象的候选运动轨迹的距离;
8.根据所述距离确定目标运动轨迹,以根据所述目标运动轨迹关联的目标运动对象在原始视频中定位视频序列。
9.第二方面,本发明实施例还提供了一种视频摘要处理装置,包括:
10.待检索位置确定模块,用于根据接收到的检索指令确定视频摘要中的待检索位置;其中,所述视频摘要为基于原始视频的至少两帧图像生成;
11.距离确定模块,用于确定所述待检索位置到所述视频摘要中各运动对象的候选运动轨迹的距离;
12.运动轨迹确定模块,用于根据所述距离确定目标运动轨迹,以根据所述目标运动轨迹关联的目标运动对象在原始视频中定位视频序列。
13.第三方面,本发明实施例还提供了一种电子设备,包括:
14.一个或多个处理器;
15.存储装置,用于存储一个或多个程序,
16.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的视频摘要处理方法。
17.第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的视频摘要处理方法。
18.本发明实施例基于接收到的检索指令确定视频摘要中的待检索位置,并根据待检索位置和视频摘要中所有运动轨迹之间的距离从所有运动轨迹中确定目标运动轨迹,根据目标运动轨迹在视频摘要中关联的目标运动对象在原始视频中确定该目标运动对象所在的视频序列。本发明实施例通过轨迹定位的方法对视频摘要中的数据进行检索,提高了对视频摘要中目标运动对象的检索效率和准确率。
附图说明
19.图1是本发明实施例一中的视频摘要处理方法的流程图;
20.图2是余弦角度确定的示意图;
21.图3是待检索位置到候选运动轨迹的距离确定的流程示意图;
22.图4是本发明实施例二中的视频摘要处理方法的流程图;
23.图5是视频摘要生成的流程图;
24.图6是本发明实施例三中的视频摘要处理装置的结构示意图;
25.图7是本发明实施例四中的电子设备的结构示意图。
具体实施方式
26.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
27.实施例一
28.图1是本发明实施例一中的视频摘要处理方法的流程图,本实施例可适用于根据用户从视频摘要中确定的检索运动对象,在原始视频定位该检索运动对象的情况。该方法可以由视频摘要处理装置来执行,该装置可以采用软件和/或硬件的方式实现,并可配置在电子设备中,例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示,该方法具体包括:
29.步骤101、根据接收到的检索指令确定视频摘要中的待检索位置;其中,视频摘要为基于原始视频的至少两帧图像生成。
30.其中,检索指令是指用户发出的对感兴趣的运动对象进行标记的指令,具体的,检索指令可以通过用户点击视频摘要中的运动对象进行发出。示例性的,用户在观看视频摘要时,对出现的某运动对象感兴趣,则通过鼠标点击该运动对象所在的位置发出检索指令。视频摘要是指对原始视频中信息的一种概述,保留了感兴趣的运动对象的视频信息,同时剔除原始视频中的冗余内容,实现对一个原始视频中有用信息的筛选。视频摘要是一种视频压缩技术,对原始视频数据进行处理,提取出用户感兴趣的内容,通过一定的方法重新排列并呈现,以此缩短视频数据的长度,让用户能够快速地找到自己想看的内容。原始视频是指通过图像采集装置直接获取到的原始视频数据。具体的,随着视频监控高清化时代的到来,24小时开启的监控相机会采集到海量的视频数据,则由监控相机采集到的未经过处理的视频即为原始视频,对原始视频进行概述得到的压缩视频为视频摘要。
31.具体的,接收用户发出的带有对视频摘要中感兴趣的运动对象信息的检索指令,对该检索指令中用户感兴趣的运动对象信息进行确定,得到其在视频摘要中出现的位置,
为待检索位置。示例性的,用户在查看原始视频的视频摘要时,发现感兴趣的对象,对该对象进行点击,获取用户所点击的位置作为待检索位置,对于用户感兴趣的对象不局限于运动对象,也可以是背景图像中的任一位置点,表示用户对出现在背景中该位置点的运动对象感兴趣。
32.步骤102、确定待检索位置到视频摘要中各运动对象的候选运动轨迹的距离。
33.由于视频摘要中包括了原始视频中所有运动对象的运动轨迹信息,因此通过确定待检索位置到各运动对象的候选运动轨迹之间的距离,即可确定该待检索位置在各候选运动轨迹上的概率。
34.具体的,确定待检索位置后,根据在生成视频摘要时预先存储的各运动对象的运动轨迹数据,依次确定待检索位置到各候选运动轨迹的距离。示例性的,确定该待检索位置到各候选运动轨迹的垂直距离作为到各候选运动轨迹的距离。
35.在一个可行的实施例中,步骤102,包括:
36.基于使用余弦角度作为约束条件的dtw算法,确定待检索位置到视频摘要中各运动对象的候选运动轨迹的距离。
37.其中,dtw(dynamic time warping,动态时间归整)算法计算不同长度向量,因此在计算多维向量组间距离表现出一定的优越性。根据dtw算法原理,假设任意两条轨迹s和t,长度分别为m和n个位置点。记两条轨迹的位置坐标点分别为:
[0038][0039]
则这两条轨迹的距离为
[0040][0041]
按照上述dtw算法计算的时间复杂度为o(m*n)。在本发明实施例中,确定待检索位置,即通过用户标记感兴趣位置点,即使m=1,计算的时间复杂度变为o(1*n)。因此在本发明实施例中通过对待检索位置进行确定,避免了冗余的计算,降低了计算复杂度。
[0042]
此外,在本发明实施例中,在dtw算法计算距离的运算终止条件上,提出使用余弦角度作为约束条件。余弦角度用于表示在距离运算过程中,距离与运动轨迹运行方向的角度。基于使用余弦角度作为约束条件的dtw算法,确定待检索位置到视频摘要中各运动对象的候选运动轨迹的距离,能够提高dtw算法确定距离的准确性,并且提高距离确定的效率。
[0043]
在一个可行的实施例中,余弦角度为目标点连线和相邻点连线之间的角度;其中,目标点连线为待检索位置和候选运动轨迹上目标点的连线,相邻点连线为目标点和沿候选运动轨迹的运动方向上目标点的相邻点的连线。
[0044]
如图2所示为余弦角度确定的示意图,图2中p点为待检索位置,o点为在候选运动轨迹上选取的目标点,q点o点的下一时刻的位置点,即沿着候选运动轨迹运动方向上的下一个位置点,图2中所示o点和q点所在的候选运动轨迹的运动方向是从下向上。目标点连线为点p到点o的连线,相邻点连线为点q到点o的连线,根据余弦定理可知,目标点连线和相邻
点连线之间的角度α的表达式为:其中,po为点p到点o的dtw距离,qo为点q到点o的dtw距离,pq为点p到点q的dtw距离。
[0045]
具体的,p点为用户标记的感兴趣点的位置,即用鼠标点击的位置点,o点为在候选运动轨迹上遍历选择的任一点作为目标点,q点为视频摘要中目标点所在的视频帧的下一帧图像中出现该候选运动轨迹的位置点。
[0046]
在一个可行的实施例中,基于使用余弦角度作为约束条件的dtw算法,确定待检索位置到视频摘要中各运动对象的候选运动轨迹的距离,包括:
[0047]
若余弦角度为预设角度,则待检索位置和目标点之间的距离为待检索位置到候选运动轨迹的距离。
[0048]
其中,预设角度用户表示目标点选取的正确度。由余弦角度的确定原理可知,当预设角度为时,待检索位置和目标点的连线与目标点和相连点的连线垂直,说明此时待检索位置和目标点之间的距离可以表示待检索位置和该候选运动轨迹之间的距离。
[0049]
距离确定的具体步骤为:对候选运动轨迹上各位置点进行遍历,选择其中任意一点作为目标点,确定约束条件余弦角度,若余弦角度则确定该目标点与待检索位置点的距离为待检索位置到该目标点所在的候选运动轨迹的距离。若余弦角度不满足则继续选择该候选运动轨迹上下一个点作为目标点,继续进行确定余弦角度,直至确定余弦角度满足时,终止计算,输出此时的目标点和待检索位置之间的距离,为待检索位置到候选运动轨迹的距离。如图3所示为待检索位置到候选运动轨迹的距离确定的流程示意图,如图3所示,待检索位置通过用户点击的鼠标位置进行确定,表示为点p。按照该距离确定方法依次确定待检索位置到各候选运动轨迹的距离。
[0050]
使用余弦角度为预设角度作为约束条件,确定距离运算的终止时机,提高了距离运算的效率和准确度,避免运动轨迹上干扰点的存在造成距离计算错误。
[0051]
步骤103、根据距离确定目标运动轨迹,以根据目标运动轨迹关联的目标运动对象在原始视频中定位视频序列。
[0052]
其中,目标运动轨迹表示了待检索位置最有可能所在的运动轨迹。确定目标运动轨迹后即可以确定目标运动对象,即确定了用户所感兴趣的待检索位置所对应的目标运动对象。
[0053]
在确定目标运动轨迹后,根据目标运动轨迹确定目标运动对象,以在原始视频中实现对目标运动对象所在的视频序列的定位,并将该段视频序列提供给用户,实现对用户感兴趣的对象的提取。
[0054]
在一个可行的实施例中,根据距离确定目标运动轨迹,包括:
[0055]
确定距离最小的候选运动轨迹为目标运动轨迹。
[0056]
具体的,在进行轨迹特征检索定位时,即通过距离确定目标运动轨迹时,对视频摘要中所包括的所有候选运动轨迹,取dtw距离最小值对应的轨迹为目标运动轨迹。示例性
的,视频摘要中包括k条候选运动轨迹,则待检索位置到各候选运动轨迹的距离为{dist1,dist2,...,distk},目标运动轨迹为min dist=min{dist1,dist2,...,distk}所对应的候选运动轨迹。
[0057]
在一个可行的实施例中,该方法还包括:
[0058]
对原始视频进行运动对象提取,确定原始视频中各运动对象的原始位置信息,并建立各运动对象和原始位置信息之间的关联关系;其中,原始位置信息至少包括各运动对象在原始视频出现中的初始时间和结束时间;
[0059]
相应的,根据目标运动轨迹关联的目标运动对象在原始视频中定位视频序列,包括:
[0060]
根据目标运动轨迹确定关联的目标运动对象;
[0061]
根据目标运动对象确定关联的原始位置信息;
[0062]
根据原始位置信息中的初始时间和结束时间定位原始视频中的视频序列,以在原始视频中对目标运动对象进行定位。
[0063]
在视频摘要的生成过程中,会对原始视频进行运动对象提取,确定原始视频中各视频帧中运动对象的位置信息,具体的,通过前景背景分离的方法,提取运动对象并对运动对象进行跟踪,输出运动对象的原始位置信息,其中,原始位置信息中包括了各运动对象在原始视频中第一次出现的时间,为初始时间,以及在原始视频中最后一次出现的时间,为结束时间。并建立和存储各运动对象和原始位置信息之间的关联关系,以待后续根据运动对象可以确定其关联的原始位置信息。
[0064]
具体的,在预先建立的运动对象和原始位置信息之间的关联关系的基础上,根据目标运动轨迹可以确定关联的目标运动对象信息,根据该关联关系即可确定原始位置信息,即确定该目标运动对象在原始视频中第一次出现的时间和最后一次出现的时间,将原始视频中该时间段之间的视频序列提取出来即为用户感兴趣的视频段,实现对目标运动对象的精准定位,避免用户在海量的原始视频中寻找目标运动对象的视频段的资源浪费,提高检索效率。
[0065]
本发明实施例的整体检索思路为:在对视频摘要进行检索时,通过点击运动对象轨迹中的任一感兴趣点作为待检索位置,计算待检索位置同周边所有候选运动轨迹之间的距离,然后输出距离最小值。确定距离待检索位置距离最小的轨迹,为用户所要检索的目标运动轨迹。通过待检索的目标运动轨迹的原始位置信息(在原视频中的起始时间点信息)确定该目标运动对象在原始视频中的视频序列,并显示用户感兴趣的对象所在的视频序列,通过轨迹定位,播放该视频序列,以达到用户通过对视频摘要实现对原始视频的检索。
[0066]
本发明实施例基于接收到的检索指令确定视频摘要中的待检索位置,并根据待检索位置和视频摘要中所有运动轨迹之间的距离从所有运动轨迹中确定目标运动轨迹,根据目标运动轨迹在视频摘要中关联的目标运动对象在原始视频中确定该目标运动对象所在的视频序列。本发明实施例通过轨迹定位的方法对视频摘要中的数据进行检索,提高了对视频摘要中目标运动对象的检索效率和准确率。
[0067]
实施例二
[0068]
图4是本发明实施例二中的视频摘要处理方法的流程图,本实施例二在实施例一的基础上进行进一步地优化,在根据接收到的检索指令确定视频摘要中的待检索位置之
前,还包括生成原始视频的视频摘要的过程。如图4所示,该方法包括:
[0069]
步骤401、对原始视频进行运动对象提取,确定原始视频中各运动对象的原始位置信息和运动轨迹方向信息;其中,原始位置信息至少包括运动对象的边缘位置信息。
[0070]
其中,运动对象是指在原始视频中处于运动状态的对象。
[0071]
运动对象提取可以依据运动对象跟踪的方法进行确定,运动对象跟踪是在一段视频图像中的每幅图像中找到所感兴趣的运动对象,并确定运动对象的位置、速度和加速度等运动参数,运动对象跟踪为本领域的常用技术手段,具体的原理在此不再赘述。
[0072]
通过前景背景分离方法,提取原始视频中的运动对象,去除原始视频中不包含运动对象的视频序列得到包含运动对象的原始视频,并对包含运动对象的原始视频进行运动对象跟踪,利用跟踪算法完成跟踪后,输出各原始视频中每个视频帧中运动对象的位置信息和运动轨迹方向信息,每个运动对象的位置和方向连接在一起,组成该运动对象的运动轨迹。
[0073]
其中,运动对象的位置信息是指该运动对象在图像中的位置信息,如边缘位置信息或者质心位置信息。运动轨迹方向信息用于表示该运动对象的运行角度,具体的,在原始视频中对某运动对象进行跟踪,得到n个位置点,即该运动对象的运动轨迹可以用{(x1,y1),...,(xi,yi),...,(xn,yn)}表示,其中的位置点坐标可以通过运动对象的质心坐标进行确定,该运动对象在原始视频中初始出现的位置点为(x1,y1),在目标时刻运动对象的位置为(xi,yi),则该运动对象在目标时刻的运动轨迹方向信息可以用目标时刻的位置点和下一时刻的位置点之间的角度进行确定,即用对运动轨迹方向信息进行表示。对于在原始视频中有n个位置点的运动轨迹而言,包括n-1个运动轨迹方向信息,以对任意时刻运动对象的运动方向进行确定。
[0074]
步骤402、根据运动轨迹方向信息对原始视频中的视频帧进行抽取,得到目标视频帧。
[0075]
由于视频摘要是对原始视频的概述,因此若原始视频中包括运动对象的视频帧数量较多时,采取对包括运动对象的视频帧进行抽取的方式,以根据抽取到的视频帧确定视频摘要,起到对原始视频压缩的目的。然而在对原始视频中包括运动对象的视频帧进行抽取时,若采用随机抽取的方式,则可能会导致运动对象方向发生变化的视频帧丢失,得到的视频摘要中运动对象的运动连续性较差。例如,若运动对象一直保持直线行走,但是在某一时刻发生方向的突变向右行走,则在随机抽取时,可能未抽取到方向发生变化的视频帧,得到的视频摘要中该运动对象则会突然从直线行走的位置点变成了右侧的某一位置,给用户带来的观看体验较差,且丢失了重要信息。
[0076]
在本发明实施例中,根据运动轨迹方向信息对原始视频中的视频帧进行抽取,避免出现方向发生突变的视频帧未出现在视频摘要中导致的视频摘要播放不连续的问题。示例性的,确定原始视频中各运动对象的运动轨迹方向信息,若目标时刻的视频帧中任一运动对象的运动轨迹方向与前一时刻的运动轨迹方向的差值超过预设角度,则抽取该目标时刻的视频帧作为目标视频帧,对未超过预设角度的剩余视频帧可以采用随机抽取的方式,或者根据运动轨迹方向角度进行间断抽取的方式,得到目标视频帧。
[0077]
在对包括运动对象的原始视频进行目标视频帧抽取时,基于运动轨迹方向信息可
以保证抽取得到的目标视频帧中没有遗漏重要信息,使得根据目标视频帧确定的视频摘要中运动对象的运动具有连续性,提高视频摘要的准确度。
[0078]
步骤403、根据目标视频帧中所有运动对象的边缘位置信息对所有运动对象进行提取。
[0079]
根据边缘位置信息对所有运动对象进行提取即将目标视频帧中每帧图像中的运动对象抠取出来,获得目标运动对象所在的位置点信息以及位置点的像素值信息。具体的,将目标视频帧中每帧图像中运动对象所在的位置点信息以及每个位置点的像素值信息进行提取。
[0080]
步骤404、根据提取的各运动对象和预先设置的背景图像生成原始视频的视频摘要。
[0081]
将提取到的运动对象和预先设置的背景图像进行融合,用根据边缘位置信息提取到的运动对象的各位置点的像素值代替背景中相应位置的像素值,得到视频摘要。本发明实施例中的预先设置的背景图像是指固定监控场景的背景图像,对于监控相机来说,其是被固定设置在某一位置点的,所监控的场景也是固定的,因此可以根据实际监控场景预先设置背景图像。
[0082]
具体的,采用如下公式对视频摘要进行生成:
[0083][0084]
其中,f'
t
(xi,yi)是指视频摘要中第t视频帧在(xi,yi)点的像素值,f
t
(xi,yi)是指目标视频帧第t帧中(xi,yi)点处的运动对象的像素值,b
t
(xi,yi)是指背景图像(xi,yi)点处的像素值。(xi,yi)∈foregroud是指该点在目标视频帧第t帧中位于运动对象的边缘位置信息中,(xi,yi)∈backgroud是指该点在目标视频帧第t帧位于运动对象的边缘位置信息外。
[0085]
具体的,在视频摘要中,若目标帧的目标点在对应目标视频帧中为运动对象所在的区域中,则该点的像素值采用提取出的运动对象的像素值;若不在,则该点的像素值采用背景图像的像素值,以实现对视频摘要的生成。
[0086]
如图5所示为视频摘要生成的流程图,对原始视频序列进行运动对象检测,去除原始视频序列中不包括运动对象的视频序列,对包括运动对象的视频序列中每帧视频帧进行提取运动对象,并初始化跟踪算法,得到每帧视频帧中所有运动对象的质心坐标,并确定各运动对象的运动轨迹方向信息,生成运动轨迹。最后通过运动对象前景和背景图像的融合,输出视频摘要序列。
[0087]
本发明实施例中通过前景背景分离方法,提取运动对象和包含运动对象的视频片段并进行跟踪,跟踪算法完成跟踪后,输出运动对象的位置和运动轨迹方向信息,将运动对象的位置和运动轨迹方向连接在一起,组成运动对象轨迹。对提取出来的运动对象,按照一定的时间、空间顺序组合起来,形成视频摘要。在生成视频摘要时,加入运动轨迹方向信息有利于提高视频摘要生成的准确度,提高视频摘要包含信息的丰富度和准确性。
[0088]
实施例三
[0089]
图6是本发明实施例三中的视频摘要处理装置的结构示意图,本实施例可适用于根据用户从视频摘要中确定的检索运动对象,在原始视频定位该检索运动对象的情况。如
图6所示,该装置包括:
[0090]
待检索位置确定模块610,用于根据接收到的检索指令确定视频摘要中的待检索位置;其中,所述视频摘要为基于原始视频的至少两帧图像生成;
[0091]
距离确定模块620,用于确定所述待检索位置到所述视频摘要中各运动对象的候选运动轨迹的距离;
[0092]
运动轨迹确定模块630,用于根据所述距离确定目标运动轨迹,以根据所述目标运动轨迹关联的目标运动对象在原始视频中定位视频序列。
[0093]
本发明实施例基于接收到的检索指令确定视频摘要中的待检索位置,并根据待检索位置和视频摘要中所有运动轨迹之间的距离从所有运动轨迹中确定目标运动轨迹,根据目标运动轨迹在视频摘要中关联的目标运动对象在原始视频中确定该目标运动对象所在的视频序列。本发明实施例通过轨迹定位的方法对视频摘要中的数据进行检索,提高了对视频摘要中目标运动对象的检索效率和准确率。
[0094]
可选的,距离确定模块,包括dtw距离确定单元,用于:
[0095]
基于使用余弦角度作为约束条件的dtw算法,确定所述待检索位置到所述视频摘要中各运动对象的候选运动轨迹的距离。
[0096]
可选的,所述余弦角度为目标点连线和相邻点连线之间的角度;其中,所述目标点连线为所述待检索位置和候选运动轨迹上目标点的连线,所述相邻点连线为所述目标点和沿所述候选运动轨迹的运动方向上目标点的相邻点的连线。
[0097]
可选的,dtw距离确定单元,具体用于:
[0098]
若所述余弦角度为预设角度,则所述待检索位置和所述目标点之间的距离为所述待检索位置到候选运动轨迹的距离。
[0099]
可选的,运动轨迹确定模块,具体用于:
[0100]
确定所述距离最小的候选运动轨迹为目标运动轨迹。
[0101]
可选的,所述装置还包括运动对象提取单元,用于:
[0102]
对原始视频进行运动对象提取,确定原始视频中各运动对象的原始位置信息,并建立各运动对象和原始位置信息之间的关联关系;其中,所述原始位置信息至少包括各运动对象在原始视频出现中的初始时间和结束时间;
[0103]
相应的,运动轨迹确定模块,具体用于:
[0104]
根据目标运动轨迹确定关联的目标运动对象;
[0105]
根据目标运动对象确定关联的原始位置信息;
[0106]
根据所述原始位置信息中的初始时间和结束时间定位所述原始视频中的视频序列,以在原始视频中对所述目标运动对象进行定位。
[0107]
可选的,所述装置还包括视频摘要生成模块,用于在根据接收到的检索指令确定视频摘要中的待检索位置之前,对原始视频进行运动对象提取,确定原始视频中各运动对象的原始位置信息和运动轨迹方向信息;其中,所述原始位置信息至少包括运动对象的边缘位置信息;
[0108]
根据所述运动轨迹方向信息对所述原始视频中的视频帧进行抽取,得到目标视频帧;
[0109]
根据所述目标视频帧中所有运动对象的边缘位置信息对所有运动对象进行提取;
[0110]
根据提取的各运动对象和预先设置的背景图像生成所述原始视频的视频摘要。
[0111]
本发明实施例所提供的视频摘要处理装置可执行本发明任意实施例所提供的视频摘要处理方法,具备执行视频摘要处理方法相应的功能模块和有益效果。
[0112]
实施例四
[0113]
图7是本发明实施例四提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
[0114]
如图7所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储装置28,连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。
[0115]
总线18表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(isa)总线,微通道体系结构(mac)总线,增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0116]
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
[0117]
系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质,例如随机存取存储装置(ram)30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
[0118]
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储装置28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0119]
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图7所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图7中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0120]
处理单元16通过运行存储在系统存储装置28中的程序,从而执行各种功能应用以
及数据处理,例如实现本发明实施例所提供的视频摘要处理方法,包括:
[0121]
根据接收到的检索指令确定视频摘要中的待检索位置;其中,所述视频摘要为基于原始视频的至少两帧图像生成;
[0122]
确定所述待检索位置到所述视频摘要中各运动对象的候选运动轨迹的距离;
[0123]
根据所述距离确定目标运动轨迹,以根据所述目标运动轨迹关联的目标运动对象在原始视频中定位视频序列。
[0124]
实施例五
[0125]
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的视频摘要处理方法,包括:
[0126]
根据接收到的检索指令确定视频摘要中的待检索位置;其中,所述视频摘要为基于原始视频的至少两帧图像生成;
[0127]
确定所述待检索位置到所述视频摘要中各运动对象的候选运动轨迹的距离;
[0128]
根据所述距离确定目标运动轨迹,以根据所述目标运动轨迹关联的目标运动对象在原始视频中定位视频序列。
[0129]
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0130]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0131]
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。
[0132]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言诸如java、smalltalk、c++,还包括常规的过程式程序设计语言诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0133]
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,
本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1