视频浓缩方法、设备、计算机可读存储介质及计算机装置与流程

文档序号:14360216阅读:170来源:国知局

本发明涉及视频处理技术领域,尤其涉及一种视频浓缩方法、设备、计算机可读存储介质及计算机装置。



背景技术:

视频浓缩是对视频内容的一种简单概括,以自动或半自动的方式,通过对视频中的运动目标进行算法分析,提取视频图像中的运动目标,然后对各个目标的运动轨迹进行分析,将分析得到的目标拼接到一个共同的背景场景中,并将这些运动目标以某种方式进行组合,生成新的浓缩后视频的一种技术。

现有技术的视频浓缩方法主要包括前景检测、视频浓缩处理和整合处理等主要步骤。前景检测用于初始背景的建模和运动目标的检测;视频浓缩处理,对存在运动目标的视频帧进行场景提取;整合处理主要用于对经过视频浓缩处理得到的场景进行排序,以及将排序后的视频整合成浓缩视频。

也就是说,现有技术的视频浓缩方法主要是根据运动目标进行视频浓缩,在浓缩得到的视频中,会包含同一运动目标在不同场景中的视频帧;因此,对于需要锁定设定场景的情况,例如,案发现场为某楼梯间的设定角落,警察只需调取该位置的视频,现有的视频浓缩方法则无法满足查询需求。



技术实现要素:

本发明实施例提供了一种视频浓缩方法、设备、计算机可读存储介质及计算机装置,用以解决现有的视频浓缩方法无法针对设定场景进行视频浓缩的问题。

本发明实施例提供了一种视频浓缩方法,所述方法包括:

针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息;

若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧;

对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。

优选地,针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息,具体包括:

若确定所述任一视频帧或所述任一视频帧的同步帧携带有预置位标号信息,则将所述预置位标号信息确定为所述任一视频帧对应的预置位信息;或者,

若确定所述任一视频帧和所述任一视频帧的同步帧均未携带有预置位标号信息,则根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息;其中,预置位标号与摄像机运行的预置位一一对应。

进一步可选地,根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息,具体包括:

基于第一匹配算法,将所述任一视频帧与所述任一视频帧的前一帧进行匹配;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度不低于第一设定阈值,则将所述任一视频帧的前一帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度低于所述第一设定阈值,则基于第二匹配算法,将所述任一视频帧与各预置位视频帧进行匹配;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度不低于第二设定阈值,则将所述匹配相似度最高的预置位视频帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值,则增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息;其中,预置位视频帧为所述设定视频中预置位信息已经确定的视频帧。

进一步可选地,在确定匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值之后,增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息之前,所述方法还包括:

基于第三匹配算法,将所述任一视频帧与各预置位视频帧进行匹配,确定所述任一视频帧与各预置位视频帧的匹配相似度均不高于第三设定阈值;其中,所述第三匹配算法不同于所述第二匹配算法。

同样可选地,若确定不存在所述任一视频帧的前一帧视频帧,则为所述任一视频帧设置设定预置位标号作为所述任一视频帧对应的预置位信息。

优选地,确定所述任一视频帧包含设定运动目标,包括以下方式中的至少一个:

基于背景建模的方法,确定所述任一视频帧包含设定运动目标;

基于模板匹配的方法,确定所述任一视频帧包含设定运动目标;

基于机器学习的方法,确定所述任一视频帧包含设定运动目标。

优选地,对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频,具体包括:

根据各关键帧,确定所述浓缩视频的背景图像;

分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧;

对浓缩视频帧排序得到所述浓缩视频。

进一步可选地,在确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧之后,所述方法还包括:确定该关键帧的图像亮度信息;

分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧,具体包括:

针对任一关键帧,根据所述任一关键帧的图像亮度,对所述背景图像的亮度进行调整;

将从所述任一关键帧中提取的设定运动目标与亮度调整后的所述背景图像进行融合,得到浓缩视频帧。

相应地,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述的视频浓缩方法。

相应地,本发明实施例还提供了一种视频浓缩设备,包括:

预置位确定单元,用于针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息;

运动目标确定单元,用于若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧;

浓缩单元,用于对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。

优选地,所述预置位确定单元,具体用于若确定所述任一视频帧或所述任一视频帧的同步帧携带有预置位标号信息,则将所述预置位标号信息确定为所述任一视频帧对应的预置位信息;或者,若所述任一视频帧和所述任一视频帧的同步帧均未携带有预置位标号信息,则根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息;其中,预置位标号与摄像机运行的预置位一一对应。

进一步可选地,所述预置位确定单元,具体用于通过以下方式实现根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息:

基于第一匹配算法,将所述任一视频帧与所述任一视频帧的前一帧进行匹配;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度不低于第一设定阈值,则将所述任一视频帧的前一帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度低于所述第一设定阈值,则基于第二匹配算法,将所述任一视频帧与各预置位视频帧进行匹配;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度不低于第二设定阈值,则将所述匹配相似度最高的预置位视频帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值,则增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息;其中,预置位视频帧为预置位信息已经确定的视频帧。

进一步可选地,所述预置位确定单元,还用于在确定匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值之后,增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息之前,基于第三匹配算法,将所述任一视频帧与各预置位视频帧进行匹配,确定所述任一视频帧与各预置位视频帧的匹配相似度均不高于第三设定阈值;其中,所述第三匹配算法不同于所述第二匹配算法。

同样可选地,所述预置位确定单元,还用于若确定不存在所述任一视频帧的前一帧视频帧,则为所述任一视频帧设置设定预置位标号作为所述任一视频帧对应的预置位信息。

优选地,所述运动目标确定单元,具体用于通过以下方式中的至少一个,确定所述任一视频帧包含设定运动目标:

基于背景建模的方法,确定所述任一视频帧包含设定运动目标;

基于模板匹配的方法,确定所述任一视频帧包含设定运动目标;

基于机器学习的方法,确定所述任一视频帧包含设定运动目标。

优选地,所述浓缩单元,具体用于根据各关键帧,确定所述浓缩视频的背景图像;以及,分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧;并对浓缩视频帧排序得到所述浓缩视频。

进一步可选地,所述运动目标确定单元,还用于在确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧之后,确定该关键帧的图像亮度信息;

所述浓缩单元,具体用于通过以下方式实现分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧:

针对任一关键帧,根据所述任一关键帧的图像亮度,对所述背景图像的亮度进行调整;

将从所述任一关键帧中提取的设定运动目标与亮度调整后的所述背景图像进行融合,得到浓缩视频帧。

相应地,本发明实施例还提供了一种计算机装置,包括:

存储器,用于存储程序指令;

处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行上述的视频浓缩方法。

本发明有益效果如下:

本发明实施例提供了一种视频浓缩方法、设备、计算机可读存储介质及计算机装置,可针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息;以及,若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧;并对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。也就是说,通过确定每一视频帧对应的预置位信息,将摄像机同一预置位拍摄的视频帧浓缩到同一视频中,即可实现针对设定场景进行视频浓缩,解决了现有视频浓缩方法无法针对设定场景进行视频浓缩的问题,进而,也满足了针对场景的查询需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1所示为本发明实施例一中视频浓缩方法的步骤流程图;

图2所示为本发明实施例二中的视频浓缩设备的结构示意图;

图3所示为本发明实施例三中的计算机装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

实施例一:

本发明实施例一提供了一种视频浓缩方法,具体地,如图1所示,其为本发明实施例一中所述视频浓缩方法的步骤流程图,可包括以下步骤:

步骤101:针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息。

其中,所述设定视频具体可为预先存储的视频,也可为实时输入的视频;也就是说,本实施例提供的所述视频浓缩方法,既可对现有的视频进行浓缩,也可在录像的同时对实时输入的视频流进行浓缩,本实施例在此不作任何限定。

需要说明的是,设置预置位是将被监视的重点区域与摄像机的运行状况联系在一起的一种方式。当云台运行到需要重点监视的地方时,会向摄像机发出设置预置点的命令,摄像机则将此时的云台的方位和摄像机的状态记录下来,并与该预置点对应的预置位标号联系起来。当向摄像机发出招回命令时,云台可立即以最快的速度运行到该点,摄像机也回到当时记忆的状态,从而方便监控人员能迅速地查看被监视领域。预置位的多少和运行到预置位的速度,都是衡量智能云台功能的一项重要指标。

对于具有设置预置位功能的摄像机拍摄的视频,即视频帧中携带有预置位信息的视频,步骤101针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息,可具体包括:

确定所述任一视频帧或所述任一视频帧的同步帧携带有预置位标号信息;

将所述预置位标号信息确定为所述任一视频帧对应的预置位信息;其中,预置位标号与摄像机运行的预置位一一对应。

需要说明的是,所述任一视频帧的同步帧是与所述任一视频帧在摄像机的同一预置位拍摄的视频帧。也就是说,若所述设定视频的原始数据中包括预置位信息,则针对任一视频帧,直接提取对应记录的预置位标号即可。

同样可选地,由于并不是所有的摄像机均具有设置预置位的功能,或者具有设置预置位功能的摄像机拍摄的视频中也不一定存储有预置位信息;因此,为了实现针对任意视频均可进行分监控场景浓缩,步骤101针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息,还可具体包括:

确定所述任一视频帧和所述任一视频帧的同步帧均未携带有预置位标号信息;

根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息。

也就是说,针对原始数据中未携带有预置位信息的视频,可根据每一视频帧的图像内容,反推确定拍摄该视频帧时摄像机所运行到的位置点。

进一步可选地,根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息,可具体包括以下方式:

方式一:若确定不存在所述任一视频帧的前一帧视频帧,则为所述任一视频帧设置设定预置位标号作为所述任一视频帧对应的预置位信息。

也就是说,针对所述视频的第一个视频帧,可直接为该第一个视频帧设置预置位标号positon-1作为该第一个视频帧预置位信息。

进一步可选地,所述第一个视频帧具体可为第一个正常的视频帧;也就是说,在所述方法开始时,可对输入的每一视频帧进行异常图像判断,若当前的视频帧为异常视频帧,则不进行任何处理直接读取下一帧,直至确定第一个非异常视频帧,并将该第一个非异常视频帧对应的预置位信息设置为positon-1。

需要说明的是,异常图像判断主要是针对摄像机转动过程中产生的虚焦图像、黑屏图像等。异常图像判断的具体方法可根据实际使用需求灵活选择,本实施例不作任何限定。例如,可在对任一视频帧进行降噪、拉普拉斯变换之后,统计变换后的像素的均值和方差,若均值小于第一阈值(可根据实际使用需求灵活设置),且方差小于第二阈值(可根据实际使用需求灵活设置),则认为所述任一视频帧为异常图像。

方式二:若确定存在所述任一视频帧的前一帧视频帧,则基于第一匹配算法,将所述任一视频帧与所述任一视频帧的前一帧进行匹配;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度不低于第一设定阈值(可根据实际使用需求灵活设置),则将所述任一视频帧的前一帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度低于所述第一设定阈值,则基于第二匹配算法,将所述任一视频帧与各预置位视频帧进行匹配;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度不低于第二设定阈值(可根据实际使用需求灵活设置),则将所述匹配相似度最高的预置位视频帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值,则增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息;其中,预置位视频帧为所述设定视频中预置位信息已经确定的视频帧。

例如,针对任一视频帧,若所述任一视频帧的前一帧的预置位标号为positon-n,则基于第一匹配算法,将所述任一视频帧与所述任一视频帧的前一帧进行匹配;若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度不低于第一设定阈值,则确定所述任一视频帧的预置位标号为positon-n;若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度低于第一设定阈值,则基于第二匹配算法,将所述任一视频帧与预置位标号分别为positon-1、positon-2…positon-n-1…positon-n+1…positon-m(m为当前共确定的预置位标号的总数)的各一个预置位视频帧分别进行匹配,若确定匹配相似度最高的预置位标号为positon-2的预置位视频帧与所述任一视频帧的匹配相似度不低于第二设定阈值,则确定为所述任一视频帧的预置位标号为positon-2;若确定匹配相似度最高的预置位标号为positon-2的预置位视频帧与所述任一视频帧的匹配相似度低于第二设定阈值,则新增所述任一视频帧的预置位标号为positon-m+1。

需要说明的是,首先将所述任一视频帧与所述任一视频帧的前一帧进行匹配,是因为相邻的视频帧的预置位变更的概率较小,因此,计算一次即可确定所述任一视频帧的预置位标号的概率较大,进而可有效减少计算量;当然,也可直接将所述任一视频帧与各预置位视频帧依次进行匹配,本实施例在此不作任何限定。

另外,需要说明的是,所述第一匹配算法与所述第二匹配算法可相同也可不同。所述第一匹配算法以及所述第二匹配算法可包括但不限于直方图匹配法。

例如,基于直方图匹配法,将图像一与图像二进行进行匹配可包括以下步骤:

(1)计算图像一与图像二的帧差。图像一的各像素与图像二的各对应像素分别做差,确定每个像素对应的差值,即确定图像一与图像二的帧差。

(2)将图像一和图像二分别进行分块,计算每块图像的直方图,例如将图像一和图像二分别划分为4×4个图像块,统计每个图像块的直方图;其中,针对每个图像块,在对该图像块进行直方图统计时,若当前像素点在步骤(1)中计算的帧差值大于第三阈值(可根据实际使用需求灵活设置),则该像素点不进行直方图统计。

(3)图像块进行直方图匹配,计算图像一和图像二中各对应的图像块的直方图相似度,针对任一对图像块,若直方图相似度不小于第四阈值(可根据实际使用需求灵活设置),则认为该任一对图像块匹配;若直方图相似度小于第四阈值,则认为该任一对图像块不匹配。

(4)统计图像一和图像二中,相互匹配的图像块的个数占分块总数的比例,若比例不小于第五阈值(可根据实际使用需求灵活设置),则认为图像一与图像二匹配;若比例小于第五阈值,则认为图像一与图像二不匹配。

进一步可选地,在确定匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值之后,增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息之前,所述方法还可包括:

基于第三匹配算法,将所述任一视频帧与各预置位视频帧进行匹配,确定所述任一视频帧与各预置位视频帧的匹配相似度均不高于第三设定阈值;其中,所述第三匹配算法不同于所述第二匹配算法。

也就是说,为了提高预置位检测的准确率,对于任一视频帧,可使用不同的匹配方法将其与各预置位视频帧进行匹配确认,以防止由于预置位检测不准确导致的新增不必要的预置位号,进而导致将相同场景的视频帧浓缩在不同视频中的情况发生。

进一步可选地,基于第三匹配算法,将所述任一视频帧与各预置位视频帧进行匹配,可具体包括:

根据基于所述第二匹配算法确定的匹配相似度由高到低的顺序,将各预置位视频帧依次排序;

基于第三匹配算法,依次将排序后的各预置位视频帧与所述任一视频帧进行匹配。

由于所述任一视频帧与基于所述第二匹配算法确定的匹配相似度最高的预置位视频帧相匹配的概率最大,因此,从匹配度最大的预置位视频帧进行匹配确认,可以减少匹配确认的次数,从而降低计算量。

进一步可选地,所述第三匹配算法可包括但不限于纹理匹配方法。例如,在进行直方图匹配之后,基于纹理匹配方法,对图像一与图像二进行进行匹配确认可具体包括以下步骤:

(1)计算图像一的帧差不大于所述第三阈值的像素点的水平梯度s1和垂直梯度c1,计算图像二的帧差不大于所述第三阈值的像素点的水平梯度s2和垂直梯度c2;

(2)针对任一帧差不大于所述第三阈值的像素点,若确定s1>c1且s2>c2,或者s1<c1且s2<c2,则确定方向一致;若确定s1>c1且s2<c2,或者s1<c1且s2>c2,则确定方向不一致;

(3)确定方向一致的像素点占图像一或图像二像素点总数的比例;若比例不小于第六阈值(可根据实际使用需求灵活设置),则认为图像一与图像二匹配;若比例小于第六阈值,则认为图像一与图像二不匹配。

步骤102:若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧。

进一步可选地,步骤102还可包括:若确定所述任一视频帧不包含设定运动目标,则对所述任一视频帧不进行任何处理,直接读取下一视频帧,并跳转至步骤101,确定该下一视频帧对应的预置位信息。

优选地,所述设定运动目标可包括但不限于“人”、“动物”、“物体”等,设定运动目标可根据实际使用需求灵活设定;且所述设定视频中可包括一个或两个以上设定运动目标;另外,当所述设定视频中包括两个以上设定运动目标时,还可根据视频帧中所包括的设定运动目标,确定任一设定运动目标所对应的各关键帧。

优选地,步骤102确定所述任一视频帧包含设定运动目标,可包括以下方式中的至少一个:

基于背景建模的方法,确定所述任一视频帧包含设定运动目标;

基于模板匹配的方法,确定所述任一视频帧包含设定运动目标;

基于机器学习的方法,确定所述任一视频帧包含设定运动目标。

例如,基于背景建模的方法确定所述任一视频帧包含设定运动目标可具体包括以下步骤:

(1)针对任一新增加预置位标号的视频帧,进行背景建模;

(2)基于背景建模结果,针对任一视频帧,确定所述任一视频帧的背景图像;

(3)根据确定的所述任一视频帧的背景图像,确定所述任一视频帧包含的设定运动目标;检测到的设定运动目标的个数可能为0个、1个或两个以上;

(4)当确定所述任一视频帧中包含至少1个设定运动目标后,对检测到的每个设定运动目标进行跟踪,获取每个设定运动目标的运动轨迹。

基于背景建模的方法确定设定运动目标的具体方式以及运动目标跟踪的方法均可采用现有技术,本实施例在此不再赘述。

另外,需要说明的是,机器学习的方法可包括但不限于基于cnn(convolutionalneuralnetwork,卷及神经网络)模型的深度学习方法;所述背景建模的方法、模板匹配的方法以及机器学习的方法的具体实现方式与现有技术类似,本实施例在此不再赘述。

步骤103:对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。

需要说明的是,在步骤103中,可无需考虑设定运动目标的类别,仅根据预置位信息,将预置位相同的各关键帧进行视频浓缩。例如,假设在步骤102中,共确定出positon-1、positon-2…positon-6六个预置位标号,以及两个设定运动目标,则可确定出6个关键帧集合,并可分别对各关键帧集合进行浓缩、整合;其中,任一关键帧集合中的各关键帧的预置位相同。也就是说,生成针对设定场景的浓缩视频,便于在应用索引能力时,根据场景进行索引、查询。

同样可选地,在步骤103中,还可将预置位相同、且设定运动目标相同的各关键帧进行视频浓缩。例如,假设在步骤102中,共确定出positon-1、positon-2…positon-6六个预置位标号,以及两个设定运动目标,则可确定出12个关键帧集合,并可分别对各关键帧集合进行浓缩、整合;其中,任一关键帧集合中的各关键帧的预置位相同、包含的设定运动目标相同。也就是说,可对确定的任一设定运动目标的、预置位相同的各关键帧进行浓缩、整合,以生成该任一设定运动目标在设定场景的浓缩视频,便于在应用索引能力时,根据场景和运动目标进行精确索引、查询。

可选地,步骤103对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频,可具体包括:

根据各关键帧,确定所述浓缩视频的背景图像;

分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧;

对浓缩视频帧排序得到所述浓缩视频。

优选地,所述浓缩视频的背景图像的确定方法可包括但不限于背景建模的方法、关键帧合成的方法以及将没有目标的视频帧直接作为背景图像的方法;确定所述浓缩视频的背景图像的具体方法流程与现有技术类似,本实施例在此不再赘述。

相应地,若在步骤102中采用背景建模的方法检测设定运动目标,则在步骤103中,可根据运动目标框与目标前景掩码图相结合的方式,来确定最终叠加的目标,即,若设定运动目标在运动目标框中的占空比较小,则可将前景掩码图对应的区域图像叠加到背景图像上;若设定运动目标在运动目标框中的占空比较高,则可直接将运动目标框对应的图像区域叠加到背景图像上。

进一步可选地,在步骤102确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧之后,所述方法还可包括:确定该关键帧的图像亮度信息;

相应地,分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧,可具体包括:

针对任一关键帧,根据所述任一关键帧的图像亮度,对所述背景图像的亮度进行调整;

将从所述任一关键帧中提取的设定运动目标与亮度调整后的所述背景图像进行融合,得到浓缩视频帧。

若视频中存在光照变化,将不同亮度等级的关键帧中的设定运动目标叠加到同一亮度背景上则会产生亮度突兀感;因此,在一种对背景图像的亮度进行调整的可实施方式中,可在叠加不同亮度等级的设定运动目标的过渡阶段,将不同亮度等级的背景图像按照设定比例进行融合,生成设定数量的亮度等级过渡的背景图像用于叠加目标,可使得浓缩后的视频的亮度过渡更加自然。

综上所述,本发明实施例提供的视频浓缩方法,可针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息;以及,若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧;并对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。也就是说,通过确定每一视频帧对应的预置位信息,将摄像机同一预置位拍摄的视频帧浓缩到同一视频中,即可实现针对设定场景进行视频浓缩,解决了现有视频浓缩方法无法针对设定场景进行视频浓缩的问题,进而,也满足了针对场景的查询需求。

相应地,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述的视频浓缩方法。

实施例二:

基于同样的发明构思,本发明实施例二提供了一种视频浓缩设备,具体地,如图2所示,其为本发明实施例二中所述设备的结构示意图,所述设备可包括:

预置位确定单元201,用于针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息;

运动目标确定单元202,用于若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧;

浓缩单元203,用于对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。

优选地,所述预置位确定单元201,可具体用于若确定所述任一视频帧或所述任一视频帧的同步帧携带有预置位标号信息,则将所述预置位标号信息确定为所述任一视频帧对应的预置位信息;或者,若所述任一视频帧和所述任一视频帧的同步帧均未携带有预置位标号信息,则根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息;其中,预置位标号与摄像机运行的预置位一一对应。

进一步可选地,所述预置位确定单元201,可具体用于通过以下方式实现根据所述任一视频帧的图像内容信息确定所述任一视频帧对应的预置位信息:

基于第一匹配算法,将所述任一视频帧与所述任一视频帧的前一帧进行匹配;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度不低于第一设定阈值,则将所述任一视频帧的前一帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;

若所述任一视频帧与所述任一视频帧的前一帧的匹配相似度低于所述第一设定阈值,则基于第二匹配算法,将所述任一视频帧与各预置位视频帧进行匹配;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度不低于第二设定阈值,则将所述匹配相似度最高的预置位视频帧对应的预置位标号信息确定为所述任一视频帧对应的预置位信息;若匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值,则增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息;其中,预置位视频帧为预置位信息已经确定的视频帧。

进一步可选地,所述预置位确定单元201,还可用于在确定匹配相似度最高的预置位视频帧与所述任一视频帧的匹配相似度低于所述第二设定阈值之后,增加新的预置位标号,并将该新增加的预置位标号确定为所述任一视频帧对应的预置位信息之前,基于第三匹配算法,将所述任一视频帧与各预置位视频帧进行匹配,确定所述任一视频帧与各预置位视频帧的匹配相似度均不高于第三设定阈值;其中,所述第三匹配算法不同于所述第二匹配算法。

同样可选地,所述预置位确定单元201,还可用于若确定不存在所述任一视频帧的前一帧视频帧,则为所述任一视频帧设置设定预置位标号作为所述任一视频帧对应的预置位信息。

优选地,所述运动目标确定单元202,可具体用于通过以下方式中的至少一个,确定所述任一视频帧包含设定运动目标:

基于背景建模的方法,确定所述任一视频帧包含设定运动目标;

基于模板匹配的方法,确定所述任一视频帧包含设定运动目标;

基于机器学习的方法,确定所述任一视频帧包含设定运动目标。

优选地,所述浓缩单元203,可具体用于根据各关键帧,确定所述浓缩视频的背景图像;以及,分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧;并对浓缩视频帧排序得到所述浓缩视频。

进一步可选地,所述运动目标确定单元202,还可用于在确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧之后,确定该关键帧的图像亮度信息;

相应地,所述浓缩单元203,可具体用于通过以下方式实现分别将各关键帧中提取的设定运动目标与所述背景图像融合,得到各浓缩视频帧:

针对任一关键帧,根据所述任一关键帧的图像亮度,对所述背景图像的亮度进行调整;

将从所述任一关键帧中提取的设定运动目标与亮度调整后的所述背景图像进行融合,得到浓缩视频帧。

综上所述,本发明实施例提供的视频浓缩设备,可针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息;以及,若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧;并对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。也就是说,通过确定每一视频帧对应的预置位信息,将摄像机同一预置位拍摄的视频帧浓缩到同一视频中,即可实现针对设定场景进行视频浓缩,解决了现有视频浓缩方法无法针对设定场景进行视频浓缩的问题,进而,也满足了针对场景的查询需求。

实施例三:

本发明实施例三提供了一种计算机装置,如图3所示,其为本发明实施例中所述的计算机装置的结构示意图。该计算机装置具体可以为桌面计算机、便携式计算机等。具体地,由图3可知,本发明实施例中所述的计算机装置可以包括中央处理器301(centerprocessingunit,cpu)、存储器302、输入设备303以及输出设备304等,输入设备303可以包括键盘、鼠标和/或触摸屏等,输出设备304可以包括显示设备,如液晶显示器(liquidcrystaldisplay,lcd)、阴极射线管(cathoderaytube,crt)等。

存储器302可以包括只读存储器(rom)和随机存取存储器(ram),并向中央处理器301提供存储器302中存储的程序指令和数据。在本发明实施例中,存储器302可以用于存储本发明实施例一中的视频浓缩方法的程序。

中央处理器301通过调用存储器302存储的程序指令,中央处理器301可用于按照获得的程序指令执行:针对设定视频的任一视频帧,确定所述任一视频帧对应的预置位信息;其中,所述任一视频帧对应的预置位信息是用于表征拍摄所述任一视频帧时摄像机所运行到的预置位的信息;以及,若确定所述任一视频帧包含设定运动目标,则确定所述任一视频帧为关键帧;并对预置位相同的各关键帧进行浓缩、整合,生成浓缩视频。

此外,附图和说明书中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。

本领域技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1