视频匹配、检索、分类和推荐方法、装置及电子设备与流程

文档序号:15200075发布日期:2018-08-19 10:36阅读:265来源:国知局

本发明涉及视频检索技术领域,特别是涉及视频匹配、检索、分类和推荐方法、装置及电子设备。



背景技术:

随着计算机技术、网络技术及多媒体技术等的迅速发展,视频数据已被广泛应用于娱乐、教育以及商务等各个领域,视频的制作与传播也越来越简便快速,导致了多媒体视频信息量呈现爆炸式的增长。同时,在线观看电影、电视剧等视频的用户也越来越多,对视频检索等的需求量在日益增大。

在视频检索、分类和推荐过程中,都需要进行视频的相似性匹配。例如:视频检索,其主要步骤包括:预先对视频数据库中的每个原始视频,进行视频的分割,获得多个视频片段,然后对各个视频片段进行视频特征的提取,保存每个原始视频的各个视频片段的视频特征。在进行检索时,对待检索的视频提取视频特征,将待检索的视频的视频特征与视频数据库中的每个原始视频的各个视频片段的视频特征进行相似性匹配,将匹配成功的原始视频作为视频检索结果输出给用户。

目前,进行视频匹配的基本过程,包括:基于视频的连续帧将其分割成多个子视频片段,然后提取各子视频片段中的特征信息,进而构造特征矢量,再通过度量各视频片段特征矢量的距离等,对数据库中的原始视频与待匹配视频进行相似性匹配。

然而,发明人在实现本发明的过程中发现,现有技术至少存在如下问题:

上述方法在短视频或场景单一的视频匹配、检索等方面可以取得较好的成效,但是当视频为长视频或场景切换频率较快的视频时,需要分割的子视频片段就会相应增多,导致在视频分割、特征提取及相似性判断时的计算量较大。



技术实现要素:

本发明实施例的目的在于提供视频匹配、检索、分类和推荐方法、装置及电子设备,以解决因长视频帧数过多及场景切换频繁,而导致的计算量大问题。具体技术方案如下:

为达上述目的,本发明实施例公开了一种视频匹配的方法,所述方法包括:

获取待匹配视频;

从所述待匹配视频中提取多个关键帧;

提取所述待匹配视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧;

将所述待匹配核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

若一原始视频的任一核心场景帧与所述待匹配核心场景帧相似,则将该原始视频确定为与所述待匹配视频相匹配的目标视频。

可选地,所述从所述待匹配视频中提取多个关键帧的步骤,包括:

按预设的时间间隔从所述待匹配视频中提取多个视频帧作为关键帧。

可选地,所述提取所述待匹配视频的每个关键帧的图像特征值的步骤,包括:

针对所述提取的每个关键帧,提取所述每个关键帧的色彩分布特征值,作为每个关键帧的图像特征值。

可选地,所述采用密度聚类算法,根据每个关键帧的图像特征值,从所述待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧,包括:

采用密度聚类算法,将所述每个关键帧的色彩分布特征值作为样本,计算两两样本之间的欧氏距离;

根据所述两两样本之间的欧氏距离及预设的领域半径,计算每个样本的局部密度;

根据所述每个样本的局部密度及预设的最小邻域点数,从所述样本中确定待匹配视频的核心对象;

将局部密度最大的待匹配视频的核心对象所对应的关键帧确定为待匹配核心场景帧。

所述将所述待匹配核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断,包括:

获得一个原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值;

采用密度聚类算法,将所述待匹配核心场景帧的色彩分布特征值和所述原始视频的各个色彩分布特征值作为样本,分别计算所述待匹配核心场景帧的色彩分布特征值与所述原始视频的各个色彩分布特征值之间的各个待判断欧氏距离;

若有一个待判断欧氏距离小于所述预设的领域半径,则确定所述待匹配核心场景帧与所述原始视频的一个核心场景帧相似;

或,

若各个待判断欧氏距离都不小于所述预设的领域半径,则确定所述待匹配核心场景帧与所述原始视频的各个核心场景帧不相似;若所述待匹配核心场景帧与所述原始视频的所有核心场景帧都不相似,则获得下一个原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值进行相似性判断。

可选地,所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的,包括:

针对原始视频,提取所述原始视频的多个关键帧;

提取所述原始视频的每个关键帧的色彩分布特征值;

采用密度聚类算法,将所述每个关键帧的色彩分布特征值作为样本,计算两两样本之间的欧氏距离;

根据所述两两样本之间的欧氏距离及预设的领域半径,计算每个样本的局部密度;

根据所述每个样本的局部密度及预设的最小邻域点数,从所述样本中确定所述原始视频的核心对象,并将所有的所述原始视频的核心对象作为第一核心对象集合;

以所述第一核心对象集合中任一核心对象为种子,查找所述种子密度可达的样本,生成关键帧聚类簇;

对所述每个关键帧聚类簇,选择簇中任一核心对象作为第一核心对象,将局部密度大于所述第一核心对象的核心对象作为第二核心对象;

计算所述第一核心对象与每个第二核心对象之间的距离,将所述第二核心对象与所述第一核心对象距离最小的距离,确定为该第一核心对象的高局部密度点距离;

根据所述每个关键帧聚类簇中每个核心对象的局部密度及高局部密度点距离,确定所述每个关键帧聚类簇的核心场景帧;

将所述确定的每个关键帧聚类簇的核心场景帧,作为所述原始视频的核心场景帧。

可选地,所述以所述第一核心对象集合中任一核心对象为种子,查找所述种子密度可达的样本,生成关键帧聚类簇的步骤,包括:

以所述第一核心对象集合中任一未聚类的核心对象为种子,查找所述种子密度可达的所有样本;

将查找到的所有样本对应的关键帧,生成第一关键帧聚类簇;

将所述第一核心对象集合中所述生成的第一关键帧聚类簇中包含的核心对象之外的核心对象,作为第二核心对象集合;

判断所述第二核心对象集合是否为空集;

若所述第二核心对象集合不是空集,将所述第二核心对象集合作为第一核心对象集合,返回以所述第一核心对象集合中任一核心对象为种子,查找所述种子密度可达的所有样本的步骤;

若所述第二核心对象集合是空集,则生成关键帧聚类簇的步骤结束。

为达上述目的,本发明实施例公开了一种视频检索的方法,所述方法包括:

获取待检索视频;

从所述待检索视频中提取多个关键帧;

提取所述待检索视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待检索视频的多个关键帧中,选取符合预设条件的关键帧作为待检索核心场景帧;

将所述待检索核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

若一原始视频的任一核心场景帧与所述待检索核心场景帧相似,则将该原始视频确定为与所述待检索视频相匹配的目标视频;

将所述目标视频作为检索结果输出给用户。

为达上述目的,本发明实施例公开了一种视频推荐的方法,所述方法包括:

确定目标用户;

获取待推荐视频;

从所述待推荐视频中提取多个关键帧;

提取所述待推荐视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待推荐视频的多个关键帧中,选取符合预设条件的关键帧作为待推荐核心场景帧;

将所述待推荐核心场景帧与预存的所述目标用户观看过的各个历史视频的核心场景帧进行相似性判断;所述历史视频的核心场景帧为预先采用所述密度聚类算法对所述目标用户观看过的每个历史视频进行计算获得的;

若所述待推荐核心场景帧与一历史视频的任一核心场景帧相似,则将所述待推荐视频作为推荐视频推荐给所述目标用户。

为达上述目的,本发明实施例公开了一种视频分类的方法,所述方法包括:

获取待分类视频;

从所述待分类视频中提取多个关键帧;

提取所述待分类视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待分类视频的多个关键帧中,选取符合预设条件的关键帧作为待分类核心场景帧;

将所述待分类核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

若一原始视频的任一核心场景帧与所述待分类核心场景帧相似,则将该原始视频确定为与所述待分类视频相匹配的目标视频;

将所述目标视频的类型作为待分类视频的类型输出给用户。

为达上述目的,本发明实施例公开了一种视频匹配的装置,所述装置包括:

第一获取模块,用于获取待匹配视频;

第一提取模块,用于从所述待匹配视频中提取多个关键帧;

第二提取模块,用于提取所述待匹配视频的每个关键帧的图像特征值;

第一选取模块,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧;

第一判断模块,用于将所述待匹配核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

第一确定模块,用于若一原始视频的任一核心场景帧与所述待匹配核心场景帧相似,则将该原始视频确定为与所述待匹配视频相匹配的目标视频。

为达上述目的,本发明实施例公开了一种视频检索的装置,所述装置包括:

第二获取模块,用于获取待检索视频;

第三提取模块,用于从所述待检索视频中提取多个关键帧;

第四提取模块,用于提取所述待检索视频的每个关键帧的图像特征值;

第二选取模块,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待检索视频的多个关键帧中,选取符合预设条件的关键帧作为待检索核心场景帧;

第二判断模块,用于将所述待检索核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

第二确定模块,用于若一原始视频的任一核心场景帧与所述待检索核心场景帧相似,则将该原始视频确定为与所述待检索视频相匹配的目标视频;

第一输出模块,用于将所述目标视频作为检索结果输出给用户。

为达上述目的,本发明实施例公开了一种视频推荐的装置,所述装置包括:

第三确定模块,用于确定目标用户;

第三获取模块,用于获取待推荐视频;

第五提取模块,用于从所述待推荐视频中提取多个关键帧;

第六提取模块,用于提取所述待推荐视频的每个关键帧的图像特征值;

第三选取模块,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待推荐视频的多个关键帧中,选取符合预设条件的关键帧作为待推荐核心场景帧;

第三判断模块,用于将所述待推荐核心场景帧与预存的所述目标用户观看过的各个历史视频的核心场景帧进行相似性判断;所述历史视频的核心场景帧为预先采用所述密度聚类算法对所述目标用户观看过的每个历史视频进行计算获得的;

第二输出模块,用于若所述待推荐核心场景帧与一历史视频的任一核心场景帧相似,则将所述待推荐视频作为推荐视频推荐给所述目标用户。

为达上述目的,本发明实施例公开了一种视频分类的装置,所述装置包括:

第四获取模块,用于获取待分类视频;

第七提取模块,用于从所述待分类视频中提取多个关键帧;

第八提取模块,用于提取所述待分类视频的每个关键帧的图像特征值;

第四选取模块,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待分类视频的多个关键帧中,选取符合预设条件的关键帧作为待分类核心场景帧;

第四判断模块,用于将所述待分类核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

第三确定模块,用于若一原始视频的任一核心场景帧与所述待分类核心场景帧相似,则将该原始视频确定为与所述待分类视频相匹配的目标视频;

第三输出模块,用于将所述目标视频的类型作为待分类视频的类型输出给用户。

在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序时,实现上述目标方面所述的视频匹配的方法。

在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的视频匹配的方法。

在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的视频匹配的方法。

在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序时,实现上述目标方面所述的视频检索的方法。

在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述所述的视频检索的方法。

在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述视频检索的方法。

在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序时,实现上述目标方面所述的视频推荐的方法。

在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述所述的视频推荐的方法。

在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述视频推荐的方法。

在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序时,实现上述目标方面所述的视频分类的方法。

在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述所述的视频分类的方法。

在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述视频分类的方法。

本发明实施例提供的视频匹配、检索、分类和推荐方法、装置及电子设备,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种视频匹配的方法流程图;

图2为本发明实施例中一种选取待匹配核心场景帧的方法流程图;

图3为本发明实施例中一种待匹配核心场景帧与预存原始视频的核心场景帧相似性判断方法流程图;

图4为本发明实施例中一种对原始视频计算获得原始视频核心场景帧的方法流程图;

图5为本发明实施例中一种生成关键帧聚类簇的方法流程图;

图6为本发明实施例提供的一种视频检索的方法流程图;

图7为本发明实施例提供的一种视频推荐的方法流程图;

图8为本发明实施例提供的一种视频分类的方法流程图;

图9为本发明实施例提供的一种视频匹配的装置结构示意图;

图10为本发明实施例中第一选取模块的结构示意图;

图11为本发明实施例中第一判断模块的结构示意图;

图12为本发明实施例中原始视频核心场景帧确定模块的结构示意图;

图13为本发明实施例中第一生成子模块的结构示意图;

图14为本发明实施例提供的一种视频检索的装置结构示意图;

图15为本发明实施例提供的一种视频推荐的装置结构示意图;

图16为本发明实施例提供的一种视频分类的装置结构示意图;

图17为本发明实施例提供的第一种电子设备结构示意图;

图18为本发明实施例提供的第二种电子设备结构示意图;

图19为本发明实施例提供的第三种电子设备结构示意图;

图20为本发明实施例提供的第四种电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。

为了解决现有技术中当视频为长视频或场景切换频率较快的视频时,需要分割的子视频片段增多,导致在视频分割、特征提取及相似性判断时的计算量较大的问题,本发明实施例提供了视频匹配、检索、分类和推荐方法、装置及电子设备。

本发明实施例提供的视频匹配、检索、分类和推荐方法,都是基于密度聚类算法来实现的。

为了清楚起见,先对密度聚类算法及涉及到的相关定义进行介绍:

密度聚类算法是从样本密度的角度来考察样本直接的可连续性,并基于可连接样本不断扩展聚类簇以获得最终簇类结果。本发明实施例中,采用的密度聚类算法以dbscan(density-basedspatialclusteringofapplicationswithnoise,具有噪声的基于密度的聚类方法)算法为例,文中描述的密度聚类算法与dbscan算法等同,但实际应用中能够采用的密度聚类算法并不局限于此。

在本发明实施例中涉及到的密度聚类算法中的定义主要有:

假设样本集是d=(x1,x2,…xm),则:

ε-领域:对于xj∈d,其ε-领域包含样本集d中与xj的距离不大于ε的子样本集,即nε(xj)={xi∈d|distance(xi,xj)≤ε},这个子样本集的个数记为|nε(xj)|;

核心对象:对于任一样本xj∈d,如果其ε-领域对应的nε(xj)至少包含minpts个样本,即如果|nε(xj)|≥minpts,则xj是核心对象,其中,minpts称为最小邻域点数;

密度直达:若xj位于xi的ε-领域中,且xi是核心对象,则称xj由xi密度直达;

密度可达:对xi与xj,若存在样本序列p1,p2,…pn,满足p1=xi,pn=xj,且pi+1由pi密度直达,则称xj由xi密度可达;

密度相连:对xi与xj,若存在样本xk使得xi与xj均由xk密度可达,则称xi与xj密度相连。

下面对本发明实施例提供的视频匹配、检索、分类和推荐方法、装置及电子设备分别进行详细说明。

参见图1,图1为本发明实施例提供的一种视频匹配的方法,该方法可以包括:

s110,获取待匹配视频。

s120,从所述待匹配视频中提取多个关键帧。

本发明实施例中,针对获取的待匹配视频,需要提取所获取的待匹配视频的关键帧。一种可选的实现方式为:按预设的时间间隔从获取的待匹配视频中提取多个视频帧作为关键帧。其中,预设的时间间隔可以是1秒、3秒或5秒等等,具体时间间隔的设置本领域技术人员可以根据待匹配视频的时长或其他方面的需求进行设计,本发明实施例在此不作限制。

本发明实施例中,可以从获取的待匹配视频中提取多个视频帧作为关键帧,也可以按预设的时间间隔选取待匹配视频中的i帧或其他帧作为关键帧,具体的本领域技术人员可以根据实际应用情况来选取,本发明实施例在此不作限制。

s130,提取所述待匹配视频的每个关键帧的图像特征值。

本发明实施例中,提取待匹配视频的多个关键帧之后,需要获取每个关键帧的图像特征值。一种可选的提取待匹配视频的每个关键帧的图像特征值的实现方法可以为:

针对所述提取的每个关键帧,提取所述每个关键帧的色彩分布特征值,作为每个关键帧的图像特征值。

本发明实施例中,针对所提取的待匹配视频的每个关键帧,获取该关键帧对应的视频图像的色彩信息,将每一关键帧对应的视频图像的色彩信息使用张量来表示,作为该关键帧的色彩分布特征值,将该关键帧的色彩分布特征值作为该关键帧的图像特征值。具体的,视频图像色彩信息的获取及表示方式等本领域技术人员可以参照现有技术的做法,此处不再赘述。

s140,采用密度聚类算法,根据每个关键帧的图像特征值,从所述待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧。

本发明实施例中,获取待匹配视频的每个关键帧的图像特征值之后,采用密度聚类算法,从获取的多个关键帧中选取符合预设条件的关键帧作为待匹配核心场景帧。

具体的,从待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧的方法将在后面的文字中进行详细说明。

s150,将所述待匹配核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的。

本发明实施例中,获取待匹配核心场景帧之后,将待匹配核心场景帧与预存的原始视频的核心场景帧进行相似性判断。具体的,待匹配核心场景帧与预存的原始视频的核心场景帧相似性判断的方法,以及原始视频的核心场景帧获取方法将在后面的文字中进行详细说明。

s160,若一原始视频的任一核心场景帧与所述待匹配核心场景帧相似,则将该原始视频确定为与所述待匹配视频相匹配的目标视频。

本发明实施例提供的一种视频匹配方法,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待匹配视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待匹配视频匹配。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

本发明实施例中,步骤s140中从待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧的实现方式可参见图2,图2为本发明实施例中一种选取待匹配核心场景帧的方法,该方法可以包括:

s210,采用密度聚类算法,将所述每个关键帧的色彩分布特征值作为样本,计算两两样本之间的欧氏距离。

本发明实施例基于密度聚类算法来实现,首先,将获取的待匹配视频的每个关键帧的色彩分布特征值作为样本,然后,计算两两样本之间的欧氏距离,也就是计算以张量表示的两两色彩分布特征值之间的欧式距离,例如样本i和样本j之间的欧式距离可以表示为dij。实际应用中,本领域技术人员可以根据实际需求计算两两样本之间的距离,并不局限于本发明实施例中列举的欧式距离。

s220,根据所述两两样本之间的欧氏距离及预设的领域半径,计算每个样本的局部密度。

本发明实施例中,根据计算获取的两两样本之间的欧氏距离以及预设的领域半径ε,可以计算得到每个样本的局部密度。实际应用中,领域半径ε的预设值本领域技术人员可以根据实际需求进行设置,本发明在此不作限制。

本发明实施例中,领域半径ε表示为dc,则局部密度的计算公式可以为:

其中,i和j分别表示第i和第j个样本,ρi表示样本i的局部密度,dij为样本i和样本j之间的欧式距离,x(dij-dc)的计算方法可以为:x表示dij-dc。本领域技术人员可以理解,样本i的局部密度为:以i为中心,距离i在dc范围内样本的个数。

s230,根据所述每个样本的局部密度及预设的最小邻域点数,从所述样本中确定待匹配视频的核心对象。

本发明实施例中,可以根据计算获取的每个样本的局部密度及预设的最小邻域点数从样本中确定核心对象。实际应用中,最小邻域点数minpts的预设值本领域技术人员可以根据实际需求进行设置,本发明实施例在此不作限制。

本发明实施例中,根据计算获取的每个样本的局部密度及预设的最小邻域点数minpts,将局部密度大于等于预设的最小邻域点数minpts的样本,确定为核心对象,即将根据待匹配视频获取的样本中,局部密度大于等于预设的最小邻域点数minpts的样本,确定为待匹配视频的核心对象。

s240,将局部密度最大的待匹配视频的核心对象所对应的关键帧确定为待匹配核心场景帧。

本发明实施例中,待匹配视频的核心对象可以有多个,将局部密度最大的待匹配视频的核心对象所对应的关键帧确定为待匹配核心场景帧。当然,本申请只是以上述实现方式进行说明,实际应用中确定待匹配核心场景帧的方式并不仅限于此。

本发明实施例中,针对较长或画面变化频繁的待匹配视频,确定的待匹配核心场景帧可以有多个,具体的确定方法本发明实施例在此不作限制。

本发明实施例提供的一种视频匹配方法,采用机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,可以将视频根据不同的场景进行聚类,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待匹配视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待匹配视频匹配。基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

本发明实施例中,步骤s150中待匹配核心场景帧与预存的原始视频的核心场景帧相似性判断的实现方式可参见图3,图3为本发明实施例中一种待匹配核心场景帧与预存原始视频的核心场景帧相似性判断方法,该方法可以包括:

s310,获得一个原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值。

本发明实施例中,在进行相似性判断之前,需要获取相似性判断的对象,即待匹配核心场景帧及其对应的色彩分布特征值,和原始视频的各个核心场景帧及其分别对应的色彩分布特征值。其中,待匹配核心场景帧在获取保存的同时保存了其作为样本的色彩分布特征值,因此,进行相似性判断时,获取原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值。具体的,原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值,可以是预先对原始视频进行计算后获得并存储在的数据库中。

s320,采用密度聚类算法,将所述待匹配核心场景帧的色彩分布特征值和所述原始视频的各个色彩分布特征值作为样本,分别计算所述待匹配核心场景帧的色彩分布特征值与所述原始视频的各个色彩分布特征值之间的各个待判断欧氏距离。

本发明实施例中,基于密度聚类算法,将待匹配核心场景帧的色彩分布特征值和获取的原始视频的各个色彩分布特征值作为样本,然后,分别计算待匹配核心场景帧的色彩分布特征值与获取的原始视频的各个色彩分布特征值之间的各个待判断欧氏距离,即分别计算待匹配核心场景帧的样本与原始视频的各个样本之间的欧式距离,作为待判断欧氏距离。

s330,若有一个待判断欧氏距离小于所述预设的领域半径,则确定所述待匹配核心场景帧与所述原始视频的一个核心场景帧相似。

本发明实施例中,原始视频的每一个核心场景帧都是从生成的聚类簇中选择的,各个聚类簇之间不包含密度可达、密度相连的样本。故当有一个计算得到的待判断欧氏距离小于预设的领域半径时,确定待匹配核心场景帧与原始视频的一个核心场景帧相似,本申请中预设的领域半径是相同的值。

s340,若各个待判断欧氏距离都不小于所述预设的领域半径,则确定所述待匹配核心场景帧与所述原始视频的各个核心场景帧不相似;若所述待匹配核心场景帧与所述原始视频的所有核心场景帧都不相似,则获得下一个原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值进行相似性判断。

本发明实施例中,当所有的待判断欧氏距离都不小于预设的领域半径时,则待匹配核心场景帧与原始视频的所有核心场景帧都不相似;如果待匹配核心场景帧与原始视频的所有核心场景帧都不相似,则可以获取视频数据库中保存的下一个原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值,进行下一次相似性判断。

本发明实施例中,步骤s150中原始视频的核心场景帧为预先采用密度聚类算法对每个原始视频进行计算获得的,具体的获取方式可参见图4,图4为本发明实施例中一种对原始视频计算获得原始视频核心场景帧的方法,该方法可以包括:

s400,针对原始视频,提取所述原始视频的多个关键帧。

s410,提取所述原始视频的每个关键帧的色彩分布特征值;

本发明实施例中,针对原始视频,提取原始视频的多个关键帧及提取每个关键帧色彩分布特征值的方法,可参见步骤s120和s130中提取待匹配视频多个关键帧及提取每个关键帧色彩分布特征值的方法,此处不再赘述。

s420,采用密度聚类算法,将所述每个关键帧的色彩分布特征值作为样本,计算两两样本之间的欧氏距离。

s430,根据所述两两样本之间的欧氏距离及预设的领域半径,计算每个样本的局部密度。

本发明实施例中,针对原始视频,计算两两样本之间的欧氏距离及每个样本局部密度的方法,可参见步骤s210和s220的方法,此处不再赘述。

s440,根据所述每个样本的局部密度及预设的最小邻域点数,从所述样本中确定所述原始视频的核心对象,并将所有的所述原始视频的核心对象作为第一核心对象集合。

本发明实施例中,针对原始视频,确定原始视频核心对象的方法,可参见步骤s230,此处不再赘述。本发明实施例中,确定原始视频的核心对象之后,将所有的原始视频的核心对象作为第一核心对象集合。

s450,以所述第一核心对象集合中任一核心对象为种子,查找所述种子密度可达的样本,生成关键帧聚类簇。

本发明实施例中,以获取的第一核心对象集合中任一核心对象为种子,查找该种子能够密度可达的样本生成关键帧聚类簇,具体生成关键帧聚类簇的实现方法将在后面的文字中进行详细说明。

s460,对所述每个关键帧聚类簇,选择簇中任一核心对象作为第一核心对象,将局部密度大于所述第一核心对象的核心对象作为第二核心对象。

本发明实施例中,针对每个生成的关键帧聚类簇,当关键帧聚类簇中有至少两个核心对象时,选择簇中任一核心对象作为第一核心对象,将该簇中局部密度大于第一核心对象的核心对象作为第二核心对象。

s470,计算所述第一核心对象与每个第二核心对象之间的距离,将所述第二核心对象与所述第一核心对象距离最小的距离,确定为该第一核心对象的高局部密度点距离。

本发明实施例中,首先,计算第一核心对象与每个第二核心对象之间的距离,然后,可以针对计算得到的各个距离进行排序或比较,将最小的距离确定为该第一核心对象的高局部密度点距离。

本发明实施例中,计算核心对象的高局部密度点距离公式可以为:

其中,i和j分别表示第i和第j个核心对象,δi表示核心对象i的高局部密度点距离,ρi表示核心对象i的局部密度,ρj表示核心对象j的局部密度,dij表示核心对象i和核心对象j之间的距离。

s480,根据所述每个关键帧聚类簇中每个核心对象的局部密度及高局部密度点距离,确定所述每个关键帧聚类簇的核心场景帧。

本发明实施例中,当获取的关键帧聚类簇中核心对象至少为两个时,获取每个关键帧聚类簇中每个核心对象的局部密度及高局部密度点距离之后,一种实现方式可以为,将关键帧聚类簇中局部密度和高局部密度点距离都较大的核心对象所对应的关键帧,确定为该关键帧聚类簇的核心场景帧。本领域技术人员可以理解,关键帧聚类簇中核心对象的局部密度越大、高局部密度点距离越大,说明该核心对象的密度很高、离高于该核心对象密度最近的那个簇较远,则认为该核心对象为聚类簇的中心。具体的,关键帧聚类簇中局部密度和高局部密度点距离都较大的确定方法中,局部密度和高局部密度点距离不同的组合方式可以有多种,都在本申请的保护范围之内,本申请在此不再进行一一列举。

本发明实施例中,当获取的关键帧聚类簇中核心对象为一个时,则将该核心对象所对应的关键帧,确定为该关键帧聚类簇的核心场景帧。

s490,将所述确定的每个关键帧聚类簇的核心场景帧,作为所述原始视频的核心场景帧。

针对每个原始视频确定核心场景帧后,可以将每个原始视频的核心场景帧及各个核心场景帧的色彩分布特征值存储到数据库中,以供视频匹配时使用。

本发明实施例中,步骤s450中生成关键帧聚类簇的实现方式可参见图5,图5为本发明实施例中一种生成关键帧聚类簇的方法,该方法可以包括:

s510,以所述第一核心对象集合中任一未聚类的核心对象为种子,查找所述种子密度可达的所有样本。

本发明实施例中,以获取的第一核心对象集合中任一未聚类的核心对象为种子,根据上文描述的密度可达的定义,查找该种子能够密度可达的所有样本。

本发明实施例中,另一种可选的实现方式可以为,以获取的第一核心对象集合中任一未聚类的核心对象为种子,根据上文描述的密度可达的定义,查找该种子能够密度可达的所有样本,进一步找到该种子密度可达的所有样本密度相连的样本,获取该种子密度可达、密度相连的所有样本的最大性。

s520,将查找到的所有样本对应的关键帧,生成第一关键帧聚类簇。

本发明实施例中,将步骤s510中查找到的所有样本对应的关键帧,生成一个关键帧聚类簇。当查找的样本为种子密度可达、密度相连的所有样本的最大性时,所生成的关键帧聚类簇为该种子对应的最大的聚类簇。

s530,将所述第一核心对象集合中所述生成的第一关键帧聚类簇中包含的核心对象之外的核心对象,作为第二核心对象集合。

本发明实施例中,生成的关键帧聚类簇中可能包含一个核心对象,也可能包含多个核心对象。当生成一个关键帧聚类簇之后,将第一核心对象集合中生成的关键帧聚类簇中包含的核心对象之外的核心对象,作为第二核心对象集合。

s540,判断所述第二核心对象集合是否为空集。

s550,若所述第二核心对象集合不是空集,将所述第二核心对象集合作为第一核心对象集合,返回步骤s510。

s560,若所述第二核心对象集合是空集,则生成关键帧聚类簇的步骤结束。

本发明实施例中,若第二核心对象集合不是空集,将第二核心对象集合作为第一核心对象集合,返回步骤s510,循环此过程,生成关键帧聚类簇。若第二核心对象集合是空集,说明核心对象集合中的所有核心对象都已生成了关键帧聚类簇,则生成关键帧聚类簇的步骤结束。

本发明实施例中生成关键帧聚类簇的一种实现方法可以为:例如,假定领域参数(ε,minpts)设置为ε=0.68,minpts=5,已确定的核心对象集合为ω={x3,x5,x6,x8,x9,x13,x14,x18,x19,x29},然后,从ω中随机选取一个核心对象作为种子,找出由该种子密度可达的所有样本,构成第一个关键帧聚类簇。假定核心对象x8被选中作为种子,生成的第一个聚类簇为c1={x6,x7,x8,x10,x12,x20,x23},将c1中包含的核心对象从ω中去除,ω=ω\c1={x3,x5,x9,x13,x14,x18,x19,x29},再从更新后的集合ω中随机选取一个核心对象作为种子来生成下一个关键帧聚类簇,不断重复上述过程,直至ω为空,此时所有的核心对象都生成了关键帧聚类簇。

本发明实施例提供的一种视频匹配方法,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待匹配视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待匹配视频匹配。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

图6为本发明实施例提供的一种视频检索的方法,该方法可以包括:

s610,获取待检索视频。

s620,从所述待检索视频中提取多个关键帧。

s630,提取所述待检索视频的每个关键帧的图像特征值。

s640,采用密度聚类算法,根据每个关键帧的图像特征值,从所述待检索视频的多个关键帧中,选取符合预设条件的关键帧作为待检索核心场景帧。

s650,将所述待检索核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的。

s660,若一原始视频的任一核心场景帧与所述待检索核心场景帧相似,则将该原始视频确定为与所述待检索视频相匹配的目标视频。

本发明实施例中,s610-s660针对待检索视频以及原始视频的操作,具体实现方式可参见图1中步骤s110-s160的实现方式,此处不再赘述。

s670,将所述目标视频作为检索结果输出给用户。

本发明实施例中,将目标视频作为检索结果输出给用户的方式,可参见现有技术中为用户输出检索结果的具体方式,此处不再赘述。

本发明实施例提供的一种视频检索方法,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待检索视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待检索视频匹配,若匹配则将匹配的原始视频作为检索结果输出给用户。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

图7为本发明实施例提供的一种视频推荐的方法,该方法可以包括:

s710,确定目标用户。

s720,获取待推荐视频。

s730,从所述待推荐视频中提取多个关键帧。

s740,提取所述待推荐视频的每个关键帧的图像特征值。

s750,采用密度聚类算法,根据每个关键帧的图像特征值,从所述待推荐视频的多个关键帧中,选取符合预设条件的关键帧作为待推荐核心场景帧。

s760,将所述待推荐核心场景帧与预存的所述目标用户观看过的各个历史视频的核心场景帧进行相似性判断;所述历史视频的核心场景帧为预先采用所述密度聚类算法对所述目标用户观看过的每个历史视频进行计算获得的。

本发明实施例中,s720-s760针对待推荐视频以及目标用户观看过的历史视频的操作,具体实现方式可参见图1中步骤s110-s150的实现方式,此处不再赘述。

s770,若所述待推荐核心场景帧与一历史视频的任一核心场景帧相似,则将所述待推荐视频作为推荐视频推荐给所述目标用户。

本发明实施例中,将待推荐视频作为推荐视频推荐给目标用户的方式,可参见现有技术中为用户推荐视频的具体实现方式,此处不再赘述。

本发明实施例提供的一种视频推荐方法,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待推荐视频与目标用户观看过的历史视频的核心场景帧的相似性,进而将待推荐视频作为推荐视频推荐给目标用户。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

图8为本发明实施例提供的一种视频分类的方法,该方法可以包括:

s810,获取待分类视频.

s820,从所述待分类视频中提取多个关键帧。

s830,提取所述待分类视频的每个关键帧的图像特征值。

s840,采用密度聚类算法,根据每个关键帧的图像特征值,从所述待分类视频的多个关键帧中,选取符合预设条件的关键帧作为待分类核心场景帧。

s850,将所述待分类核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的。

s860,若一原始视频的任一核心场景帧与所述待分类核心场景帧相似,则将该原始视频确定为与所述待分类视频相匹配的目标视频。

本发明实施例中,s810-s860针对待分类视频以及原始视频的操作,具体实现方式可参见图1中步骤s110-s160的实现方式,此处不再赘述。

s870,将所述目标视频的类型作为待分类视频的类型输出给用户。

本发明实施例中,将目标视频的类型作为待分类视频的类型输出给用户的实现方式,可参见现有技术中为用户输出待分类视频类型的具体实现方式,此处不再赘述。

本发明实施例提供的一种视频分类方法,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待分类视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待分类视频匹配,若匹配则将原始视频的类型作为待分类视频的类型输出给用户。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

与前述视频匹配的方法相对应,在本发明实施的又一方面,还提供了视频匹配的装置。图9为本发明实施例提供的一种视频匹配的装置结构示意图,该装置包括:

第一获取模块910,用于获取待匹配视频;

第一提取模块920,用于从所述待匹配视频中提取多个关键帧;

第二提取模块930,用于提取所述待匹配视频的每个关键帧的图像特征值;

第一选取模块940,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧;

第一判断模块950,用于将所述待匹配核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

第一确定模块960,用于若一原始视频的任一核心场景帧与所述待匹配核心场景帧相似,则将该原始视频确定为与所述待匹配视频相匹配的目标视频。

本发明实施例提供的一种视频匹配装置,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待匹配视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待匹配视频匹配。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

图10为本发明实施例中第一选取模块的结构示意图,与前述图2选取待匹配核心场景帧的方法相对应,该装置包括:

第一距离计算子模块101,用于采用密度聚类算法,将所述每个关键帧的色彩分布特征值作为样本,计算两两样本之间的欧氏距离;

第一密度计算子模块102,用于根据所述两两样本之间的欧氏距离及预设的领域半径,计算每个样本的局部密度;

第一确定子模块103,用于根据所述每个样本的局部密度及预设的最小邻域点数,从所述样本中确定待匹配视频的核心对象;

第二确定子模块104,用于将局部密度最大的待匹配视频的核心对象所对应的关键帧确定为待匹配核心场景帧。

图11为本发明实施例中第一判断模块的结构示意图,与前述图3待匹配核心场景帧与预存原始视频的核心场景帧相似性判断方法相对应,该装置包括:

第一获取子模块111,用于获得一个原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值;

第二距离计算子模块112,用于采用密度聚类算法,将所述待匹配核心场景帧的色彩分布特征值和所述原始视频的各个色彩分布特征值作为样本,分别计算所述待匹配核心场景帧的色彩分布特征值与所述原始视频的各个色彩分布特征值之间的各个待判断欧氏距离;

第一判断子模块113,用于若有一个待判断欧氏距离小于所述预设的领域半径,则确定所述待匹配核心场景帧与所述原始视频的一个核心场景帧相似;若各个待判断欧氏距离都不小于所述预设的领域半径,则确定所述待匹配核心场景帧与所述原始视频的各个核心场景帧不相似;若所述待匹配核心场景帧与所述原始视频的所有核心场景帧都不相似,则获得下一个原始视频的各个核心场景帧及各个核心场景帧的色彩分布特征值进行相似性判断。

图12为本发明实施例中原始视频核心场景帧确定模块的结构示意图,与前述图4对原始视频计算获得原始视频核心场景帧的方法相对应,该装置包括:

第一提取子模块121,用于针对原始视频,提取所述原始视频的多个关键帧;

第二提取子模块122,用于提取所述原始视频的每个关键帧的色彩分布特征值;

第三距离计算子模块123,用于采用密度聚类算法,将所述每个关键帧的色彩分布特征值作为样本,计算两两样本之间的欧氏距离;

第二密度计算子模块124,用于根据所述两两样本之间的欧氏距离及预设的领域半径,计算每个样本的局部密度;

第三确定子模块125,用于根据所述每个样本的局部密度及预设的最小邻域点数,从所述样本中确定所述原始视频的核心对象,并将所有的所述原始视频的核心对象作为第一核心对象集合;

第一生成子模块126,用于以所述第一核心对象集合中任一核心对象为种子,查找所述种子密度可达的样本,生成关键帧聚类簇;对所述每个关键帧聚类簇,选择簇中任一核心对象作为第一核心对象,将局部密度大于所述第一核心对象的核心对象作为第二核心对象;

第四距离计算子模块127,用于计算所述第一核心对象与每个第二核心对象之间的距离,将所述第二核心对象与所述第一核心对象距离最小的距离,确定为该第一核心对象的高局部密度点距离;

第四确定子模块128,用于根据所述每个关键帧聚类簇中每个核心对象的局部密度及高局部密度点距离,确定所述每个关键帧聚类簇的核心场景帧;将所述确定的每个关键帧聚类簇的核心场景帧,作为所述原始视频的核心场景帧。

图13为本发明实施例中第一生成子模块的结构示意图,与前述图5一种生成关键帧聚类簇的方法相对应,该装置包括:

查找子模块131,用于以所述第一核心对象集合中任一未聚类的核心对象为种子,查找所述种子密度可达的所有样本;

聚类簇生成子模块132,用于将查找到的所有样本对应的关键帧,生成第一关键帧聚类簇;将所述第一核心对象集合中所述生成的第一关键帧聚类簇中包含的核心对象之外的核心对象,作为第二核心对象集合;

第二判断子模块133,用于判断所述第二核心对象集合是否为空集;若所述第二核心对象集合不是空集,将所述第二核心对象集合作为第一核心对象集合,触发所述查找子模块131;若所述第二核心对象集合是空集,则生成关键帧聚类簇的步骤结束。

本发明实施例提供的一种视频匹配装置,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待匹配视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待匹配视频匹配。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

需要说明的是,本发明实施例的装置是与图1所示的视频匹配方法对应的装置,图1所示的视频匹配方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。

与前述视频检索的方法相对应,在本发明实施的又一方面,还提供了视频检索的装置。图14为本发明实施例提供的一种视频检索的装置结构示意图,该装置包括:

第二获取模块141,用于获取待检索视频;

第三提取模块142,用于从所述待检索视频中提取多个关键帧;

第四提取模块143,用于提取所述待检索视频的每个关键帧的图像特征值;

第二选取模块144,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待检索视频的多个关键帧中,选取符合预设条件的关键帧作为待检索核心场景帧;

第二判断模块145,用于将所述待检索核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

第二确定模块146,用于若一原始视频的任一核心场景帧与所述待检索核心场景帧相似,则将该原始视频确定为与所述待检索视频相匹配的目标视频;

第一输出模块147,用于将所述目标视频作为检索结果输出给用户。

本发明实施例提供的一种视频检索装置,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待检索视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待检索视频匹配,若匹配则将匹配的原始视频作为检索结果输出给用户。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

需要说明的是,本发明实施例的装置是与图6所示的视频检索方法对应的装置,图6所示的视频检索方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。

与前述视频推荐的方法相对应,在本发明实施的又一方面,还提供了视频推荐的装置。图15为本发明实施例提供的一种视频推荐的装置结构示意图,该装置包括:

第三确定模块151,用于确定目标用户;

第三获取模块152,用于获取待推荐视频;

第五提取模块153,用于从所述待推荐视频中提取多个关键帧;

第六提取模块154,用于提取所述待推荐视频的每个关键帧的图像特征值;

第三选取模块155,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待推荐视频的多个关键帧中,选取符合预设条件的关键帧作为待推荐核心场景帧;

第三判断模块156,用于将所述待推荐核心场景帧与预存的所述目标用户观看过的各个历史视频的核心场景帧进行相似性判断;所述历史视频的核心场景帧为预先采用所述密度聚类算法对所述目标用户观看过的每个历史视频进行计算获得的;

第二输出模块157,用于若所述待推荐核心场景帧与一历史视频的任一核心场景帧相似,则将所述待推荐视频作为推荐视频推荐给所述目标用户。

本发明实施例提供的一种视频推荐装置,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待推荐视频与目标用户观看过的历史视频的核心场景帧的相似性,进而将待推荐视频作为推荐视频推荐给目标用户。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

需要说明的是,本发明实施例的装置是与图7所示的视频推荐方法对应的装置,图7所示的视频推荐方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。

与前述视频分类的方法相对应,在本发明实施的又一方面,还提供了视频分类的装置。图16为本发明实施例提供的一种视频分类的装置结构示意图,该装置包括:

第四获取模块161,用于获取待分类视频;

第七提取模块162,用于从所述待分类视频中提取多个关键帧;

第八提取模块163,用于提取所述待分类视频的每个关键帧的图像特征值;

第四选取模块164,用于采用密度聚类算法,根据每个关键帧的图像特征值,从所述待分类视频的多个关键帧中,选取符合预设条件的关键帧作为待分类核心场景帧;

第四判断模块165,用于将所述待分类核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

第三确定模块166,用于若一原始视频的任一核心场景帧与所述待分类核心场景帧相似,则将该原始视频确定为与所述待分类视频相匹配的目标视频;

第三输出模块167,用于将所述目标视频的类型作为待分类视频的类型输出给用户。

本发明实施例提供的一种视频分类装置,基于机器学习中的密度聚类算法,充分考虑了视频通常由多个相似场景组成的本质特征,忽略视频的连续性,提取视频关键帧,获取关键帧的图像特征值,再根据关键帧的图像特征值,从所述关键帧中,选取符合预设条件的关键帧作为核心场景帧,最终将连续的视频简化为数个核心场景帧,然后判断待分类视频与原始视频的核心场景帧的相似性,进而判断原始视频是否与待分类视频匹配,若匹配则将原始视频的类型作为待分类视频的类型输出给用户。本发明实施例基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

需要说明的是,本发明实施例的装置是与图8所示的视频分类方法对应的装置,图8所示的视频分类方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。

本发明实施例还提供了第一种电子设备,如图17所示,图17为本发明实施例提供的第一种电子设备结构示意图,包括处理器171、通信接口172、存储器173和通信总线174,其中,处理器171,通信接口172,存储器173通过通信总线174完成相互间的通信;

存储器173,用于存放计算机程序;

处理器171,用于执行存储器173上所存放的程序时,实现如下步骤:

获取待匹配视频;

从所述待匹配视频中提取多个关键帧;

提取所述待匹配视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待匹配视频的多个关键帧中,选取符合预设条件的关键帧作为待匹配核心场景帧;

将所述待匹配核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

若一原始视频的任一核心场景帧与所述待匹配核心场景帧相似,则将该原始视频确定为与所述待匹配视频相匹配的目标视频。

本发明实施例提供的第一种电子设备,基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

本发明实施例还提供了第二种电子设备,如图18所示,图18为本发明实施例提供的第二种电子设备结构示意图,包括处理器181、通信接口182、存储器183和通信总线184,其中,处理器181,通信接口182,存储器183通过通信总线184完成相互间的通信;

存储器183,用于存放计算机程序;

处理器181,用于执行存储器183上所存放的程序时,实现如下步骤:

获取待检索视频;

从所述待检索视频中提取多个关键帧;

提取所述待检索视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待检索视频的多个关键帧中,选取符合预设条件的关键帧作为待检索核心场景帧;

将所述待检索核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

若一原始视频的任一核心场景帧与所述待检索核心场景帧相似,则将该原始视频确定为与所述待检索视频相匹配的目标视频;

将所述目标视频作为检索结果输出给用户。

本发明实施例提供的第二种电子设备,基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

本发明实施例还提供了第三种电子设备,如图19所示,图19为本发明实施例提供的第三种电子设备结构示意图,包括处理器191、通信接口192、存储器193和通信总线194,其中,处理器191,通信接口192,存储器193通过通信总线194完成相互间的通信;

存储器193,用于存放计算机程序;

处理器191,用于执行存储器193上所存放的程序时,实现如下步骤:

确定目标用户;

获取待推荐视频;

从所述待推荐视频中提取多个关键帧;

提取所述待推荐视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待推荐视频的多个关键帧中,选取符合预设条件的关键帧作为待推荐核心场景帧;

将所述待推荐核心场景帧与预存的所述目标用户观看过的各个历史视频的核心场景帧进行相似性判断;所述历史视频的核心场景帧为预先采用所述密度聚类算法对所述目标用户观看过的每个历史视频进行计算获得的;

若所述待推荐核心场景帧与一历史视频的任一核心场景帧相似,则将所述待推荐视频作为推荐视频推荐给所述目标用户。

本发明实施例提供的第三种电子设备,基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

本发明实施例还提供了第四种电子设备,如图20所示,图20为本发明实施例提供的第四种电子设备结构示意图,包括处理器201、通信接口202、存储器203和通信总线204,其中,处理器201,通信接口202,存储器203通过通信总线204完成相互间的通信;

存储器203,用于存放计算机程序;

处理器201,用于执行存储器203上所存放的程序时,实现如下步骤:

获取待分类视频;

从所述待分类视频中提取多个关键帧;

提取所述待分类视频的每个关键帧的图像特征值;

采用密度聚类算法,根据每个关键帧的图像特征值,从所述待分类视频的多个关键帧中,选取符合预设条件的关键帧作为待分类核心场景帧;

将所述待分类核心场景帧与预存的各个原始视频的核心场景帧进行相似性判断;所述原始视频的核心场景帧为预先采用所述密度聚类算法对每个原始视频进行计算获得的;

若一原始视频的任一核心场景帧与所述待分类核心场景帧相似,则将该原始视频确定为与所述待分类视频相匹配的目标视频;

将所述目标视频的类型作为待分类视频的类型输出给用户。

本发明实施例提供的第四种电子设备,基于视频内容进行特征提取,克服了视频内容信息量大,特征提取复杂等问题,解决了因长视频帧数过多及场景切换频繁,而导致的在视频分割、特征提取及相似性判断时计算量较大的问题。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect,简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory,简称ram),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(digitalsignalprocessing,简称dsp)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、现场可编程门阵列(field-programmablegatearray,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的视频匹配方法,以获取相同的技术效果。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的视频检索方法,以获取相同的技术效果。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的视频推荐方法,以获取相同的技术效果。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的视频分类方法,以获取相同的技术效果。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的视频匹配方法,以获取相同的技术效果。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的视频检索方法,以获取相同的技术效果。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的视频推荐方法,以获取相同的技术效果。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的视频分类方法,以获取相同的技术效果。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1