一种基于帧密度的视频检索方法及计算机可读存储介质与流程

本发明涉及视频检索领域，特别涉及一种基于帧密度的视频检索方法及计算机可读存储介质。

背景技术：

基于内容的视频检索作为计算机视觉领域的一个重要研究问题，在过去的十年里受到国内外学者的广泛关注。基于内容的视频检索是指从视频库中定位出与待检索短视频最匹配的位置。通过对待检索短视频的帧图像进行匹配，得出在视频库的匹配位置。

技术实现要素：

本发明提供了一种基于帧密度的视频检索方法，具有鲁棒性更高的特点。

本发明还提供了一种计算机可读存储介质，具有能够便于实施上述任何一种方法的特点。

根据本发明提供的一种基于帧密度的视频检索方法，包括，

提取第一图像帧的第一cnn特征；提取第二图像帧的第二cnn特征；所述第一图像帧包括待检索视频帧中的每一帧图像；所述第二图像帧包括用于检索的视频帧库中的每一帧图像；把第一cnn特征和第二cnn特征进行余弦距离比较，找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的n个图像作为匹配结果；所述n为大于0的自然数；

标出第一图像帧中每一帧图像的所述n个图像在所述视频帧库中的位置；对所述位置进行密度筛选，密度最高的位置作为检索结果。

所述n为大于等于2小于等于6的自然数。

所述n等于5。

所述方法还包括，抽取待检索视频的每一帧图像，从第一帧图像开始，去除与在前图像帧相比相似度高于设置的相似度阈值t1的图像帧，剩下的图像帧作为待检索视频帧组成所述第一图像帧。

所述方法还包括，采用包括但不仅限于差异哈希算法dhash去除所述相似度高于设置的相似度阈值t1的图像帧。

采用差异哈希算法dhash去除图像帧的具体方法包括，

缩小图片：将图片缩小到m*k大小，其中m和k均为大于2的自然数；

灰度图转化：将缩小后的图片转化为灰度图；

计算差异值：dhash算法工作在相邻像素之间，这样每行m个像素之间产生了m-1个不同的差异，一共k行，则产生了(m-1)*k个差异值；

获得指纹:如果第一方向上的像素的灰度值比第二方向上的像素的灰度值高，则记为1，否则为0；

对比指纹：计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。

所述相似度阈值t1大于等于60％小于等于100％。

所述相似度阈值t1等于80％。

所述方法还包括，按照设置的帧抽取间隔阈值t2抽取用于检索的视频的帧图像，组成用于检索的视频帧库。

所述帧抽取间隔阈值t2大于等于1小于等于6。

所述帧抽取间隔阈值t2等于2。

根据本发明提供的一种计算机可读存储介质，存储有便于处理器加载并执行上述任意一种的方法的计算机程序。

与现有技术相比，本发明视频定位过程具有更高的鲁棒性。

附图说明

图1为本发明其中一实施例的检索结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明还提供了一种计算机可读存储介质，具有能够便于实施上述任何一种方法的特点。

根据本发明提供的一种基于帧密度的视频检索方法，包括，

提取第一图像帧的第一cnn特征；提取第二图像帧的第二cnn特征；所述第一图像帧包括待检索视频帧中的每一帧图像；所述第二图像帧包括用于检索的视频帧库中的每一帧图像；把第一cnn特征和第二cnn特征进行余弦距离比较，找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的n个图像作为匹配结果；所述n为大于0的自然数；

标出第一图像帧中每一帧图像的所述n个图像在所述视频帧库中的位置；对所述位置进行密度筛选，密度最高的位置作为检索结果。

本发明用待检索视频的帧匹配用于检索的视频库的帧；找出待检索视频帧中每一帧所对应的相似度最高的n个图像在所述视频帧库中的对应的时间序列并进行标示；所述n个图像可能分布在所述视频帧库的不同时间序列上。在所述视频帧库中得到的位置标记中，找出位置标记最密集位置(作为本发明的一种实施例，如图1所示中圈出的位置)，即为和待检索视频相匹配的时间片段，以此来完成视频检索。

本发明通过对匹配位置进行密度筛选，匹配结果最集中的区域就是待检索视频所在的时间片段。其中，在特征提取过程中采用cnn方法，在帧匹配的过程中采用余弦距离的度量方法。考虑到待检索视频帧中个每一帧信息，最大化突出视频的特征，使最终进行视频时间段定位过程中具有更高的鲁棒性。

作为本发明的实施方式，作为比较适合的选择，所述n为大于等于2小于等于6的自然数，可以根据实际需求进行设置n的值。

作为本发明的一种实施方式，所述n等于5，即找出第一图像帧中每一帧图像各自在第二图像帧中相似度最高的5个图像作为匹配结果。

作为本发明的一种具体实施方式，所述方法还包括，抽取待检索视频的每一帧图像，从第一帧图像开始，去除与在前图像帧相比相似度高于设置的相似度阈值t1的图像帧，剩下的图像帧作为待检索视频帧组成所述第一图像帧。在本发明方案中，采用相似度比较去除待检索视频中的大量冗余帧，在保证鲁棒性的基础上，提高了帧匹配的效率。

作为本发明的实施方式，所述方法还包括，采用包括但不仅限于差异哈希算法dhash去除所述相似度高于设置的相似度阈值t1的图像帧。

作为本发明的一种实施方式，采用差异哈希算法dhash去除图像帧的具体方法包括，

缩小图片：将图片缩小到m*k大小，其中m和k均为大于2的自然数；

灰度图转化：将缩小后的图片转化为灰度图；

计算差异值：dhash算法工作在相邻像素之间，这样每行m个像素之间产生了m-1个不同的差异，一共k行，则产生了(m-1)*k个差异值；

获得指纹:如果第一方向上的像素的灰度值比第二方向上的像素的灰度值高，则记为1，否则为0；

对比指纹：计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。

作为本发明的一种实施方式，将图片缩小到9*8大小，共72个像素点；将缩小后的图片转化为256阶的灰度图；计算差异值时，每行9个像素之间产生了8个不同的差异，一共8行，则产生了64个差异值。

作为本发明的一种实施方式，如果左边的像素的灰度值比右边的像素的灰度值高，则记为1，否则为0。计算两幅图片的汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同。通常认为距离>10，就是两张完全不同的图片。

作为本发明的实施方式，所述相似度阈值t1大于等于60％小于等于100％，可以根据实际需求设置t1的值。

作为本发明的一种实施方式，所述相似度阈值t1等于80％。

作为本发明的一种实施方式，所述方法还包括，按照设置的帧抽取间隔阈值t2抽取用于检索的视频的帧图像，组成用于检索的视频帧库。

因为用于检索的视频的相邻帧之间相似度很高，如果挨个提取视频的帧会造成很大的数据冗余，所以采取隔几帧提取一张图片的方式，遍历整个视频，将抽取的帧组成的视频帧库作为用于检索的视频帧库，在保证鲁棒性的基础上，减小了数据冗余，提高了帧匹配的效率。

作为本发明的实施方式，所述帧抽取间隔阈值t2大于等于1小于等于6，根据实际需求取值。

作为本发明的一种实施方式，所述帧抽取间隔阈值t2等于2。

根据本发明提供的一种计算机可读存储介质，存储有便于处理器加载并执行上述任意一种的方法的计算机程序。