一种基于倒排索引的粗细粒度视频检索方法
【技术领域】
[0001] 本发明属于视频检索领域，更为具体地讲，涉及一种基于倒排索引的粗细粒度视 频检索方法。
【背景技术】
[0002] 随着多媒体技术与网络技术的快速发展，数字视频的数量在互联网上呈现爆炸式 的增长。如何在浩瀚的视频资源中快速准确地搜索到目标视频是目前互联网视频安全监管 以及检索亟待解决的技术难题。因此，不少研宄人员在视频识别与检索技术上投入了大量 精力，而在众多解决方案中，视频指纹成为近年来相关技术的研宄重点。
[0003] 视频指纹按照应用范围可以分为嵌入式指纹和非嵌入式指纹。嵌入式指纹技术将 与视频内容相关的指纹信息嵌入到数字视频产品内作为版权标识，主要应用于版权保护领 域。而非嵌入视频指纹技术通过提取视频内容的特征信息，并基于特征信息计算得到一组 与视频内容唯一对应并且能唯一标识视频的数字序列，最后通过视频指纹的比对检索实现 视频的检索。由于非嵌入式指纹与视频内容紧密相关并且检索方式更为简单高效，因此主 要应用于主要应用于视频安全监控和内容检索领域。
[0004] 在现有技术中，基于低方差的近似字符串视频指纹序列匹配算法，该算法通过改 进原有字符串匹配算法以获得更低的方差，在一定程度上提高了匹配的准确度而不会增加 算法复杂度；基于假设检验的视频拷贝检测算法，该算法利用概率学中的假设检验思想对 相似视频和非相似视频进行区分，拷贝后的视频与原视频通过算法计算后会有很大概率被 划分为同一类，这样就能确定视频是否经过非法拷贝，从而起到保护版权的作用。此算法的 开销较低，但是鲁棒性较差，若视频受到亮度改变，剪切，缩放等攻击后将很大程度影响算 法准确度；基于DNA序列比对算法的视频指纹比对算法，该算法将视频指纹比作类似于生 物学中DNA的视频基因，并利用生物学中序列分析方法FASTA算法对视频指纹进行分析，由 于FASTA算法在两两比对的过程中涉及到回溯，算法开销较大，其时间效率无法满足实时 性的要求；一种利用视觉词袋模型对视频内容进行建模与匹配的方法，该算法通过量化后 的视频特征构建视觉词典，将视频镜头表示成若干视觉关键词集合，在此基础上构建镜头 关键词词组的倒排索引，用于视频的检索匹配。该算法有效压缩了视频表达，并通过倒排索 引提尚了检索的效率，但检索准确度还有待提尚。
[0005] 从以上研宄可以看出，大多数对视频指纹检索匹配算法的探宄主要集中在算法的 鲁棒性以及准确度上，而实时性上还有待提高；也有少数研宄方向集中在提高算法的检索 速度，但同时也牺牲了检索的准确度。而面向互联网视频安全监控的视频检索不仅要求检 索速度具有一定的实时性，还需要检索结果具有较高的准确度和鲁棒性，因此，本发明为了 有效地平衡检索的实时性与准确性，提出了基于非嵌入式视频指纹的视频检索方式，并借 鉴倒排索引和生物序列分析的思想，实现对视频的快速而准确地检索。
【发明内容】
[0006] 本发明的目的在于克服现有技术的不足，提供一种基于倒排索引的粗细粒度视频 检索方法，在有效地平衡检索的实时性与准确性下，实现对视频的快速而准确地检索。
[0007] 为实现上述发明目的，本发明基于倒排索引的粗细粒度视频检索方法，其特征在 于，包括以下步骤：
[0008] (1)、对整个视频库构建倒排索引文件
[0009] (1. 1)、设视频库中存放有N条视频；利用镜头分割技术对第一条视频进行关键帧 提取，再通过SURF算法提取该条视频关键帧中的特征点；
[0010] (1. 2)、利用预先训练的视觉词典对所有特征点进行分类处理：计算每个特征点与 视觉词典中所有词汇的欧氏距离，将每个特征点划分到欧氏距离最小的词汇中，再统计每 个词汇类别中特征点个数，并将特征点个数作为该词汇在视频中出现的频率；
[0011] (1. 3)、统计出视觉词典中所有词汇在视频中出现的频率，提取频率最高的k个词 汇作为视频的关键视觉词汇，并存入到倒排索引文件的词汇表中，同时将这k个词汇对应 的视频信息存入到倒排索引文件的倒排列表中；
[0012] (1. 4)、按照步骤（1. 1)~步骤（1. 3)所述的方法，继续对视频库中的下一条视频 进行处理，直到第N条视频，从而对整个视频库构建出完整的倒排索引文件；
[0013] (2)、视频检索
[0014] (2. 1)、基于倒排索引文件的视频粗粒度检索
[0015] (2. 1. 1)、按照步骤（1. 1)~步骤（1. 3)所述的方法提取待检索视频q的k个关键 视觉词汇；
[0016] (2. 1. 2)、利用这k个关键视觉词汇在倒排索引文件中进行查找，找到与这k个词 汇匹配的所有视频，并将找到的视频依次标记为视频h，i = 1，2,…，n，n表示找到的视频 总个数；
[0017] (2. 2)、基于改进的BLAST算法的视频细粒度检索
[0018] (2. 2. 1)、设置窗口滑动步长N ;
[0019] (2. 2. 2)、对待检索的视频q和视频匕进行窗口值计算
[0020] 设置一滑动窗口，滑动窗口的起始位置为视频比的第一位，即滑动窗口第一位在 视频h的第一位上，将该滑动窗口分别在待检索的视频q以及视频h i上从起始位置向后滑 动至末尾，每次滑动的长度为窗口滑动步长N，并计算出每次滑动时，滑动窗口所覆盖的二 进制序列的值作为窗口值，并依次排列，构成窗口值序列；
[0021] (2. 2. 3)、比对待检索的视频q与视频比的窗口值；
[0022] 将视频比与待检索视频q的窗口值序列的位置点同时从第一位依次向后移动，直 到位置点前出现相同的窗口值为止，以视频匕、待检索视频q窗口值相同的位置点为基准即 对齐，比对视频匕、待检索视频q该位置点前后的所有窗口值，并统计相似度，将视频指纹比 以及相似度作为检索结果返回。
[0023] 本发明的发明目的是这样实现的：
[0024] 本发明基于倒排索引的粗细粒度视频检索方法，通过分层分粒度的检索方式对视 频进行检索比对。首先利用倒排索引算法对视频数据库中的所有视频建立倒排索引表，再 在检索阶段通过倒排索引技术计算获得相应的候选视频集以此缩小精确查找范围，完成粗 粒度的查找，有效的降低了视频检索的时间开销；其次，基于改进的BLAST算法进行视频细 粒度检索，从而在视频数据库中快速找到与待检索的视频相匹配的视频，通过对待检索视 频和查找视频的相似度统计，进而得到检索结果，具有视频查找快速、准确和实时等特点。
【附图说明】
[0025] 图1是本发明基于倒排索引的粗细粒度视频检索的原理框图；
[0026] 图2是本发明基于倒排索引的粗细粒度视频检索方法的流程图；
[0027] 图3是利用镜头分割技术提取关键帧的示意图；
[0028] 图4是提取关键帧中的特征点不意图；
[0029] 图5是视觉词典中所有词汇在视频中出现的频率示意图。
【具体实施方式】
[0030] 下面结合附图对本发明的【具体实施方式】进行描述，以便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0031] 实施例
[0032] 图1是本发明基于倒排索引的粗细粒度视频检索的原理框图。
[0033] 在本实施例中，如图1所示，本发明基于倒排索引的粗细粒度视频检索方法，主要 包括建立索引阶段和视频检索阶段，如图2所示，其具体步骤如下：
[0034] T1、建立索引阶段
[0035](1)、基于倒排索引的视频粗粒度检索
[0036] (Tl. 1)、对整个视频库构建倒排索引文件
[0037](Tl. 1. 1)、设视频库中存放有N条视频；利用镜头分割技术对第一条视频进行关 键帧提取；设视频库中存放有N条视频；利用镜头分割技术对第一条视频进行关键帧提取， 如图3所示；
[0038](Tl. 1. 2)、采用SURF算法对关键帧中的特征点进行提取，在本实施例中，如图4所 示，对该条视频提取的特征点总数为5373个；
[0039](Tl. 1. 3)、利用预先训练的视觉词典对所有特征点进行分类处理：计算每个特征 点与视觉词典中所有词汇的欧氏距离，将每个特征点划分到欧氏距离最小的词汇中，再统 计每个词汇类别中特征点个数，并将特征点个数作为该词汇在视频中出现的频率；在本实 施例中，如图5所示，对5373个特征点进行分类处理后，得到所有出现词汇在视频中出现的 频率；
[0040](Tl. 1. 4)、统计出视觉词典中所有词汇在视频中出现的频率，提取频率最高的k =4个词汇作为视频的关键视觉词汇，并存入到倒排索引文件的词汇表中，同时将这k = 4 个词汇对应的视频信息存入到倒排索引文件的倒排列表中；
[0041](Tl. 1. 5)、按照步骤（Tl. 1. 1)~步骤（Tl. 1. 4)所述的方法，继续对视频库中的下 一条视频进行处理，直到第N条视频，从而对整个