一种基于内容的视频检索数学模型建立方法
【专利说明】
[0001]
技术领域 本发明属于多媒体数字视频应用领域，特别涉及一种基于内容的视频检索方法及系 统。
【背景技术】
[0002] 基于内容的视频检索（CBID)是能够根据视频内容快速搜索视频对象的技术。通 过特征抽取将视频对象映射为高维向量空间中的点（即提取视频指纹），这样就将视频对 象的相似性搜索问题转化为高维空间中的最近邻查找问题。
[0003] 对于海量数据而言，如何建立有效的索引结构师提高检索精度和效率的关键问 题，现在比较流行的多维索引技术包括gridfile、k-d-B树、四叉树、Hb树、R树及其变种R+ 树和R*树等，这些都是基于空间或基于数据分布的划分方法，在维度不太高（10维以下） 的情况下具有良好的性能。
[0004] 多维索引技术还包括一些适合于更高维的索引方法，如向量近似法（VA-file)、 LSH(Locality Sensitive Hashing,局部敏感哈希表）、空间填充曲线（space-filling curve)等。
[0005] 现在技术中无论采用哪种多维索引技术都是在一台服务器中完成相关处理，这样 基于内容的视频检索的效率较低。
【发明内容】
[0006] 为了解决基于内容的视频检索的效率较低的问题，本发明实施例提供了一种基于 内容的视频检索方法，该方法应用于内容寻址网络，在内容寻址网络笛卡尔坐标空间中的 结点上设有多个服务器，包括：
[0007] 获取模块获取待检测视频帧的特征向量；
[0008] 查找模块根据视频指纹库中待比较敏感视频帧特征向量的索引号，以及预定义的 转换规则，从内容寻址网络中各服务器的笛卡尔坐标中查找到对应保存有待比较敏感视频 帧特征向量的服务器的笛卡尔坐标；
[0009] 发送模块根据查找到的笛卡尔坐标，将待检测视频帧的特征向量发送给对应服务 器的检索模块；
[0010] 检索模块判断待检测视频帧的特征向量和待比较敏感视频帧特征向量的相似度， 并确定匹配的敏感视频特征向量。
[0011] 同时本发明实施例还提供一种基于内容的视频检索系统，包括：
[0012] 视频指纹库：用于保存具有索引号的敏感视频帧特征向量，所述视频指纹库，均匀 分布在内容寻址网络笛卡尔坐标空间结点上的多个服务器中；
[0013] 获取模块：用于获取待检测视频帧的特征向量；
[0014] 查找模块：用于根据视频指纹库中待比较敏感视频帧特征向量的索引号，以及预 定义的转换规则，从各服务器的笛卡尔坐标中查找到对应保存有待比较敏感视频帧特征向 量的服务器的笛卡尔坐标；
[0015] 发送模块：用于根据查找到的笛卡尔坐标，将待检测视频帧的特征向量发送给对 应服务器的检索模块；
[0016] 检索模块：用于判断待检测视频帧的特征向量和待比较敏感视频帧特征向量的相 似度，并确定匹配的敏感视频特征向量。
[0017] 由上述本发明提供的具体实施方案可以看出，正是由于应用内容寻址网络对视频 指纹库进行合理组织，建立索引，获取待检测视频实例后，采用某种检索算法从指纹库中查 找最匹配的敏感视频特征向量，使得视频检索的效率得到提高。
【附图说明】
[0018] 图1为本发明提供的第一实施例方法流程图；
[0019] 图2为本发明提供的内容寻址网络示意图；
[0020] 图3为本发明提供的第二实施例系统结构图
【具体实施方式】
[0021] 为了解决基于内容的视频检索的效率较低的问题，本发明实施例提供一种基于内 容的视频检索方法，以提高检索效率，适应大规模网络视频检索的需要。当用户输入待测视 频实例时，采用一定的检索算法从指纹库中找出最匹配的敏感视频帧以及对应的敏感视频 片段，并将所对应的相似敏感视频片段返回给用户。这里的视频指纹是指从原始视频数据 中提取的视频帧特征向量，可代表该视频的内容。
[0022] 其中，向量近似法能够解决精确最近邻检索的问题，而其他方法则只针对近似最 近邻检索。由于视频指纹本身就是视频内容的近似表示，空间特征向量的最近邻并不意味 着视频内容上的最近邻，所以即使是精确最近邻检索，也武保证得到最准确的查询结果。而 且，在很多情况下，选择合适的近似查询算法可返回与精确查询算法相同的结果。且具有 更高的效率。视频检索需要的是一个精度与效率的平衡。特别是在数据规模较大、对响 应时间要求较高的场合，近似最近邻检索将发挥更加重要的作用，因此作为优选方案采用 LSH(LocalitySensitive Hashing)算法。
[0023] LSH算法首先由Indyk和Motwani提出，利用统计学理论，可在保证一定正确率 (以概率方式）的前提下，快速解决k-近邻查询问题。论文《Similarity Search inHigh Dimensions via Hashing》给出了核算法的具体实现步骤，其基本思想是，对于点数据集， 利用一组具有一定约束条件的哈希函数建立多个哈希表，使得在某种相似度量条件下，相 似的点发生冲突的概率较大，而不相似的点发生冲突的概率相对较小。
[0024] 本发明提供的第一实施例是以中国基于内容的视频检索方法，本实施例中采用 LSH算法进行索引建立，LSH函数定义为：一组哈希函数H= {hl，为正整数，对于 数据点 P，q，若 P，q 之间的距离 D(p,q) <R,则 P[hi(q) =hi(p)] >P1,若 D(p,q) <cR,则 P[hi(q) =hi(p)] <P2。其中函数P(.)是概率函数，P1、P2为给定的概率，Pl >P2，i为随 机数i e {1，…，m}。这组哈希函数被称为以（R，cR，Pl，P2)为参数的LSH函数组。其中数 据点P，q对应本实施例中不同的敏感视频帧特征向量LSH函数为
其中向量5满足正态分布（高斯分布），w为任意实数，b为[0，w]之间的任意实数。方法流 程如图1所示，包括：步骤101 :将η个敏感视频帧特征向量映射到L个哈希表g中。
[0025] 在视频指纹库中有η个敏感视频帧特征向量'采用LSH算法进行索引建立， 用L个哈希函数g(.)将η个敏感视频帧特征向量9映射到L个哈希表g中，例如：有 10个敏感视频帧特征向量Pl、^2、^3、^4、^5、h、？7、^8、和^10,其中 石1、卩2、石3、 ：?4和立5被映射到哈希表81中，其余5个立6、巧7、立8、：^9和910被映射 到哈希表g2中，采用不同的哈希函数g(.)被映射到哈希表的敏感视频帧特征向量F会不 同，如^1、^3、和被映射到哈希表gl中，其余5个^2、^4、^6、和^lO被映 射到哈希表g2中。
[0026] 步骤102 :各哈希表g中的敏感视频帧特征向量通过LSH函数进行散列，对所得结 果再进行二次散列，每个哈希表中的敏感视频帧特征向量被映射到多个散列桶中。
[0027] 其中哈希表
其中H 为1^函数族，即一组哈希函数!1={111，"《，11111}。如对81哈希表中的:？1、：?2、93、94 和4进行二次散列，将Pi、^2、^3、^4和映射到7个散列桶中。哈希表
表不米用hl0)，!^0)，!! 30), h4(1)函数将vi、交2、交3、立4和h 映射到7个散列桶中。如通过hl(1)将V 1和^ 5映射到第一个散列桶，将▽ 2、7 3和F 4映射到第 二个散列桶，通过h2(1)将71、72、和映射到第三个散列桶，通过h3?将^和^5映 射到第四个散列桶，将V 1、^3和^4映射到第五个散列桶，通过h4(1)将Vl和^4映射到第六 个散列桶，将P 2、7 3和P 5映射到第七个散列桶。
[0028] 步骤103 :根据L个哈希表的编号及预定于一的转换规则，确定L个哈希表编号在 内容寻址网络中对应的笛卡尔坐标。
[0029] 将哈希表gl的编号表示为二进制序列X如0100001010.设
，其中d为虚 拟空间的维度如d = 2, m为二进制序列X的位数10.将X从低位向高位进行分组，每8位 为一组，共分为2组（最后一组可不满8位），第一组为00001010,第二组为10,对应虚拟空 间中的2维。计算每组的十进制值xi(i = 1，…，d)，第一组为10,第二组为l，xi%2rf为所 对应的结点的第i维坐标，即0100001010对应的笛卡尔坐标为（2,1)。
[0030] 在本实施例中采用哈希表g的编号作为敏感视频帧特征向量的索引号。
[0031] 步骤104 :根据哈希表g的编号和笛卡尔坐标的对应关系，将L个哈希表（内含映 射到其中的敏感视频帧特征向量）分布在内容寻址网络中的N个服务器中保存，每个服务 器在内容寻址网络中都具有对应的笛卡尔坐标，其中N < L。
[0032] 8号服务器（哈希表编号0100001010)对应的笛卡尔坐标为（2,1)，该服务器中保 存有哈希表gl.其中具有笛卡尔坐标的各服务器的内容寻址网络示意图如图2所示。
[0033] 步骤105 :内容寻址网络中任意一服务器的获取模块获取待检测视频帧的特征向 量Vq。
[0034] 步骤106 :获取Pq的服务器的查找模块，依次根据待比较敏感视频帧特征向量所 在哈希表的编号确定该哈希表所在服务器的笛卡尔坐标。
[0035] 如待比较敏感视频帧特征向量在哈希表gl中，4号服务器的查找模块首先要确定 哈希表gl所在8号服务器的笛卡尔坐标，根据哈希表gl的编号确定8号服务器对应的笛 卡尔坐标为（2,1)。
[0036] 步骤107 :获取巧的服务器的发送模块将以发送到存储待比较敏感视频帧特征向 量所在的哈希表的服务器的检索模块。
[0037] 4号服务器对应的笛卡尔坐标为（1，1)，因为笛卡尔坐标为（1，1)和笛卡尔坐标为 (2,1)相邻，4号服务器的发送模块直接将发送到8号服务器的检索模块。
[0038] 若获取模块获取待检测视频帧的特征向量的服务器不是4号服务器而是8号服 务器，则8号服务器的发送模块直接发送到本服务器的检索模块。
[0039] 步骤108 :存储待比较敏感视频帧特征向量所在的哈希表的服务器的检索模块对 进行二次散列，将其映射到哈希表的散列桶中。
[0040] 检索模块对进行二次散列将其映射到哈希表gl的第一个散列桶中。