多媒体信息检索方法和系统与流程

本发明涉及计算机领域，尤其涉及一种多媒体信息检索方法和系统。

背景技术：
近年来，随着多媒体技术和计算机技术的飞速发展、大规模的多媒体信息越来越多地出现在众多的研究和应用领域。为了使这些庞杂的数据中所包含的信息能够得到有效地访问和利用，传统的基于文本的检索技术已经无法满足用户日益增长的需求，基于内容的检索技术便应运而生。基于内容的检索方法需要先提取出多媒体的特征数据建立特征数据库，然后将对多媒体信息的检索转换为对特征数据的近邻检索。对于大规模多媒体信息而言，其特征数据也是大规模的。这就需要有与特征数据相对应的合适的索引方法来组织特征数据，加快检索的速度。然而，多媒体信息的特征数据往往是高维的向量数据（简称高维向量），传统的适应于低维数据的索引机制难以适应于基于内容检索的要求，这也就是通常所说的高维数据的索引维数灾难现象。为了降低索引维数灾难的影响，更好的实现高维数据索引，从而提高多媒体信息的检索性能，目前在研究领域，通常采用哈希方法将高维向量映射成离散的比特向量，这可以大大节约高维向量的存储消耗和提高相似查找速度。在利用比特向量进行多媒体信息检索时，首先需要建立多媒体特征数据库，具体包括：针对资料库中的每个多媒体，提取出该多媒体的特征数据，采用哈希方法将该多媒体的特征数据转换成离散的n维比特向量，作为该多媒体的特征比特向量存储于多媒体特征数据库中。现有技术在对多媒体信息进行检索时，首先需要对已有的多媒体特征数据库中的特征比特向量进行集合划分和排序，建立有序表，其具体流程图如图1所示，具体包括如下步骤：S101：对已有的多媒体特征数据库中的特征比特向量按照前p（p<n）个元素进行集合划分。具体地，将多媒体特征数据库中前p个元素相同的特征比特向量划分到同一集合中。S102：针对每个集合，确定该集合的有序表。具体地，针对每个集合，将该集合内的特征比特向量按照前一特征比特向量的二进制数值不大于后一特征比特向量的二进制数值大小进行排序，将排序后的各特征比特向量构成该集合的有序表。根据已有的多媒体特征数据库和有序表，现有技术基于比特向量的多媒体检索方法，其具体流程图如图2所示，具体包括如下步骤：S201：提取出当前多媒体信息的特征数据，采用哈希方法将其转换成离散的n维比特向量，得到当前多媒体信息的特征比特向量。S202：根据当前多媒体信息的特征比特向量的前p个元素确定其所在的集合，在该集合内利用有序表查找与当前多媒体信息的特征比特向量的汉明距离小于等于q的特征比特向量。具体地，将当前多媒体信息的特征比特向量划分到与其前p个元素相同的特征比特向量所属的集合中，在该集合内利用有序表查找与当前多媒体信息的特征比特向量不同元素个数小于等于q的比特向量。事实上，如果比特向量各元素独立，比特向量间的相似性一般可以用汉明距离度量，比特向量间的汉明距离可以表示为两个相比较的等长比特向量间对应位置比特值不同的元素个数。S203：将上述查找到的特征比特向量所对应的多媒体，作为最终检索结果输出。然而，本发明的发明人发现，上述的多媒体信息检索方法进行检索的速度仍然不能满足系统面临大量检索需求时对检索速度的要求；因此，有必要提供一种速度更快、效率更高的多媒体信息检索方法。

技术实现要素：
针对上述现有技术存在的缺陷，本发明提供了一种多媒体信息检索方法及系统，用以提高对多媒体信息检索的速度和效率。根据本发明的一个方面，提供了一种多媒体信息检索方法，包括：提取当前多媒体信息的特征数据，将提取的特征数据转换为特征比特向量后，对其进行均匀分割，得到k个子向量，其中第i个子向量由所述特征比特向量均匀分割后的第i组元素组成；i为1～k的自然数；分别确定对应所述当前多媒体信息的各子向量的候选集合，其中，针对第i个子向量，具体过程包括：在预先确定的第i个索引结构的索引集中查找出与该第i个子向量相同的索引，并将查找出的索引所对应的向量标识集合作为对应该第i个子向量的候选集合；其中，第i个索引结构中，第i个子 向量相同的待检索多媒体信息的特征比特向量的向量标识存储于同一向量标识集合中，且该向量标识集合的索引为该第i个子向量；对于得到的候选集合中的各向量标识，分别在多媒体特征数据库中查找出对应的特征比特向量；并计算所述当前多媒体信息的特征比特向量与查找到的特征比特向量之间的汉明距离，将汉明距离符合设定条件的特征比特向量所对应的多媒体信息作为检索结果输出。较佳地，第i个索引结构的确定方法，包括：针对每个待检索多媒体信息，将该待检索多媒体信息的特征比特向量进行均匀分割，得到该待检索多媒体信息的k个子向量；其中，该待检索多媒体信息的第i个子向量由所述特征比特向量分割后的第i组元素组成；i为1～k的自然数；将第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识划分到同一向量标识集合中；并将该向量标识集合中的向量标识所对应的特征比特向量中的相同的第i个子向量，作为该向量标识集合的索引，并存储到第i个索引结构的索引集中。较佳地，所述对于得到的候选集合中的各向量标识，分别在多媒体特征数据库中查找出对应的特征比特向量，具体包括：将得到的候选集合进行并集操作后，得到候选合并集合；对于所述候选合并集合中的每个向量标识，在所述多媒体特征数据库中查找出对应该向量标识的特征比特向量。较佳地，所述汉明距离符合设定条件的特征比特向量具体为：与所述当前多媒体信息的特征比特向量的汉明距离小于等于q的特征比特向量，其中，所述q小于等于k。较佳地，第i个索引结构具体为键/值Key/Value形式结构；其中，所述相同的第i个子向量作为Key，对应所述相同的第i个子向量的向量标识集合作为对应该Key的Value。根据本发明的另一个方面，还提供了一种多媒体信息检索系统，包括：特征比特向量确定模块，用于提取当前多媒体信息的特征数据，根据提取的特征数据得到所述当前多媒体信息的特征比特向量；特征比特向量分割模块，用于对所述特征比特向量确定模块得到的特征比特向量进行均匀分割，得到所述当前多媒体信息的k个子向量，其中第i个子向量由所述特征比特向量分割后的第i组元素组成；i为1～k的自然数；候选集合确定模块，用于针对所述特征比特向量分割模块得到的当前多媒体信息的每个子向量，分别确定对应该子向量的候选集合；其中，针对第i个子向量确定其对应的候选集合具体过程包括：在预先确定的第i个索引结构的索引集中查找出与该第i个子向量相同的索引，并将查找出的索引所对应的向量标识集合作为对应该第i个子向量的候选集合；其中，第i个索引结构中，第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识存储于同一向量标识集合中，且该向量标识集合的索引为该第i个子向量；特征比特向量查找模块，用于对于所述候选集合确定模块得到的候选集合中的各向量标识，分别在多媒体特征数据库中查找出对应的特征比特向量；汉明距离计算模块，用于计算所述当前多媒体信息的特征比特向量与所述特征比特向量查找模块查找到的特征比特向量之间的汉明距离；检索结果输出模块，用于根据所述汉明距离计算模块计算的汉明距离，将汉明距离符合设定条件的特征比特向量所对应的多媒体信息作为检索结果输出。较佳地，所述多媒体信息检索系统还包括：索引结构构建模块，用于构建k个索引结构，其中第i个索引结构是采用如下方法构建：针对每个待检索多媒体信息，将该待检索多媒体信息的特征比特向量进行均匀分割，得到该待检索多媒体信息的k个子向量；其中，该待检索多媒体信息的第i个子向量由该待检索多媒体信息的特征比特向量中的第i组元素组成；i为1～k的自然数；将第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识划分到同一向量标识集合中；并将该向量标识集合中的向量标识所对应的特征比特向量中的相同的第i个子向量，作为该向量标识集合的索引，并存储到第i个索引结构的索引集中。较佳地，所述索引结构构建模块具体包括：特征比特向量分割单元，用于针对每个待检索多媒体信息，将该待检索多媒体信息的特征比特向量进行分割，得到该待检索多媒体信息的k个子向量；向量标识集合划分单元，用于在构建第i个索引结构时，将第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识划分到同一向量标识集合中；索引建立单元，用于在构建第i个索引结构时，对于所述向量标识集合划分单元划分出的向量标识集合，将该向量标识集合中的向量标识所对应的 特征比特向量中的相同的第i个子向量，作为对应该向量标识集合的子向量，并作为第i个索引结构中的索引进行存储。较佳地，所述特征比特向量查找模块具体包括：候选集合合并单元，将所述候选集合确定模块得到的候选集合进行并集操作后，得到候选合并集合；向量查找单元，用于对于所述候选合并集合中的每个向量标识，在所述多媒体特征数据库中查找出对应该向量标识的特征比特向量。较佳地，所述汉明距离符合设定条件的特征比特向量具体为：与所述当前多媒体信息的特征比特向量的汉明距离小于等于q的特征比特向量，其中，所述q小于等于k。本发明的技术方案中，通过对待检索多媒体信息建立k个分段索引结构，查找与当前多媒体信息的特征比特向量中m（每个子向量中的向量元素个数）个元素相同的特征比特向量参与汉明距离计算，相比于现有技术中采用分块有序表查找与当前多媒体信息的特征比特向量中前p个元素相同的特征比特向量参与汉明距离计算，本发明方案可以大大减少参与汉明距离计算的特征比特向量个数，从而大大减少了一次检索过程中的计算量，达到提高检索速度和效率的目的。进一步，本发明的检索方法中，为了检索的可持续性，只需要根据当前多媒体信息的各子向量，将当前多媒体信息的特征比特向量的向量标识划分到k个索引结构中的相对应的向量标识集合中，此计算量远小于现有技术的将特征比特向量与有序表中海量的特征比特向量进行比较、排序的计算量，从而大大提高检索速度、检索效率。附图说明图1为现有技术构建有序表的方法流程图；图2为现有技术的多媒体信息检索的方法流程图；图3为本发明实施例的构建分段索引的方法流程图；图4为本发明实施例的多媒体信息检索的方法流程图；图5为本发明实施例的多媒体信息检索系统的示意图；图6为本发明实施例的特征比特向量查找模块的内部结构框图；图7为本发明实施例的索引结构构建模块的内部结构框图。具体实施方式以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然， 所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。本发明的思路为，预先建立k个分段索引结构，在对当前多媒体信息进行检索时，利用k个分段索引结构查找与当前多媒体信息的特征比特向量中m（比如32）个元素相同的特征比特向量参与汉明距离计算，相比于现有技术中，参与汉明距离计算的前p（比如3）个元素相同的特征比特向量，大大缩小了参与汉明距离计算的特征比特向量数，从而大大减少了一次检索过程中的计算量，达到提高检索速度和效率的目的。下面结合附图详细说明本发明的技术方案。本发明具体实施方式以在待检索的多媒体n维特征比特向量中，查找与当前多媒体信息特征比特向量汉明距离小于等于k的特征为例，介绍基于分段索引思想设计的多媒体信息检索的方法，首先需要建立多媒体特征数据库和分段索引，具体流程图如图3所示，具体包括如下步骤：S301：针对资料库中的每个待检索多媒体信息，提取出该待检索多媒体信息的特征数据，采用哈希方法将该特征数据转换成离散的n维比特向量，得到每个待检索多媒体信息的特征比特向量。S302：将每个待检索多媒体信息的特征比特向量及其向量标识存储于多媒体特征数据库中。具体地，为每个待检索多媒体信息的特征比特向量分配一个唯一的向量标识，然后以该向量标识作为Key（键），以与该向量标识对应的特征比特向量作为Value（值），以Key/Value（键/值）的形式存储于多媒体特征数据库中，以便后面查询和匹配。S303：针对每个待检索多媒体信息，将该待检索多媒体信息的特征比特向量进行均匀分割，建立分段索引，得到k个索引结构。具体地，将每个待检索多媒体信息的特征比特向量进行均匀分割，得到该待检索多媒体信息的k个子向量；其中，该待检索多媒体信息的第i个子向量由该待检索多媒体信息的特征比特向量分割后的第i组元素组成；该待检索多媒体信息的特征比特向量分割后的第i组元素具体包括特征比特向量中第(i-1)×m+1～i×m个元素；其中，i为1～k中的任意一个自然数，m为每个子向量（或每组元素）中的向量元素个数；在建立分段索引过程中，k个索引结构中的第i个索引结构是根据如下 方法得到的：在第i个索引结构中，第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识存储于同一向量标识集合中，且该向量标识集合的索引为该第i个子向量；并将该向量标识集合中的向量标识所对应的特征比特向量中的相同的第i个子向量，作为该向量标识集合的索引，并存储到第i个索引结构的索引集中。具体地，将第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识划分到同一向量标识集合中；并将该向量标识集合中的向量标识所对应的特征比特向量中的相同的第i个子向量作为Key，对应上述相同的第i个子向量的向量标识集合作为对应该Key的Value，从而构建出Key/Value结构的分段索引中的第i个索引结构。其中，i可以是1～k中的任意一个自然数。在构建了上述的分段索引的k个索引结构后，基于该分段索引，本发明实施例所提供的多媒体信息检索方法，具体流程图如图4所示，具体包括如下步骤：S401：提取出当前多媒体信息的特征数据，采用哈希方法将当前多媒体信息的特征数据转换成离散的n维比特向量，得到当前多媒体信息的特征比特向量。S402：将所述当前多媒体信息的特征比特向量进行均匀分割，得到所述当前多媒体信息的k个子向量。具体地，所述当前多媒体信息的第i个子向量由所述当前多媒体信息的特征比特向量均匀分割后的第i组元素组成，其中第i组元素具体包括当前多媒体信息的特征比特向量中的第(i-1)×m+1个元素～第i×m个元素；其中i为1～k的自然数，m为每个子向量（或每组元素）中的向量元素个数；S403：针对所述当前多媒体信息的每个子向量，分别确定对应该子向量的候选集合。具体地，针对当前多媒体信息的各子向量，分别确定出对应的候选集合，从而确定出k个候选集合；其中，在确定对应当前多媒体信息的第i个子向量的候选集合的过程中，对于所述当前多媒体信息的第i个子向量，其对应的候选集合根据如下方法确定：在第i个索引结构的索引集中查找出与该待检索多媒体信息的第i个子向量相同的索引，并将查找出的索引所对应的向量标识集合作为对应所述当前多媒体信息的第i个子向量的候选集合。S404：对于得到的候选集合中的各向量标识，分别在多媒体特征数据库中查找出对应的特征比特向量。具体地，对于上述步骤S403中得到的对应当前多媒体信息的各子向量的候选集合，即k个候选集合，在多媒体特征数据库中查找出对应候选集合中的各向量标识的特征比特向量。作为一种更优的实施方式，考虑到上述步骤S403中得到的各候选集合中可能存在一些重复的向量标识；因此，可以先将得到的k个候选集合进行并集操作后，得到候选合并集合；对于所述候选合并集合中的每个向量标识，在所述多媒体特征数据库中查找出对应该向量标识的特征比特向量。具体地，以候选合并集合中的每个向量标识作为Key，去多媒体特征库中查找对应该Key的Value，即为与所述每个候选向量标识对应的特征比特向量。S405：计算所述当前多媒体信息的特征比特向量与查找到的特征比特向量之间的汉明距离。S406：将汉明距离符合设定条件的特征比特向量所对应的多媒体信息作为检索结果输出。具体地，符合设定条件的特征比特向量具体可以是：与所述当前多媒体信息的特征比特向量的汉明距离小于等于q的特征比特向量；较优地，上述的k大于q，即q小于等于k，这样可以保证不会出现漏检，即符合设定条件的特征比特向量的向量标识都包括在候选集合中。以在128维的待检索多媒体信息的特征比特向量中，查找与当前多媒体信息特征比特向量汉明距离小于等于3（q）为例，本发明通过对待检索多媒体信息建立4（k=q+1）个键值Key/Value结构的分段索引，查找到与当前多媒体信息的特征比特向量中32（m）个元素相同的特征比特向量，再计算上述查找到的特征比特向量与当前多媒体信息的特征比特向量间的汉明距离，此时参与汉明距离计算的特征比特向量有2128-32+2=298个，而现有技术中采用分块有序表查找与当前多媒体信息的特征比特向量中前p个元素相同的特征比特向量，再计算上述查找到的特征比特向量与当前多媒体信息的特征比特向量间的汉明距离，由于p不能是一个较大的数——若p值较大将导致漏检数量较大；因此，p通常为一个较小的数，例如小于等于3，此时参与汉明距离计算的特征比特向量至少有2128-3-1=2124个；虽然利用有序表可以在一定程度上便于汉明距离计算中的比特位的比较，但是由于现有技术中参与汉明距离计算的特征比特向量的倍数是本发明技术中参与汉明距离计算的特征比特向量的226倍，数量差距巨大；事实上，上述的m是由k决定的：m=n/k，其中，n为特征比特向量的 维数，对于高维特征比特向量，n通常为100以上的值；而k则是比q稍大的一个数；通常，为满足检索要求，本领域技术人员通常将汉明距离q值设置为一个较小的数，比如小于3或4的数；因此，通常m至少为两位数，甚至更大。而现有技术中为了避免出现过多漏检的情况，p值设定不能过大，通常要小于或等于q值；因此，由于本发明中参与汉明距离计算的32（m）个元素相同的特征比特向量的个数，要远小于现有技术中的参与汉明距离计算的3（p）个元素相同的特征比特向量的个数，从而大大减小了参与汉明距离计算的特征比特向量的数量，以减小运算量，提高检索速度和效率。此外，为了检索的可持续性，现有技术的检索方法中，在检索出多媒体后，还需将当前多媒体信息的特征比特向量插入到有序表中，作为待检索的多媒体的特征比特向量以备下次检索。而将特征比特向量插入到有序表中的计算过程，也是计算量非常大；而本发明的检索方法中，为了检索的可持续性，只需要根据当前多媒体信息的各子向量，将当前多媒体信息的特征比特向量的向量标识划分到k个索引结构中的相对应的向量标识集合中，并将当前多媒体信息的特征比特向量及其向量标识插入到多媒体特征数据库中，此计算量远小于现有技术的将特征比特向量与有序表中海量的特征比特向量进行比较、排序的计算量，从而大大提高检索速度、检索效率。上述将当前多媒体信息的特征比特向量的向量标识划分到k个索引结构中的相对应的向量标识集合的具体过程可以是：将当前多媒体信息的特征比特向量的向量标识划分（插入）到上述得到的k个候选集合中。对于在检索过程中，若k个索引结构中的第i个索引结构，其索引中不存在当前多媒体信息的第i子向量，则将当前多媒体信息的第i子向量作为第i个索引结构的索引进行存储，并创建包含当前多媒体信息的特征比特向量的向量标识的向量标识集合，将创建的向量标识集合对应该索引存储到第i个索引结构中。若所述当前多媒体信息的数据被删除，则将当前多媒体信息的特征比特向量及其向量标识从多媒体特征数据库中删除，并将k个索引结构中的k个候选集合中的当前多媒体信息的特征比特向量的向量标识删除。基于上述的检索方法，本发明实施例提供的一种多媒体信息检索系统，如图5所示，包括：检索装置501和数据库索引结构构建装置502；其中，检索装置501包括：特征比特向量确定模块511、特征比特向量分割模块512、候选集合确定模块513、特征比特向量查找模块514、汉明距离计算模块515以及检索结果输出模块516。特征比特向量确定模块511用于提取当前多媒体信息的特征数据，根据提取的特征数据得到所述当前多媒体信息的特征比特向量。特征比特向量分割模块512用于对特征比特向量确定模块511得到的特征比特向量进行均匀分割，得到所述当前多媒体信息的k个子向量，其中第i个子向量由所述特征比特向量分割后的第i组元素组成；i为1～k的自然数；候选集合确定模块513用于针对所述特征比特向量分割模块得到的当前多媒体信息的每个子向量，分别确定对应该子向量的候选集合；其中，针对第i个子向量确定其对应的候选集合具体过程包括：在预先确定的第i个索引结构的索引集中查找出与该第i个子向量相同的索引，并将查找出的索引所对应的向量标识集合作为对应该第i个子向量的候选集合；其中，第i个索引结构中，第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识存储于同一向量标识集合中，且该向量标识集合的索引为该第i个子向量。特征比特向量查找模块514用于对于候选集合确定模块513得到的候选集合中的各向量标识，分别在多媒体特征数据库中查找出对应的特征比特向量。汉明距离计算模块515用于计算所述当前多媒体信息的特征比特向量与特征比特向量查找模块514查找到的特征比特向量之间的汉明距离。检索结果输出模块516用于根据汉明距离计算模块515计算的汉明距离，将汉明距离符合设定条件的特征比特向量所对应的多媒体作为检索结果输出。其中，数据库索引结构构建装置502包括：多媒体特征数据库建立模块521和索引结构构建模块522。多媒体特征数据库建立模块521用于存储待检索多媒体信息的特征比特向量及其向量标识。索引结构构建模块522用于构建k个索引结构，其中第i个索引结构是采用如下方法构建：针对每个待检索多媒体信息，将该待检索多媒体信息的特征比特向量进行均匀分割，得到该待检索多媒体信息的k个子向量；其中，该待检索多媒体信息的第i个子向量由该待检索多媒体信息的特征比特向量 中的第i组元素组成；i为1～k的自然数；将第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识划分到同一向量标识集合中；并将该向量标识集合中的向量标识所对应的特征比特向量中的相同的第i个子向量，作为该向量标识集合的索引，并存储到第i个索引结构的索引集中。上述的特征比特向量查找模块514中的内部结构框图如图6所示，具体包括：候选集合合并单元601和向量查找单元602。候选集合合并单元601用于将候选集合确定模块513得到的候选集合进行并集操作后，得到候选合并集合；向量查找单元602用于对于所述候选合并集合中的每个向量标识，在所述多媒体特征数据库中查找出对应该向量标识的特征比特向量。上述的索引结构构建模块522中的内部结构框图如图7所示，具体包括：特征比特向量分割单元701、向量标识集合划分单元702、索引建立单元703。特征比特向量分割单元701针对每个待检索多媒体信息，将该待检索多媒体信息的特征比特向量进行均匀分割，得到该待检索多媒体信息的k个子向量；向量标识集合划分单元702在构建第i个索引结构时，对于特征比特向量分割单元701得到的每个待检索多媒体信息的k个子向量，将第i个子向量相同的待检索多媒体信息的特征比特向量的向量标识划分到同一向量标识集合中；索引建立单元703在构建第i个索引结构时，对于向量标识集合划分单元702划分出的向量标识集合，将该向量标识集合中的向量标识所对应的特征比特向量中的相同的第i个子向量，作为对应该向量标识集合的子向量，并作为第i个索引结构中的索引进行存储。本发明的技术方案中，通过对待检索多媒体信息建立k个分段索引结构，查找与当前多媒体信息的特征比特向量中m个元素相同的特征比特向量参与汉明距离计算，相比于现有技术中采用分块有序表查找与当前多媒体信息的特征比特向量中前p个元素相同的特征比特向量参与汉明距离计算，本发明方案可以大大减少参与汉明距离计算的特征比特向量个数，从而大大减少了一次检索过程中的计算量，达到提高检索速度和效率的目的。进一步，本发明的检索方法中，为了检索的可持续性，只需要根据当前多媒体信息的各子向量，将当前多媒体信息的特征比特向量的向量标识划分到k个索引结构中的相对应的向量标识集合中，此计算量远小于现有技术的 将特征比特向量与有序表中海量的特征比特向量进行比较、排序的计算量，从而大大提高检索速度、检索效率。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。