一种基于数据感知的图像哈希方法
【技术领域】
[0001] 本发明属于信息检索技术领域，更具体地，涉及一种基于数据感知的图像哈希方 法。
【背景技术】
[0002] 随着计算机网络的发展和数字化处理技术的广泛使用，互联网中的多媒体数据呈 现爆炸式增长，使得多媒体数据在网络上的传播变得日益普及。该使得多媒体数据的组织 和管理变得十分重要，其中如何在大规模数据集上实施快速相似性搜索是完成上述功能的 核也关键技术。
[0003]目前，相似性搜索技术主要分为基于空间划分的方法和基于哈希的方法。基于 空间划分的方法主要采用树形结构对数据进行存储，例如kd-Tree、R-Tree、X-Tree和 SS-Tree。为进行空间的划分，合适的距离测度方法被引入计算向量间的相似性W将特征 向量划分到子空间中。但是由于树形结构存在W下问题：当向量维度较高时，需要较多的 空间用来表示，使得在树的构建过程需要频繁的分裂并且使得树的高度明显增加；在空间 划分的过程中，由于高维数据之间的相关性，使得空间出现重叠现象，因此在查询过程中需 要查询更多的子树。为了解决树的该些问题，引入了近似压缩的思想，即在创建索引之前 首先对数据进行压缩W减少查询代价，如VA-File。VA-File的基本原理是将原始向量空 间划分为不同的子区域，然后利用不同的二进制向量表示映射到相同子区域中的特征向 量。对于给定的查询向量，只需要扫描相同子区域内的向量而不需要扫描全部的数据。由 于只扫描相同子区域内的向量，使得数据的访问量和时间复杂度大大减小。但是当原始数 据集很大时，相同子区域中的数据仍然很多，而且数据划分的算法决定了数据划分的分布， 即好的划分算法使得数据划分到每个子区域的概率相同。但是由于原始数据中存在近似数 据，而VA-File没有对近似数据进行排序和层次处理，因此D.化oguo等在2005年提出了 VAR-Tree。
[0004] 海量的互联网数据和高维的特征矢量，使得基于空间划分的方法面临着"维度灾 难"的问题，并且由于高维向量的相似性使得基于空间划分的方法容易产生空间重叠的 现象，因此提出了基于哈希算法的相似性搜索。哈希方法的代表性工作是局部敏感哈希 (LocalitySensitive化shing,LSH)。L甜是一种用于近似查询的最受关注的方法之一。 LSH基本原理是创建L个哈希表，每个哈希表中有k个哈希桶。对于一个向量，将其映射 到哈希表的某个哈希桶里面。如果两个向量具有较大的相关性，则其会被映射到同一个哈 希桶中。因此可W根据冲突概率的大小来判断两个向量是否相关。冲突概率的大小依据 L个哈希表判断，即如果两个向量映射到每个哈希表的相同的哈希桶里面则其冲突概率最 大。对于一个查询，只需要找与查询向量有相同哈希值的桶，大大减少访问的数据量。与 树形结构如k-d树、SR树相比，L甜能很好的克服"维度灾难"，并且能够很大的减少K近邻 搜索的时间复杂度。因此，L甜多被用于文本、图像、视频的相似性判断。然而，由于L甜哈 希函数设计时采用数据独立哈希方式，因而使用LSH获得的汉明码效率并不高。为了取得 较高的搜索准确性，LSH方法需要使用大量的哈希表，相应地其需要占用大量存储空间。为 解决L甜空间开销过大问题，Panigr址y等使用随机扰动方法W及Qin等使用多探测方法 来产生多个查询对象，使得每一哈希表的多个桶被选择为候选集，从而降低使用的哈希表 数量。尽管上述方法显著降低哈希表的数量，但是空间开销仍然十分巨大。为了克服LSH 产生的汉明码效率不高问题，近年来，一些学者将机器学习用于生成数据感知的哈希函数。 Sala化utdinov利用RBM产生二进制码从而加速文本检索。Weiss提出了一种新的哈希算 法SpH，该方法先用非监督学习方式获得样本数据的汉明码，然后基于非监督学习的结果， 再为检验数据生成哈希函数。基于哈希函数的相似性搜索首先对特征矢量进行降维，然后 对降维结果进行二值化。尽管降维过程获得较好的语义保持性，但二值化过程中则损失大 量语义信息。
[0005] 综上所述，研究学者在相似性搜索领域做了大量的研究工作。但是由于互联网上 海量的多媒体数据和高维的特征矢量，相似性搜索算法需要面对高维和海量数据搜索问 题。基于空间划分的方法面临着"维度灾难"的问题，因此研究基于数据感知的哈希算法， 得到高效率、较好语义保持性的码字是相似性检索领域的热点问题，同时也是难点问题。
【发明内容】
[0006] 本发明的目的在于提供一种基于数据感知的图像哈希方法，该方法利用主成份分 析、顺序测度和局部保持投影将原始特征矢量映射到低维空间中，最后利用基于最大赌模 型的二值化处理转化为二进制序列。通过该方法得到的码字具有较高的效率，并且语义保 持性更好，其步骤包括：
[0007] 第1步提取图像的特征矢量
[0008] 第2步对特征矢量进行主成份分析，得到按特征值由大到小排列的特征矢量矩 阵。
[0009] 第2. 1步计算每一列向量的均值，然后原始数据矩阵X的每一列减去其对应的均 值，使得得到的新的数据矩阵每列的均值为零；
[0010] 第2. 2步计算新的数据矩阵的协方差矩阵covariance;
[0011] 第2. 3步计算协方差矩阵covariance所对应的特征值和特征向量；
[0012] 第2. 4步将原始数据投影到新的坐标系中。
[0013] 第3步对经过主成份分析之后的特征序列进行顺序测度，得到向量中的值在整个 向量中得位置序列。
[0014] 第4步对向量的位置序列进行局部保持投影，得到降维后的特征序列。
[0015]第4. 1步构造邻接图。假设G是具有Q个节点的图，如果X'i和X'j.是相邻的，贝U 在点X'i和点X'J之间存在一条边；
[001引其中，X'i是位置序列矩阵X'中的第i列，X'j.是位置序列矩阵X'中的第j列。
[0017]第4. 2步选择各边的权重。矩阵W是Q*Q的实数矩阵，Wy代表点X'i和点X'J之 间的权重；当W。为0时，表示点X'i和点X'J之间没有边。
[0018] 第4. 3步计算特征映射。当优化参数a设为零时，可直接按照下式计算X'LX't的 特征值和特征向量；否则计算X'LX'T+a I的特征值和特征向量。
[0019]X'IX'Ta=AX'DX'Ta,
[0020] 其中D是对角矩阵Du= 2j.Wy，L=D-W是拉普拉斯矩阵。
[0021] 第4. 4步投影变换。按从小到大的顺序排列特征值，并选择前1个特征值： 入。《《入1_1，各特征值对应的特征向量分别为；a〇，ai...ai_i。贝柯按照如下公 式将原数据集映射到新的坐标系中：
[002引X，i一Yi=ATX，。A= (a0,ai. . .ai_i)
[002引其中，Yi是1维的向量，A是n*l维的矩阵，其中1为预设的比特序列的长度。 [0024] 第5步对降维后的特征序列进行二值化处理，得到01比特序列。
[00巧]假设得到的N维的特征向量X' ' =(x' '1，X''2. . .X''W)，首先计算特征向量的整体 均值
；然后将特征向量的每一维与均值进行比较，如果大于均值mean,则对 应的比特位选择为1;否则为0;
[0026]
[0027] 与现有技术相比，本发明提出的基于数据位置信息的特征矢量处理方法具有较低 的时间复杂度，并且得到的码字具有较高的效率，语义保持性较好。在哈希方法中，创新性 的将主成份分析、顺序测度和局部保持投影结合起来；在局部保持投影中，将顺序测度中的 距离度量函数用于构造邻接图，并且提出了局部保持投影优化问题，使得投影矩阵能够很 好的适用于特征向量，提高了码字的语义保持性。
【附图说明】
[002引图1为本发明一种基于数据感知的图像哈希方法的流程图；
[0029] 图2 (a)为本发明实施例中一个假定数据分布示意图；
[0030] 图2 (b)为对图2 (a)中假定数据的主成分分析示意图；
[0031] 图3为本发明实施例中一种基于亮度的顺序测度原理示意图；
[003引图4为本发明实施例中在不同参数a下的PR曲线示意图；
[0033] 图5 (a)为本发明实施例中Fl-Measure随编码长度和汉明距离在100W测试集下 的变化趋势图；
[0034] 图5 (b)为本发明实施例中Fl-Measure随编码长度和汉明距离在CALTEC肥56测 试集下的变化趋势图；
[00巧]图5(C)为本发明实施例中Fl-Measure随编码长度和汉明距离在CALTECH测试 集下的变化趋势图；
[0036] 图5 (d)为本发明实施例中Fl-Measure随编码长度和汉明距离在COREL测试集 下的变化趋势图；
[0037] 图6 (a)为本发明实施例中不同码字长度在100W测试集下的PR曲线；
[003引图6 (b)为本发明实施例中不同码字长度在CALTEC肥56巧IJ试集下的PR曲线；
[0039] 图6(C)为本发明实施例中不同码字长度在CALTECH测试集下的PR曲线；
[0040] 图6 (d)为本发明实施例中不同码字长度在C0R化测试集下的PR曲线；
[0041] 图7 (a)为本发明实施例中虚警率和漏警率随汉明距离在100W测试集下的变化 趋势图；
[0042] 图7 (b)为本发明实施例中虚警率和漏警率随汉明距离在CALTEC肥56测试集下 的变