协变局部特征聚集的图像特征表示法
【技术领域】
[0001] 本发明涉及计算机视觉与多媒体信息检索，具体是涉及协变局部特征聚集的图像 特征表示法。
【背景技术】
[0002] 随着Web2. 0的引入以及各种便携式移动多媒体设备，如智能手机、iPad、数码照 相机等的普及，互联网上有着数以千亿的多媒体资源。这些多媒体资源，主要以图像和视频 的形式存在。据2014年的统计，每分钟就有超过3300幅照片上传到全球最大的照片分享 网站Flickr上。Flickr所维护的照片总数已经超过了 70亿张。在国内最大的视频分享网 站YouKu，其视频总数在2010年已经达到4500万个，日均上传6万个。注意到以上照片和 视频分享网站的数据规模仍以较快速度增长。面对互联网海量多媒体数据，如何对其进行 有效的组织、管理允许用户以便捷的方式检索及浏览成为一个亟待解决的问题。
[0003] 目前，对于基于内容的图像检索的解决方法主要有两种思路。一种是基于词袋模 型，另一种是基于费舍尔核的方法（即把局部特征全局化）。前者的优点是便于加入各种对 检索结果的优化方案，例如加入各种视觉和几何验证，缺点是所需存储空间较大。计算复杂 度与数据集所衍生的局部特征总数呈线性关系。这通常比图像库大小本身大三个数量级。 当图像库达到百亿级时，计算的时间和空间代价都非常大。
[0004] 基于费舍尔核的方法将局部特征聚集为一个高维向量。其具体方法是总体上可以 分为两个步骤。首先从图像提取局部特征，图像被表示为一个局部特征集；接着把一个输入 局部特征量化到一个视觉词汇并进行累集。在第二步中，累集操作只针对局部特征同其对 映的词汇之间的差值。最终，对一幅图，得到一个长德向量表示。这个向量被称为局部累集 特征向量。注意到，这里需要一个视觉词汇。通常使用的视觉词汇从几十个到几百个，远小 于采用视觉词汇量化方法时使用的视觉词汇数目。该方法的优点是可以很大程度上压缩图 像局部特征。当同主成分分析方法结合时，这个长向量可以大幅降维，同时保持较高的可区 分性。当进一步与积量化的最近邻检索算法结合时，该表示方法可以有效降低内存消耗。
【发明内容】
[0005] 本发明的目的在于提供一种协变局部特征聚集的图像特征表示法。
[0006] 本发明包括以下步骤：
[0007] 1)提取图像的局部特征，采用描述子进行描述，一幅图像被表示为一系列描述子 的集合X，同时获得每个局部特征的主方向Θ;
[0008] 2)用一个独立的图像集，提取并收集其局部特征，从而生成一个由描述子组成的 矩阵；采用K平均聚类算法，获得K个聚类中心，K一般设为32至64之间的一个整数值，K 个聚类中心作为视觉词汇集C= {Cl...K};
[0009] 3)采用如下公式（1)对一幅图的每个局部特征进行简化的费舍尔聚集：
[0010] (1)
[0011] 其中，q(x)在C中找到最近邻Cl，b=B(0) ;Ci为视觉词汇集C= {Cl...K}中离局 部特征χ(χex)最近的视觉词汇；函数Β(θ)对图像局部特征χ的主方向θ进行量化， 主方向量化为8个量化区段，公式（1)将一个图像的一系列描述子转化为一个长的向量Υ 表示，根据主方向的量化值，长向量又分为多个子向量，由于使用8个量化区段，因此有8个 子向量，即Y= {p^p2，...，#};
[0012] 4)将获得的8个费舍尔子向量重组，获得一系列8维的子向量；
[0013] 在步骤4)中，所述将获得的8个费舍尔子向量重组，获得一系列8维的子向量的 具体做法可为：
[0014] 把8个子向量每个对映维度放到一起，按量化主方向值一次排列，获得一系列8维 子向量，如果把Y看作一个8行的矩阵，这个重组操作相当于对Y进行转置操作；
[0015] 对得到的每个8维子向量逆排（逆序操作如公式（2)所示）后进行1维离散余弦 变换（II型离散余弦变换）。给定重组后得到的一个子向量Q，逆序操作如下：
[0016]
(2)
[0017] 5)再对这一系列8维子向量组成的向量进行重组，把所有8维子向量对映维放到 一起，依次排列，获得8个子向量；如果把离散余弦变换得到一系列8维子向量看作一个有 8列的矩阵，这个重组操作相当于对矩阵进行转置；然后，对重组后得到的每个子向量做主 成分分析，以降低整个特征的维度；
[0018] 6)再对降维之后的8个子向量进行重组；
[0019] 在步骤6)中，所述对降维之后的8个子向量进行重组的具体做法可为：把8个子 向量每个对映维度放到一起，按量化主方向值一次排列，获得一系列8维子向量；
[0020] 7)在由一系列8维子向量拼合成的向量上定义距离度量，以衡量图像两两之间的 相似度。距离度量如公式（3): 则
⑶
[0022] 其中，|kl|2= | |，| |2=l，d是子向量的个数，U和V分别为两幅图像经步骤A 至F获得的向量表示，u1和v1是它们的各自的子向量；这里假设它们分别由d个子向量组 成；子向量u1和v1进行内积运算。
[0023] 在大规模图像检索的情况下，公式（3)定义的距离度量需要高效的最近邻查找算 法做支撑。注意到，公式（2)的距离度量是d个距离之和。这里每个距离度量可以分别进 行。本发明提出可以对每个子向量单独进行索引，d个最近邻查找可以并行进行。
[0024] 本发明将提出一种基于费舍尔核方法的图像表示方案，并将这种表示方法应用到 基于内容的大规模图像检索上。该表示方法首先将图像局部特征的主方向信息作为特征累 集时的一个量化参数，将属于不同主方向的局部特征累集到不同子向量上。之后将该特征 用一维离散余弦变换转换到其频率域。在频率域进行主成分分析和距离度量。本发明所设 计的图像表示方法具有很好区分力和可伸缩性。
【附图说明】
[0025] 图1为协变局部特征聚集表示与当前主流方法在图像检索测试集上的结果对比。 原图像集大小为1492幅图。为测试本发明方法的可伸缩性，测试逐渐添加候选集至1百万 幅图。
【具体实施方式】
[0026] 本发明实施例包括以下步骤：
[0027] 1)提取图像的局部特征，采用描述子进行描述，一幅图像被表示为一系列描述子 的集合X，同时获得每个局部特征的主方向Θ;
[0028] 2)用一个独立的图像集，提取并收集其局部特征，从而生成一个由描述子组成的 矩阵；采用K平均聚类算法，获得K个聚类中心，K一般设为32至64之间的一个整数值，K 个聚类中心作为视觉词汇集C= {Cl...K};
[0029] 3)采用如下公式（1)对一幅图的每个局部特征进行简化的费舍尔聚集：
[0030] (1)
[0031] 其中，q(x)在C中找到最近邻Cl，b=B(0);Ci为视觉词汇集C={Cl...K}中离局 部特征χ(χeX)最近的视觉词汇；函数Β(θ)对图像局部特征X的主方向θ进行量化， 主方向量化为8个量化区段，公式（1)将一个图像的一系列描述子转化为一个长的向量Y 表示，根据主方向的量化值，长向量又分为多个子向量，由于使用8个量化区段，因此有8个 子向量，即Y= {p^p2，...，#};
[0032] 4)将获得的8个费舍尔子向量重组，获得一系列8维的子向量，具体做法为：
[0033] 把8个子向量每个对映维度放到一起，按量化主方向值一次排列，获得一系列8维 子向量，如果把Y看作一个8行的矩阵，这个重组操作相当于对Y进行转置操作；
[0034] 对得到的每个8维子向量逆排（逆序操作如公式（2)所示）后进行1维离散余弦 变换（II型离散余弦变换）。给定重组后得到的一个子向量Q，逆序操作如下：
[0035] ，.…(卜屮]二(J二[Μ.?ch^h] ⑵
[0036] 5)再对这一系列8维子向量组成的向量进行重组，把所有8维子向量对映维放到 一起，依次排列，获得8个子向量；如果把离散余弦变换得到一系列8维子向量看作一个有 8列的矩阵，这个重组操作相当于对矩阵进行转置；然后，对重组后得到的每个子向量做主 成分分析，以降低整个特征的维度；
[0037] 6)再对降维之后的8个子向量进行重组，具体做法为：把8个子向量每个对映维 度放到一起，按量化主方向值一次排列，获得一系列8维子向量；
[0038] 7)在由一系列8维子向量拼合成的向量上定义距离度量，以衡量图像两两之间的 相似度。距离