基于sift嵌入的紧凑的深度cnn特征索引方法
【技术领域】
[0001] 本发明涉及多媒体技术中的图像检索领域，尤其涉及一种基于SIFT嵌入的紧凑 的深度CNN特征索引方法。
【背景技术】
[0002] 在图像检索领域，如何可靠而高效地对数据库中图像的特征进行高效的存储和索 引是一个至关重要的问题。在大规模的图像检索问题中，为了提供高质量的检索结果，通常 需要数目巨大的数据库图片，而数据库中的图片都是以特征的形式保存的，通常每张图片 会有比较多的特征，或是有少量的高维度特征，所以需要保存的特征数目是非常可观的。此 外，高效地存储也能有效地减少线上检索所需要的时间。由于图像检索过程中，确定数据库 中的图片与检索图片相关性排名时，必须计算每张数据库图片和检索图片在特征上的匹配 值，而非高效的存储方式必然会使得匹配值计算非常耗时，所以高效地存储和索引数据库 图像特征是该领域一个关键性的问题。
[0003] 近几年来，基于CNN(ConvolutionNeuralNetwork，卷积神经网络）的特征学习方 法在图像分类、目标检测等方面取得了巨大成功，引起了计算机视觉领域的极大关注。经典 的AlexNet模型采用深度卷积神经网络，从一张图片中学习得到一个4096维的特征，用于 表达图像，可用于图像检索。但是这种特征存在两个问题。第一，这种CNN特征的稀疏度比 较低，使得索引效率（包括特征存储效率和查询时的计算效率）比较低。第二，这种CNN特 征更接近语义层面，忽略了底层视觉特性，从而影响检索精度。
【发明内容】
[0004] 本发明的目的是提供一种基于SIFT嵌入的紧凑的深度CNN特征索引方法，用以进 行高效地存储数目巨大的数据库中图片的特征，并有效地减少线上检索所需时间。
[0005] 本发明的目的是通过以下技术方案实现的：
[0006] -种基于SIFT嵌入的紧凑的深度CNN特征索引方法，包括：
[0007] 针对图像的深度CNN特征，进行基于能量的稀疏化处理；
[0008] 采用距离测度优化的方式，利用图像在CNN特征和SIFT特征中的邻近关系，来更 新图像的SIFT特征和稀疏化处理后的CNN特征，使得稀疏化处理后的CNN特征中包含基于 SIFT特征的图像上下文信息，完成基于SIFT嵌入的紧凑的深度CNN特征索引。
[0009] 所述针对图像的深度CNN特征，进行基于能量的稀疏化处理的步骤包括：
[0010] 假设图片d的深度CNN特征表示为：c(d) = (ddkddh，…，c(d)D)，其中，D表 示维度；
[0011] 将图片d的深度CNN特征进行非递增排序，得到新的深度CNN特征记为e(d)= (ede(d)2,…，e(d)D);
[0012] 基于能量值y设定一个阈值t，使得t=e(d)t，其中参数t通过下式确定：
[0013]
[0014] 确定参数t后，将c(d)中所有大于t的维度的权值都置为0,并对权值进行归一 化，获得稀疏化处理后的CNN特征，其表示为f(d) =(f(d)df(d)2，…，f(d) D)。
[0015] 所述采用距离测度优化的方式，利用图像在CNN特征和SIFT特征中的邻近关系， 来更新图像的SIFT特征和稀疏化处理后的CNN特征包括：
[0016] 定义代价函数：
[0017]
[0018] 其中，P代表数据库图像集合，S_(u，v)与Sslft(u，v)分别代表图片u与v在CNN 特征的倒排表1_和SIFT特征的倒排表Islf#的距离测度；S_ (u，v)与Sslft (u，v)的表达 式如下：
[0019]Scnn (u,v) = <f(u),f(v) >；
[0020] Ssift (u,v) = <s(u),s(v) > ；
[0021] 其中，<f(u),f(v) >与<s(u),s(v) >均表示内积；f(u) = (f^u)"f(u)2,… f(u)D)，f(v) =(f(v):，f(v)2,…f(v)D)分别表示图片u与v稀疏化处理后的CNN特征；s(u) =(sbh，s(u)2,…s(u)D),s(v) = (sWi,s(v)2,…s(v)D)分别表示图片u与v的SIFT特 征；
[0022] 利用图像在CNN特征和SIFT特征中的邻近关系，对将代价函数重写为：
[0023]
[0024] 其中，Nc(u)表示在CNN特征下图片u的K张最近图片，Ns(u)表示在SIFT特征下 图片u的K张最近图片；
[0025] 将优化目标表达为：
[0026] 通过分布优化来求解以上优化问题：先固定倒排表Islft，对倒排表1_进行 优化，即（/_) =argmin6(/"m|/_);然后固定倒排表1_，对倒排表Islft?行优化，即 (/、,.,,）=argmin| :不断重复以上两步，直至收敛或者迭代次数达到预设次数。
[0027] 所述利用图像在CNN特征和SIFT特征中的邻近关系，来更新图像的SIFT特征和 稀疏化处理后的CNN特征包括：
[0028] 步骤a、将数据库中每张图片d作为检索图片，采用SIFT特征，利用Bag-of-Words 检索方法进行检索，得到K张最相似的图片，记为Nk(d);
[0029] 步骤b、设图片qGNk(d)，f(d)^f(q)i分别表示图片d与q稀疏化处理后的第i维CNN特征，如果满足：
[0030]f(q) ；=0,f(d) ^0；
[0031]则将f(q)i更新为：f(q);=a?f(d) i;
[0032] 其中，a是一个介于〇和1之间的系数；
[0033] 步骤c、将数据库中每张图片d作为检索图片，采用CNN特征进行检索，得到K张最 相似的图片，记为Nk(d)' ；
[0034] 步骤d、设图片q'GNk(d)',S(d)^S(q'）i分别表示图片d与q'的基于SIFT特 征的bag-of-visual-words的第i个视觉单词的系数值，如果满足：
[0035] sCq')^ 0,s(d) ^ 0 ；
[0036] 则将s(q'）;更新为：s(q'）；= 0 ?s(d) i;
[0037] 其中，P是一个介于0和1之间的系数；
[0038] 重复上述步骤a~步骤d，直至迭代次数达到预设次数或者收敛。
[0039] 该方法还包括：基于SIFT嵌入的紧凑的深度CNN特征索引对大规模的数据库进行 检索，其步骤如下：
[0040] 对于检索图片q和数据库中的每一图片d，通过计算它们的欧氏距离来比较相似 性：
[0041 ]
[0042] 其中，所述基于SIFT嵌入的紧凑的深度CNN特征索引即为CNN特征的倒排表1_; 与d;表示图片d与q在其所属CNN特征的倒排表中的第i维CNN特征；
[0043] 将检索图片q与数据库中所有图片的欧氏距离进行降序排序，排序越靠前，则越 说明越相似。
[0044] 由上述本发明提供的技术方案可以看出，基于矢量能量约束定义系数阈值，将基 于深度CNN学习得到的特征矢量中的较小的系数置为0,而只保留较大的系数，从而显著的 提高图像的稀疏度，并较好的保持特征矢量的信息。此外，为了使近语义层面的CNN特征索 引包含底层的局部信息（如SIFT特征），增强时间特征表达的描述能力，分别利用图像在 CNN特征和SIFT特征中的邻近关系，来更新图像的SIFT特征和CNN特征，从而显著地提高 检索准确率。
【附图说明】
[0045] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 附图。
[0046] 图1为