专利名称：一种图像检索中视觉单词的提取方法
技术领域：
本发明属于多媒体信息检索、数据挖掘和模式识别等信息检索领域，具体涉及一种图像检索中视觉单词的提取方法。
背景技术：
基于内容的图像检索技术通过对图像颜色、纹理、形状等特征进行分析进行检索，检索结果在视觉上体现出与查询图像的相关性。图像的视觉特征可以分为全局特征和局部特征向量。全局图像特征表达了图像整体特征的全局统计，对图像中物体的位置和尺度变化等较为敏感，如颜色直方图、图像纹理分布或者图像区域的形状特征等。图像的局部特征向量一般是基于图像中具有丰富的纹理的点或者区域的位置、方向、尺度等参数，对每个特征点或区域的周围提取图像块中所有像素的统计量的描述。常用的局部特征向量描述包括基于梯度直方图的SIFT (尺度不变特征变换)、GLOH (梯度位置及方向直方图)等，它们不但具有很强的可区分性，可以区分不同的图像内容，同时也能容忍一定程度的图像噪声与特征检测带来的误差。目前多数前沿的基于局部特征向量的图像检索或分类利用图像的视觉词袋模型来实现系统的可扩展性。视觉词袋模型预先利用训练图像的局部特征向量形成“视觉词表”，并利用该“视觉词表”对图像局部特征向量进行量化，将相似的图像局部特征向量近似的表示为它们的聚类中心-“视觉单词”。由此，图像被表示为一组“视觉单词”的集合。随后，人们利用倒排索引表存储图像的“视觉单词”，并利用文本检索中的TF-1DF模型对图像进行检索。可以看到在基于局部特征的图像检索中，视觉单词量化结果对于最终的检索结果有着重大的影响。通常的视觉单词·表示方法采用k-means算法对特征样本训练集进行聚类，每一个聚类中心对应于一个视觉单词，所有视觉单词组成视觉词典。Jurie等人结合在线聚类和Mean-Shift两种方法的有点,产生更加均勻的视觉单词；Nister等人通过层级k-means方法构造视觉单词树，在图像表示过程中使用更多的视觉单词成为可能;M00smann等人考虑随机森林算法，能有效的提闻视觉词典的生成效率。图像的局部特征向量维数较高，在进行向量之间的相似性比较时承受着维数灾难:随着维数的增加，局部特征的向量分布变得稀疏，并且大部分向量产生高相关距离。这就降低了视觉模式的比较性和普适性。二值化后的局部特征增强了局部特征向量的空间利用率，并保持了局部特征向量的稳定性和信息量。但之前的研究中没有对二值化后的局部特征向量进行视觉单词提取的。参考文献1.J.Philbin, 0.Chum, M.1sard, J.Sivic, and A.Zisserman.0bject retrievalwith large vocabularies and fast spatial matching.1n Proc.CVPR,2007.
2.J.Sivic and A.Zisserman, Video Google:A Text Retrieval Approachto Object Matching in Videos, Proc.Ninth Int’ I Conf.Computer Vision,2003,pp.1470-1478.
发明内容
本发明的目的在于提出一种基于二值化后的局部特征向量视觉单词提取的方法，通过对图像库中的局部特征向量集合进行二值化，得到特征独特性和信息量保持的二值局部特征向量，在向量空间上提高特征的空间利用率，有利于提高视觉单词的独特性，并通过快速计算二值特征的汉明距离在之后的检索或分类应用中提高计算的速度和减小存储的代价。本发明的总体思想如下:首先提取图像库中所有图像的局部特征向量，进行抽样得到局部特征向量向量集合，对特征向量集合中的特征进行统计分析，得到局部特征向量每个维度上的中值，保存中值并将中值作为阈值对所有局部特征向量进行二值化，之后对图像库的局部特征向量向量集合进行聚类，将聚类中心作为视觉词表。利用之前保存的特征维度上中值作为阈值，将视觉词表对应的局部特征向量向量进行二值化。在提取每幅图像的视觉单词时，首先利用维度中值将单幅图像上的局部特征向量向量集合进行二值化，然后将二值局部特征向量向量在二值视觉词表中查找最近邻，将最近邻的视觉单词作为该局部特征向量向量最终对应的视觉单词。具体创新点:本方法将利用二值化特征提高向量空间利用率来增强局部特征向量向量的独特性，保持了局部特征向量的信息量和独特性，进而提高视觉单词的独特性，又提高了特征的计算效率和存储效率。本发明的具体 方法步骤为:I提取图像库中所有图像的局部特征，得到特征样本训练集F = {f:, f2，...，fffl}，m表示图形的数目，fi表示图像i的局部特征向量集合，fi可以表示为fi = {tn, ti2,...,tiffl}，m表示图像的局部特征向量数目，tiffl表示图像i的第m个特征；2对特征样本训练集中局部特征向量在每个维度上进行统计，得到每个维度上的中值B = {b1； b2,...bn}, n代表局部特征的维度，ht表示维度i上的中值；3对特征样本训练集进行聚类训练，得到聚类中心作为“视觉词表I = {Vl, V2,..，vk}，k表示聚类的数目，即视觉词表的大小。Vi表示视觉单词i对应的局部特征向量表示；4利用步骤2中得到的维度中值作为阈值，将视觉词表V中的向量进行二值化，得到二值化的视觉词表尸={vf,v26，...,<}；5对单幅图像，提取其局部特征向量集合f，并利用步骤2中的维度中值作为阈值，对每个特征向量进行二值化，得到二值化的特征向量集合fb ;6取出单幅图像的二值化特征向量集合fb中的每个二值化特征向量，与4中的二值化视觉词表中的二值化向量进行比较，将距离最近或最相似的二值化向量对应的视觉单词作为该二值化特征对应的视觉单词。上述方法中，步骤I所述的图像局部特征向量，包括SIFT、SURF、GL0H、MSER、角点特征这些能够表达图像局部显著区域的特征。
附图为图像的视觉单词提取过程图。
具体实施例方式本实施例的技术方案如下:如附图所示，首先提取图像库中所有图像的局部特征向量，得到特征样本训练集，例如提取图像的SIFT特征。再对特征训练样本集中的特征向量每一维度上的特征分量进行统计，得到每一维度上的中值。SIFT特征有128维，且每一维度上的取值为0，1，...，255统计每一维度上的中值bpi表示维度，得到维度中值B = Ib1,
bg， ，bn} o之后对特征样本训练集进行k均值聚类，得到k个聚类中心，每个聚类中心对应一个具有独特性的视觉单词，这些视觉单词就构成了视觉词表V = Iv1, V2, , vj之后将视觉词表中视觉单词对应的特征向量，即聚类中心特征向量，利用之前的
维度中值作为阈值，将其转化成为二值化的视觉词表V26转化公式为:
权利要求
1.一种图像检索中视觉单词的提取方法，其特征在于，包括以下步骤: 1.1提取图像库中所有图像的局部特征，得到特征样本训练集F= {f\，f2，...，fm}，m表示图形的数目，fi表示图像i的局部特征向量集合，fi可以表示为fi = Itil, ti2,..., tim},m表示图像的局部特征向量数目，tim表示图像i的第m个特征； 1.2对特征样本训练集中局部特征向量在每个维度上进行统计，得到每个维度上的中值B = {b1； b2,...bj , n代表局部特征的维度，ht表示维度i上的中值； 1.3对特征样本训练集进行聚类训练，得到聚类中心作为“视觉词表” V = {Vl，V2,...,vj , k表示聚类的数目，即视觉词表的大小。Vi表示视觉单词i对应的局部特征向量表示；1.4利用1.2中得到的维度中值作为阈值，将视觉词表V中的向量进行二值化，得到二值化的视觉词表P ={v>2\...,心； 1.5对单幅图像，提取其局部特征向量集合f，并利用1.2中的维度中值作为阈值，对每个特征向量进行二值化，得到二值化的特征向量集合fb ; 1.6取出单幅图像的二值化特征向量集合fb中的每个二值化特征向量，与1.4中的二值化视觉词表中的二值化向量进行比较，将距离最近或最相似的二值化向量对应的视觉单词作为该二值化特征对应的视觉单词。
2.一种图像检索中视觉单词的提取方法，其特征在于:步骤1.1所述的图像局部特征，包括SIFT、SURF、GLOH、MSER、角点 特征这些能够表达图像局部显著区域的特征。
全文摘要
本发明公开了一种图像检索中视觉单词的提取方法，属于多媒体信息检索、模式识别等智能信息处理领域。本发明通过对图像库中的局部特征集合进行二值化，得到特征独特性和信息量保持的二值局部特征，在向量空间上提高特征的空间利用率，有利于提高视觉单词的独特性，并通过快速计算二值特征的汉明距离在之后的检索或分类应用中提高计算的速度和减小存储的代价。
文档编号G06K9/62GK103235955SQ20131015918
公开日2013年8月7日 申请日期2013年5月3日 优先权日2013年5月3日
发明者黄祥林, 吕慧, 陈明祥, 杨丽芳, 范瑛, 张璐, 邢承磊 申请人:中国传媒大学, 新华通讯社