一种基于关系矩阵正则化增强表示的图像检索方法
【专利摘要】本发明公开了一种基于关系矩阵正则化增强方法从图像实例库中检索图像的方法，包含如下步骤：步骤1，输入待检索图像；步骤2，抽取待检索图像和图像实例库中图像的特征；步骤3，从图像实例特征库中选取P个图像类，从每一个图像类选取n幅图像构成样本数据X；步骤4，基于谱图理论的流形学习算法，对样本数据X构建三个矩阵；步骤5，初步建立增强关系矩阵W′；步骤6，计算正则化增强关系矩阵W*：步骤7，计算广义特征矩阵A；步骤8，计算最终的图像表示；步骤9，计算待检索图像的图像表示；步骤10，采用欧氏距离计算待检索图像与图像实例库中所有图像的相似度，按照相似度由大到小输出图像实例库中与待检索图像最相似的图像。
【专利说明】一种基于关系矩阵正则化增强表示的图像检索方法
【技术领域】
[0001]本发明属于图像检索领域，特别是一种基于关系矩阵正则化增强方法的图像检索方法。
【背景技术】
[0002]在科技日益发达的今天，随着图像获取处理设备和互联网技术的迅猛发展和普及应用，以图像为代表的新一代信息资源已经成为与材料、能源具有同等重要地位的战略资源，其数据量也已达到海量规模，成为当前信息处理和信息资源建设的主体。由于图像具有信息量大、内容丰富、表现力强等优点，因此对海量规模的图像进行有效的信息处理和应用，已成为众多实际应用领域的核心问题。
[0003]由于当前图像数据已呈海量规模，并且在不断增长，传统的技术手段已经无法适应这种需求，这对图像的组织、分析、检索和管理等技术都提出了全新的挑战。尽管目前基于内容的图像检索研究已经取得了很大的进展，有效克服了基于手工标注的文本信息进行图像检索的局限性，但离真正的实用阶段还有一定的距离，尤其是对图像的高层语义理解方面。大部分方法还仅仅停留在围绕图像的底层特征进行语义描述和学习这一层次，相对于人类能够理解和运用的丰富多彩的语义概念，底层数据特征的表达能力尚有很大局限，因此底层特征与高层语义之间存在着较大差距，即所谓的“语义鸿沟”(semantic gap)，从而导致在图像检索的准确率和效率上还远远达不到实际应用的需要，尤其是对图像的多种丰富语义进行准确有效的理解和检索方面。时至今日，图像检索中的“语义鸿沟”问题仍然没有得到很好的解决，仍然是困扰研究者的关键性难题之一。在解决这一难题的众多技术当中，基于相关反馈的图像检索技术提供了一种可行的解决方案。早期的相关反馈技术主要集中于基于相关反馈的信息，修正查询向量即图像特征，例如对查询向量的每一维数值重新分配权值，调整查询向量的位置等。近年来，由于流形学习的兴起，许多研究者转向通过流形学习技术，将高维的图像数据空间降维来探求图像特征空间的内在结构，其主要的理论假设是将图像看成是一种流形，目标就是发现其内在的结构信息。发现嵌入在高维数据中的低维子空间是学习数据潜在流形的重要手段，流形学习中子空间的学习方法都是基于局部分析的。通过流形学习的方法学习其所对应的低维的语义子空间，这与流形学习假设整个数据集只在局部满足欧氏距离相吻合，因此通过分析图像数据的局部信息，发掘局部的语义流形结构对图像检索来说更加有意义。
【发明内容】
[0004]发明目的:本发明为了解决现有技术中的问题，提出了一种基于关系矩阵正则化增强表示的图像检索方法，有效地解决大规模数据下，图像的快速准确检索问题。
[0005]
【发明内容】
:本发明公开了一种基于关系矩阵正则化增强方法的图像检索方法，该方法从图像实例库中检索图像，包含如下步骤:
[0006]步骤I,输入待检索图像；[0007]步骤2，抽取待检索图像和图像实例库中图像的特征，用N维向量描述每幅图像，N=I 12,得到图像实例特征库U = (U1, --?，％), Ui为图像实例库第i幅图像的特征，i = I,…M，M为图像实例库中所包含的图像数，以及待检索图像的特征V，所述图像实例库包括50个以上的图像类，每一个图像类表示一个语义类，每个图像类包括600幅以上的图像；
[0008]步骤3，从图像实例特征库中选取P个图像类，P取值范围20-50，从每一个图像类选取n幅图像，n取值范围100-500，P个图像类共有nXP张图像构成样本数据X ;例如发明的一个实施例中，从中选取30个图像类，每一类表示了不同的语义类，每一类有100幅图像，共有3000张图像构成样本数据X，X = (X1, - ,xq),q = nXP，Xi为样本数据中第i幅图像的特征，Q为样本数据大小，X为112Xq维的矩阵；
[0009]步骤4，基于谱图理论的流形学习算法，对样本数据X构建增强关系矩阵W、正例关系矩阵Wp和反例关系矩阵Wn;
[0010]步骤5，对构建的关系矩阵W进行增强，初步建立增强关系矩阵r ；
[0011]步骤6，借助概率转移矩阵正则化增强关系矩阵W'得到正则化增强关系矩阵矿；
[0012]步骤7，根据正则化增强关系矩阵f构建目标方程，计算广义特征矩阵A ；
[0013]步骤8，利用广义 特征矩阵A对图像实例特征库中的所有图像进行降维，即AU=A=Ku1,…，uM) = (Au1,…，A*um),记Yi = A氺Xi, i = I,…M,得到最终的图像表示Y =(Y1,…，y?)，Yi为图像实例库第i幅图像特征降维后的特征；
[0014]步骤9，利用广义特征矩阵A对待检索图像特征V降维，得到待检索图像的图像表示 f = A*v ；
[0015]步骤10，根据步骤8的最终的图像表示和步骤9的待检索图像的图像表示的欧氏距离计算待检索图像与图像实例库中所有图像的相似度，即计算待检索图像降维特征f与图像实例特征库每幅图像特征降维后特征的欧氏距离I IfIiI I2，i = 1，…M，yi为图像实例库第i幅图像特征降维后的特征，按照相似度由大到小输出图像实例库中与待检索图像最相似的图像。
[0016]步骤2中图像特征包括颜色矩、Tamura纹理特征、Gabor纹理特征、颜色直方图。
[0017]步骤4具体包括如下步骤:在样本数据X中随机选取一幅图像，计算该图像与样本数据X中其他图像的欧式距离，利用相关反馈检索技术，根据返回结果中的同类图像和不同类图像对应设立正例集合和反例集合，并采用简单的k近邻方法建立关系矩阵，即属于k近邻并且是同一个图像类的两图像间的权值为1，否则为O。
[0018]步骤4中采用基于反馈技术的嵌入关系拓宽ARE方法作为谱图理论的流形学习算法，包括以下步骤:
[0019](I)首先对样本数据X构建关系矩阵W，从样本数据X中随机抽取一幅图像I，图像I的特征为Xi，采用k近邻方法计算Xi与样本数据X中其他图像特征的欧式距离，得到与图像I最相似的k幅图像，其中k取值范围5-10 ; [0020]从k幅图像中任意取出一幅图像T属于，图像T的特征为Xt，则图像I与图像T之间的权值Wit为1，图像I与k幅图像以外的图像之间的权值为0 JPxi G Nk(Xt)或xt G Nk(Xi)，Wit = 1，其中Nk(Xi)表示图像Xi的k近邻集合，Nk(Xt)表示图像Xt的k近邻集合；得到关系矩阵W，关系矩阵W第i行第t列的 值即为Wit ；
[0021]公式为:[0022]
【权利要求】
1.一种基于关系矩阵正则化增强方法的图像检索方法，其特征在于，该方法从图像实例库中检索图像，包含如下步骤: 步骤I，输入待检索图像； 步骤2，抽取待检索图像和图像实例库中图像的特征，用N维向量描述每幅图像，N=112，得到图像实例特征库以及带检索图像的特征，所述图像实例库包括50个以上的图像类，每一个图像类表示一个语义类，每个图像类包括600幅以上的图像； 步骤3，从图像实例特征库中选取P个图像类，P取值范围20?50，从每一个图像类选取n幅图像，n取值范围100?500，P个图像类共有nXP张图像构成样本数据X ;步骤4，基于谱图理论的流形学习算法，对样本数据X构建增强关系矩阵W、正例关系矩阵Wp和反例关系矩阵Wn;步骤5，对构建的关系矩阵W进行增强，初步建立增强关系矩阵W';步骤6，借助概率转移矩阵正则化增强关系矩阵W'得到正则化增强关系矩阵f步骤7，根据正则化增强关系矩阵f构建目标方程，计算广义特征矩阵A ； 步骤8，利用广义特征矩阵A对图像实例特征库中的所有图像进行降维，得到最终的图像表示； 步骤9，利用广义特征矩阵A对待检索图像降维，得到待检索图像的图像表示； 步骤10，根据步骤8的最终的图像表示和步骤9的待检索图像的图像表示的欧氏距离计算待检索图像与图像实例库中所有图像的相似度，按照相似度由大到小输出图像实例库中与待检索图像最相似的图像。
2.根据权利要求1所述的一种基于关系矩阵正则化增强表示的图像检索方法，其特征在于，步骤2中图像特征包括颜色矩、Tamura纹理特征、Gabor纹理特征、颜色直方图。
3.根据权利要求2所述 的一种基于关系矩阵正则化增强表示的图像检索方法，其特征在于，步骤4具体包括如下步骤:在样本数据X中随机选取一幅图像，计算该图像与样本数据X中其他图像的欧式距离，利用相关反馈检索技术，根据返回结果中的同类图像和不同类图像对应设立正例集合和反例集合，并采用简单的k近邻方法建立关系矩阵，即属于k近邻并且是同一个图像类的两图像间的权值为1，否则为O。
4.根据权利要求3所述的一种基于关系矩阵正则化增强表示的图像检索方法，其特征在于，步骤4中采用基于反馈技术的嵌入关系拓宽ARE方法作为谱图理论的流形学习算法，包括以下步骤: (1)首先对样本数据X构建关系矩阵W，从样本数据X中随机抽取一幅图像I，图像I的特征为Xi，采用k近邻方法计算Xi与样本数据X中其他图像特征的欧式距离，得到与图像I最相似的k幅图像，其中k取值范围5?10 ; 从k幅图像中任意取出一幅图像T属于，图像T的特征为xt，则图像I与图像T之间的权值Wit为1，图像I与k幅图像以外的图像之间的权值为0 ;即Xi G Nk(xt)or xt G Nk(Xi),Wit = 1，其中Nk(Xi)表示图像Xi的k近邻集合，Nk(Xt)表示图像Xt的k近邻集合；得到关系矩阵W，关系矩阵W第i行第t列的值即为Wit ； 将k幅图像中与图像I属于同一图像类的图像记为正例集合Pos，不同图像类的图像记为反例集合Neg ； (2)构建正例关系矩阵Wp，如果图像R与图像I属于同一图像类且都属于k幅图像，且图像R的特征为Xp则图像I与图像R之间的权值为1，图像I与k幅图像以外的图像之间的权值为0 ;即，Xi,xr∈ Pos1WjP = 1,，WPir为图像I与图像R之间的权值，Xi, Xr G Pos为表示特征xi，xr属于正例集合Pos，正例关系矩阵Wp的第i行第r列的值即为WPir公式为:
5.根据权利要求4所述的一种基于关系矩阵正则化增强表示的图像检索方法，其特征在于，步骤5具体包括如下步骤:从关系矩阵W出发，如果图像z是图像i的近邻图像，且图像z也是图像j的近邻图像，则采用下式计算增强图像i与图像j之间的权值W:W1 ij E zWizWjz，其中Wiz为图像i与图像z的权值，Wjz为图像j与图像z的权值，W' u即为增强关系矩阵r的第i行第j列值。
6.根据权利要求5所述的一种基于关系矩阵正则化增强表示的图像检索方法，其特征在于，步骤6具体包括如下步骤: 多次传播图像间的近邻关系得到新的增强关系矩阵w"，公式为w" =w' n'；利用转移概率矩阵表示图像间的转移关系，相应的转移矩阵为P = [PijInxn, Pij =p(j|i)为样本数据X中任一图像i到任一图像j的转移概率，根据欧式距离选择与图像i最相似的n幅图像，图像j的特征为\，转移概率P(j|i)的计算公式为:
7.根据权利要求6所述的一种基于关系矩阵正则化增强表示的图像检索方法，其特征在于，步骤7中包括如下步骤: 首先从样本数据X中选取任意两幅图像的特征Xi和两幅图像的关系权值为Wij，两幅图像的正例关系权值为"<，两幅图像的反例关系权值为<，根据以下目标方程计算得到广义特征矩阵A:
X (Ln- y Lp) XtA = A XLXtA L为关系矩阵W的拉普拉斯矩阵，Ln为反例关系矩阵Wn的拉普拉斯矩阵，Lp为正例关系矩阵Wp的拉普拉斯矩阵，Y为与反例图像个数和正例图像个数的比值成正比的常数，Xt表示样本数据X的转 置矩阵，\表示方程求解的特征值。
【文档编号】G06F17/30GK103440332SQ201310399734
【公开日】2013年12月11日 申请日期:2013年9月5日 优先权日:2013年9月5日
【发明者】杨育彬, 李亚楠 申请人:南京大学