基于类的综合特征和完整类匹配的图像检索方法与流程

本发明属于图像检索
技术领域：
，具体涉及一种基于类的综合特征和完整类匹配的图像检索方法。
背景技术：
：随着计算机网络技术的发展，信息越来越多的通过数字图像来承载，如何在数量庞大的图像库中检索出人们感兴趣的图像成为了一个热门研究领域，基于内容的图像检索(Content-basedImageRetrieval，CBIR)技术由于其良好的检索效果而备受关注。尽管CBIR技术比起基于文本的图像检索(Text-basedImageRetrieval，TBIR)技术在许多方面具有很大优势，但也面临着一些问题，最主要的是低级视觉特征与高级语义间的差异，目前解决这一问题最常用的方法是基于区域的图像检索(Region-basedImageRetrieval，RBIR)技术。RBIR通过把图像分割为若干区域并进行区域匹配来检索图像，这更符合人的视觉感知系统。传统的RBIR系统通过分割算法把图像分割成区域，然后对区域进行匹配来实现图像检索。如何选择参与匹配的区域一直是RBIR研究中的一个关键问题。在早期的研究中，出现了一些采用个别区域匹配的系统，如Berkeley大学的Blobword和California大学的NeTra。这些系统需要人工对区域，特征，特征权等值进行选择，这样保证了参与匹配的区域与用户的兴趣一致，并能满足不同的检索需求，但用户经常会为选择哪个区域及什么样的参数能达到最佳检索效果而困扰。另一项今人瞩目的研究成果是Li等人提出的综合区域匹配(Integratedregionmatching，IRM)，该方法允许图像中所有区域参与匹配，保证了图像信息的完整性，降低了分割不准确对检索结果的影响。IRM最初在斯坦福大学的SIMPLIcity系统中得到了应用并取得了不错的效果，直到现在，IRM依旧作为一个经典的匹配方法被广泛的应用着。在一些基于个别区域匹配的检索系统中，系统会自动的对参与匹配的区域进行选择。如在Yuber提出的不规则兴趣区域(Irregularregionsofinterest,IROI)检索方法中，系统根据每个区域的位置特征选择与兴趣点距离最近的若干区域参与匹配，无需人工进行选择，但这样的选择方法容易遗漏一些关键区域造成图像信息的丢失。有文献(Yang,X.H.,Cai,L.J.:‘Adaptiveregionmatchingforregion-basedimageretrievalbyconstructingregionimportanceindex’,IETComput.Vis.,2013,8,(2),pp.1–11)提出了一种完整区域匹配方法(Activeregionmatching,ARM)，可以根据区域的特征在个别区域匹配和完整区域匹配间切换。文献中的语义区域(Semanticmeaningfulregion，SMR)方法通过计算区域的面积和位置特征是否满足阈值来判断该区域是否参与匹配，当所有区域均满足条件SMR条件，此时系统为完整区域匹配，否则为个别区域匹配。在RBIR中，人工选择匹配区域会增加用户的负担；基于区域位置面积特征的自动匹配区域选择容易遗漏关键区域而造成信息丢失；完整区域匹配方法则有着区域重复匹配的弊端，尤其当重复匹配的区域为背景时会对检索结果产生巨大影响。因此，在RBIR中如何选择参与匹配的区域是研究的重点也是难点。技术实现要素：本发明的目的是克服上述现有技术中存在的问题，提出一种基于类的图像检索方法，在保证图像信息完整的同时避免重复匹配，把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配。本发明的技术方案是：基于类的综合特征和完整类匹配的图像检索方法，该方法是一种从图像中类的层面出发的新的图像检索框架，包括如下步骤：步骤1：提取图像中的类提出加速统计区域合并和近邻传播(Acceleratedstatisticalregionmergingandaffinitypropagation，ASRM-AP)方法提取图像中的类：首先通过ASRM方法对图像进行分割，对分割所得区域进行颜色纹理特征提取，然后进行AP聚类找出图像中具有相似特征的区域进行标记得到图像中的类；步骤2：提取类的综合特征利用类的综合特征(Integratedfeatureofcategory,IFOC)方法对类进行表述，在IFOC中，把类的颜色、纹理特征与类中区域的数量、分布特征相结合作为类的综合特征；类的颜色和纹理特征分别由类中区域的颜色直方图和局部二值模式(LocalBinaryPattern，LBP)方法得到，类的数量特征通过统计类中区域的数量并进行归一化得到，分布特征为类中区域在图像中上，中，下层三层的分布直方图；步骤3：对类进行完整匹配在完整区域匹配(Integratedregionmatching,IRM)算法基础上提出面向类的完整类匹配(Integratedcategorymatching,ICM)方法，并用质心代替面积为类分配权值，得到图像间的距离，实现图像检索。上述步骤1中所述的加速统计区域合并和近邻传播(Acceleratedstatisticalregionmergingandaffinitypropagation，ASRM-AP)方法具体包括如下步骤：步骤2.1：对图像I进行ASRM分割。首先对图像进行打包处理，即把图像分割为3×3的块，计算块的像素均值作为IS的一个像素值得到图IS，然后对IS进行统计区域合并(Statisticalregionmerging,SRM)分割，再把分割结果映射到原图像I；ASRM分割算法：(1)把图像I分割为3×3的块b，把每个块打包作为图IS中的一个像素点，像素点的值v为块b的像素平均值；va=Σi=19ba(i)/9,a∈(R,G,B)---(1)]]>其中，R,G,B为图像中的三个颜色通道；(2)对图IS进行SRM分割；(3)把IS的分割结果映射到图像I，得到I的分割结果；步骤2.2：对ASRM分割所得区域进行AP聚类，得到图像中的类。AP聚类算法通过消息传播方式来逐步确定聚类中心，也就是迭代更新吸引度矩阵R＝[r(i,k)]与归属度矩阵A＝[a(i,k)]，最终实现高质量的自适应聚类；其更新规则如下：1)用归属度矩阵A与相似度矩阵S＝[s(i,k)]更新吸引度矩阵R:r(i,k)=s(i,k)-maxk′≠k{a(i,k′)+s(i,k′)}---(2)]]>2)用吸引度矩阵R更新归属度矩阵A:a(i,k)=min{0,r(k,k)+Σi′∉{i,k}max(0,r(i′,k))}---(3)]]>a(k,k)=Σi′≠kmax{0,r(i′,k)}---(4)]]>其中，i和k为ASRM分割所得区域中任意两个区域；r(i,k)表示k对i的吸引度；a(i,k)表示i对k的归属度；i′为非i的某区域，k′为非k的某区域；s(i,k)为i到k的相似度：s(i,k)＝-||cri-crk||2-||tri-trk||2(5)cr(h,s,v)=N(h,s,v)Ntotal---(6)]]>tr(lbp)=N(lbp)Ntotal---(7)]]>lbp=Σr=07l(gr-gc)2r---(8)]]>l(x)=1,x≥00,x<0---(9)]]>cri,crk和tri,trk分别代表i和k的颜色纹理特征向量，分别由颜色直方图统计和局部二值模式(LocalBinaryPattern，LBP)方法求得，见公式(6)，公式(7)；N(h,s,v)代表区域中H,S,V颜色通道的值对应为h，s，v时像素的个数；Ntotal为区域中像素个数；N(lbp)为区域中LBP值为lbp的像素个数；gc，gr分别为3×3块的像素均值和位置r的像素值；当i与k相等时，通过偏向参数p对s进行设置，p越大数据k越有可能被选为聚类中心：s(k,k)＝p*mean(s(k,:))(10)函数mean(s(k,:))为s(k,:)中元素的均值；s(k,:)代表区域k与其他所有区域的相似度；参数p取0.6。AP聚类后，根据聚类结果对区域进行标记，把第k类中区域的所有像素点设置为k，最终得到像素为1到n的标记图，从而得到图像的类。上述步骤2中提出了的利用类的综合特征IFOC方法计算类的综合特征；以下为IFOC中类的区域数量和区域分布特征提取方法，包括以下步骤：(a)类的区域数量特征ni:ni＝g(N)(11)其中，N表示经过ASRM-AP后第i类区域的个数，g(x)表示对变量x进行归一化运算，其规则为：g(x)=(x-1)/4,x≤51,otherwise---(12)]]>把同类区域个数归一化为[0,1]，当个数大于5时，认为区域数较多，对应特征值为1。(b)类的区域分布特征：由于图像中的对象往往在竖直方向存在一定的分布规律，如天空往往位于图像上层，动物、树木等往往位于图像中层，因此把图像分为上层，中层，下层，并对每个类中的区域质心所属层次进行统计，得类的区域分布特征li:li＝[Nh(i)/N,Nm(i)/N,Nl(i)/N](13)其中，N表示由ASRM-AP算法得到的图像中第i类中区域的个数，Nh(i)，Nm(i)，Nl(i)分别表示第i类区域在图像上层，中层和下层的个数；类的综合特征为f：fi＝[ci,ti,ni,li](14)ci=Σk=1nakcrk/n---(15)]]>ti=Σk=1naktrk/n---(16)]]>其中ci，ti，ni，li分别表示第i个类的颜色，纹理，类的区域数量和区域分布特征,n为第i个类中区域的个数，ak为区域k的像素个数占所在类的像素个数的比例。crk,trk为区域k的颜色纹理特征，在公式(6)，公式(7)中已给出；上述步骤3中提出的ICM类匹配方法，用质心代替面积为类分配权值，得到图像间的距离；图像I1和图像I2中的类分别用C1＝(ca1,ca2,…,cam)，C2＝(ca′1,ca′2,…,ca′n)表示，则两图像的距离为D(I1，I2)：D(I1,I2)=Σi,jdi,jsi,j---(17)]]>di,j＝α1|ci-c′j|+α2|ti-t′j|+α3|ni-n′j|+α4|li-l′j|(18)其中di,j表示类cai和ca′j的距离；si,j表示区域cai和ca′j匹配的兴趣度，兴趣度矩阵S为：S=s1,1s1,2...s1,ns2,1s2,2...s2,n·········sm,1sm,2...sm,n---(19)]]>ci,ti,ni,li和c′j,t′j,n′j,l′j分别表示图像I1中的第i个类和图像I2中的第j个类的颜色，纹理，类中区域数量和区域分布的特征向量，计算方法分别在公式(15),(16)，(11)和(13)中给出；α1,α2,α3,α4为不同特征的权值，α1+α2+α3+α4＝1且α1,α2,α3,α4∈(0,1)，本发明中均设置为0.25；对图像I进行canny边缘检测，由公式(22)求出所得纹理图的质心(xI,yI)，根据每个类中的区域到质心距离的均值计算其兴趣度si,j：si,j＝max(si,sj)(20)si=1/(Σr∈cai||f(r)-(xI,yI)||/Ni)---(21)]]>f(r)=[Σxk∈r(x,y)xk/N,Σyk∈r(x,y)yk/N]---(22)]]>其中，fr为对区域r求质心的函数；Ni是类cai中区域的个数；xk和yk分别为区域r中像素的横坐标和纵坐标；N为区域r中像素的个数；sj与si计算方法类似。本发明的有益效果：本发明提出了一种基于类的图像检索方法，在保证图像信息完整的同时避免重复匹配，把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配。本发明的优点包括：1、提出基于类的图像检索(Category-basedImageRetrieval,CaBIR)框架，找出图像中所有的类，对类进行特征提取和类匹配，得到图像的距离。解决了RBIR系统中信息丢失和重复匹配的问题。2、提出加速统计区域合并和近邻传播(Acceleratedstatisticalregionmergingandaffinitypropagation，ASRM-AP)方法用以获得图像中的类。SRM是一种基于区域生长的分割方法，可以保证区域的完整性，同时对SRM进行加速处理以提高系统效率；利用自适应的AP聚类算法把相似区域聚集并标记为不同的类，同时把相邻的相似区域进行合并，以防止过分割。3、提出类的综合特征(Integratedfeatureofcategory,IFOC)方法，IFOC把类中区域的颜色、纹理等视觉信息与类中区域的数量及分布信息结合作为类的特征。IFOC方法丰富了特征包含的信息，减小了低级特征与高级语义的差异。4、提出完整类匹配(Integratedcategorymatching,ICM)方法对每个类分配不同的权值并进行匹配以得到图像距离。比起依靠面积比例为区域分配权值的完整区域匹配(Integratedregionmatching,IRM)，ICM方法通过类中区域的质心为类分配权值，更符合人的视觉感知。以下将结合附图对本发明做进一步详细说明。附图说明图1是本发明的算法流程图；图2是ASRM-AP类的提取算法流程图；图3是图像I中三类区域对应的区域分布特征向量；图4是部分图像的分割及分类结果；图5是采用IFOC和传统视觉特征时查准率的变化实例图；图6是雪山和篮筐图像的分割及分类结果；图7是给出的三种方法在Corel-1000和Caltech-256图像库中的平均查准率；图8(a)是在Corel-1000时，不同K值时各方法的平均查准率折线图；图8(b)是在Caltech-256时，不同K值时各方法的平均查准率折线图；图9是部分图像的检索结果。具体实施方式本发明中，提出了CaBIR检索框架，通过ASRM-AP方法提取图像中的类，利用IFOC对类进行特征提取以减小低级特征与高级语义的差异，ICM方法被用来根据每个类在图像中的重要性为其分配权值并进行匹配。通过把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配，在保证信息完整的同时避免了重复匹配，从而提高检索质量。具体流程在图1中给出。本
发明内容步骤如下：1.提取图像中的类类是图像中相似区域的集合，在本发明中，采取分割与聚类结合的方法提取图像中的类。首先通过ASRM方法对图像进行分割，对分割所得区域进行颜色纹理特征提取，然后进行AP聚类找出图像中具有相似特征的区域作为同一类并进行标记。由于AP算法是自适应的的聚类算法，系统可以根据图像内容决定图像中类的个数。检索可能面向大规模图像库，因此分割方法应该是简单高效的。SRM方法是一种基于区域生长的分割方法，其目标是把图像分割为具有以下两个特征的区域，即任意区域中每个通道的所有像素点的值与这个通道的均值的差；任意区域中至少有一个通道的像素点的值与邻域此通道的均值的差不在某阈值内。SRM算法具体流程为：(1)找出图像I中所有不重复的四连通像素对[(x1,y1),(x2,y2)]，其中(x1,y1),(x2,y2)为像素对中两个像素点的坐标。(2)计算像素对的值f，并按照f的值升序为像素对排列得区域索引矩阵S(S中每行为像素对的坐标)。f＝max(R(x1,y1)-R(x2,y2),G(x1,y1)-G(x2,y2),B(x1,y1)-B(x2,y2))(1)其中，R,G,B为图像I中的三个颜色通道。(3)判断S中每行中的两个像素点所属的区域(初始区域为像素点本身)是否满足预测函数P。P(R,R′)=yes,maxa∈(R,G,B)|Ra′‾-Ra‾|≤b2(R)+b2(R′)no,otherwise---(2)]]>b(R)=g12Q|R|ln|R|δ---(3)]]>其中，R和R′代表S某行中两个像素点的所属区域，和代表两个待判断区域R和R′中颜色通道a的均值。g为颜色通道分辨率的值，参数Q决定了分割的复杂度，值越大分割的数目越多。|R|为区域R中的像素点个数。δ为P(R,R′)＝no的最大概率，默认值很小。本发明中g＝256，Q＝20，δ＝1/(6|I|2)。(4)由上到下遍历索引矩阵S，判断是否满足公式2，如果满足则合并这两个区域，如果不满足则对下一行进行判断。由于SRM算法需要对图像中每个像素对对应的两个区域进行求均值、预测函数判断等运算，运行的时间较长。对SRM进行改进，在分割前对图像进行打包处理，即把图像分割为3×3的块，计算块的像素均值作为这个包的值，然后对打包图像进行SRM分割，再把分割结果映射到原图像。对SRM算法进行加速处理：(1)把图像I分割为3×3的块b，把每个块打包作为图IS中的一个像素点，像素点的值v为块b的像素平均值。va=Σi=19ba(i)/9,a∈(R,G,B)---(4)]]>(2)对图IS进行SRM分割。(3)把IS的分割结果映射到图像I，得到I的分割结果。SRM运算量可表示为：cal=L(I)H(I)τL(I)H(I)---(5)]]>其中L(I),H(I)分别为图像的长和高；τ为常数且不大于1；对SRM进行加速处理，IS的长和高分别为L1(I)＝L(I)/3,H1(I)＝H(I)/3,加速处理后的运算量cal1为：cal1=(L(I)/3)(H(I)/3)τ(L(I)/3)(H(I)/3)=L(I)H(I)τL(I)H(I)/27=cal/27---(26)]]>可知理论上加速处理后的运行时间大约为原来的1/27。AP聚类算法通过消息传播方式来逐步确定聚类中心，也就是迭代更新吸引度矩阵R＝[r(i,k)]与归属度矩阵A＝[a(i,k)]，最终实现高质量的自适应聚类。更新规则如下：(1)用归属度矩阵A与相似度矩阵S＝[s(i,k)]更新吸引度矩阵R:r(i,k)=s(i,k)-maxk′≠k{a(i,k′)+s(i,k′)}---(7)]]>(2)用吸引度矩阵R更新归属度矩阵A:a(i,k)=min{0,r(k,k)+Σi′∉{i,k}max(0,r(i′,k))}---(8)]]>a(k,k)=Σi′≠kmax{0,r(i′,k)}---(9)]]>其中，i和k为ASRM分割所得区域中任意两个区域,r(i,k)表示k对i的吸引度；a(i,k)表示i对k的归属度；i′为非i的某对象，k′为非k的某对象；s(i,k)为i到k的相似度:s(i,k)＝-||cri-crk||2-||tri-trk||2(10)cr(h,s,v)=N(h,s,v)Ntotal---(11)]]>tr(lbp)=N(lbp)Ntotal---(12)]]>lbp=Σr=07l(gr-gc)2r---(13)]]>l(x)=1,x≥00,x<0---(14)]]>cri,crk和tri,trk分别代表i和k的颜色纹理特征向量，分别由颜色直方图统计和局部二值模式(LocalBinaryPattern，LBP)方法求得，见公式11，公式12；N(h,s,v)代表区域中H,S,V颜色通道的值对应为h，s，v时像素的个数；Ntotal为区域中像素个数；N(lbp)为区域中LBP值为lbp的像素个数；gc，gr分别为3×3块的像素均值和位置r的值；当i与k相等时，通过偏向参数p对s进行设置，p越大数据k越有可能被选为聚类中心：s(k,k)＝p*mean(s(k,:))(15)函数mean(s(k,:))为s(k,:)中元素的均值；s(k,:)代表区域k与其他所有区域的相似度；参数p取0.6。AP聚类后，根据聚类结果对区域进行标记，把第k类中区域的所有像素点设置为k，最终得到像素为1到n的标记图，从而得到图像中的类。具体流程如图2所示。图2是图像中类的提取流程图①把图像I中3×3块打包得IS，②对IS进行SRM分割，③把IS分割结果映射到I，④对SRM分割结果进行AP聚类并对相似区域标记得到图像中的类，⑤把同类中相邻区域进行合并。2.提取类的综合特征本发明中的图像检索方法是基于类的方法，相比于RBIR系统中利用区域颜色、纹理、形状等视觉特征对区域进行表述，提出一种IFOC方法对类进行表述。在IFOC中，把类的颜色、纹理特征与类中区域的数量、分布特征相结合作为类的综合特征，这种多特征的方法减小了低级特征与高级语义间的差异。类的颜色和纹理特征由类中区域的颜色纹理特征(对区域AP聚类时已得)均值表示，这里主要介绍类的区域数量和区域分布特征提取方法。(1)类的区域数量特征ni:ni＝g(N)(16)其中，N表示经过ASRM-AP后第i类区域的个数，g(x)表示对x进行归一化运算，其规则为：g(x)=(x-1)/4,x≤51,otherwise---(17)]]>把同类区域个数归一化为[0,1]，当个数大于5时，认为区域数较多，对应特征值为1。(2)类的区域分布特征：由于图像中的对象往往在竖直方向存在一定的分布规律，如天空往往位于图像上层，动物、树木等往往位于图像中层。因此把图像分为上层，中层，下层，并对每个类中的区域质心所属层次进行统计，得类的区域分布特征li:li＝[Nh(i)/N,Nm(i)/N,Nl(i)/N](18)其中，N表示由ASRM-AP算法得到的图像中第i类中区域的个数，Nh(i)，Nm(i)，Nl(i)分别表示第i类区域在图像上层，中层和下层的个数。类的综合特征为f：fi＝[ci,ti,ni,li](19)ci=Σk=1nakcrk/n---(20)]]>ti=Σk=1naktrk/n---(21)]]>其中ci，ti，ni，li分别表示第i个类的颜色，纹理，类的区域数量和区域分布特征,n为第i个类中区域的个数，ak为区域k的像素个数占所在类的像素个数的比例。crk,trk为区域k的颜色纹理特征，在公式(11)，公式(12)中已给出；3.对类进行完整匹配IRM算法允许一个区域与多个区域进行匹配，减小了分割不精确导致的误差，提高了系统的鲁棒性。然而，IRM中区域的权值仅由区域面积决定，当图像中包含了面积较大的背景区域如天空、草地等，会对检索产生较大干扰。本发明在IRM基础上提出了面向类的ICM匹配方法，用质心代替面积为参与匹配的类分配权值，更符合人的视觉感知。图像I1和图像I2中的类用C1＝(ca1,ca2,…,cam)，C2＝(ca′1,ca′2,…,ca′n)表示，两图像的距离为D(I1，I2)：D(I1,I2)=Σi,jdi,jsi,j---(22)]]>di,j＝α1|ci-c′j|+α2|ti-t′j|+α3|ni-n′j|+α4|li-l′j|(23)其中di,j表示类cai和ca′j的距离；si,j表示区域cai和ca′j匹配的兴趣度，兴趣度矩阵S为：S=s1,1s1,2...s1,ns2,1s2,2...s2,n·········sm,1sm,2...sm,n---(24)]]>ci,ti,ni,li和c′j,t′j,n′j,l′j分别表示图像I1中的第i个类和图像I2中的第j个类的颜色，纹理，类中区域数量和区域分布的特征向量，计算方法分别在公式20，21，16和18中给出；α1,α2,α3,α4为不同特征的权值，α1+α2+α3+α4＝1且α1,α2,α3,α4∈(0,1)，本发明中均设置为0.25。文章(XIADingyuan,FUPian,LIULiduan.“Improvedimageretrievalalgorithmforintegratedregionmatching”,[J].CEA,2012,48(26):197-200.)中提出一种基于中心的区域兴趣度计算方法，并得了不错的效果。然而，距离中心越近并不代表区域越受人们关注，图像中纹理复杂，梯度大的区域往往更容易吸引人们注意，因此提出一种基于质心距离的兴趣度计算方法。对图像I进行canny边缘检测，由公式27求出所得纹理图的质心(xI,yI)，根据每个类中的区域到质心距离的均值计算其兴趣度si,j：si,j＝max(si,sj)(25)si=1/(Σr∈cai||f(r)-(xI,yI)||/Ni)---(26)]]>f(r)=[Σxk∈r(x,y)xk/N,Σyk∈r(x,y)yk/N]---(27)]]>其中，fr为对区域r求质心的函数；ni是类cai中区域的个数；xk和yk分别为区域r中像素的横坐标和纵坐标；N为区域r中像素的个数；sj与si计算方法类似。实验结果及分析1、实验环境及采用的图像库实验的系统测试环境为：酷睿i5CPU，3.20GHz，8.0GBRAM；Windows7操作系统；MatlabR2014a开发软件。采用基于内容的图像检索实验中最常用的检索图像库Core-1000图像库和Caltech-256图像库。前者包含10类图像，分别为原始人、沙滩、遗迹、公交车、恐龙、大象、马、花、雪山、食物，每类包含100张大小为256×384和384×256的JPEG图像。后者则包含了256类不同对象的30607张图像，每类中包含80到827张图像，实验中选择了步枪、美国国旗、双肩包、棒球手套、篮框、球棒、浴缸、啤酒杯、蝙蝠、汽艇10类共1299张图像进行检索。2、性能评估方法基于内容的图像检索系统中最常用的评价标准为查准率和查全率，查准率表示检索的得到的与查询示例图相关的图像个数与检索所得图像总数的比值；查全率表示检索得到的与查询示例图相关的图像个数与相关图像总数的比值。查准率与查全率的值越高说明算法的效果越好，即系统性能越好。但是查准率和查全率又往往是矛盾关系。为了提高查准率而减少返回的图像集，必然会导致查全率下降；反之，为了提高查全率，增加返回的图像数目，也容易将更多的不相关图像结果包含进来，从而导致查准率下降。因此，本发明仅选用查准率P对检索结果进行评价。P＝nk/K,(25)K为检索结果数量，nk为检索结果中相关图像的个数。算法的平均查准率为：P‾=Σq=1iPq/i,---(26)]]>Pq代表第q幅查询示例图的的查准率，i为查询示例图的个数。3、关于图像分割和分类的实验为了验证ASRM的可行性，从Corel-100和Caltech-256图像库中各随机选取100幅图像，对这些图像分别进行采用SRM的CaBIR检索和采用ASRM的CaBIR检索，并计算系统平均运行时间和查准率。结果如表1所示，在Corel-1000图像库中对SRM进行加速系统平均运行时间缩短了26倍，查准率下降0.03个百分点；Caltech-256图像库中对SRM进行加速系统平均运行时间缩短22倍，查准率下降0.04个百分点。因此，采用ASRM分割方法能以极小的查准率为代价大大缩短系统的运行时间。表1采用SRM和ASRM的CaBIR系统运行时间与查准率对比图4中给出了部分图像的分类结果。图像a被划分为背景、恐龙、土地三类，图像b被划分为棕马、白马、草地三类，图像c被划分为蔬菜、饼干、白色桌布、红色蛋糕四类，图像c被划分为背景、金属枪身、木质枪身三类，图像e被划分为星星、背景、白色条纹、红色条纹四类。从图中可以看出ASRM-AP算法能自适应的确定图像中包含类的个数，并准确的把相似的区域划分为同一类。4、关于IFOC特征的实验在IFOC中，系统增加了对类中区域的分布特征和数量特征的识别能力。选取部分图像对传统特征和IFOC特征进行对比实验。图5中，a1，b1，c1，d1为采用传统视觉特征时的部分检索结果，a2，b2，c2，d2为采用IFOC特征时的部分检索结果。a1，a2中尽管检索结果都是马，但a1包含两幅一匹马的图像，a2包含一幅一匹马的图像且排名靠后；b1中第五第六幅图像中由于包含了与查询图视觉相似的一些类而被错误检索；c，d两组中也有类似情况。通过对比可以发现，引入区域分布特征能有效的增强系统对类的区分能力，只有当类同时满足视觉相似和分布相似时才能获得较低的匹配距离，从而提高了查准率。图5采用IFOC和传统视觉特征时查准率的变化。a,b,c,d为查询示例图；a1,b1,c1,d1为采用传统视觉特征时前6幅检索结果；a2,b2,c2,d2为采用IFOC特征时的前6幅检索结果。5、关于基于质心的兴趣度计算方法的实验图6中，通过ASRM-AP算法得到雪山和篮筐图像中的类。表2给出了采用不同方法得到的每类的兴趣度与主观兴趣度的对比。主观兴趣度为10个人对不同类依据感兴趣程度打分的均值。从表2中可以看出，在雪山和篮筐图像中基于质心的方法所得兴趣度与主观兴趣度最为接近，其次是基于中心的方法，基于面积的兴趣度与主观兴趣度相差最大。由此可知，基于质心的兴趣度计算方法更符合人的视觉特性。表2三种求兴趣度方法的对比图7给出了三种方法在Corel-1000和Caltech-256图像库中的平均查准率，实验表明采用基于质心的兴趣度计算方法时获得了最高的查准率，能更好的反映人对不同类的兴趣度。6CaBIR与其他方法的对比把本发明提出的基于类的图像检索方法与SIMPLIcity方法SRM-IRM方法、MN-MIN方法、SIS方法和MN-ARM这五种基于区域的图像检索方法进行对比。表3表4分别给出了K＝20时各系统在Corel-1000和Caltech-256图像库中的查准率，图8给出了不同K值时各系统平均查准率的变化趋势。表3中，CaBIR的查准率在非洲、建筑、山三类中落后MN-ARM方法。这是由于土著人、建筑、山这些对象比起马、花、沙滩、恐龙、公交车等对象要复杂不利于图像的分割，为此采用完整类匹配方法，以降低分割误差带来的影响。在其他类图像中CaBIR查准率高于其他方法，尤其在马和公交车图像中查准率提高了约5％。总的来说，本发明方法平均查准率为77.19％，高于MN-ARM方法的76.60％。表4中，本发明方法在大多数图像中查准率均有显著提升，尤其在美国国旗图像中，查准率比第二高出25％；在篮筐图像中查准率落后MN-ARM方法0.37％，这是由于在大多数篮筐图像中篮网小且稀疏，分割时容易被忽略，从而导致类的丢失。总体来说在Caltech-256图像库中，本发明方法平均查准率比MN-ARM高出5.68％，有着显著提高。本发明方法在Corel-1000图像库中的优势之所以没有在Caltech-256图像库中高，是由于后者中的对象没有前者复杂，更容易进行分割和分类，因此更能体现出基于类的图像检索的优势。表3K＝20时Corel-1000图像库中本发明方法与其他方法查准率对比表4K＝20时Caltech-256图像库中本发明方法与其他方法查准率对比图8为不同方法的平均查准率折线图，分别给出了不同方法在K值为20、40、60、80、100时的平均查准率。从图中可以看出随着K值的增加，查准率随之不断下降，但本发明方法始终高于其他基于区域的检索方法，再次验证了CaBIR的优势，图9给出了部分图像的检索结果，涉及花、马、公交车、美国国旗、双肩包、球棒六种查询示例图检索结果中的前二十幅图像。结论：本发明中，提出了一种基于类的图像检索方法。首先，通过ASRM-AP方法获得图像中的类，然后利用IFOC对类进行特征提取以减小低级特征与高级语义的差异，ICM方法被用来根据每个类在图像中的重要性为其分配权值并进行匹配得到图像的相似度。通过把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配，在保证信息完整的同时避免了重复匹配，从而提高检索质量。实验结果表明本发明方法比已有的基于区域的图像检索方法具有更好的效果。下一步工作重心是进一步提高分割的准确性，如何使本方法在复杂背景的图像中具有更好的适用性，以及尽可能的提高系统的效率。综上所述本发明在保证图像信息完整的同时避免重复匹配，把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配。本发明的优点包括：1、提出基于类的图像检索(Category-basedImageRetrieval,CaBIR)框架，找出图像中所有的类，对类进行特征提取和类匹配，得到图像的距离。解决了RBIR系统中信息丢失和重复匹配的问题。2、提出加速统计区域合并和近邻传播(Acceleratedstatisticalregionmergingandaffinitypropagation，ASRM-AP)方法用以获得图像中的类。SRM是一种基于区域生长的分割方法，可以保证区域的完整性，同时对SRM进行加速处理以提高系统效率；利用自适应的AP聚类算法把相似区域聚集并标记为不同的类，同时把相邻的相似区域进行合并，以防止过分割。3、提出类的综合特征(Integratedfeatureofcategory,IFOC)方法，IFOC把类中区域的颜色、纹理等视觉信息与类中区域的数量及分布信息结合作为类的特征。IFOC方法丰富了特征包含的信息，减小了低级特征与高级语义的差异。4、提出完整类匹配(Integratedcategorymatching,ICM)方法对每个类分配不同的权值并进行匹配以得到图像距离。比起依靠面积比例为区域分配权值的完整区域匹配(Integratedregionmatching,IRM)，ICM方法通过类中区域的质心为类分配权值，更符合人的视觉感知。本实施方式中没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。当前第1页1 2 3