专利名称：：海量跨媒体索引方法
技术领域：
：本发明涉及数据库与多媒体领域，尤其涉及一种海量跨媒体索引方法。
背景技术：
：随着Internet和多媒体技术的不断发展，特别是近几年来，Internet上多媒体信息的爆炸性增长，基于内容的海量多媒体检索和索引[1]已成为一个热门的研究领域.在这些海量的多媒体信息当中，不同模态媒体对象之间往往存在某种语义相关性，如图1所示，“老虎”的图片对应“老虎”的音频和视频等.传统的多媒体检索都是针对单一模态媒体对象，如基于内容的图像[4]、音频[5]和视频[6]检索等.较少有文献系统地研究基于多模态多媒体信息的交叉检索，即通过一种模态的媒体对象检索出另外一种或几种基于相同语义的不同模态的媒体对象.早在1976年，麦格克就已经揭示了人脑对外界信息的认知需要跨越和综合不同的感官信息，以形成整体性的理解[2]。同时认知神经心理学方面的研究也进一步验证了人脑的认知过程呈现出跨媒体的特性[3]，即对来自视觉、听觉等不同感官的信息相互刺激、共同作用而产生认知结果。我们将这类检索称之为跨媒体检索[7][8]，它作为一种新兴的多媒体检索方式正越来越受到国内外学术界的关注.跨媒体也可以看作一种由各种基于相同语义媒体对象构成的复杂媒体类型，显然对它提取的特征是高维的。而高维相似性检索是一种CPU密集性的运算。如何利用索引技术来加快海量跨媒体检索是一个很重要的课题。自从90年代早期以来，基于内容的多媒体检索已经成为一个非常活跃的研究领域。其中最有代表性是基于内容的图像检索(CBIR)，如QBICm，VirageM，Ph0t0b00k[1°]和MARS[11]等.基于内容的视频分析与检索系统包括CMU的Informedia。然而这些检索系统都只是针对单一模态的媒体对象检索。随着互联网及多媒体技术的飞速发展，互联网中的许多不同模态的媒体对象呈现相同的语义特性，因此需要设计一种支持多模态检索的方法，实现从一种模态的媒体对象检索出另一种模态的媒体对象的功能。文献[13]针对图片的视觉和语义特征，提出了一种混合的索引方式，将两种模态的特征信息采用同一个索引进行表示，但其适用性非常有限，不支持多种模态媒体对象的索引表达。高维索引技术经历了20多年的研究[7]，采用的技术主要分为三类第一类是基于数据和空间分片的树形索引，如R_tree[8]及其变种[9，10]等。但是这些树形索引方法只适合维数较低的情况，随着维数的增加，其索引的性能往往劣于顺序检索，并且维数一旦增加，其查询覆盖区域增长很快，导致查询速度的急剧下降，产生“维数灾难"；第二类是采用近似的方法来表示原始向量，如VA-file[ll]和IQ-tree[12]等。该类方法的基本思想是通过对高维点数据进行压缩和近似存储来加速顺序查找速度。然而数据压缩和量化带来的信息丢失使得其首次过滤后的查询精度并不令人满意。同时尽管减少了磁盘的IO次数，但由于需要对位串解码同时计算对查询点距离的上界和下界，导致很高的CPU运算代价；最后一类是通过将高维数据转化为一维数据来进行高维查询，包括NB-Tree[13]和!Distance[14]等。NB-Tree通过计算高维空间的每个点与原点0(0，0...0)的尺度距离，将高维数据点映射到一维空间，然后将这些距离值用B+树建立索引，从而将高维查询转变为一维空间的范围查询。尽管它能够快速得到结果，但是由于它不能有效的缩减查询空间，特别是当维数很高时，范围查询效率急剧恶化。NB-Tree是一种基于单参考点的方法，!Distance是基于多参考点的方法，通过引入多参考点并结合聚类的方法有效地缩减了高维数据空间的搜索范围，提高了查询精度，然而其查询效率很大程度上取决于参考点的选取并且依赖数据聚类和分片。同时由于iDistance在对高维数据映射到一维距离时不可避免存在信息丢失，导致查询精度不是非常理想。最坏的情况下，查询空间几乎会覆盖整个高维空间。1ZhuangYue-Ting,PanYun-He,WuFei，Web-basedMultimediaAnalysisandRetrieval.TsinghuaPress.2002.8.2H.McGurk,J.MacDonald.HearingLipsandSeeingVoices.Nature,1976.264746-7483A.Calvert.Cross-ModalProcessingintheHumanBrain:InsightsfromFunctionalNeuronImagingStudies，CerebralCortex,11(12):1120_1123，2001.4MFlicker，HarpreetSawhney,WayneNiblack，JonathanAshley.QuerybyimageandvideocontentTheQBICSystem,IEEEComputer，19955ZhaoXueyaniZhuangYuetingiLiuJunwei，etal.Audioretrievalwithfastrelevancefeedbackbasedontheconstrainedfuzzyclusteringandstoredindextable.InProc.ofPCM'02.2002.237-244.6VideoRetrievalwiththeInformediaDigitalVideoLibrarySystemHauptmann，A.，Thornton,S·，Qi，Y·，Papernick，N.，Ng,Τ.D.，Jin,R.，Houghton,R.，ProceedingsoftheTenthTextRetrievalConference(TREC'01)，Gaithersburg，Maryland,November13-16，20017FeiWu，HongZhang，YuetingZhuang，LearningSemanticCorrelationsforCrossMediaRetrieval,InProc.ICIP20068FeiWu,YiYang，YuetingZhuang,andYunhePan,UnderstandingMultimediaDocumentSemanticsforCross-MediaRetrieval,InProc.PCM2005,993-100429VirageInc.，www.viraRe.com，200510APentland，R.W.PicardandS.Sclarof.PhotobookContent-basedmanipulationofimagedatabases.Int.J.ComputerVision，1996，18(3)，233-25411SharadMehrotra，YongRui，KaushikChakrabarti，MichaelOrtega，andThomasS.Huang,“MultimediaAnalysisandRetrievalSystem“，inProc.ofthe3rdInt.WorkshoponMultimediaInformationSystems，Como，Italy，September25—27，1997.12J.Yang，Q.LiandY.Zhuang,“OCTOPUS:AggressiveSearchofMulti-ModalityDataUsingMultifacetedKnowledgeBase"，Proc.IlthInt'1Conf.onWorldWideWeb，Hawaii，USA，May200213HengTaoShen，XiaofangZhouandBinCui.”IndexingandIntegratingMultipleFeaturesforWWWimages".WorldWideWeb(WWW),9(3):343_364，2006.614ChristianBohm,StefanBerchtold,DanielKeimSearchinginHigh-dimensionalSpaces:IndexStructuresforImprovingthePerformanceofMultimediaDatabases,ACMComputingSurveys33(3),2001.15A.Guttman,R-tree:Adynamicindexstructureforspatialsearching,InProc.oftheACMSIGMODInt.Conf.onManagementofData,1984,pp.47-54.16R.Weber,H.Schek,andS.Blott.Aquantitativeanalysisandperformancestudyforsimilarity-searchmethodsinhigh-dimensionalspaces.InProc.24thInt.Conf.onVeryLargeDataBases,1998,pp.194-205.17H.V.Jagadish,B.C.Ooi,K.L.Tan,C.Yu,R.Zhang:iDistance:AnAdaptiveB+-treeBasedIndexingMethodforNearestNeighborSearch.ACMTransactionsonDataBaseSystems，30，2，364-397，June2005.18T.Zhang,R.RamakrishnanandM.Livny.BIRCH:Anefficientdataclusteringmethodforverylargedatabases.InProc.ACMSIGMOD'96,103-114,1996.19WuYi,ZhuangY-T,PanY-H.RelevanceFeedbackforVideoRetrieval.JournalofComputerResearchandDevelopment.2001,38(5):546_551.20D.Cai,X.F.He,J-R.Wen,andW.-Y.Ma.BlockLevelLinkAnalysis,InSIGIR,Sheffield,UnitedKingdom,July2004.
发明内容本发明目的是为了提高海量跨媒体查询的性能，提供一种海量跨媒体索引方法。海量跨媒体索引方法的步骤如下1)通过对网页的链接分析，建立交叉关联图；2)在交叉关联图基础上，对跨媒体索引键值进行统一表达，并建立索引CIndex；3)进行基于CIndex的跨媒体检索，返回查询结果。所述的通过对网页的链接分析，建立交叉关联图的步骤为输入ei」初始的媒体对象Xi和Xj的权重输出CRG交叉关联图；1.VXeQ5V^GeQieij=0；/^initialization*/2.foranytwomediaobjectsXi,XjeΩdo3.ifXi和Χ」属于同一个网页then4.ejj—eiJ+l；5.elseifXi和Xj属于被同一个网页所指向或指向同一个网页then6.ejj—e^.+l；7.elseifXj被Xi所属的网页所指向then8.ejj—e^.+l；9.endif10.endfor11.returnCRG。所述的在交叉关联图基础上，对跨媒体索引键值进行统一表达，并建立索引CIndex的步骤为实现从图片到音频的跨媒体检索，对应图片Ii的索引键值表示为key(Ii)=^KcKli,Oj),θ>+c(Ii,Ak)/MAX(1)其中(KIpOj)表示Ii与质心Oj的相似距离，C(IpAk)表示Ii与々，的相关度，〈，Θ>表示将取到小数点后第θ位，β为线性放大常数使得<dop，θ>为整数，常数MAX使C(IpAk)归一化，这样相似距离Cldi,Op与相关度C(IpAk)所对应值域不重叠；图像数据预先通过聚类得到T个类，不同类中的图片对象用一个索引键值来表示，将式⑴的键值改为式⑵形式key(Ii)=α*CID+β*<d(Ii,O1.)，θ>+c(I”Ak)/MAX⑵其中CID表示Ii对应的类的编号，α为线性扩展常数.式(2)的索引键值实现图片到音频跨媒体检索的键值统一表达，式(3)实现从图像到视频的跨媒体索引键值表达key(Ii)=α*CID+β*<d(Ii,O1.)，θ>+c(I”Vw)/MAX⑶将式(2)和式(3)对应的索引键值表达成--个统-展系数S_A和S_V，图像对象Ii的统一跨媒体索引表示为S—ν+ο^ω+β*^^,O』XQYc^li’Vv·)/ΜΑkey(Ii)=MX的索引键值，分别加上两个扩⑷HAXkey(Ai)--key(Vi)=MX\ΑΧ同理，对音频和视频来说，其对应统一跨媒体索引键值可以分别表示为S—I+a*CID+p*d(A,Oj’1kYmaS_V+a*CJD+/3*d(4,0)J+c^’KS—I+aCID+β*(d^’Oj)β)+cM,厶ΥΜΑχS_A+α*ΟΙ+β*{d(Vt’Oj),Q)+c(Vi’▲)/ΜΑχ式(4)、(5)和(6)分别为图片、音频和视频的跨媒体索引键值表达，彼此相互独立，分别对应3个独立的索引；用一个统一的索引来存储和表示，得到式(7)所示的跨媒体检索的统一索引键值表达(5)(6)key(Xi)--SCALEJ+key(Ii),ifXi=IiSCALE—A+key(Ai),ifXi=AiSCALE=V+key(Vi),ifXi=Vi(7)其中Xi表示某一种模态的媒体对象，如Xi可以是一张图片，也可以是一段音频例子或一段视频例子；SCALE_I、SCALE_A*SCALE_V分别为扩展系数，用于线形扩大不同媒体对象的索引键值范围，使其值域互不重叠。频对象*/3ρα■/直*/根据式(7)，建立索引Cindex步骤为输入Ω媒体对象库，CRG交叉关联图输出:bt=CIndex1.initialize；2.foreachmediaobjectXieΩdolocatetheXiinCRG/*初始化*/AXi可以表示图片也可以是音频或视定位媒体对象Xi在交叉关联图中的位84.getthemediaobjectssemanticallyrelatedtoXi；/*通过G，得到与Xi相关的媒体对象*/5.bt—InsertBtree(key(Xi))；/*按照公式(7)得到索引键值并将其插ΛB+树*/6.endfor7.returnbt。所述的进行基于CIndex的跨媒体检索，返回查询结果的步骤为输入查询例子Xq，查询半径r/*Xq可以是图片、音频或视频*/输出查询结果S1.S—Φ；/*初始化*/2.fori=1tonumdo/*num表示需要访问num次CIndex索弓|*/3.forj=1toTdo/*T表示总的聚类个数*/4.ifΘ(0j,CRj)dosenotintersects(Xq,r)then5.nextloop；6.else7.Sl—Search(Xq,r,j)；8.S—SUSl;9.ifΘ(0j,CRj)containsΘ(Xq,r)thenendloop；10.endif11.endfor12.endfor13.ifuserisnotsatisfiedwithSthen14.returnS;/氺返侯)(寸I氺/15.else16.Getuser'sfeedbackandupdateSandCRG；Search(Xq,r,j)17.left—SCALE_X+S_X+αXCID+βX(d(Xq,Oj)-r)/MCD；18.right—SCALE_X+S_X+αXCID+βXCR/MCD；19.S—BRSearch[left,right,j]；/*S中包括与Xq语义相关的不同模态的媒体对象*/20.foreachmediaobjectXieS21.ifd(Xq,Xi)>rthenS—S-Xi；/*将Xi从候选对象集S中删除去的同时，与其相关的其它模态的媒体对象也随之删除*/22.endfor23.returnS；/*返回候选对象*八本发明实现了不同媒体对象之间的交叉检索。能够在保证较高查询精度的前提下，显著提高海量跨媒体查询效率。图1是海量跨媒体查询的流程框图；图2是本发明的交叉关联图；图3是本发明的CIndex索引结构；图4是本发明的媒体对象聚类；图5是本发明的高维图片特征空间包含的内嵌子空间；图6是本发明的基于邻接表的交叉关联图表示；图7是本发明的实施例1的检索示意图；图8是本发明的实施例2的检索示意图。具体实施例方式海量跨媒体索引方法的步骤如下1)通过对网页的链接分析，建立交叉关联图；2)在交叉关联图基础上，对跨媒体索引键值进行统一表达，并建立索引CIndex；3)进行基于CIndex的跨媒体检索，返回查询结果。所述的通过对网页的链接分析，建立交叉关联图的步骤为输入ei」初始的媒体对象Xi和Xj的权重输出CRG交叉关联图；1.VXiεΩ,VJOeQ:eu=0；/^initialization*/2.foranytwomediaobjectsX1,XjeΩdo3.ifXi和Xj属于同一个网页then4.eiJ^eiJ+l；5.elseifXi和Xj属于被同一个网页所指向或指向同一个网页then6.ejj^e^.+l；7.elseifXj被Xi所属的网页所指向then8.ejj^e^.+l；9.endif10.endfor11.returnCRG。如图2所示，交叉关联图模型描述了媒体对象之间潜在的语义联系。在图2中，当两种媒体对象为同模态时，它们之间的关联称为相似度(Similarity)，实线表示；当两种媒体对象为不同模态时，它们之间的关联称为相关度(Correlation)，用虚线表示。所述的在交叉关联图基础上，对跨媒体索引键值进行统一表达，并建立索引CIndex的步骤为为了支持跨媒体检索，之前已经通过链接分析的方法得到不同模态媒体间的交叉关联图。如图6所示，以图片为例，其对应的交叉关联图可以表示成邻接表结构。例如，ID为21的图片，与其语义相关的对应音频对象为3、9、18和26，对应的视频对象为7和39。需要说明的是，每个ID下面的数字表示对应的两种模态媒体对象之间的相关度。假设图5表示图片所对应的高维特征空间。对于ID为21的图片对象来说，图5(a)中红色虚线圆包含了与该图片语义相关的音频对象，图5(b)中蓝色虚线圆包含了与该图10片相关的视频对象。因此，图像高维特征空间中的每个数据点(即图片对象)都存在2个内嵌子空间。同时，又由于该内嵌子空间中的媒体对象都是语义相关的，可以称为“内嵌相关子空1、司(EmbeddedCorrelationSubspace,ECS)”。实现从图片到音频的跨媒体检索，对应图片Ii的索引键值表示为key(Ii)=^Kd(IijOj),θ>+c(Ii,Ak)/MAX(1)其中(KIyOj)表示Ii与质心Oj的相似距离，c(Ii,Ak)表示Ii与Ak的相关度，〈，θ>表示将取到小数点后第θ位，β为线性放大常数使得<d(Ii,op，θ>为整数，常数MAX使C(IpAk)归一化，这样相似距离Cldi,Op与相关度C(IpAk)所对应值域不重叠；图像数据预先通过聚类得到T个类，不同类中的图片对象用一个索引键值来表示，将式⑴的键值改为式⑵形式key(Ii)=α*CID+β*<d(Ii,O1)，θ>+c(I”Ak)/MAX⑵其中CID表示Ii对应的类的编号，α为线性扩展常数.式(2)的索引键值实现图片到音频跨媒体检索的键值统一表达，式(3)实现从图像到视频的跨媒体索引键值表达key(Ii)=α*CID+β*<d(Ii,O1)，θ>+c(Ii,Vw)/MAX⑶将式⑵和式(3)对应的索引键值表达成--个统-的索引键值，分别加上两个扩展系数S_A和S_V，图像对象Ii的统一跨媒体索引表示为S_A+a*CID+fi*(d(l,Oj)/ΜΑ8_ν+α*α+β*{(1，Oj’K)/ΜΑkey(Ii)=4ΑΧ\UX同理，对音频和视频来说，其对应统一跨媒体索引键值可以分别表示为key(A)=Ξ_Ι+α*0ω+β*(4,Oj)+^'1^YmaS_V+a*CID+fi*d(4,Oj)+c(為’(4)(5)key(Vi)=(6)8_Ι+α*α+β*{(ν,0^β)+α(ν"Ι^/ΜΑχ式(4)、(5)和(6)分别为图片、音频和视频的跨媒体索引键值表达，彼此相互独立，分别对应3个独立的索引；用一个统一的索引来存储和表示，得到式(7)所示的跨媒体检索的统一索引键值表达key(Xi)-SCALEJ+key(Ii),ifXi=IiSCALE_A+key(Ai),ifXi=AiSCALE—V+key(Vi),ifXi=Vi(7)其中Xi表示某一种模态的媒体对象，如Xi可以是一张图片，也可以是一段音频例子或一段视频例子；SCALE_I、SCALE_A*SCALE_V分别为扩展系数，用于线形扩大不同媒体对象的索引键值范围，使其值域互不重叠。根据式(7)，建立索引Cindex步骤为输入Ω媒体对象库，CRG交叉关联图输出:bt=CIndex1.initialize；/*初始化*/2.foreachmediaobjectXieΩdoAXi可以表示图片也可以是音频或视频对象*/3.locatetheXiinCRG；/*定位媒体对象Xi在交叉关联图中的位置*/4.getthemediaobjectssemanticallyrelatedtoXi；/*通过G，得到与Xi相关的媒体对象*/5.bt—InsertBtree(key(Xi))；/*按照公式(7)得到索引键值并将其插入B+树*/6.endfor7.returnbt。由于图3中的CIndex索引包含了3种模态的媒体类型，因此该索引可以看作由3部分构成，每一部分分别是由与图像、音频或视频对象语义相关的其它2种不同模态的媒体对象的组合得到。需要注意的是，它的每个叶节点存储两种媒体对象的ID。算法2表示跨媒体索引创建。以图片为例，假设预先已经得到交叉关联图(CRG)并且对高维图像数据进行了聚类，对于每个类中的图片，通过交叉关联图寻找与其相关的其它模态的媒体对象(第3-4行)。然后，根据式(15)得到对应媒体对象的索引键值并将其插入B+树(第5行)。所述的进行基于CIndex的跨媒体检索，CIndex索引能够支持各种媒体对象的跨媒体检索。也就是说，用户的输入可以是图片、音频或视频。以图片为例，当用户提交一张图片例子时，通过交叉关联图(CRG)寻找与其相关的其它模态的媒体对象。然后通过过滤得到的对象，再通过求精来得到。查询处理的步骤为0158]输入:查询例子\，查询半径r/*Xq可以是图片、音频或视频*0159]输出查询结果S0160]1.S-Φ；/*初始化*/0161]2.fori=1tonumdo/氺num表示需要访问numCIndex索弓丨0162]3.forj=1toTdo/*T表示总的聚类个数*/0163]4.ifΘ(0j,CRj)dosenotintersectsΘ(Xq,r)then0164]5.nextloop；0165]6.else0166]7.Sl“一Search(Xi,r,j)；0167]8.S-SUSl；0168]9.ifΘ(0j,CRj)containsΘ(Xq,r)thenendloop0169]10.endif0170]11.endfor0171]12.endfor0172]13.ifuserisnotsatisfiedwithSthen0173]14.returnS；/*返回候选对象0174]15.else0175]16.Getuser’sfeedbackandupdateSandCRG；0176]Search(X,r,j)17.left—SCALE_X+S_X+αXCID+βX(d(Xq,Oj)-r)/MCD；18.right—SCALE_X+S_X+αXCID+βXCR/MCD；19.S—BRSearch[left,right,j]；/*S中包括与Xq语义相关的不同模态的媒体对象*/20.foreachmediaobjectXieS21.ifd(Xq,Xi)>rthenS—S-Xi；/*将Xi从候选对象集S中删除去的同时，与其相关的其它模态的媒体对象也随之删除*/22.endfor23.returnS；/*返回候选对象*八需要说明的是，查询对象Xq中的X既可以是图片I、音频A也可以是视频V。另外，函数SearchO返回的媒体对象已经包括了与提交媒体对象不同模态的媒体对象，从而实现了跨媒体检索.在该函数中，根据例子对象Xq的不同，SCALE_X可以是SCALE_I、SCALE,A或SCALE_V。实施例1如附图7所示，当用户提交一个“猫”的图片，通过基于CIndex索引的交叉关联图(CRG)寻找与其相关的其它模态(音频和视频等)的媒体对象，过滤不相关媒体对象，再对得到的候选媒体对象通过求精来得到与“猫”相关的结果媒体对象。实施例2:类似地，如附图8所示，当用户提交一个“老虎”的视频，通过基于CIndex索引的交叉关联图(CRG)寻找与其相关的其它模态(音频和视频等)的媒体对象，过滤不相关媒体对象，再对得到的候选媒体对象通过求精来得到与“老虎”相关的不同媒体对象。权利要求一种海量跨媒体索引方法，其特征在于它的步骤如下1)通过对网页的链接分析，建立交叉关联图；2)在交叉关联图基础上，对跨媒体索引键值进行统一表达，并建立索引CIndex；3)进行基于CIndex的跨媒体检索，返回查询结果。2.根据权利要求1所述的一种海量跨媒体索引方法，其特征在于所述的通过对网页的链接分析，建立交叉关联图的步骤为输入eu初始的媒体对象Xi和Xj的权重输出CRG交叉关联图；1.VXieΩ,V^eΩe^·=0；/^initialization2.foranytwomediaobjectsX1,XjeΩdo3.ifXi和Xj属于同一个网页then4.eiJ-eij+1；5.elseifXi和Xj属于被同一个网页所指向或指向同一个网页then6.ejj—eij+1；7.elseifXj被Xi所属的网页所指向then8·ejj—eij+1；9.endif10.endfor11.returnCRG03.根据权利要求1所述的一种海量跨媒体索引方法，其特征在于所述的在交叉关联图基础上，对跨媒体索引键值进行统一表达，并建立索引CIndex的步骤为实现从图片到音频的跨媒体检索，对应图片Ii的索引键值表示为key(Ii)=^KcKIi,Oj),θ>+c(Ii,Ak)/MAX(1)其中(KIpOj)表示Ii与质心Oj的相似距离，c(Ii,Ak)表示Ii与Ak的相关度，〈，θ>表示将取到小数点后第Θ位，β为线性放大常数使得〈da”ορ，θ>为整数，常数MAX使C(Ii，Ak)归一化，这样相似距离Cldi,Oj)与相关度Cdi,Ak)所对应值域不重叠；图像数据预先通过聚类得到T个类，不同类中的图片对象用一个索引键值来表示，将式⑴的键值改为式⑵形式key(Ii)=α*CID+β*<d(Ii,Oj),θ>+c(Ii,Ak)/MAX(2)其中CID表示Ii对应的类的编号，α为线性扩展常数.式(2)的索引键值实现图片到音频跨媒体检索的键值统一表达，式(3)实现从图像到视频的跨媒体索引键值表达key(Ii)=a^CID+^Kddi,Oj),θ>+c(Ii;Vw)/MAX(3)将式(2)和式(3)对应的索引键值表达成一个统一的索引键值，分别加上两个扩展系数S_A和S_V,图像对象Ii的统一跨媒体索引表示为全文摘要本发明公开了一种海量跨媒体索引方法。它的步骤如下1)通过对网页的链接分析，建立交叉关联图；2)在交叉关联图基础上，对跨媒体索引键值进行统一表达，并建立索引CIndex；3)进行基于CIndex的跨媒体检索，返回查询结果。本发明实现跨媒体的索引和检索。它能在保证较高查询精度的前提下，获得较好的查询性能。在实施本方法的过程中，首先对网页进行链接分析，生成一个交叉关联图，并对该图建立跨媒体索引CIndex。当用户提交一个查询媒体对象后，系统根据要求检索出与该例子相似的不同模态的媒体对象，然后用户可以根据相关反馈选择与该查询对象相关的候选对象，使系统根据用户的反馈信息动态调整交叉关联图，排除不相关的媒体对象，保持较高的查询精度。文档编号G06F17/30GK101984424SQ20101052023公开日2011年3月9日申请日期2010年10月26日优先权日2010年10月26日发明者厉小军,庄毅,袁成祥申请人:浙江工商大学