专利名称：一种基于高层语义结构索引的多媒体信息检索方法
技术领域：
本发明涉及一种多媒体信息检索方法，特别涉及一种基于高层语义结构索引的多媒体信息检索方法，属于多媒体信息检索技术领域。
背景技术：
互联网作为人们工作和娱乐的主要媒介，其中包含了海量的图像、视频和音频等多媒体信息，人们希望对多媒体信息检索时能够迅速而准确，快捷高效的多媒体信息检索方法成为多媒体信息检索技术领域的重要研究内容。各类多媒体都具有低层语义和高层语义，低层语义主要以多媒体内容为主，高层语义是指人类思维中针对多媒体的逻辑概念，高层语义越接近人类思维，其语义层次越高。现有的以低层语义结构索引检索为主的多媒体信息检索方法，存在检索效率低的问题，如申请号为2011101868592的专利《一种基于XML 的交互应用多媒体信息检索方法》即以多媒体内容附加文本信息的结构索引进行检索；现有的采用高层语义结构索引检索的软件和方法，存在不能直接检索、检索媒体类型单一和索引结构适应性差等问题，如软件wordnet和homenet只体现字词之间的关系而不能直接检索多媒体信息，申请号2009100915118的专利《视频高层特征检索系统及其实现》只能针对视频类媒体进行检索。发明内容
本发明的目的是克服现有技术的不足，提供一种快捷高效、准确度高、媒体类型适应范围广的基于高层语义结构索引的多媒体信息检索方法。该方法采用矩阵裂变法及其结合率和乘法分配率对多媒体高层语义矩阵进行裂变并建立多媒体高层语义结构索引模型， 多媒体高层语义结构索引模型中的各语义分支数据及其权重被存储在一个XML结构中，采用最近检索语义分支权重优先法进行多媒体信息检索。
本发明通过下述技术方案予以实现
一种基于高层语义结构索引的多媒体信息检索方法，包括以下步骤
步骤A 采集多媒体高层语义信息并建立多媒体高层语义矩阵，该矩阵中的元素代表多媒体的高层语义信息；
步骤B 采用矩阵裂变法、矩阵裂变法的结合律和矩阵裂变法的乘法分配律建立多媒体高层语义结构索引模型；
步骤C:建立一个XML结构，用来存储所建立的多媒体高层语义结构索引模型中的各语义分支数据及其权重；
步骤D 采用最近检索语义分支权重优先法进行多媒体信息检索。
所述的步骤B中矩阵裂变法定义为一个二维矩阵可以裂变为两个二维矩阵的裂变和；
其数学式为
权利要求
1.一种基于高层语义结构索引的多媒体信息检索方法，其特征是，包括以下步骤步骤A 采集多媒体高层语义信息并建立多媒体高层语义矩阵，该矩阵中的元素代表多媒体的高层语义信息；步骤B 采用矩阵裂变法、矩阵裂变法的结合律和矩阵裂变法的乘法分配律建立多媒体高层语义结构索引模型；步骤C 建立一个XML结构，用来存储所建立的多媒体高层语义结构索引模型中的各语义分支数据及其权重；步骤D 采用最近检索语义分支权重优先法进行多媒体信息检索。
2.根据权利要求1所述的一种基于高层语义结构索引的多媒体信息检索方法，其特征是，所述的步骤B中的矩阵裂变法定义为一个二维矩阵可以裂变为两个二维矩阵的裂变和；其数学式为
3.根据权利要求1所述的一种基于高层语义结构索引的多媒体信息检索方法，其特征是，所述的步骤B中的矩阵裂变法的结合律定义为三个矩阵求裂变和，即可以先求前两个矩阵的裂变和，也可以先求后两个矩阵的裂变和，最后结果相同；其数学式为
4.根据权利要求1所述的一种基于高层语义结构索引的多媒体信息检索方法，其特征是，所述的步骤B中的矩阵裂变法的乘法分配律定义为实数L乘以两个矩阵的裂变和，其结果等于实数L分别乘以两个矩阵之后求裂变和；其数学式为L([V。d]exD:[Wrf]ExF) = L[V。d]exDiL[Wrf]ExF。
5.根据权利要求1所述的一种基于高层语义结构索引的多媒体信息检索方法，其特征是，所述的步骤C中的语义分支权重的数学式为
6.根据权利要求2或3或4所述的一种基于高层语义结构索引的多媒体信息检索方法，其特征是，所述的矩阵裂变法将多媒体高层语义矩阵裂变成多媒体高层语义结构索引模型中第一语义层上的各语义分支，再将第一语义层上的各语义分支向下逐层裂变；裂变后形成的不同语义层上各语义分支之间的关系根据矩阵裂变法的结合律来建立；同一语义层上的各语义分支权重分配关系根据矩阵裂变法的乘法分配律来建立，可以成倍的增加或降低各语义分支权重；从而建立起完整的多媒体高层语义结构索引模型。
7.根据权利要求1所述的一种基于高层语义结构索引的多媒体信息检索方法，其特征是，所述的步骤D中的最近检索语义分支权重优先法在用户提出检索要求后，设变量Iq = 1 ；之后的检索步骤包括步骤1 查找XML结构中第一层上未做标记的各语义分支中的权重最大者，ki自增；如果该权重最大者符合检索要求，为该语义分支做标记，1 = 1，转步骤2 ；如果该权重最大者不符合检索要求，则排除该权重最大者并继续在第一层中查找其他未做标记的各语义分支中的权重最大者，Iq自增；如果其他未做标记的各语义分支中的权重最大者符合检索要求， 给该语义分支做标记，k2 = 1，转步骤2 ；如果其他未做标记的各语义分支中的权重最大者不符合检索要求，则继续查找，循环往复，直到Ic1 > g (1)，转步骤n+1 ；步骤2 查找XML结构中第二层上未做标记的各语义分支中的权重最大者，k2自增；如果该权重最大者符合检索要求，为该语义分支做标记，k3 = 1，转步骤3 ；如果该权重最大者不符合检索要求，则排除该权重最大者并继续在第二层中查找其他未做标记的各语义分支中的权重最大者，k2自增；如果其他未做标记的各语义分支中的权重最大者符合检索要求， 给该语义分支做标记，k3 = 1，转步骤3 ；如果其他未做标记的各语义分支中的权重最大者不符合检索要求，则继续查找，循环往复，直到1 > gO)，转步骤1 ；步骤3 查找XML结构中第三层上未做标记的各语义分支中的权重最大者，k3自增；如果该权重最大者符合检索要求，为该语义分支做标记，k4 = 1，转步骤4 ；如果该权重最大者不符合检索要求，则排除该权重最大者并继续在第三层中查找其他未做标记的各语义分支中的权重最大者，k3自增；如果其他未做标记的各语义分支中的权重最大者符合检索要求， 给该语义分支做标记，k4 = 1，转步骤4 ；如果其他未做标记的各语义分支中的权重最大者不符合检索要求，则继续查找，循环往复，直到k3 > g(3)，转步骤2 ； 步骤4至步骤n-1依次类推；步骤η 查找XML结构中第η层上未做标记的各语义分支中的权重最大者，kn自增；如果该权重最大者符合检索要求，为该语义分支做标记，转步骤n+1 ；如果该权重最大者不符合检索要求，则排除该权重最大者并继续在第η层中查找其他未做标记的各语义分支中的权重最大者，kn自增；如果其他未做标记的各语义分支中的权重最大者符合检索要求，给该语义分支做标记，转步骤n+1 ；如果其他未做标记的各语义分支中的权重最大者不符合检索要求，则继续查找，循环往复，直到kn >g(n),转步骤n-1 ；步骤n+1 如果存在符合检索要求的结果，将符合检索要求的结果通知用户，进行语义分支权重调整并存入XML结构；如果不存在符合检索要求的结果，通知用户未检索到，不进行语义分支权重调整； 步骤1至步骤n+1中kn为第η语义层上进行语义分支检索的次数； g(n)为第η语义层上语义分支的数目； η为语义层数。
8.根据权利要求7所述的一种基于高层语义结构索引的多媒体信息检索方法，其特征是，所述的步骤n+1中的语义分支权重调整的数学式为Pfff(Y1Ixj) = Pte(Y1Ixj)+^- Σ Ρ新(仏)；Ρ新(ykh) = P初(ykl\)(i-去)；mj k=l，k孟ιmj式中Yi为由\向下裂变出的语义分支中符合检索要求的语义分支；yk为由\向下裂变出的语义分支中不符合检索要求的语义分支；Pli (YiIXj)为由\向下裂变出的语义分支中符合检索要求的语义分支的新的权重值；Pft (Yi I Xj)为由\向下裂变出的语义分支中符合检索要求的语义分支的初始权重值；Pli(YkIxj)为由\向下裂变出的语义分支中不符合检索要求的语义分支的新的权重值；Pft (YkIxj)为由\向下裂变出的语义分支中不符合检索要求的语义分支的初始权重值；Hlj为由语义分支分\向下裂变出的语义分支总数；k乒i。
全文摘要
本发明公开了一种基于高层语义结构索引的多媒体信息检索方法，旨在提供一种快捷高效、准确度高、媒体类型适应范围广的基于高层语义结构索引的多媒体信息检索方法。该方法的步骤包括采集多媒体高层语义信息并建立多媒体高层语义矩阵，该矩阵中的元素代表多媒体的高层语义信息；采用矩阵裂变法、矩阵裂变法的结合律和矩阵裂变法的乘法分配律建立多媒体高层语义结构索引模型；建立一个XML结构，用来存储所建立的多媒体高层语义结构索引模型中的各语义分支数据及其权重；采用最近检索语义分支权重优先法进行多媒体信息检索。
文档编号G06F17/30GK102542073SQ20121002264
公开日2012年7月4日 申请日期2012年2月1日 优先权日2012年2月1日
发明者姜楠, 孙元, 桑爱军 申请人:吉林大学