一种基于Modular积图与最大团的草图形状匹配方法
【专利摘要】本发明公开了一种基于Modular积图与最大团的草图形状匹配方法，包括以下具体步骤：对图形数据进行形状分析与特征提取，获取表示图像的基础数据；基于标记图和权重图的形状特征表示，将提取出的数据进行标记或编码获取拓扑图；利用相似度计算模型对拓扑图进行比较，将完成标记或编码的数据进行完全匹配和部分匹配计算获取相似度数据，判断图形之间是否相似。采用本发明不仅可以处理不同节点数目的图模型的匹配，还可以进行部分匹配。相比基于向量的匹配方法而言，该匹配算法具有更高的精度、更广泛的适应性和更强的匹配能力。
【专利说明】—种基于Modular积图与最大团的草图形状匹配方法
【技术领域】
[0001]本发明涉及图像处理领域，尤其涉及的是一种基于Modular积图与最大团的草图形状匹配方法。
【背景技术】
[0002]近年来，随着触控硬件技术的发展，涌现出大量以Apple iPhone/iPad、SamsungGalaxy Note为代表的移动式触摸屏设备和以Microsoft Surface2.0为代表的桌面式触摸屏交互设备。在触摸屏越来越普及的同时，人们也更加适应并喜欢采用手绘草图或者手势等操作来输入内容或者指令，操作过程自然、形象、直观。
[0003]在草图交互的过程中，计算设备通过将用户的交互意图映射为由压力、方向、位置和旋转等信息组成的多维矢量序列，拓宽了传统采用文字和鼠标作为主要人机交互方式的频带。以“你画我猜(Draw Something)”这款手机游戏为例,据苹果App Store数据统计，自2012年2月6日推出以来，下载量已超过3500万次，并且仍旧以每天25万下载量的程度继续增长。玩家已经画了超过10亿张图片，每秒钟产出的画作数量的最高记录是3000张！
[0004]此外，草图交互使得直接在计算设备上进行创造性的工作和个性化的沟通成为可能，例如卡通以及剪切画创作、自由手绘艺术、工业产品设计、服装设计、快速构思、绘图交流等等。这在建筑、机械、自动化等工业制图，以及演示图表、剪切画、示例图等常用绘图等很多领域都有着重要的应用。而伴随草图数据的规模和多样性的日益急速增长，如何对这些数据进行识别、搜索、重用以及再创作，成为设计师、工程师和研究者们共同关心的课题。但是，草图的多样性给这一问题带来了挑战。图1给出了同类别草图间差异性的例子(图1a为标准图形模型，图1b-1e为不同用户绘制的草图)。可见，草图具有“同中求异”的特性。如何区分不同类别的图形，以及如何在同一类别的不同草图个体之间找出它们的相似性，从而进行有效的数据检索，是草图形状匹配需要解决的核心问题。
[0005]草图形状匹配的目的是提出某些度量算法，这些算法可以有效、自动地计算两个形状之间相似度，从而判断两者在视觉上的接近程度，并希望判断的结果能够和人的视觉感知高度一致。草图形状匹配是草图数据处理的基础研究问题，在整个草图交互计算领域中占有重要的地位。一方面，它具有很强的理论价值和科学价值。它有助于加深计算机“理解”人类图形创作行为和视觉相似性认知，这也是认知心理学和脑科学所关注的问题。另一方面，它与实际工程技术应用密切相关，并且有很强的领域适用性，是多种基于草图的应用的主要核心技术。
[0006]计算机在草图形状匹配任务中主要面临特征表示和相似度计算两个方面的难题。本发明集中研究草图形状匹配技术，主要研究特征表示和相似度计算这两个问题。当前的草图形状匹配技术还不能和人的视觉感知高度一致，其准确度和性能还有很大的提升空间。因此，本发明致力于提出新的、有效的、能处理草图数据不确定性与多样性的相似度度量方法，来进一步推动整个草图交互领域的发展和进步。[0007]随着草图交互界面的流行，草图形状的特征表示和描述方法也引起了广泛关注。根据不同的标准，草图形状特征通常可以分为静态特征和动态特征，几何特征和拓扑特征，或者全局特征和结构特征。其中，静态特征主要描述草图的形状和构成信息，如图形形状、轮廓、对象间的空间关系等，是主要的草图特征；而动态特征则包括草图与时间相关的特性，如创建图形总共花费的时间，某一个草图笔画的输入速度，加速度等。几何特征描述图形的整体形状信息，符合人类的视觉认知，但忽略形状组成部分之间的结构信息，无法进行语义描述；而拓扑特征则考虑图形本身具有内在的结构化特性，能较好地描述图形的高层结构信息，支持形状的语义特征，可以区分拓扑结构不同的图形。全局特征抽取图形的整体形状和结构信息，从整体对形状进行描述，但存在精确性和效率之间的权衡；而结构特征则采用图形的各个组成单元来表示形状，并抽取组成单元之间的构成关系，表达图形的细节特性。业界通常采用Xiangyu等人的方法，通过对原始草图进行多边形拟合、聚点消除、端点优化和凸包计算等去噪和规整化处理，将笔画分割并拟合为基本的几何图元(直线段、弧线段和椭圆等)。图2给出了草图的特征表示体系图。
[0008]手绘草图具有自然、形象直观的特点，适合用户思想的表达。但是，如何准确地表示草图数据却面临着一些难点，这是因为自由的交互方式产生了草图数据的多样性、不规则性与模糊性等不确定性问题。草图的多样性是指不同用户绘制的同一草图可能表现为不同的形态，即使同一用户在不同时期绘制的草图也会有差异。草图的不规则性是指用户绘制草图时往往随意而发，不会刻意按照规则模板图形绘制，其草图可能与多个不同的图形相似。同时，由于用户使用纸笔不可能绘制出精确的图形，模糊性将不可避免。相对于几何特征和全局特征而言，拓扑特征和结构特征更能适应随意的手绘环境，受噪音影响程度低，因此被作为草图形状特征表示的主要特征。采用基于拓扑和结构的特征表示实现草图形状匹配成为该领域研究的主流，并有一些代表性的工作。
[0009]在提取了草图的拓扑结构特征之后，通常采用基于图的描述子或模型作为草图的特征表示方法。其中，图的每个节点对应于形状中的各个组成单元(笔画、图元、对象)，图的每条边则对应于各个组成单元之间的拓扑或者结构关系。一些代表性的工作包括:属性关系图 Attributed Relation Graph (ARG),空间关系图 Spatial Relation Graph (SRG)以及区域邻接图Region Adjacent Graph (RAG)等等。目前,基于图的形状描述子比较灵活、直观，是一种很流行的草图特征表示方法，而图模型的边和节点都可以被赋予一定的几何或者拓扑属性。
[0010]基于图模型的特征表示的优点是它可以表达很多重要的特征属性，例如层次结构、相对位置关系等等。但是，如何准确、高效地进行图模型之间的匹配却同样是一个很大的挑战。基于图模型的形状描述子的匹配问题，通常被转化成寻找两个图模型之间的最大同构子图的问题。众所周知，子图的同构是一个NP完全问题。但研究者们仍然没有放弃在理论上和实践上寻找解决这一问题的可行性方案，通过引入一些约束条件或者约减方法，进而在多项式时间复杂度内实现图匹配算法。
[0011]基于图模型的草图形状匹配方法可以分为两大类:基于向量的匹配和基于图的匹配。基于向量的匹配方法将图模型结构约减到一个数值向量，并将向量之间的空间几何距离作为两个图模型之间相似度度量的依据。为了达到这个目的，研究者们通常采用图谱描述子作为图模型所对应的特征向量，包括邻接图谱和拉普拉斯(Laplacian)图谱等等。图谱是由图的相关矩阵的特征值所组成的向量。图谱对图有很强的描述能力，且具有置换不变性，即同构的图具有相同的图谱。但反之却不一定成立，具有相同图谱的图不一定是同构的。如果两个图GjPG2的图谱相同，则称图GjPG2之间具有同谱性。同谱性会导致图谱转换中的冲突，但Shokoufandeh等人论证了这种冲突发生的可能性较小，且图谱相似是图相似的必要条件。这与草图形状匹配的目的一致，因此通过图谱将图模型转化为特征向量的形式，从而采用图谱简化匹配计算的复杂度在形状匹配中是有效的。但是，将图模型简化为图谱向量损失了图模型中原有的结构信息，也无法进行形状的部分匹配。
[0012]为了尽量保持图模型中的结构信息，并兼顾部分匹配的能力，研究者们采用基于图的匹配方法，通过寻找同构的子图结构来匹配两个草图形状。其主要思想是寻找两个图模型之间的最大子图(Maximum Subgraph)或者最小母图(Minimum Supergraph)。虽然基于图的匹配方法具有更高的复杂度，但其直观性强、蕴含信息量大、灵活性高的特点仍然吸引了研究者们的高度关注。尤其是，基于图的匹配方法在部分匹配上的强处理能力和高灵活性，使其成为草图形状匹配技术中的重点研究课题。而如何设计出一个高精度、高灵活性，并同时兼顾部分匹配和实时性的基于图的匹配算法，是该领域内一个更大的挑战。
[0013]针对草图形状本身的特征表示和相似度计算技术来说，尽管最近提出的形状匹配算法较之前的算法相比，其匹配精度已有大幅提升，但它们仍有一些局限性，和人的主观视觉感知之间还有一定差距，还有不小的提升空间。同时，一个实用、有效的算法还需要兼顾时间和空间复杂度的要求。因此，如何设计一个高精度、高效率、鲁棒性强的草图形状匹配算法仍然是一个很具有挑战性的研究课题。其中，基于图的特征表示以其直观性和灵活性吸引了很多研究者的注意，并开始设计相应的相似度计算算法来提高匹配的精度和效率。但在这些方案中，基于图的特征表示与相似度匹配的潜力还没有被充分挖掘出来，尤其是在处理图形数据的不确定性以及部分匹配能力等方面都需要进一步的提高。
[0014]如前所述，现有的相关技术大部分只考虑了形状的完全匹配，较少正视部分匹配的问题。兼顾完全匹配和部分匹配能力对研究人员来说确实是一个极大的挑战，这也将是今后一段时间内自然人机交互领域的一个研究热点。草图形状匹配技术与刚性形状匹配的最大区别在于，草图充满不确定性和创造力，这既是草图形状匹配的最大难题，也是其魅力所在。鉴于此，本发明针对不确定性的草图数据采用了基于图的特征表示方法和相似度计算策略，通过 Modular 积图(Modular Product Graph)与最大团(Maximal Clique),来设计出更高准确性、且同时具备完全和部分匹配能力的草图形状匹配算法，并同时保证算法的实时性。
[0015]因此，现有技术还有待于改进和发展。
【发明内容】
[0016]本发明的目的在于提供一种基于Modular积图与最大团的草图形状匹配方法，旨在解决现有的草图匹配方法只考虑形状的完全匹配没有兼顾部分匹配的问题，设计出一个高精度、高灵活性，并同时兼顾部分匹配和实时性的基于图的匹配方法。
[0017]本发明的技术方案如下:
[0018]一种基于Modular积图与最大团的草图形状匹配方法，其特征在于，包括以下具体步骤:[0019]步骤一:对图形数据进行形状分析与特征提取，获取表示图像的基础数据；
[0020]步骤二:基于标记图和权重图的形状特征表示，将提取出的数据进行标记或编码获取拓扑图；
[0021]步骤三:利用相似度计算模型对拓扑图进行比较，将完成标记或编码的数据进行完全匹配和部分匹配计算获取相似度数据，判断图形之间是否相似。
[0022]所述的基于Modular积图与最大团的草图形状匹配方法，其中，在对草图进行分析和特征提取前，采用Xiangyu的方法对草图数据进行去噪和笔画预处理，将草图分割并拟合为多种类型的几何图元，之后，判断每两个图元之间的空间拓扑结构关系，作为图形的拓扑特征描述。
[0023]所述的基于Modular积图与最大团的草图形状匹配方法，其中，所述图元拓扑特征分成八种类型，分别包括:正相交；半相交；相邻；平行；相截；相切；包含和圆圆相交，所述图元拓扑特征的集合依次表示为Σκ={1^，Rhc, Rad, Rpa, Rcu, Rta, Rem, ReJ ;图元的类型包括直线段、弧线段和椭圆，所述图元类型的集合依次表示为Στ= {TliM，TaTC，TellipsJ ;其中，两个图元之间的空间拓扑结构关系的判断和提取方法为:如果P1和P2拥有共同的内部点，判断P1和P2正相交；如果P1和P2相交，且交点分别是P1的端点和P2的内部点，判断P1和P2是半相交；如果P1' P2T e {Tline, TarJ，且P1和P2拥有共同的端点，判断P1和P2相邻；如果P1'P2T e {Tline, TarJ，且P1和P2没有共同的点,P1上各点到P2的距离近似相等，判断P1和P2平行；如果P2和P1存在两个交点，判断P1和P2相截；如果P11 e {Tarc, TellipsJ，P1所在的椭圆与P2及其延长线只有一个公共点，判断P1和P2相切；如果P1T=Tellipse, P1中嵌入P2且无公共点，判断P1包含P2 ;如果P1T=P2T=Tellipse，且P1和P2拥有两个或以上公共点，判断P1和P2是圆圆相交，其中，所述P1和P2为两个基本几何图元。
[0024]所述的基于Modular积图与最大团的草图形状匹配方法，其中，在提取了草图的拓扑特征之后，利用标记拓扑图来对图元之间的空间关系进行编码，表示草图的特征，所述标记拓扑图表示为一个五元组G=(V, E, Σε, τ , ω)，其中:V是标记拓扑图的节点集合，为节点的个数，V=Iv1, V2,…，vn} ；E ^ V X V是标记拓扑图的边集合，Gij= (Vi, Vj)表示Vi和Vj之间的拓扑关系特征；Σ !(是标记拓扑图中边的标记集合；τ:VXV— Σκ是标记拓扑图边标记的判断函数，其中τ (Vi，Vj)=l，表示将边(V^Vj)标记为空间拓扑关系1，1 e Σε；ω:ΕΧ Σκ— [O, I]是标记拓扑图边上权重的赋值函数,对于边efh, Vj),其权重的计算
公式(I)为:
【权利要求】
1.一种基于Modular积图与最大团的草图形状匹配方法，其特征在于，包括以下具体步骤: 步骤一:对图形数据进 行形状分析与特征提取，获取表示图像的基础数据； 步骤二:基于标记图和权重图的形状特征表示，将提取出的数据进行标记或编码获取拓扑图； 步骤三:利用相似度计算模型对拓扑图进行比较，将完成标记或编码的数据进行完全匹配和部分匹配计算获取相似度数据，判断图形之间是否相似。
2.根据权利要求1所述的基于Modular积图与最大团的草图形状匹配方法，其特征在于，在对草图进行分析和特征提取前，采用Xiangyu的方法对草图数据进行去噪和笔画预处理，将草图分割并拟合为多种类型的几何图元，之后，判断每两个图元之间的空间拓扑结构关系，作为图形的拓扑特征描述。
3.根据权利要求2所述的基于Modular积图与最大团的草图形状匹配方法，其特征在于，所述图元拓扑特征分成八种类型，分别包括:正相交；半相交；相邻；平行；相截；相切；包含和圆圆相交，所述图元拓扑特征的集合依次表示为CU, Rta, Rem, Reel ;图元的类型包括直线段、弧线段和椭圆，所述图元类型的集合依次表示为ΣT= {Tline, Tarc, TellipsJ ;其中，两个图元之间的空间拓扑结构关系的判断和提取方法为:如果P1和P2拥有共同的内部点，判断P1和P2正相交；如果P1和P2相交，且交点分别是P1的端点和P2的内部点，判断P1和P2是半相交；如果P1t^P21 e {Tline, TarJ，且P1和P2拥有共同的端点，判断PJPP2相邻；如果P/、P2T e {Tline，TarcJ，且PJP P2没有共同的点，P1上各点到P2的距离近似相等，判断P1和P2平行；如果P2和P1存在两个交点，判断P1和P2相截；如果P11 e {Tarc, TellipsJ，P1所在的椭圆与P2及其延长线只有一个公共点，判断P1和P2相切；如果P1T=Tellipse, P1中嵌入P2且无公共点，判断P1包含P2 ;如果且P1和P2拥有两个或以上公共点，判断P1和P2是圆圆相交，其中，所述P1和P2为两个基本几何图元。
4.根据权利要求3所述的基于Modular积图与最大团的草图形状匹配方法，其特征在于，在提取了草图的拓扑特征之后，利用标记拓扑图来对图元之间的空间关系进行编码，表示草图的特征，所述标记拓扑图表示为一个五元组G=(V, E, Σκ, τ，ω)，其中:V是标记拓扑图的节点集合，为节点的个数，V= Iv1, v2,-,vj ;E￡ VX V是标记拓扑图的边集合，Gij= (Vi, Vj)表示Vi和V」之间的拓扑关系特征；Σ !(是标记拓扑图中边的标记集合；τ:VXV— Σκ是标记拓扑图边标记的判断函数，其中τ (Vi, Vj) =1,表示将边(V^Vj)标记为空间拓扑关系1，I e ΣΕ；ω:ΕΧΣΕ- [0,1]是标记拓扑图边上权重的赋值函数，对于边e^= (Vi, V」)，其权重的计算公式(1)为:
5.根据权利要求4所述的基于Modular积图与最大团的草图形状匹配方法，其特征在于，将草图形状的特征表示为标记拓扑图后，进行积图表示模型的构造，在进行积图表示模型构造前对两个标记拓扑图矩阵进行改进的克罗内克积操作，所述改进的克罗内克积具体表示为:对两个实矩阵A e Rmxn, B G Rrxs, A? B G Rmn<ns是一个可分割为m行和n列的分块矩阵，具体表示为:
6.根据权利要求5所述的基于Modular积图与最大团的草图形状匹配方法，其特征在于，所述积图表示模型为一种标记的Modular积图，是对两个图模型做乘积操作而得到的一种乘积图模型，两个标记拓扑图G和H，其权重矩阵分别为We e Rnxi^PW11 e Fxs，则它们的标记的Modular积图的建模方式如下: 其中，节点集合是G和H节点的笛卡尔积，Vgxh=V (G) XV(H)； 其中，当且仅当下式成立，两节点(U，U')与(V, V')相连:
7.根据权利要求6所述的基于Modular积图与最大团的草图形状匹配方法，其特征在于，所述草图形状相似度计算模型为:
【文档编号】G06K9/00GK103902988SQ201410160770
【公开日】2014年7月2日 申请日期:2014年4月21日 优先权日:2014年4月21日
【发明者】梁爽 申请人:梁爽