专利名称：一种三维模型构成的自动标注方法
技术领域：
本发明涉及一种形状分析的处理方法，属于计算机图形学技术领域，具体地说是一种基于联合分割的三维模型构成的自动标注方法。
背景技术：
将三维模型分割并获取其构成部件的标注是形状理解和处理的基础，几何建模、生产制造、三维模型动画及纹理等领域的诸多任务都依赖于部件分割，其中许多问题更需进一步对分割部件进行标注，即，将这些部件识别为已知部件类型的一个实例。这些应用的大多数情况中，采用人工定义方式进行输入三维模型的分割与标注。例如，人体网格纹理合成的应用中，需由人工辨别网格中具有“胳膊”纹理的部分、或具有“腿”纹理的部分等等；另外，一些并不直接要求分割标注的应用，如，3D形状匹配或检索，也可从组成部件及标注的信息中获益。尽管大量工作针对图像自动标注展开研究，如文献1:鲍泓，徐光美，冯松鹤，须德.自动图像标注技术研究进展.计算机科学，2011，38 (7) :35-40.，然而，三维模型方面的工作多数仅针对三维模型的整体标注进行研究，如文献2 :田枫，沈旭昆，刘贤梅，周凯，杜睿山.一种基于弱标签的三维模型语义自动标注方法，系统仿真学报，2012，24(9) : 1873-1876，1881，而未涉及三维模型构成部件的自动标注；另外，与三维模型构成标注密不可分的模型分割如文献3 Chen X. , Golovinskiy A. , Funkhouser T. ABenchmark for3D Mesh Segmentation. ACM Transactions on Graphics, 2009, 28(3).所述也仍为一个开放性研究问题，到目前为止，几乎所有模型分割方法都仅考虑部件自身的几何特征，而不考虑类别信息，难以满足模型部件的后续标注需求，文献4 =KalogerakisE. , Hertzmann A. , Singh K. .Learning3D mesh segmentation and labeling. ACMTransactions on Graphics, 2010, 29 (4) Article No. 102.率先提出一种数据驱动的模型分割与标注方法，他们通过对人工分割标注的模型集进行学习，将模型部件标注问题表示为条件随机场最优化问题，从而实现对未知模型的分割与标注，并验证了人工标注知识对三维模型分割的促进作用，然而，方法依赖于大量人工标注的三维模型集。另一方面，文献 5 :Golovinskiy A. , Funkhouser T. Consistent segmentationof3D models. Computers and Graphics(Shape Modeling International09)2009, 33(3):262-269.、文献6:徐凯.语义驱动的三维形状分析及建模.[D]国防科学技术大学研究生院.2011.考虑到同类物体的三维模型比单个模型包含更丰富的语义信息，因此提出对同类模型集进行分析，进而获得多个模型一致性分割的联合分割方法，但其并未考虑未知三维模型的自动标注问题。本专利在联合分割的基础上，利用同类模型具有类似部件组成结构这一信息，对未知三维模型的组成部件进行分割与标注，进而实现三维模型的自动标注。
发明内容
发明目的本发明所要解决的技术问题是针对现有技术的不足，提供一种基于联合分割的三维模型构成的自动标注方法，用于支持对三维模型的自动分割与标注。为了解决上述技术问题，本发明公开了一种基于联合分割的三维模型构成的自动标注方法，包括以下步骤:步骤一，三维模型集联合分割:对输入的同类三维模型集进行联合分割以获得初始部件聚类，包括单模型预分割和部件谱聚类两个步骤:单模型预分割将三维模型集中的每个三维模型进行预分割为初始部件集；所述部件为相互连接的面片；部件谱聚类将单模型预分割过程获得的初始部件集聚类为多个初始部件聚类，聚类数对应于最终三维模型标注部件的总个数，可以由用户给定，也可以根据本发明自动计算；步骤二，三维模型分割标注:在三维模型集联合分割过程获得的初始部件聚类帮助下，对待标注目标三维模型进行分割与标注，包括统计模型构建和面片标注两个步骤:统计模型构建将每个初始部件聚类中的部件面片级特征作为观察值，构建描述相应初始部件聚类的混合高斯模型，并根据贝叶斯理论计算待标注目标三维模型每个面片的标注概率；面片标注则采用图割优化算法同时考虑该目标三维模型每个面片的标注概率以及目标三维模型面片局部特征对目标三维模型进行分割与标注。本发明步骤一中所述单模型预分割部分还包括以下步骤:步骤111提取三维模型每个面片处的平均测地距离、高斯曲率、形状直径函数、形状上下文4维面片级特征，从而组成4维特征向量。所述三维模型是网格化的三维模型。步骤112将三维模型网格每个面片的上述四个面片级特征值组 成的4维特征向量作为面片级特征空间中的一个点坐标，在此空间中采用mean-shift聚类算法进行聚类，从而将三维模型网格上的面片聚类为更大的初始部件。步骤113采用图割优化算法平滑初始部件边界，获得初始部件集S=Is1,…，sn}，η为初始部件数。本发明步骤一中所述部件谱聚类部分还包括以下步骤:步骤121，提取三维模型初始部件集S=Is1,…，SnI中初始部件的部件级特征,包括初始部件Si的I维面积特征a1、3维几何形状特征gi和4维面片级特征直方图特征，共8维部件级特征，I < i < η ;步骤122，计算三维模型初始部件集S=Is1,…，SnI中初始部件Si和初始部件Sj间的距离，I ^ j η ；1、j相等时距离定义为O。步骤123根据部件间的距离，用高斯核构建亲和度矩阵W，并通过对亲和度矩阵W进行特征分解，以计算初始部件集的扩散映射(diffusionmap),从而将初始部件s映射到扩散空间中一点Wt(S)。步骤124对由扩散映射获得的扩散空间进行聚类，若聚类数k由用户给定，则采用k均值聚类算法进行聚类；否则，采用mean-shift聚类算法，自动计算聚类数k，最终获得初始部件聚类，并将每个聚类的类标注为类C=Ic1, C2,…，ck}，k为聚类数量。本发明步骤二中所述统计模型构建部分还包括以下步骤:步骤211对类标注为Ci的聚类，将其中所有初始部件上面片的面片级特征作为观察值，估计混合高斯模型(Gaussian mixture model,GMM)来建模该类，并计算类标注Ci的后验概率P(Ci)为类标号Ci中初始部件面积之和与集合中所有初始部件的总面积之比。步骤212根据贝叶斯理论(Bayes’ Theorem)计算待标注目标三维模型网格面片f属于类标注Ci的概率p (Ci | f)。
本发明步骤二中所述面片标注部分将待标注目标三维模型网格面片f属于类标注Ci的概率作为图割优化算法的数据项，图割优化算法的图边权重以及平滑项按步骤113所述进行设置，最终将待标注目标三维模型网格进行分割并标注。有益效果:本发明具有以下优点:首先，本发明可对同种类型多个模型同时进行一致性分割；其次，本发明可通过对同种类型多个模型的联合分割，提取该类模型的部件形状及其组成信息；最后，本发明可利用从模型集中获取的部件形状及其组成信息，对三维模型进行分割，并实现自动标注。
下面结合附图和具体实施方式
对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。图1是本发明的处理流程示意图。图2a是实施例的输入模型集示例示意图。图2b是实施例待标注的目标三维模型示意图。图3a是对图2a输入模型集进行三维模型集联合分割，并对图2a输入模型集中每个三维模型进行三维模型分割标注 的结果示意图。图3b是根据图2a输入三维模型集中获取的部件形状及其信息，对图2b中的待标注目标三维模型进行分割标注的结果示意图。图4a是对实施例输入模型进行聚类的结果示意图。图4b是对图4a进一步平滑的结果示意图。图5是实施例输入模型集合中初始部件集结果示意图。图6a 6d是对图5所得初始部件结果进行部件谱聚类过程所得对应初始部件聚类示意图。
具体实施方式
:如图1所示，本发明公开的一种基于联合分割的三维模型构成的自动标注方法，具体包括以下步骤:步骤一，三维模型集联合分割:对输入的同类三维模型集进行联合分割以获得初始部件聚类。步骤二，三维模型分割标注:在三维模型集联合分割过程获得的初始部件聚类的帮助下，对待标注目标三维模型进行分割并获得其部件标注。本发明的输入三维模型集为同种类型，具有相似功能部件结构的三维模型集合。下面具体介绍各个步骤的主要流程:1.三维模型集联合分割三维模型集联合分割过程对输入的同类三维模型集进行联合分割以获得初始部件聚类，包括单模型预分割和部件谱聚类两个步骤。1.1.单模型预分割单模型预分割过程将三维模型集中的每个三维模型进行预分割，从而获得所有三维模型的初始部件集S= Is1,…，sn}，其中，η为初始部件数；所述部件为相互连接的面片。过程如下:步骤I提取三维模型集中三维模型每个面片处的面片级特征，所提取特征为文献 7:Hilaga Μ.，Shinagawa Y.，Kohmura Τ.，Kunii T.L.Topology matching for fullyautomati csimilarity estimation of3d shapes.Proceedings of the28th annualconference on Computer graphics and interactive techniques(New York, NYj USA, 2001) ,SIGGRAPH，01，ACM，pp.203-212.中的平均测地距离(Average Geodesic Distance，AGD)、文献 8:Gal R.，Cohen-Or D.Salient geometric features for partial shapematching and similarity.ACM Transactions on Graphics, 2006，25(I):130-150 中的高斯曲率(Gaussian curvature, GC)、文献 9:ShapiraL，Shalom S.，Shamir A.，Cohen-OrD.，Zhang H.Contextual part analogies in3D objects.1nternational Journalof Computer Vision, 2010，89(2-3):309-326.中的形状直径函数(shape diameterfunction，SDF)、文献 10:Belongie S., Malik J., Puzicha J.Shape matching and objectrecognition using shape contexts.1EEE Transactions On Pattern Analysis andMachine Intelligence，2002，24 (4): 509-522.中的形状上下文(shape contexts, SC)，从而三维模型每个面片上都计算这四个面片级特征组成4维特征向量。步骤2将三维模型每个面片的上述四个面片级特征值组成的4维特征向量作为面片级特征空间中的一个点坐标，在此空间中釆用mean-shift聚类算法进行聚类，如文献 11:Comaniciu D., MEER P.Mean shift:a robust approach towardsfeature space analysis.1EEE Transactions On Pattern Analysis and MachineIntelligence, 2002，24(5):603-619.所述，从而将三维模型上的面片聚类为更大的初始部件，对三维模型集中的每个三维模型聚类一次。步骤3 米用文献 12:Boykov Y.，Veksler 0.，Zabih R.Fast Approximate EnergyMinimization via Graph Cuts.1EEE Transactions On Pattern Analysis and MachineIntelligence，2001，23 (11):1222-1239.中的图割优化算法平滑初始部件边界，获得初始部件集S=Is1,…，S1J。首先构建一个图，图节点为网格面片，相邻网格面片之间存在边，图割优化算法则可通过计算该图的最小割的方式，计算三维模型上每个面片的最佳标号f，来最小化能量:E(f) =Edata (f) +Esmooth (f)面片P和面片q被标注为标号fp和标号fq时边{p，q}的权重Wp，q(fp, fq)为:[。。42]
权利要求
1.一种三维模型构成的自动标注方法，其特征在于，包括以下步骤: 步骤一，三维模型集联合分割:对输入的同类三维模型集进行联合分割获得初始部件聚类，包括单模型预分割和部件谱聚类两个步骤: 单模型预分割将三维模型集中的每个三维模型进行预分割为初始部件集；所述部件为相互连接的面片； 部件谱聚类将单模型预分割过程获得的所有初始部件聚类为对应初始部件聚类，聚类数对应于最终三维模型标注部件的总个数； 步骤二，三维模型分割标注:根据初始部件聚类，对待标注目标三维模型进行分割与标注，包括统计模型构建和面片标注两个步骤: 统计模型构建步骤将每个初始部件聚类中的部件面片级特征作为观察值，构建描述相应初始部件聚类的混合高斯模型，并根据贝叶斯算法计算待标注目标三维模型每个面片的标注概率； 面片标注步骤采用图割优化算法同时基于目标三维模型每个面片的标注概率以及目标三维模型面片局部特征对目标三维模型进行分割与标注。
2.根据权利要求1所述的一种三维模型构成的自动标注方法，其特征在于，步骤一中所述单模型预分割部分包括以下步骤: 步骤111，提取三维模型每个面片的4维面片级特征，包括平均测地距离、高斯曲率、形状直径函数、形状上下文，从而组成每个面片的4维特征向量； 步骤112，将三维模型每个面片的4维特征向量作为面片级特征空间中的一个点坐标，在此空间中采用mean-sh ift聚类算法进行聚类，从而将三维模型上的面片聚类为更大的初始部件； 步骤113，采用图割优化算法平滑初始部件边界，获得初始部件集S= Is1，…，sn}，η为初始部件数。
3.根据权利要求2所述的一种三维模型构成的自动标注方法，其特征在于，步骤一中所述部件谱聚类部分包括以下步骤: 步骤121，提取三维模型初始部件集S=Is1,…，sn}中初始部件的部件级特征，包括初始部件Si的I维面积特征％、3维几何形状特征gi和4维面片级特征直方图特征，共8维部件级特征，I彡i彡η ; 步骤122,计算三维模型初始部件集S=Is1,…，sn}中初始部件Si和初始部件Sj间的距1 , I ^ j ^ η ； 步骤123，根据部件间的距离，用高斯核构建亲和度矩阵W，并通过对亲和度矩阵W进行特征分解，计算初始部件集的扩散映射得到扩散空间，从而将初始部件s映射到扩散空间中一点 Wt(S)； 步骤124，对由扩散映射获得的扩散空间进行聚类，若聚类数k由用户给定，则采用k均值聚类算法进行聚类；否则，采用mean-shift聚类算法，自动计算聚类数k，最终获得初始部件聚类，并将每个聚类的类标注为类C=Ic1, C2,…，ck}。
4.根据权利要求3所述的一种三维模型构成的自动标注方法，其特征在于，步骤二中所述统计模型构建部分包括以下步骤: 步骤211，对类标注为Ci的聚类，将其中所有初始部件上面片的面片级特征作为观察值，使用混合高斯模型建模聚类Ci，并计算聚类Ci的后验概率P (Ci)为聚类Ci中初始部件面积之和与聚类集合中所有初始部件的总面积之比； 步骤212，根据贝叶斯算法计算待标注目标三维模型面片f属于聚类Ci的概率P(CiIf)。
5.根据权利要求4所述的一种三维模型构成的自动标注方法，其特征在于，步骤二中所述面片标注步骤将待标注目标三维模型网格面片f属于聚类Ci的概率作为图割优化算法的数据项，图割优化算法的图边权重以及平滑项按步骤113所述进行设置，最终将待标注目标三维模型进行分 割并标注。
全文摘要
本发明公开了一种三维模型构成的自动标注方法，包括以下步骤对输入的同类三维模型集进行联合分割以获得初始部件聚类；联合分割过程包括对三维模型集中的每个三维模型进行面片级特征提取，得到三维模型的面片级特征，利用面片级特征对三维模型集中的每个三维模型进行单模型预分割，从而获得三维模型集中的所有三维模型的初始部件集，以及对初始部件进行部件级特征提取，以获得初始部件的部件级特征，并在此基础上采用谱聚类方法对初始部件进行聚类，从而获得多个初始部件聚类；对每个初始部件聚类构建一个统计模型，利用此统计模型采用图割优化方法将待标注的目标模型面片进行分割并获得其标注信息。
文档编号G06T17/00GK103077555SQ201310020469
公开日2013年5月1日 申请日期2013年1月18日 优先权日2013年1月18日
发明者孙正兴, 章菲倩, 宋沫飞, 郎许锋 申请人:南京大学