一种基于深度卷积神经网络的三维网格语义标记方法
【专利摘要】本发明提供一种基于深度卷积神经网络的三维网格语义标记方法，该方法包括五大步骤：步骤一：三维网格三角面片的特征向量构建；步骤二：深度卷积神经网络构建；步骤三：根据已有的带语义标记三维网格数据进行深度卷积神经网络训练；步骤四：根据输入的无语义标记三维网络数据进行语义标记概率计算；步骤五：根据三维网格三角面片间的二面角进行语义标记结果优化。本发明基于训练的深度卷积神经网络，三维网格语义标记准确率高。
【专利说明】一种基于深度卷积神经网络的三维网格语义标记方法
【技术领域】
[0001] 本发明属于计算机图形领域，具体地说是涉及一种基于深度卷积神经网络的三维 网格语义标记方法。
【背景技术】
[0002] 随着社会科技的不断进步发展，三维技术已成为现代科技的重要组成部分。三维 网格语义标记技术作为三维网格理解与处理的重要基础技术之一，在三维建模、三维动画 以及三维贴图等各三维【技术领域】都发挥着巨大作用。
[0003] 目前，许多科研工作者致力于该方面的研究。2010年，以色列特拉维夫大学的Lior Shapira等人提出了一种找寻不同三维网格部件间上下文类比关系的方法。该方法首先利 用shape diameter function(SDF)对三维网格进行层次化的分割，然后通过bipartite图 匹配的方法进行部件间类比关系计算，从而达到可以将一个三维网格的部件语义标记扩展 到其他三维网格的目标。
[0004] 2010年，加拿大多伦多大学的Evangelos Kalogerakis等人提出了一种学习的三 维网格分割与语义标记方法。该方法使用条件随机场（CRF)模型与JointBoost分类器，通 过对大量训练数据进行学习，可以对不同类别三维网格进行自动分割与语义标记。
[0005] 2013年，中国科学院深圳先进技术研究院的Yunhai Wang等人提出了一种 通过二维投影分析进行三维网格语义标记的方法。该方法使用Bi-class symmetric Hausd〇rff(BiSH)距离，将三维网格投影到二维空间，在二维投影上进行语义标记分析并反 投影回三维网格，进行三维网格的语义标记。
[0006] 深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析 学习的神经网络，它模仿人脑的机制来解释数据。2013年，中国香港大学的Yi Sun等人提 出了一种基于深度卷积网络的面部特征点检测方法。通过构建深度卷积网络，该方法有效 地由底层图像特征提取出高层特征，得到了更高的面部特征点检测准确率。
[0007] 2013年，美国纽约大学的Clement Farabet等人提出了一种基于层次特征学习的 场景语义标记方法。该方法使用训练的多尺度卷积网络，从原始的图像像素数据中提取出 有效的高层特征表达，并利用其对图像场景进行语义标记。该方法在SIFT Flow等多个数 据集上测试并得到了令人信服的结果。
【发明内容】
[0008] 为了克服现有技术的不足，本发明的目的在于提出一种基于深度卷积神经网络的 三维网格语义标记方法。
[0009] 为完成发明目的，本发明采用的技术方案是：一种基于深度卷积神经网络的三维 网格语义标记方法，如附图1所示，它包括以下步骤：
[0010] 步骤一：三维网格三角面片的特征向量构建；其具体实现过程如下：
[0011] (1)计算三角面片的 Curvature feature (CUR);
[0012] (2)计算三角面片的 PCA feature(PCA);
[0013] (3)计算三角面片的 Shape Diameter Function (SDF);
[0014] (4)计算三角面片的 Distance from medial surface (DIS);
[0015] (5)计算三角面片的 Average Geodesic Distance (AGD);
[0016] (6)计算三角面片的 Shape Context (SC);
[0017] (7)计算三角面片的 Spin Image (SI)。
[0018] 步骤二：深度卷积神经网络构建；其具体实现过程如下：
[0019] (1)构建尺寸为7*5、输出层数为12的卷积层；
[0020] (2)构建缩放因子为2的下采样层；
[0021] (3)构建尺寸为5*5、输出层数为24的卷积层；
[0022] (4)构建缩放因子为2的下采样层。
[0023] 步骤三：根据已有的带语义标记三维网格数据进行深度卷积神经网络训练；其具 体实现过程如下：
[0024] (1)根据步骤一计算已有的带语义标记三维网格数据的三角面片特征；
[0025] (2)前向传导：将上述计算得到的三角面片特征输入到步骤二构建的深度卷积神 经网络中，逐层计算，得到每个面片属于各个语义标记的概率；
[0026] (3)由上述计算得到的概率与已有的语义标记数据相减并做平方运算得到残差；
[0027] (4)反向传播：根据计算得到的残差从最后一层往前逐层对每一层的参数求偏 导，并逐层更新每层的参数值；
[0028] (5)迭代过程（2)-⑷直到残差收敛。
[0029] 步骤四：根据输入的无语义标记三维网络数据进行语义标记概率计算；其具体实 现过程如下：
[0030] (1)根据步骤一计算无语义标记三维网络数的三角面片特征；
[0031] (2)将上述计算得到的三角面片特征输入到步骤三训练得到的深度卷积神经网络 中，逐层计算，得到每个面片属于各个语义标记的概率。
[0032] 步骤五：根据三维网格相邻三角面片间的二面角进行语义标记结果优化；其具体 实现过程如下：
[0033] (1)计算三维网络相邻三角面片间的二面角；
[0034] (2)根据步骤四计算得到的语义标记概率与过程（1)计算得到的二面角，构建图 结构，应用Graphcuts算法进行结果优化。
[0035] 本发明技术方案的原理在于：
[0036] 本方法首先提取已有的带语义标记三维网格三角面片的基本几何特征，包括⑶R、 PCA、SDF、DIS、AGD、SC、SI，并初始化深度卷积神经网络；然后以三角面片的基本几何特征为 网络输入，利用全监督方式和已有的带语义标记三维网格数据对构建的深度网络进行训练 学习，通过前向传导与反向传播两个过程的不断迭代来减少残差，得到最终的深度网络；对 输入的无语义标记三维网络提取三角面片的基本几何特征，输入到最终的深度网络进行语 义标记概率计算；最后根据三维网格相邻三角面片间的二面角，使用Graphcuts算法进行 语义标记结果优化，得到最终的语义标记结果。
[0037] 本发明与现有的技术相比，其有益的特点是：1、本发明首次将深度卷积神经网络 应用于三维网格语义标记上，利用非线性组合与逐层递进的方式，对基本几何特征进行高 层化表达，使其更好的应用于三维网格语义标记；2、本发明提出有效的监督学习算法训练 深度卷积神经网络对三维网格进行表达，对每类三维网格仅使用少量带标记数据训练就能 达到很高的识别准确率。
【专利附图】
【附图说明】：
[0038] 图1是本发明方法的总体步骤流程图；
[0039] 图2是本发明通过深度卷积神经网络进行三维语义标记具体流程示意图；
[0040] 图3是本发明步骤三过程（2)中第二阶段的输出特征生成示意图；
[0041] 图4是本发明使用Graphcuts算法进行语义标记优化示意图；
[0042] 图中符号说明如下：
[0043] 图2中⑶1?、？0六、50?、015、六60、5(：、51均为
【发明内容】
步骤一中所说明的特征向量；
[0044] 图3中'c'表示卷积操作，'b'表示非线性操作；
[0045] 图4中lt表示三角面片t的语义标记，lv表示三角面片v的语义标记。
【具体实施方式】：
[0046] 下面结合附图对本发明的【具体实施方式】进行描述，以便更好地理解本发明。需要 特别提醒注意的是，在以下的描述中，当采用已知功能和设计的详细描述也许会淡化本发 明的主要内容时,这些描述在这里将被忽略。
[0047] 见图1，本发明一种基于深度卷积神经网络的三维网格语义标记方法，它包括以下 步骤：
[0048] 步骤一：三维网格三角面片的特征向量构建；
[0049] 步骤二：深度卷积神经网络构建；
[0050] 步骤三：根据已有的带语义标记三维网格数据进行深度卷积神经网络训练；
[0051] 步骤四：根据输入的无语义标记三维网络数据进行语义标记概率计算；
[0052] 步骤五：根据三维网格相邻三角面片间的二面角进行语义标记结果优化。
[0053] 参阅图2本发明通过深度卷积神经网络进行三维语义标记具体流程示意图，本发 明首先提取三维网格三角面片的基本几何特征，包括⑶R、PCA、SDF、DIS、AGD、SC、SI，构成 600维的特征向量，再重构成30*20的矩阵（记作X)以便作为深度网络的输入。
[0054] 如附图2所示，本发明深度卷积神经网络主要分三个阶段来构建高层特征表达。 第一阶段为包含12个尺寸为7*5的卷积核的卷积层。令I为一个卷积核的权重，定义卷 积操作如下：
[0055] Yi = ff^X+bj, i = 1. . . 12
[0056] 其中*表示卷积操作，bi表示偏置向量。利用12个卷积核对输入的基本几何特征 进行卷积操作，得到12个尺寸为24*16的输出特征，紧接着利用sigmoid激活函数对其进 行激活操作如下：
[0057]
【权利要求】
1. 一种基于深度卷积神经网络的三维网格语义标记方法，其特征在于，它包括以下步 骤： 步骤一：三维网格三角面片的特征向量构建；其具体实现过程如下： (1) 计算三角面片的Curvature feature即CUR ; (2) 计算三角面片的PCA feature即PCA ; (3) 计算三角面片的 Shape Diameter Function 即 SDF ; (4) 计算三角面片的 Distance from medial surface 即 DIS ; (5) 计算三角面片的 Average Geodesic Distance 即 AGD ; (6) 计算三角面片的Shape Context即SC ; ⑵计算三角面片的Spin Image即SI ; 步骤二：深度卷积神经网络构建；其具体实现过程如下： (1) 构建尺寸为7*5、输出层数为12的卷积层； (2) 构建缩放因子为2的下采样层； (3) 构建尺寸为5*5、输出层数为24的卷积层； (4) 构建缩放因子为2的下采样层； 步骤三：根据已有的带语义标记三维网格数据进行深度卷积神经网络训练；其具体实 现过程如下： (1) 根据步骤一计算已有的带语义标记三维网格数据的三角面片特征； (2) 前向传导：将上述计算得到的三角面片特征输入到步骤二构建的深度卷积神经网 络中，逐层计算，得到每个面片属于各个语义标记的概率； (3) 由上述计算得到的概率与已有的语义标记数据相减并做平方运算得到残差； (4) 反向传播：根据计算得到的残差从最后一层往前逐层对每一层的参数求偏导，并 逐层更新每层的参数值； (5) 迭代过程（2)-(4)直到残差收敛； 步骤四：根据输入的无语义标记三维网络数据进行语义标记概率计算；其具体实现过 程如下： (1) 根据步骤一计算无语义标记三维网络数的三角面片特征； (2) 将上述计算得到的三角面片特征输入到步骤三训练得到的深度卷积神经网络中， 逐层计算，得到每个面片属于各个语义标记的概率； 步骤五：根据三维网格相邻三角面片间的二面角进行语义标记结果优化；其具体实现 过程如下： (1) 计算三维网络相邻三角面片间的二面角； (2) 根据步骤四计算得到的语义标记概率与过程（1)计算得到的二面角，构建图结构， 应用Graphcuts算法进行结果优化。
【文档编号】G06T17/10GK104103093SQ201410327036
【公开日】2014年10月15日 申请日期:2014年7月10日 优先权日:2014年7月10日
【发明者】陈小武, 郭侃, 邹冬青, 赵沁平 申请人:北京航空航天大学