三维网格表示方法及其卷积神经网络模型

1.本发明涉及三维形状图像数据处理的技术领域，尤其涉及一种三维网格表示方法，以及基于该表示方法的三维网格卷积神经网络模型。


背景技术：

2.3d形状作为不可或缺的元素广泛应用于计算机视觉，计算机图形学和分子生物学等领域。时至今日，大量研究成果在一系列3d应用(如：跟踪、分类、重建等)上表现出了卓越的性能。然而由于3d形状非规则，如何很好地表示3d形状是现在的研究重点。3d形状可以根据原始数据格式分为三类：体素，点云和网格。体素是像素概念的3d扩展，具有规则结构。因此，体素对于卷积神经网络具有适应性。然而，体素会产生大量的数据冗余，在表示高分辨率的3d形状时，网络的复杂性会急剧增加。点云通常使用一组采样的3d点坐标来近似3d形状。然而，由于点云数据无序且缺乏连通性信息，因此无法描述高分辨率的形状。相比之下，网格提供了更高效的三维表示。它通过固有的连通性逼近曲面，并具有两个不可替代的优势。一是紧致性，它只需要三个顶点的面来描述形状，而体素点云数据格式需要在物体表面采样大量点。二是灵活性，它使用少量的面来描述平滑区域，使用大量的面来描述细节区域，这样就可以在保持细节特征的同时以高分辨率描述形状。研究人员在使用深度学习方法处理3d任务中的网格时，努力解决由网格的不规则拓扑所引起的问题。fang等人通过传统的描述符将三维网格规格化为可以使用传统卷积神经网络的二维图像。feng等将网格视为面和角度等元素的组合并将坐标矩阵作为神经网络学习的输入。与其他基于2d深度学习的方法不同，hanocka为三角网格设计了卷积、池化算子，其网络的输入是边的特征向量。现有方法虽然在一定程度上解决了网格不规则的问题，但在输入网络之前进行的格式转换带来了网格结构信息的丢失，给后续网络的分类任务带来了困难。由于三维网格的不规则性，有效地表示三维形状仍然是一个具有挑战性的问题。因此，研究既能通过深度学习进行处理，又能尽可能保留网格信息的网格表示方法具有重要意义。


技术实现要素：

3.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种三维网格表示方法，其能够相对完整地保留形状内在几何结构信息，在特征提取方面优于现有的方法，在应用于3d网格的各种学习任务(如分类和分割)中获得了更高的准确率。
4.本发明的技术方案是：该方法针对三维形状图像数据，通过对网格表面的连续热信号进行重采样而得到的边信号；
5.定义三维网格m＝(v，e，f)，其中顶点集v＝{v1，v2，...，vn，}，边集e＝{e
ij
|e
ij
＝(vi，vj)}，面片集f＝{f
ijk
，(vi，vj，vk)}，顶点离散的热核为：
6.7.其中，λi和分别为laplace-beltrami算子的第i个特征值和特征向量，给定时间tj和边e
ab
，定义该边的热核为αpm(va，va，tj)+βpm(vb，vb，tj)，α，β是可调参数且满足α+β＝1；由此，用热核网格hkm对三维网格进行表示：
8.hkm＝{pm(e
ab
，tj)|pm(e
ab
，tj)＝αpm(va，va，tj)+βpm(vb，vb，tj)
ꢀꢀ
(6)
9.va，vb∈v，e
ab
∈e，tj∈t，m＝(v，e，f)}
10.其中，pm(e
ab
，tj)为tj时网格m上边e
ab
的热核值，t＝{t1，t2，...，tj}，α+β＝1，α＞0，β＞0。
11.本发明的方法针对三维形状图像数据，通过对网格表面的连续热信号进行重采样而得到的边信号，与其他网格表示相比，hkm是一种时空信号，它相对完整地保留了形状内在几何结构信息，在特征提取方面优于现有的方法，在应用于3d网格的各种学习任务(如分类和分割)中获得了更高的准确率。
12.还提供了一种三维网格表示方法的三维网格卷积神经网络模型，其包括：
13.(1)基于hkm的卷积
14.边e
ab
上卷积计算如下：
[0015][0016]
其中，p0，p1，p2，p3，p4是网络参数，h
ab
是边e
ab
的特征，j是其周围边的排序序号，h
′
ab
是边e
ab
卷积后的新特征；公式(7)中的五项分别对应于当前边的特征、周围边的特征之和、相对的周围边的特征差之和、周围边和当前边的特征差之和，相邻的周围边的特征差之和；
[0017]
(2)基于hkm的池化
[0018]
对于不规则网格的池化，采用边折叠方法简化网格数据结构，边折叠的过程：需要折叠的边被无限缩短为一个新的顶点，同时包含这条边的两个三角面片同时转化成两条新边。
附图说明
[0019]
图1显示了卷积操作。(a)当前边的特征，(b)周围边的特征之和，(c)相对的周围边的特征差之和，(d)周围边和当前边的特征差之和，(e)相邻的周围边的特征差之和。
[0020]
图2示出了hkmcnn整体结构。
[0021]
图3示出了数据集sherc上的池化过程可视化。
具体实施方式
[0022]
本发明提出了一种新的网格表示方法，称为热核网格hkm，它是通过对网格表面的连续热信号进行重采样而得到的边信号，与其他网格表示相比，hkm是一种时空信号，它相对完整地保留了形状内在几何结构信息；此外，还设计了基于热核网格表示的卷积神经网络hkmcnn，包括基于hkm的卷积和基于hkm的池化，该神经网络模型在特征提取方面优于现有的方法，在应用于3d网格的各种学习任务(如分类和分割)中获得了更高的准确率。
[0023]
该方法针对三维形状图像数据，通过对网格表面的连续热信号进行重采样而得到的边信号；
[0024]
定义三维网格m＝(v，e，f)，其中顶点集v＝{v1，v2，...，vn，}，边集e＝{e
ij
|e
ij
＝(vi，vj)}，面片集f＝{f
ijk
，(vi，vj，vk)}，顶点离散的热核为：
[0025][0026]
其中，λi和分别为laplace-beltrami算子的第i个特征值和特征向量，
[0027]
给定时间tj和边e
ab
，定义该边的热核为αpm(va，va，tj)+βpm(vb，vb，tj)，α，β是可调参数且满足α+β＝1；由此，用热核网格hkm对三维网格进行表示：
[0028]
hkm＝{pm(e
ab
，tj)|pm(e
ab
，tj)＝αpm(va，va，tj)+βpm(vb，vb，tj)
ꢀꢀ
(6)
[0029]
va，vb∈v，e
ab
∈e，tj∈t，m＝(v，e，f)}
[0030]
其中，pm(e
ab
，tj)为tj时网格m上边e
ab
的热核值，t＝{t1，t2，...，tj}，α+β＝1，α＞0，β＞0。
[0031]
本发明的方法针对三维形状图像数据，通过对网格表面的连续热信号进行重采样而得到的边信号，与其他网格表示相比，hkm是一种时空信号，它相对完整地保留了形状内在几何结构信息，在特征提取方面优于现有的方法，在应用于3d网格的各种学习任务(如分类和分割)中获得了更高的准确率。
[0032]
还提供了一种三维网格表示方法的三维网格卷积神经网络模型，其包括：
[0033]
(1)基于hkm的卷积
[0034]
边e
ab
上卷积计算如下：
[0035][0036]
其中，p0，p1，p2，p3，p4是网络参数，h
ab
是边e
ab
的特征，j是其周围边的排序序号，h
′
ab
是边e
ab
卷积后的新特征；公式(7)中的五项分别对应于当前边的特征、周围边的特征之和、相对的周围边的特征差之和、周围边和当前边的特征差之和，相邻的周围边的特征差之和；
[0037]
(2)基于hkm的池化
[0038]
对于不规则网格的池化，采用边折叠方法简化网格数据结构，边折叠的过程：需要折叠的边被无限缩短为一个新的顶点，同时包含这条边的两个三角面片同时转化成两条新边。
[0039]
优选地，所述基于hkm的池化中，设计一个池化标准，以确定池化过程中哪条边塌陷：
[0040]
hc
ab
＝{h
ab
(1)-h
ab
(0)，h
ab
(2)-h
ab
(1)，
…hab
(t)-h
ab
(t-1)}
ꢀꢀ
(11)
[0041]
cri
ab
＝||hc
ab
||
l2
ꢀꢀꢀꢀ
(12)
[0042]
当cri
ab
值越小时，网格曲面在边e
ab
周围越平滑，则该边优先进行折叠，该融合准则通过时空变换，在融合过程中自适应地检测和保持网格的结构特征。
[0043]
优选地，使用该模型在shrec数据集上进行网格的分类；shrec-16为随机选取数据集中每类的16个样本最为训练数据集，其余的为测试数据集；
[0044]
shrec-10为随机选取数据集中每类的10个样本最为训练数据集，其余的为测试数据集。
[0045]
优选地，使用该模型在数据集human body上进行分割。
[0046]
优选地，执行数据集human body上语义分割结果可视化：第一列显示每边的分割预测结果，以下列显示池化后的简化网格结构，输入网格为2250条边，每次池化后的网格边数依次为1200、900和300；4组对应于4个人类样本，每组第一行显示该方法的结果，第二行是meshcnn的结果。
[0047]
以下更详细地说明本发明的技术方案。
[0048]
本发明提出一种基于热核网格表示的卷积神经网络模型，简称hkmcnn。三维网格、分类分割等均可应用此方案。
[0049]
1、热核网格表示
[0050]
定义ω为黎曼流形，r
+
×
ω上的任意光滑函数u满足下列条件：
[0051][0052]
其中，δ是流形空间的拉普拉斯算子，u是流形空间上的光滑函数，x是空间中任意一点。t是扩散时间。给定一个初始函数g满足u(x，0)＝g(x)，则上述公式存在唯一的解为u(u，i)＝e-tδ
g(x)。对于所有光滑函数u(x，0)＝g(x)都存在一个连续函数k(x，y)，称作热核函数
[0053]
e-tδ
＝∫p
t
(x，y)g(y)dy
ꢀꢀ
(2)
[0054]
p
t
代表扩散时间t时的热核值。给定流形空间中任意一点y，上述等式均成立。关于变量x的热核函数满足如下等式：
[0055][0056]
用laplace-beltrami算子的特征函数和特征向量表示，p
t
(x，y)可以分解为：
[0057][0058]
其中，λi和分别为laplace-beltrami算子的第i个特征值和特征向量。
[0059]
网格是流形空间的逼近，可以容易地获得其顶点集上的热核值。针对网格拓扑结构的不规则性，本发明提出了一种边离散形式的热核网格表示。详细过程如下：
[0060]
定义三网格m＝(v，e，f)，其中顶点集v＝{v1，v2，...，vn，}，边集e＝{e
ij
|e
ij
＝(vi，vj)}，面片集f＝{f
ijk
，(vi，vj，vk)}。定义顶点离散的热核为：
[0061][0062]
其中，λi和分别为laplace-beltrami算子的第i个特征值和特征向量。
[0063]
给定时间tj和边e
ab
，定义该边的热核为αpm(va，va，tj)+βpm(vb，vb，tj)，α，β是可调参
数且满足α+β＝1。由此，可用热核网格(hkm)对三维网格进行表示。对hkm给出了严格的数学定义：
[0064]
hkm＝{pm(e
ab
，tj)|pm(e
ab
，tj)＝αpm(va，va，tj)+βpm(vb，vb，tj)
ꢀꢀ
(6)
[0065]
va，vb∈v，e
ab
∈e，tj∈t，m＝(v，e，f)}
[0066]
其中，t＝{t1，t2，...，tj}，α+β＝1，α＞0，β＞0。
[0067]
2、热核网格卷积神经网络模型
[0068]
(1)热核网格卷积
[0069]
虽然一条边的周围边的数目固定，但顺序是不确定的，这将导致可变卷积，影响网络的鲁棒性。为了克服这个问题，本发明设计了一个具有不变性的卷积运算，边e
ab
上卷积计算如下：
[0070][0071]
其中，p0，p1，p2，p3，p4是网络参数，h
ab
是边e
ab
的特征，j是其周围边的排序序号。h
′
ab
是边e
ab
卷积后的新特征。如图1，公式(7)中的五项分别对应于当前边的特征、周围边的特征之和、相对的周围边的特征差之和、周围边和当前边的特征差之和，相邻的周围边的特征差之和。
[0072]
(2)热核网格池化
[0073]
对于不规则网格的池化，采用边折叠方法简化网格数据结构。边折叠的过程：需要折叠的边被无限缩短为一个新的顶点，同时包含这条边的两个三角面片同时转化成两条新边。在特征提取中，选择折叠哪条边进行池化是关键问题。为了解决这个问题，根据hkm表示设计了新的池化准则。
[0074]
设g是一个定义在黎曼流形的函数，离散laplace-beltrami算子通常表示为：
[0075][0076]
其中，n(v)表示顶点v周围的顶点集。dv与通过连接顶点v周围三角面片的外心得到的面积有关，w
v，v
′
表示边的权值。由于特征h
ab
是定义在可微流形上的实值函数，将δg(v)替换为h
ab
(t)，方程(8)可更新为：
[0077][0078]hab
随着时间变化有：
[0079]hab
(t+1)-h
ab
(t)
ꢀꢀ
(10)
[0080]
根据热方程，可以观察到：当时间固定时，某一点的热量随时间的变化相当于从一点到另一点的热传递。受观察结果的启发，式(9)和式(10)之间有很强的相关性。式(9)表示同一时间间隔内边e
ab
的特征与区域n(e
ab
)中边特征之间的差异，反映了该区域空间结构的变化程度。式(10)表示不同时间间隔的e
ab
特征差异。可以观察到两个事实：第一，对于热方
程的解函数，函数值随时间的变化与空间的变化成正比。第二，如果热方程定义在欧氏空间上，则热核函数的卷积函数也满足该方程。因此，利用hkm特征在时域的变化来反映空域的变化是合理的。由此，本发明设计了一个池化标准，以确定池化过程中哪条边塌陷：
[0081]
hc
ab
＝{h
ab
(1)-h
ab
(0)，h
ab
(2)-h
ab
(1)，
…hab
(t)-h
ab
(t-1)}
ꢀꢀ
(11)
[0082]
cri
ab
＝||hc
ab
||
l2
ꢀꢀ
(12)
[0083]
当cri
ab
值越小时，网格曲面在边e
ab
周围越平滑，则该边优先进行折叠。该融合准则通过时空变换，在融合过程中自适应地检测和保持网格的结构特征。
[0084]
为了验证所提方案的有效性，将所发明的模型和现有的三维网格分类分割模型做了比较。
[0085]
(1)3d网格分类实验结果
[0086]
在shrec数据集上进行网格的分类。shrec-16为随机选取数据集中每类的16个样本最为训练数据集，其余的为测试数据集；shrec-10为随机选取数据集中每类的10个样本最为训练数据集，其余的为测试数据集。(无特殊说明，实验时进行数据扩充)
[0087]
表1 hkmcnn和其他方法在数据集shrec的分类结果
[0088][0089]
表2数据无扩充情况下hkmcnn和meshcnn在数据集shrec的分类结果
[0090][0091]
由表1可知，相比于其他方法本发明所提的网络模型可以取得更高分类准确率。表2是在数据无扩充的情况下进行对比的实验结果。结果显示：在数据无扩充的情况下，本发明的模型依旧可以得到很高的分类准确率。
[0092]
图3展示了4组池化后特征的对比结果，每组第一行为本发明实验结果，第二行为meshcnn的实验结果。第一列为输入，第二列至第五列依次为边数为600，450，300，180的网格池化结果。由此可以看出，本发明提出的模型可以更好的提取到网格的特征。
[0093]
(2)3d网格分割实验结果
[0094]
表3和表4是hkmcnn和其他方法在数据集human body上的分割结果。
[0095]
表3 hkmcnn和其他方法在数据集human body上的分割结果
[0096][0097]
表4数据无扩充情况下hkmcnn和meshcnn在数据集human body的分割结果
[0098][0099]
实验结果表示，和其他方法相比较，本发明提出的网络模型在有/无数据扩充的情况下都有更高的分割准确率。
[0100]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。