一种零样本草图三维点云检索方法

1.本发明涉及三维点云检索领域，尤其涉及一种零样本草图三维点云检索方法。


背景技术：

2.草图三维模型检索旨在根据给定的手绘草图从三维模型库中检索对应的三维模型，目前已广泛应用于工业设计等领域。现有的草图三维模型检索方法大多使用多视图表示三维模型。然而，从多视图中提取三维模型的立体结构信息难度较大，且不同视角的视图信息存在冗余。点云是三维模型空间点的集合，其充分保留了三维模型的空间结构信息，在三维重建、目标检测等领域得到了广泛应用。随着三维点云模型的增加，对点云进行检索的需求也将逐渐增长。因此，草图三维点云检索具有重要的研究意义和应用价值。
3.现有的二维到三维跨模态检索方法分别提取不同模态的特征，然后在共同的嵌入空间使用度量学习策略对齐跨模态特征。例如，jing等人采用不同的特征提取网络分别提取点云、网格和图像特征，然后通过跨模态中心损失拉近同类别特征间距离、拉远不同类别特征间距离，从而使得嵌入空间中相同类别跨模态特征分布聚集、不同类别跨模态特征之间能够区分。然而，所提取的三维点云特征从特征结构以及物理意义上均与卷积提取的二维图像特征具有较大差异，因此难以有效地减小跨模态差异。此外，该类方法需要大规模标注，其性能依赖于在此基础上训练学习到的类别先验知识，在从未见过的新类别上难以获得较好的性能。
4.如何提取二维草图与三维点云跨模态一致的特征表示，在减少跨模态差异的同时提高网络的泛化能力是草图三维点云检索任务的关键。此外，零样本设置要求在有限类别上训练的网络模型适用于更多类别，以提高网络的泛化能力，从而使得网络能够应用于更多实际场景。因此，基于跨模态相关性探索零样本草图三维点云检索方法至关重要。


技术实现要素：

5.为了学习二维草图与三维点云跨模态一致的特征表示并有效提高网络的泛化能力，本发明提出了一种零样本草图三维点云检索方法，以点云特征投影的方式显式地减小跨模态差异，并通过交叉重建约束机制进一步学习跨模态一致的特征表示，从而提升零样本草图三维点云检索准确率，详见下文描述：
6.一种零样本草图三维点云检索方法，所述方法包括以下步骤：
7.从手绘草图中随机抽取一个来自相同类别点云作为正样本以及一个来自不同类别点云作为负样本，构成三元组输入；
8.构建基于草图特征提取分支和点云特征提取分支的草图
‑
点云双分支特征提取网络；基于草图特征提取分支获取更具判别力的草图特征；基于点云特征提取分支以点云特征投影的方式提取点云主视图、俯视图和左视图三视图方向特征并融合，从而获取与草图特征在物理意义和特征结构上相似的点云特征；
9.构建由交叉重建约束、三元组约束和语义重建约束组成的交叉重建约束机制对网
络进行训练，得到跨模态更加一致的特征表示(草图特征和点云特征)，实现零样本草图三维点云检索。
10.其中，所述点云特征提取分支将点云正样本体素化并旋转，通过三个特征投影模块分别提取旋转后的三维点云特征并将其映射到二维空间，得到与草图特征在物理意义和特征结构上相似的点云主视图、俯视图和左视图特征；
11.进行点云主视图、俯视图和左视图特征的融合获取到正样本的点云特征，同理获取负样本的点云特征。
12.优选地，所述交叉重建约束为：点云重建约束和草图重建约束的加权总和，将点云正样本特征送入草图重建解码器得到重建的草图、草图特征送入点云重建解码器得到重建的点云；
13.点云重建约束通过计算重建得到的点云与点云正样本之间的距离，来约束重建点云的几何位置；草图重建约束通过逐像素地计算重建得到的草图与输入草图之间的距离，约束重建草图与真实草图的相似性。
14.优选地，所述语义重建约束为：将点云正样本嵌入特征和草图嵌入特征送入语义特征解码器进行语义重建，得到重建词向量；计算所述重建词向量与对应类别词向量之间的余弦距离，约束重建词向量与类别词向量的一致性。
15.进一步地，所述特征投影模块由3层子流形卷积、3层稀疏卷积以及1个空间注意力单元组成。
16.其中，所述草图重建解码器由5层反卷积层构成，点云重建解码器由5层全连接层构成。
17.优选地，所述语义特征解码器由3层全连接层构成。
18.进一步地，所述点云重建约束的表达式为：
[0019][0020]
其中，x为点云p
+
中的任意一点，y为重建得到的点云p'中的任意一点。
[0021]
其中，所述草图重建约束l
mse
(s',s)的表达式定义为：
[0022][0023]
其中，m为草图中的任意一个像素点，n为重建得到的草图中的任意一个像素点，n为草图中像素的总数。
[0024]
进一步地，所述语义重建约束的表达式为：
[0025][0026]
其中，和w
s
为重建词向量，w为词向量。
[0027]
本发明提供的技术方案的有益效果是：
[0028]
1、本发明提出了一种零样本草图三维点云检索方法，通过探索草图
‑
点云之间的跨模态相关性，在减小跨模态差异的同时提高网络的泛化能力；
[0029]
2、本发明通过点云三视图方向特征投影，将三维点云特征投影至二维空间，从而得到与草图特征在物理意义和特征结构上相似的点云特征表示，显式地缩小跨模态差异；
[0030]
3、本发明通过交叉重建约束机制进一步鼓励网络学习跨域一致的特征表示，并通过语义重建保留特征中的语义信息，借助词向量中类别属性知识的迁移特性提升网络在不可见类别上的检索准确率。
附图说明
[0031]
图1为基于深度学习的零样本草图三维点云检索方法的流程图；
[0032]
图2为基于深度学习的零样本草图三维点云检索方法的框图；
[0033]
图3为不同方法在tu
‑
berlin数据集的草图数据和modelnet40数据集中对应类别的点云数据上进行的对比试验结果。
具体实施方式
[0034]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0035]
本发明实施例提出了一种零样本草图三维点云检索方法，参见图1和图2，该方法包括以下步骤：
[0036]
一、获取草图
‑
点云跨模态样本对
[0037]
对于手绘草图s，随机抽取一个来自相同类别点云作为正样本p
+
以及一个来自不同类别点云作为负样本p
‑
，构成三元组输入(s,p
+
,p
‑
)。
[0038]
二、构建草图
‑
点云双分支特征提取网络
[0039]
草图
‑
点云双分支特征提取网络包括：草图特征提取分支和点云特征提取分支。
[0040]
其中，草图特征提取分支首先使用一种基于深度学习的二维图像特征提取网络提取草图特征，然后引入空间注意力单元对草图特征进行增强，使得网络更加关注重要特征区域，最终获得更具判别力的草图特征f
s
。为了有效减小点云与草图之间的跨模态差异，设计点云特征提取分支提取点云特征。点云特征提取分支由三个并行的特征投影模块、视图池化层和二维特征提取模块构成。以点云正样本p
+
为例，首先将点云正样本p
+
体素化并旋转，然后通过三个特征投影模块分别提取旋转后的三维点云特征并将其映射到二维空间，得到与草图特征在物理意义和特征结构上相似的点云主视图、俯视图和左视图特征和从而显式地减小跨模态差异。每个特征投影模块均由3层子流形卷积、3层稀疏卷积以及1个空间注意力单元组成。
[0041]
其中，3层子流形卷积和3层稀疏卷积按照子流形卷积
‑
稀疏卷积
‑
子流形卷积
‑
子流形卷积
‑
稀疏卷积
‑
稀疏卷积的顺序搭建，该结构在提取旋转后体素特征的同时对高度维度进行压缩，得到投影至二维平面的点云特征。然后引入一个空间注意力单元，将投影至二维平面的点云特征增强。
[0042]
具体实现时，选用子流形卷积缓解传统卷积对稀疏点云数据进行特征提取时的子流形扩展问题，并且有效节约计算资源，为本领域技术人员所公知，本发明实施例在此不做赘述。
[0043]
在此基础上，通过视图池化层将三视图特征融合，公式表示如下：
[0044][0045]
其中，为三视图特征融合后得到的总特征。
[0046]
最后，为了得到与草图特征f
s
维度一致的特征，将送入二维特征提取模块进行进一步的特征提取，得到点云特征提取分支最终提取的点云正样本特征其中二维特征提取模块在本发明中基于vgg16后三组特征提取模块搭建，由9层全连接层、9层激活层和3层池化层组成。
[0047]
对于点云负样本p
‑
同样送入上述点云特征提取分支，得到点云负样本特征
[0048]
三、构建交叉重建约束机制
[0049]
交叉重建约束机制旨在鼓励网络学习适合于零样本草图点云检索的特征表示，交叉重建约束机制由交叉重建约束，三元组约束和语义重建约束组成。
[0050]
(1)交叉重建约束
[0051]
交叉重建约束旨在约束网络学习跨模态更加一致的点云特征和草图特征，包括：点云重建约束和草图重建约束两部分。
[0052]
具体来说，首先将点云正样本特征送入草图重建解码器得到重建的草图s'、草图特征f
s
送入点云重建解码器得到重建的点云p'。
[0053]
其中，草图重建解码器由5层反卷积层构成，点云重建解码器由5层全连接层构成。然后，点云重建约束通过计算重建得到的点云p'与点云正样本p
+
之间的距离，来约束重建点云的几何位置。点云重建约束l
cd
(p',p
+
)定义为：
[0054][0055]
其中，x为点云p
+
中的任意一点，y为重建得到的点云p'中的任意一点。
[0056]
此外，草图重建约束通过逐像素地计算重建得到的草图s'与输入草图s之间的距离，约束重建草图与真实草图的相似性。
[0057]
其中，草图重建约束l
mse
(s',s)定义为：
[0058][0059]
其中，m为草图s中的任意一个像素点，n为重建得到的草图s'中的任意一个像素点，n为草图s中像素的总数。
[0060]
最后，交叉重建约束l
rec
为点云重建约束l
cd
(p',p
+
)和草图重建约束l
mse
(s',s)的加权总和，公式如下所示：
[0061]
l
rec
＝l
mse
(s',s)+λl
cd
(p',p
+
)
ꢀꢀ
(4)
[0062]
其中，λ为用于平衡点云重建约束和草图重建约束的权重参数，在本发明实施例中设为0.01。交叉重建约束l
rec
通过跨模态特征的重建，使网络挖掘草图特征中包含的点云信息、点云特征中包含的草图信息，鼓励网络学习跨模态一致的特征，从而进一步缓解跨模态差异，提升检索的准确率。
[0063]
(2)三元组约束
[0064]
在交叉重建的同时，点云正样本特征点云负样本特征被送入点云特征嵌入模块，草图特征f
s
被送入草图特征嵌入模块，得到点云正样本嵌入特征点云负样本嵌入特征和草图嵌入特征f
sem
，其中点云特征嵌入模块和草图特征嵌入模块均由3层全连接层构成。
[0065]
为了提高检索准确率，需要嵌入空间中属于同一类别的跨模态特征分布尽可能聚集，属于不同类别的跨模态特征尽可能分散。
[0066]
因此，本发明实施例引入三元组约束作为距离度量函数，以缩小同类别跨模态特征间距离、增大不同类别跨模态特征间距离，该约束公式表示如下：
[0067][0068]
其中，m表示三元组约束中的偏置，m＞0，在本发明实施例中设为1。
[0069]
(3)语义重建约束
[0070]
为了保证嵌入特征中包含类别语义信息，本发明实施例引入语义重建约束，从而构建嵌入特征与类别词向量之间的映射关系，借助词向量中类别属性知识的迁移特性提升不可见类别的检索准确率。
[0071]
具体来说，首先将点云正样本嵌入特征和草图嵌入特征f
sem
送入语义特征解码器进行语义重建，从而得到重建词向量和w
s
，其中语义特征解码器由3层全连接构成。然后，利用余弦相似性函数构建语义重建约束，通过计算和w
s
与对应类别词向量w之间的余弦距离，约束重建词向量与类别词向量的一致性。语义重建约束l
sem
的定义如下：
[0072][0073]
(4)总体目标函数
[0074]
最后，交叉重建约束机制的总体目标函数为交叉重建约束，三元组约束和语义重建约束的总和：
[0075]
l
total
＝l
rec
+l
tri
+l
sem
ꢀꢀ
(7)
[0076]
通过总体目标函数l
total
对网络进行训练，有效减小了跨模态差异并保留类别语义信息，使得网络学习跨模态更加一致的特征表示，从而实现更为精确的零样本草图三维点云检索。
[0077]
本发明提出的方法在tu
‑
berlin数据集的草图数据和modelnet40数据集中对应类别的点云数据上进行了实验。此外，由于目前并无工作探索零样本草图三维点云检索任务，本发明将先进的零样本草图图像检索工作doodle中的图像特征提取部分网络改为广泛使用的点云特征提取网络dgcnn并在数据集上重新训练，得到了对比方法的检索结果。实验结果表明，所提出的方法优于对比方法doodle。图3展示了本发明提出的方法与doodle在评价指标“前100位检索结果准确率”和“平均精度均值”上的对比结果，两个评价指标的数值越小，代表方法性能越好。
[0078]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
[0079]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0080]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。