技术特征：
1.一种零样本草图三维点云检索方法，其特征在于，所述方法包括以下步骤：从手绘草图中随机抽取一个来自相同类别点云作为正样本以及一个来自不同类别点云作为负样本，构成三元组输入；构建基于草图特征提取分支和点云特征提取分支的草图
‑
点云双分支特征提取网络；基于草图特征提取分支获取更具判别力的草图特征；基于点云特征提取分支以点云特征投影的方式提取点云主视图、俯视图和左视图三视图方向特征并融合，从而获取与草图特征在物理意义和特征结构上相似的点云特征；构建由交叉重建约束、三元组约束和语义重建约束组成的交叉重建约束机制对网络进行训练，得到跨模态更加一致的特征表示，实现零样本草图三维点云检索。2.根据权利要求1所述的一种零样本草图三维点云检索方法，其特征在于，所述点云特征提取分支将点云正样本体素化并旋转，通过三个特征投影模块分别提取旋转后的三维点云特征并将其映射到二维空间，得到与草图特征在物理意义和特征结构上相似的点云主视图、俯视图和左视图特征；进行点云主视图、俯视图和左视图特征的融合获取到正样本的点云特征，同理获取负样本的点云特征。3.根据权利要求1所述的一种零样本草图三维点云检索方法，其特征在于，所述交叉重建约束为：点云重建约束和草图重建约束的加权总和，将点云正样本特征送入草图重建解码器得到重建的草图、草图特征送入点云重建解码器得到重建的点云；点云重建约束通过计算重建得到的点云与点云正样本之间的距离，来约束重建点云的几何位置；草图重建约束通过逐像素地计算重建得到的草图与输入草图之间的距离，约束重建草图与真实草图的相似性。4.根据权利要求1所述的一种零样本草图三维点云检索方法，其特征在于，所述语义重建约束为：将点云正样本嵌入特征和草图嵌入特征送入语义特征解码器进行语义重建，得到重建词向量；计算所述重建词向量与对应类别词向量之间的余弦距离，约束重建词向量与类别词向量的一致性。5.根据权利要求2所述的一种零样本草图三维点云检索方法，其特征在于，所述特征投影模块由3层子流形卷积、3层稀疏卷积以及1个空间注意力单元组成。6.根据权利要求3所述的一种零样本草图三维点云检索方法，其特征在于，所述草图重建解码器由5层反卷积层构成，点云重建解码器由5层全连接层构成。7.根据权利要求5所述的一种零样本草图三维点云检索方法，其特征在于，所述语义特征解码器由3层全连接层构成。8.根据权利要求3所述的一种零样本草图三维点云检索方法，其特征在于，所述点云重建约束的表达式为：
其中，x为点云p
+
中的任意一点，y为重建得到的点云p'中的任意一点。9.根据权利要求3所述的一种零样本草图三维点云检索方法，其特征在于，所述草图重建约束l
mse
(s',s)的表达式定义为：其中，m为草图中的任意一个像素点，n为重建得到的草图中的任意一个像素点，n为草图中像素的总数。10.根据权利要求4所述的一种零样本草图三维点云检索方法，其特征在于，所述语义重建约束的表达式为：其中，和w
s
为重建词向量，w为词向量。
技术总结
本发明公开了一种零样本草图三维点云检索方法，包括：从手绘草图中随机抽取一个来自相同类别点云作为正样本以及一个来自不同类别点云作为负样本，构成三元组输入；构建基于草图特征提取分支和点云特征提取分支的草图
技术研发人员：雷建军 陈琳 彭勃 宋嘉慧 潘兆庆
受保护的技术使用者：天津大学
技术研发日：2021.08.20
技术公布日：2021/11/8