一种基于流行学习的视图三维模型检索方法与流程

本发明涉及视图三维模型检索领域，尤其涉及一种基于流行学习的视图三维模型检索方法。

背景技术：

近年来，随着多媒体技术的快速发展，人们从声音、图像以及视频中获取的信息已经不能满足需求。三维模型应运而生，并且其应用领域也变得越来越广泛^[1]。三维模型可以提供更加直观、生动形象的视觉感受，比二维图像包含更多的物体信息，因此广泛应用在3d游戏、虚拟现实、工业制造、医学图像等领域。如今互联网上三维模型数量不断增多、模型数据库也在不断增大，面对庞大的三维模型数据库，如何使得用户准确、快速的寻找到符合需求的三维模型，进而实现资源的快速利用成为众多学者研究热点。如何合理的描述三维模型即特征提取成为三维模型检索首先需要解决的难点问题^[2]。视图三维模型检索成为当下该领域的研究热点。

视图三维模型检索是基于计算机视觉、数字图像处理、多媒体信息分析以及机器学习等技术，借助计算机处理技术，对数据库中的三维模型的视图进行处理、分析以及比较的过程。当前，三维模型检索技术主要分为两类：基于文本的检索和基于内容的检索。

其中，基于文本的检索方式使用文本或者编码的方式对三维模型进行标注和分类，在早期的三维模型检索中起到了巨大的作用^[3]。该方法简单明了，易于操作与上手，但是由于标注时参与了过多的主观性，具有很强的片面性，所以并不能充分和准确的反映出原始三维模型所代表的全部信息。检索结果并不能很好的呈现用户的意图。

其中，基于内容的检索方式则主要通过研究三维模型的空间分布特征，预处理后通过特征提取函数，提取出三维模型的相关特征，将复杂的三维模型抽象为能够准确描述原始三维模型的描述子，然后进行相似性度量。这种方式避免了人工干预，很好的提高了检索的准确度。两类方法各有优劣，但是基于内容的检索能够利用发展较为成熟的二维图像处理技术而得到了广泛的应用。

目前在基于视图的三维模型检索中遇到的难点是：采集视图的时候，由于每个三维模型由多个视图组成，视图之间冗余信息过多，导致模型之间相似度计算的难度增加。

技术实现要素：

本发明提供了一种基于流行学习的多视图三维模型检索方法，避免了传统的视图检索中冗余信息，降低了模型间相似性度量的复杂度，提高了三维模型检索的精度，详见下文描述：

一种基于流行学习的视图三维模型检索方法，所述视图三维模型检索方法包括以下步骤：

在训练模型库中，进行数据标注构建能量函数，利用优化理论，学习传统视图特征向流行空间映射的映射函数，采用局部线性嵌入映射函数，通过样本训练得到模型参数；

利用映射函数计算测试数据在流行空间下的特征向量，作为特征数据库；从视图模型库中随机选择一物体作为查询目标，再选取任一物体作为比较目标；

理论分析进行相似度计算，采用欧氏距离计算两两模型之间的相似度；将查询目标在流行空间的特征向量、以及特征数据库中的所有模型在流行空间的特征向量进行匹配概率降序排列，得到最终的检索结果。

其中，所述训练模型库具体为：

选取模型数据库中部分物体的视图，将该部分物体的总视图集定义为训练模型库。

其中，所述利用映射函数计算测试数据在流行空间下的特征向量，作为特征数据库的步骤具体为：

计算出测试数据特征向量每个样本的k个近邻点；计算局部重建权值矩阵，定义重构误差函数；

利用局部线性嵌入映射函数对查询目标和比较目标的初始特征向量集进行映射，得到在流行空间下的特征向量集。

将损失函数值的特征值从小到大进行升序排列，取第2～d+1之间的特征值所对应的特征向量作为输出结果。

本发明提供的技术方案的有益效果是：

1、本发明通过对获取的三维模型的视图进行特征提取、流行空间映射、获取检索目标和数据库物体之间的相似度，提高了多视角目标检索的正确率；

2、解决了基于视图的三维模型检索算法中视图之间存在冗余信息的问题，降低了相似性度量的难度；

3、采用局部线性嵌入映射函数(lle)实现了三维模型在流行空间下的检索；

4、将视图三维模型检索应用到流行空间，很好的保留了三维模型的流行结构，比单纯的计算欧式距离，效果更好。

附图说明

图1为基于流行学习的多视图三维模型检索方法的流程图；

图2为流行学习的三维模型检索框图；

图3为三维模型在流行空间映射的示意图；

图4为彩色视图样例和初始视图样例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决以上问题，需要能够全面、自动、准确提取多视角目标的特征，进行流行空间的映射，最后进行检索匹配。研究表明：利用映射函数得到测试数据在流行空间的特征向量进行匹配，避免了传统的视图匹配存在的冗余信息的问题。

实施例1

本发明实施例提出了基于流行学习的视图三维模型检索方法，参见图1和图2，详见下文描述：

101：采集各物体的多视角彩色视图，提取掩膜后得到各物体的初始视图集，将所有物体的总试图集定义为模型数据库；

102：选取模型数据库中部分物体的视图，将该部分物体的总视图集定义为训练模型库；

103：在训练模型库中，进行数据标注构建能量函数，利用优化理论，学习传统视图特征向流行空间映射的映射函数，采用局部线性嵌入映射函数，通过样本训练得到模型参数；

104：利用映射函数计算测试数据在流行空间下的特征向量，作为特征数据库；从视图模型库中随机选择一物体作为查询目标，再选取任一物体作为比较目标，检索任务为从视图模型库中找到与查询目标相似的物体；

105：理论分析进行相似度计算，不失一般性的，采用欧氏距离计算两两模型之间的相似度；选取特征数据库中的下一个比较模型，重复上述步骤，直至遍历模型库中的所有模型；

106：将查询目标在流行空间的特征向量和特征数据库中的所有模型在流行空间的特征向量进行匹配概率降序排列，得到最终的检索结果。

其中，上述步骤104具体为：利用局部线性嵌入映射函数(lle)对查询目标和比较目标的初始特征向量集进行映射，得到在流行空间下的特征向量集。

综上所述，本方法通过上述步骤101-步骤106避免了传统的视图检索中冗余信息，降低了模型间相似性度量的复杂度，提高了三维模型检索的精度。

实施例2

下面结合图3图4、以及具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

201：首先采集n个物体的多视角彩色视图，提取掩膜后可以得到各个物体的初始视集vⁱ，将所有物体的总视图集v＝{v¹,v²,…vⁱ,…,v^s}定义为视图模型库md(modeldatabase)，其中i∈{1,2,…,s}；

本方法中首先采集n个物体的多视角彩色视图，过程如下：将三个kinect摄像头(此摄像头为本领域技术人员所公知，全称为“xbox360第一代kinect”，型号为1414)分别放置于可旋转工作台的水平、竖直和斜上方向45°三个视角。在工作台上对每个物体进行旋转拍摄ai张彩色视图(由于每个模型复杂度不一样，ai的具体数量可以设定为不同的数值，三个摄像头一共提取3ai张彩色视图，本发明实施例中设定为ai＝36)，示意图如图3所示。

然后对每个视图进行掩膜提取，即分离前景模型和背景区域。分离依据为，模型视图的rgb数值满足g-r/2-b/2＝0条件的区域判断为模型，否则判断为背景。提取掩膜后，即可得到各个模型物体的初始视图集示意图如图3所示。

其中，为第i个物体的第a张初始视图，a∈{1,2,…3ai}，3ai为每个物体的初始视图总数。将n个物体的初始视图集合并得到总初始视图集v＝{vⁱ,vⁱ,…,vⁱ,…,v^s}，将其定义为多视角模型库md(modeldatabase)，其中i∈{1,2,…,s}。

202：选取局部线性嵌入映射函数建立训练数据库；

其中，局部线性嵌入映射函数(locally-linearembedding，lle)、以及根据该映射函数建立训练数据库、训练模型参数的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

203：根据局部线性嵌入映射函数对测试数据在流行空间进行特征向量提取，作为特征数据库；

该步骤具体为：

1、计算出测试数据特征向量每个样本的k个近邻点；

其中，k的取值根据实际应用中的需要进行设定。

2、计算局部重建权值矩阵，定义重构误差函数；

其中，xi为第i个样本，xij(j＝1,2,…，k)为xi的k个近邻点，eij是xi与xij之间的权值，且不失一般性的，对权值进行归一化处理，即满足条件∑jeij＝1；n为样本个数。

由此可知，求局部重建权值矩阵，需要求出局部协方差矩阵r：

其中，表示第i个样本的j个近邻点的局部协方差矩阵；t代表转置矩阵；xim(m<j)为xi的第m个近邻点。

将∑jeij＝1和局部协方差矩阵相结合，并采用拉格朗日乘子法，即可求出局部重建权值矩阵：

其中，ri为i维的奇异矩阵，在后续计算中需要进行正则化转换；k为j(j＝1,2,…，k)的最大取值。

将所有样本点映射到低维空间中，满足条件：

上式中，∈(y)为损失函数值，yi是xi的输出值，yij(j＝1,2,…k)是yi的k个近邻点，且满足两个条件，即：

其中，i是m*m的单位矩阵。这里eij(j＝1,2,…,n)可以存储在n*n的稀疏矩阵e中，当xi是xj的近邻点时，损失函数可以重写为：

m是一个n*n的对称矩阵，m＝(i-e)^t(i-e)，e为n*n维的稀疏矩阵，t代表矩阵转置。

要使损失函数达到最小，则最优解y^*取∈(y)的最小d个非零特征值所对应的特征向量。也就是说，在处理过程中，将∈(y)的特征值从小到大进行升序排列，第一个特征值几乎接近于零，那么舍去第一个特征值，通常取第2～d+1之间的特征值所对应的特征向量作为输出结果。

204：从视图模型库中随机选择一物体作为查询目标，再选取任一物体作为比较目标，检索任务为从视图模型库中找到与查询目标相似的物体；

205：理论分析进行相似度计算，计算两两模型之间的相似度；选取特征数据库中的下一个比较模型，重复上述步骤，直至遍历模型库中的所有模型；

将高维的三维模型特征向量映射到低维后，不失一般性的，采用euclidean(欧氏距离)对模型之间的相似度进行度量。具体计算公式如下：

其中，wi为不同特征分量的权重。得到的结果进行降序排列，然后可以得到最优检索结果。

206：将查询目标在流行空间的特征向量和特征数据库中的所有模型在流行空间的特征向量进行匹配概率降序排列，得到最终的检索结果。

人脸模型中，每个角度视图看做一个数据点，每个像素是一个维度，那么一个n*m的图像就是一个nm维欧式空间中的一个点。根据具体模型采集视图的自由度，来决定这些点分布的流行维度。比如，如果模型采集出的视图自由度为3，那么这些点其实就是分布在三维流行上；因此，在流行空间中进行模型匹配，可以很好的考虑到模型的流行空间结构，以此使得匹配更加准确。

综上所述，本方法通过上述步骤201-步骤206避免了传统的视图检索中冗余信息，降低了模型间相似性度量的复杂度，提高了三维模型检索的精度。

参考文献：

[1]冯毅攀.基于视图的三维模型检索技术研究[d].浙江工业大学,2012.

[2]刘钰鹏,侯宇昆.基于视图的三维模型特征提取研究综述[j].中国新通信,2016(2016年06):99-99,100.

[3]石林林.基于视图的三维模型检索技术研究[d].华中科技大学,2014.

[4]徐鹏捷.基于内容的三维模型检索技术[d].广西师范大学硕士论文，2010.

[5]郑伯川，彭维，张引，等.3d模型检索技术综述[j].计算机辅助设计与图形学学报，2004，16(7)：873-881.

[6]kimtk,o,cipollar.boostedmanifoldprincipalanglesforimageset-basedrecognition[j].patternrecognition,2007,40(9):2475-2484.

[7]plessr,souvenirr.asurveyofmanifoldlearningforimages[j].ipsjtransactionsoncomputervision&applications,2009,1(1):83-94.

[8]tahmasbia,sakif,aghapanahh,etal.anovelbreastmassdiagnosissystembasedonzernikemomentsasshapeanddensitydescriptors[c]//biomedicalengineering(icbme),201118thiranianconferenceof.ieee,2011:100-104.

[9]shihjl,leech,wangjt.anew3dmodelretrievalapproachbasedontheelevationdescriptor[j].patternrecognition,2007,40(1):283-295.

[10]ansarytf,daoudim,vandeborrejp.abayesian3-dsearchengineusingadaptiveviewsclustering[j].multimedia,ieeetransactionson,2007,9(1):78-88.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。