专利名称：三维模型检索装置及其方法和模型库生成装置及其方法
技术领域：
本发明一般地涉及三维模型检索。具体而言，本发明涉及一种基于二维图像的三维模型检索装置及其方法和三维模型库生成装置及其方法。
背景技术：
随着三维数据获取、计算机辅助设计、图形硬件技术的进步，三维模型的数量急剧增加，这些模型分布在网络上和各种特定的数据库中。另一方面，设计具有高精度的三维模型不仅花费高而且费时。因此，现有模型的有效利用显得相当重要，然而从大量模型中寻找有用的模型却是一项困难的工作。学者们进行了大量的研究工作，致力于找到有效的三维模型检索方法。目前，学者们已经提出了多种三维模型检索方法，这些方法可大致分为两类基于关键字的检索方法和基于内容的检索方法。前面一种方法从语义层次上描述三维模型，模型的特征由一系列描述性的文字组成，比如尺寸、材料、颜色和类别等；早期三维模型数量不大，这种方法比较实用。后面一种方法在模型检索过程中，将模型自身的内容考虑在内。 随着模型数量的急剧增加，研究重点越来越集中到基于内容的检索技术上来。现有的基于内容的检索方法可大致分为三类基于特征向量的方法、基于拓扑结构的方法和基于二维图像的方法。在基于特征向量的检索方法中，用一个特征向量来描述三维物体。其中，形状分布是一种最有名的方法。关于形状分布法的细节，可参见非专利文献1。这类方法在特征提取和模型比较方面具有很高的效率。然而，由于特征向量比较简单，模型的信息描述不够准确，因此检索的准确性不理想。这类方法简单、高效，因此它们可以作为预分类手段集成到其它方法中。在基于拓扑结构的检索方法中，三维模型的结构特征以树或图的方式表示，然后利用树或图匹配的方法来比较两个模型，细节可参见非专利文献2。拓扑结构提供了三维模型形状的直观而重要的信息，并且这种特征具有仿射不变性。然而，拓扑结构对模型的细微变形比较敏感，而且树或图匹配过程比较费时，这些缺点限制了该类方法的实际应用。在基于二维图像的检索方法中，基于三维模型生成一系列的二维图像，然后通过比较相应的二维图像来对三维模型进行比较。其中，非专利文献3中所述的光场描述符法和非专利文献4中所述的特征视图法是使用最为广泛的基于二维图像的模型检索方法。在非专利文献3所述的方法中，利用10个光场描述符来表达一个三维模型的特征，而每一个光场描述符由10个图像的特征构成，通过比较这些光场描述符来对模型进行比较。在基于三维模型生成二维图像时，将一个正十二面体放置于模型的中心，然后利用正十二面体的二十个顶点作为视点，通过正交投影产生20幅二值图像，其中以两个处于相对位置的顶点为视点的两幅图像是相同的，因此保留十幅图像，基于这十幅图像生成一个光场描述符。通过旋转正十二面体可以得到不同的图像，进而得到不同的光场描述符。在非专利文献3的方法中，生成10个光场描述符，利用匹配图像间距离的累加来比较两个光场描述符。在得到10个光场描述符的过程中，总共需要渲染100幅图像。非专利文献4所述的基于特征视图的方法中，将正二十面体放置在三维模型的中心，然后将正二十面体的各个多边形分割以得到80个均勻分布的多边形，然后以这80个多边形的中心作为视点，利用正交投影得到最初的80个视图。对每一个三维模型，从初始的 80个视图中，选择一些有代表性的视图。然后基于贝叶斯概率理论，从模型的所有代表视图中找到与检索图像对应的代表视图，进而计算索引与数据库模型之间的相似性。根据一些综述性文献，较之基于特征向量的检索方法和基于拓扑的检索方法，基于二维图像的检索方法可取得更好的检索结果，详情可参见非专利文献5和6。另外，专利文献7也提出了一种基于二维图像的三维模型检索装置及方法。但是，在上述各文献中提到的基于二维图像的方法，由于图像数量比较大，因此在特征提取和模型比较的过程中比较费时，限制了它们的实际应用。# # ^lJ ^； K 1 :R. Osada, R. Funkhouser, Τ. Chazelle =Shapedistributions. ACM Transactions on Graphics，21 (5)，807—832 (2002)。非专禾Ij 文 M 2 :M. Hilaga, Y. Shinagawa, Τ. Kohmura, Τ. L. Kunii =Topology matching for fully automatic similarity estimation of 3D shapes. Proceedings SIGGRAPH, 203—212 (2001)。非专利文献 3 :C. Ding-Yun, T. Xiaopei, S. Yute, 0. Ming :0n visualsimilarity based 3D model retrieval. Proceedings of European association for Computer Graphics, 22 (3)，223—232 (2003)。非专利文献 4 :T.F.Ansqry，J. Vandeborre，MDaoudi :A framework for 3D CAD models retrieval from 2D images. Annual of telecommunications technologies and tools for 3D imaging. Vol. 60(11-12)，2005。非专禾U 文献 5 :P. Shilane, P. Min, Μ. Kazhdan, Τ. Funkhouser :The Priceton shape benchmark. Proceedings of the international conference on Shape modeling, 167—178(2004)。非专利文献 6 :N. Iyer, S. Jayanti, K. Ramani :An engineering shape benchmark for 3D models. Proceedings of ASME IDETC/CIE，24—28 (2005)。专利文献7 发明名称为“三维模型检索装置及方法”、申请日期为2007年7月20 日的中国专利申请第200710136197. 1号。
发明内容
有鉴于此，本发明提出了一种基于二维图像的三维模型检索装置及其方法和三维模型库生成装置及其方法，能够更高效地实现三维模型检索。为了实现上述目的，根据本发明的一个方面，提供了一种三维模型检索装置包括 模型归一化单元，配置为对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原点一致；二维图像生成单元，配置为在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；模型描述单元，配置为基于所述二维图像，生成所述三维模型的模型描述符；以及检索单元，配置为基于所述模型描述符，在模型库中检索出与所述三维模型相匹配的三维模型。根据本发明的另一个方面，提供了一种三维模型检索方法，包括对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致， 并且所述三维模型的重心与系统坐标系的原点一致；在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；基于所述二维图像，生成所述三维模型的模型描述符；以及基于所述模型描述符，在模型库中检索出与所述三维模型相匹配的三维模型。根据本发明的再一个方面，提供了一种模型库生成装置，包括模型归一化单元， 配置为对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原点一致；二维图像生成单元，配置为在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；以及模型描述单元，配置为基于所述二维图像，生成所述三维模型的模型描述符。根据本发明的又一个方面，提供了一种模型库生成方法，包括对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原点一致；在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；以及基于所述二维图像，生成所述三维模型的模型描述符。另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述三维模型检索方法和模型库生成方法。此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述三维模型检索方法和模型库生成方法。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中图1示出了根据本发明第一实施例的三维模型检索系统的示意结构方框图；图2是本发明中根据Normal-PCA法计算三角形面积和法线方向时的概念图；图3示出了主轴方向检测结果的一些例子；图4示出了根据本发明一个实施例的三维模型检索系统中包括的二维图像生成单元的示意结构方框图；图5示出根据本发明的一个实施例的多边形填充的示意图；图6示出了根据本发明第二实施例的三维模型检索系统的示意结构方框图；图7示出了根据本发明的一个实施例的三维模型检索方法的示意流程图；图8示出了根据本发明的一个实施例的二维图像生成过程的示意流程图；图9示出根据本发明的一个实施例的模型库生成方法的示意流程图；以及
图10示出可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。
具体实施例方式在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。另外，还需要指出的是，在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结
I=I O图1示出了根据本发明第一实施例的三维模型检索系统的示意结构方框图。在根据该实施例的三维模型检索系统中，三维模型检索装置110通过对三维模型查询120和模型库130中的三维模型进行分析，从模型库130中检索出与所输入的三维模型查询120相匹配的三维模型，并最终输出查询结果。用于输入三维模型查询120的输入装置可以是能够输入模型查询120的任意输入装置，例如键盘、鼠标、触摸屏、存储介质接口(包括磁盘驱动器、光盘驱动器等)、网络接口，等等。用于输出查询结果的输出装置可以是能够输出检索到的三维模型的任意输出装置，例如显示器、网络接口、存储介质接口等等。模型库130可以由构建在存储器(包括本地存储器和网络存储器)上的数据库构成，存储了大量的三维模型。根据该实施例的三维模型检索装置110包括模型表面处理单元1101、模型归一化单元1103、二维图像生成单元1105、模型描述单元1107、以及检索单元1109。模型表面处理单元1101将三维模型的表面转换为多边形网格的形式。模型归一化单元1103对三维模型进行旋转和/或平移，使得三维模型的主轴方向与三维空间的坐标轴方向一致，并且三维模型的重心与系统坐标系的原点一致。二维图像生成单元1105在系统坐标系的各个坐标轴的正负方向上分别对三维模型进行多边形网格投影，生成多个二维图像。模型描述单元1107基于所生成的二维图像，生成三维模型的模型描述符。检索单元1109基于所生成的模型描述符，在模型库130中检索出与要查询的三维模型120相匹配的三维模型。最后将所检索到的相匹配的三维模型作为查询结果输出。在此需要指出的是，在该实施例的三维模型检索装置110中的模型表面化处理单元1101为可选单元，可以根据需要选择。在不包括模型表面化处理单元1101的情况下，所输入的三维模型为已经进行了网格化处理的三维模型。三维模型检索装置110可以由个人计算机、工作站、PDA(个人数字助理)等的信息处理设备实现。信息处理设备的结构将在下文中结合附图10进行详细描述。具体而言， 可以通过信息处理设备的CPU (中央处理器)和相应的程序来实现模型表面处理单元1101、 模型归一化单元1103、二维图像生成单元1105、模型描述单元1107、以及检索单元1109。
接下来将对本实施例的三维模型检索装置110的各个部分进行详细的说明。当输入了三维模型查询时，该三维模型查询首先被传送到三维模型检索装置110 的模型表面处理单元1101中，在此将三维模型的表面转换为多边形网格的形式，比如三角形网格、四边形网格等等。在对三维模型进行网格化处理之后，模型表面处理单元1101将多边形网格形式的三维模型传送给模型归一化单元1103。在模型归一化单元1103中，对三维模型进行归一化，使三维模型的主轴方向与系统坐标系的坐标轴一致，并使三维模型的重心与系统坐标系的原点一致，以便于进行接下来的处理。一般而言，三维模型可以任意方向处于三维空间的任意位置。为了进行归一化， 需要对三维模型进行平移和旋转。对于平移，首先计算出三维模型的重心坐标，然后对三维模型进行平移变换，使得三维模型的重心成为系统坐标系的原点。对于三维模型的平移变换可以采用本领域公知的方法，这里省略详细的说明，而集中关注于旋转变换。在现有技术中，已经提出了一些对三维模型进行旋转变换的方法，例如主成分分析(principal component analysis :PCA)。然而，试验发现，对于一些相似的模型，主成分分析无法得到稳定的主方向。对此，本发明的发明人已经在上述专利文献7中提出了一种称为 Normal-PCA(N-PCA)的模型归一化方法。在这种方法中，首先提取模型的主轴方向，然后利用提取到的主轴方向归一化三维模型。三维模型通常由三角形网格构成，而三角形的法线方向的分布提供了模型的方向信息。因此，在本发明的N-PCA法中，考虑模型中的所有三角形的法线方向的分布信息来检测模型的主轴方向。下面对通过N-PCA法对三维模型进行旋转归一化的过程进行详细的说明。首先，计算各个三角形、的面积屮和法线方向
权利要求
1.一种三维模型检索装置，包括模型归一化单元，配置为对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原占一致.二维图像生成单元，配置为在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；模型描述单元，配置为基于所述二维图像，生成所述三维模型的模型描述符；以及检索单元，配置为基于所述模型描述符，在模型库中检索出与所述三维模型相匹配的三维模型。
2.根据权利要求1所述的三维模型检索装置，还包括模型表面处理单元，配置为将所述三维模型的表面转换为多边形网格的形式。
3.根据权利要求2所述的三维模型检索装置，其中所述二维图像生成单元包括多边形处理部分，配置为将穿越投影平面的多边形划分为处于投影平面的正向的正向多边形和处于投影平面的负向的负向多边形；以及多边形填充部分，配置为分别对各个坐标轴的正负方向上的多边形在相应投影平面上的投影多边形进行填充，以生成所述二维图像。
4.根据权利要求3所述的三维模型检索装置，其中对于各个坐标轴的正负方向上的多边形，所述多边形填充部分计算每个多边形的各个顶点在投影平面上的垂足，并且填充由垂足构成的多边形区域。
5.根据权利要求4所述的三维模型检索装置，其中所述多边形为三角形或四边形。
6.根据权利要求1至5任一所述的三维模型检索装置，其中所述检索单元计算所述三维模型的24个特征向量与模型库中的三维模型的相应特征向量之间的距离，以在模型库中检索出与所述三维模型相匹配的三维模型。
7.—种三维模型检索方法，包括对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原点一致；在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；基于所述二维图像，生成所述三维模型的模型描述符；以及基于所述模型描述符，在模型库中检索出与所述三维模型相匹配的三维模型。
8.—种模型库生成装置，包括模型归一化单元，配置为对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原占一致.二维图像生成单元，配置为在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；以及模型描述单元，配置为基于所述二维图像，生成所述三维模型的模型描述符。
9.一种模型库生成方法，包括对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原点一致；在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；以及基于所述二维图像，生成所述三维模型的模型描述符。
全文摘要
本发明公开了一种三维模型检索装置及其方法和模型库生成装置及其方法。根据本发明的三维模型检索装置包括模型归一化单元，配置为对要查询的三维模型进行旋转和/或平移，使得所述三维模型的主轴方向与三维空间的坐标轴方向一致，并且所述三维模型的重心与系统坐标系的原点一致；二维图像生成单元，配置为在所述系统坐标系的各个坐标轴的正负方向上分别对所述三维模型进行多边形网格投影，生成多个二维图像；模型描述单元，配置为基于所述二维图像，生成所述三维模型的模型描述符；以及检索单元，配置为基于所述模型描述符，在模型库中检索出与所述三维模型相匹配的三维模型。
文档编号G06F17/30GK102375831SQ20101025461
公开日2012年3月14日 申请日期2010年8月13日 优先权日2010年8月13日
发明者于浩, 刘汝杰, 增本大器, 王月红, 远藤进, 长田茂美 申请人:富士通株式会社