构建3D模型特征向量和根据图像特征搜索3D模型方法与流程

本发明涉及用于计算机的3d建模和模型特性的抽取，涉及应用电子设备进行识别的方法，尤指一种构建3d模型特征向量和根据图像特征搜索3d模型的方法。

背景技术：

随着互联网技术的发展，3d技术的不断进步，将会有越来越多的互联网应用以3d模型的方式呈现给用户，包括网络游戏、虚拟社区、电子商务、远程教育、家装、工业设备、bim建筑等等，各个行业的3d模型资源越来越多，而3d模型越来越复杂，如何快速的找到用户想要的3d模型资源，就成为了一个需要迫切解决的问题。类似于输入图像搜索图像的技术应用，用户也希望输入图像搜索3d模型资源。

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。

深度学习(deeplearning,dl)是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。

目前没有相关的模型搜索项目先例，而在较为成熟的“以图搜图”领域，传统搜索方法更多地注重图像色彩，而忽视了图像的纹理、形状等特征。基于深度学习的图像搜索技术，可以提取图像的高级语义信息，兼顾了颜色、纹理等特征，目前成为研究的热点。

技术实现要素：

针对现有技术的缺失和科技术发展的需求，本发明的目的在于提供一种构建3d模型特征向量和根据图像特征搜索3d模型的方法。

所述3d模型是一个虚拟的三维事物，关键特征有在一个三维坐标空间下的颜色、形状、角度、大小、尺寸、贴图图案、材质、纹理，而三维空间的模型视觉特征是多个平面角度的二维图像特征集合。

本发明解决其技术问题所采用的技术方案之一是：提供一种构建3d模型特征向量的方法，包括如下步骤：

s11.对3d模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；(投影图的数量无限制，是综合搜索准确度和搜索时间得到一个合理值。理论上投影图越多，搜索结果越准确，但是当投影图数量过多时会造成检索时间过长，影响到最终的结果展示体验。)

s12.将得到的二维投影图像作为resnet50深度学习网络的输入，提取resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3d模型的多个投影特征提取成向量，存储在服务器的文件系统中；

s13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中。

本发明解决其技术问题所采用的技术方案之二是：根据图像特征搜索3d模型的方法，其特征在于包括如下步骤：

s21.提供一个搜索入口，允许用户上传图像和进行搜索操作。

s22.将搜索请求上送的图像作特征向量提取；

s23.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同文件服务器中二维投影向量的特征匹配比对,比对时，评价标准是曼哈顿距离

其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；

x1k，下标k表示维度，x1k是一个维度空间下的点坐标；

x2k，同上x2k是有别于x1k是同一个空间维度下的另一个点坐标，两者间的距离即为曼哈顿距离和向量内积

为二维空间内的向量a的大小；

为二维空间内的向量b的大小；

θ为向量a和b的夹角；

(当采用曼哈顿距离时，距离越小，向量越接近，图像越相似；采用向量内积时，内积越大，向量间夹角越小，图像越相似。)图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得该批投影的索引；

s24.根据筛选后的投影索引，通过数据库查询定位到具体的3d模型资源文件，并作为搜索结果返回；

s25.展示搜索到的3d模型。

本发明提取搜索图像的特征，通过分布式计算平台spark，逐一和存于hdfs中的每个模型的投影向量比较，得到特征匹配最接近的投影，然后通过数据库索引找到对应的模型资源地址，最后将3d模型资源通过网页的形式展示给客户

与现有技术相比，本发明的优点是：以图像搜索3d模型，可以方便用户在没法用文字准确描述3d模型特征时，在海量的模型库中，直观快捷的找到模型资源。

附图说明

下面结合附图对本发明作进一步的描述。

图1是本发明构建3d模型特征向量流程示意图。

图2是本发明根据图像特征搜索3d模型的方法流程示意图，

具体实施方式

参见附图，本发明一种构建3d模型的方法的一个具体实施例，包括如下步骤：

s31.对3d模型文件做二维投影处理,包括如下步骤：

s311.将一个3d模型水平放置，先从顶部视角和底部视角渲染两张图像；

s312.将模型按水平方向逆时针递增旋转，每旋转45度渲染一张图像，360度旋转后得到8张图像；

s313.将模型沿水平线向上倾斜45度，沿倾斜角逆时针水平递增旋转，每旋转45度渲染一张图像，得到8张图像；

s314.将模型沿水平线向下倾斜45度，依照步骤s313方法旋转渲染，同样得到8张图像；

s315.综上共得到26张投影图；

s32.将得到的26张二维投影特征图像作为resnet50深度学习网络的输入，提取resnet50最后一层卷积特征，形成512维的归一化向量，网络输入为224×224×3尺寸的图像，先将图像进行resize，特征提取过程采用resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3d模型的26个投影特征提取成向量存储在云服务器的分布式文件系统hdfs中，每一个模型的26个投影是一个具有关联关系的集合；

s33.对每一个投影向量建立数据库索引，同时将同一模型资源的投影向量索引之间的关联关系则保存在数据库表中。

本发明一种根据图像特征搜索3d模型的方法的一个具体实施例，包括如下步骤：

s41.提供一个搜索入口，允许用户上传图像和进行搜索操作。

s42.将搜索请求上送的图像作特征提取，获取搜索图像的特征向量；

s43.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同二维投影向量文件服务器中的投影特征匹配比对,比对时，评价标准是曼哈顿距离

其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；

x1k，下标k表示维度，x1k是一个维度空间下的点坐标；

x2k，同上x2k是有别于x1k是同一个空间维度下的另一个点坐标，两者间的距离即为曼哈顿距离和向量内积

为二维空间内的向量a的大小；

为二维空间内的向量b的大小；

θ为向量a和b的夹角；

图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得该批投影的索引；

s44.根据筛选后的投影索引，通过数据库查询定位到具体的3d模型资源文件，并作为搜索结果返回；

s45.展示搜索到的3d模型。