基于手绘草图集成描述子的三维模型检索方法与流程

技术领域：

本发明属于计算机图形学领域，尤其涉及了一种基于手绘草图集成描述子的三维模型检索方法。

背景技术：

随着3d扫描与建模技术的发展，三维模型在日常生活中的应用也越来越普及，并逐渐成为各领域工作者设计图形方案的首选形式。因此，设计有效的检索系统帮助用户从大型三维模型数据库中找到所需的三维模型已经成为计算机图形学领域中的研究热点。检索三维模型最常用方法是基于实例的方法，用户提供现有三维模型作为查询输入，检索系统可以从数据库中返回类似的三维模型。然而考虑到普通用户未必拥有适当的三维模型，所以另一种方法是使用二维手绘草图作为查询输入，用户可以通过快速绘制二维草图来描述目标三维模型。但是，二维手绘草图仅仅是粗滤且简单的表示，仅包含原始三维模型的部分信息。因此，实现基于二维手绘草图的检索比基于实例的检索更具有挑战性。基于手绘草图检索三维模型的方法总体上可分为两类：基于草图重建的三维模型检索方法和基于草图匹配三维模型投影视图的检索方法。现有常见的三维模型重建方法，需要使用几何学的知识来重建三维模型或者直接绘制三维模型草图，检索方法效率不高，且复杂模型的检索效果不够理想。因此，本发明采用基于草图匹配三维模型投影视图的检索方法。基于草图匹配三维模型投影视图的检索方法主要存在三个问题。1.手绘草图噪声太多的问题。2.三维模型投影为二维视图的问题。3.视图的有效特征描述符的提取问题。针对上述问题，本发明采用固定投影的方式获取三维模型特征，并根据最佳特征选取最优视图集。采用判断曲率值等方法进行草图降噪。结合全局视图特征和二维形状分布得到集成特征描述子，解决了单一描述子辨识度不高的问题。

技术实现要素：

本发明针对现有技术的不足之处，提供了一种基于手绘草图集成描述子的三维模型检索方法。该方法首先对三维模型选取一定角度进行固定投影，从获取的视图集甄选出一部分特征明显的视图作为最优视图集。其次对手绘草图进行人工降噪，采用判断曲率值大小和计算闭合曲线上采样点偏移角度累加和的大小等方法。然后提取草图与二维视图的集成特征，该特征由全局视图特征和二维形状分布进行加权获得。最后利用欧式距离计算草图与二维视图的相似度作为检索条件。此方法保证了三维模型在投影降维时，特征不冗余并且降低特征损失，而且利用集成描述子解决了单一描述子辨识度不高的问题。

1.以下结合附图和具体实施案例，对本发明的具体实施方式作进一步地详细说明。

步骤1：使用固定投影方法对三维模型进行投影，将多个虚拟摄像机投影呈现的62张图像作为视图集，并采取特征最显著的24张视图作为最优视图集。

步骤2：本发明对草图进行降噪处理，包括删除冗余笔画和闭合检查等。

步骤3：对二维视图进行特征提取，特征描述符包括全局视图特征和形状区域特征，全局视图特征包含zernike矩和傅里叶描述符，形状区域特征包括二维形状分布，该特征描述符本发明中称之为集成描述子。

步骤4：在检索模型时，以二维草图作为输入，经过降噪处理，利用集成描述子提取草图特征，提取待查询数据库中三维模型对应的特征，计算草图与三维模型对应特征的欧式距离。最终将相似度最高的8个模型作为检索结果输出到检索列表。

2.根据权利要求1所述的基于手绘草图集成描述子的三维模型检索方法，其特征在于，所述步骤1的具体步骤为。

步骤1-1对数据库中的每个三维模型进行处理。模型的中心设置在三维坐标系的中心，将虚拟摄像机放在该模型上方。

步骤1-2将模型以每步30度，在经度和纬度方向上旋转360度，生成62张视图。

步骤1-3在62张视图上，使用轮廓长度作为测量二维视图所包含信息量的指标。选取其中轮廓长度最长的24张视图作为最优视图集。

3.根据权利要求1所述的基于手绘草图集成描述子的三维模型检索方法，其特征在于，所述步骤2的具体步骤为。

步骤2-1采用判断曲率值的方法消除冗余笔画，笔画l采样后可表示为l＝{pi|0＜＝i＜n}。假定一个曲率值记录绘制笔画的首部和尾部。计算l的最小外包矩阵的对角线长度length，计算笔画中曲率最大的点。若该点的曲率大于0.8，并且到达首部或者尾部的长度小于length*0.1，则从这个点开始删除直到首部或者尾部。

步骤2-2在用户绘制一个封闭曲线时，可能会造成起点与终点交叉或者分离的情况。闭合曲线上任意采样点的偏移角度累加和是2π，如果大于2π，则出现交叉情况，如果小于2π，则出现分离情况。若是交叉情况，则记录交叉点，删除交叉点到两端点的冗余线段。若是分离情况，则计算两端点的中间结点，将中间结点作为两端点的闭合中点。

4.根据权利要求1所述的基于手绘草图集成描述子的三维模型检索方法，其特征在于，所述步骤3的具体步骤为。

步骤3-1提取二维视图的zernike矩，定义一组在单位圆上的复值函数集vnm(x,y)，表示在单位圆内的任何平方可积函数。其计算公式：

vnm(x,y)＝vnm(ρ,θ)＝rnm(ρ)exp(jmθ)

其中，ρ表示原点到点(x,y)的矢量长度，θ是矢量ρ与x轴逆时针方向的夹角，j是复数单位，n，m是zernike矩的维数，f(x,y)的zernike矩，其计算公式：

步骤3-2提取二维视图的傅里叶描述符。在进行傅里叶变换之前，需要将其转换为一维形状表示，计算外轮廓边界点{p{xi,yi}|i＝1,...,n}的重心，其计算公式：

根据重心定义重心距离，其计算公式：

r(i)＝([x(i)-xc]²+[y(i)-yc]²)^1/2

对r(i)进行离散傅里叶变换得到傅里叶系数，其计算公式：

傅里叶系数r(n)除以第一个系数r(0)就得到了傅里叶描述符，其计算公式：

步骤3-3采用d2形状描述符来描述二维视图的形状区域特征，其计算公式：

(xi,yi)和(xj,yj)为二维视图上的任意两个随机点，d为两点之间的距离。统计随机点对之间的距离，构建二维形状分布直方图。

步骤3-4融合全局视图特征描述符dg和二维形状分布特征dd作为集成描述子d，其中dg包括zernike矩dz和傅里叶描述符df，其计算公式：

dg＝dz+df

d＝dg+dd

5.根据权利要求1所述的基于手绘草图集成描述子的三维模型检索方法，其特征在于，所述步骤4的具体步骤为。

步骤4-1利用欧式距离计算特征x＝(x1x2...xn)与y＝(y1y2...yn)之间的距离，根据检索到的二维视图找到对应的三维模型，其计算公式：

步骤4-2最终将相似度最高的8个模型作为检索结果输出到检索列表。

有益效果：

1.本发明采用固定投影的方式来实现三维模型的降维操作，并通过选取特征最显著的24幅视图作为三维模型的主要特征，该方法在保证三维模型特征数据量不冗余的情况下，获取三维模型更多更显著的特征。

2.本发明采用的草图降噪方法能够优化草图特征，避免一些不必要的特征对检索结果造成影响。

3.本发明融合全局视图特征和形状区域特征构建新的集成描述子，对区域特征和边界轮廓特征具有更高的辨识度。

附图说明：

图1是本发明的总体流程示意图。

图2是本发明的三维模型的二维投影过程。

图3是本发明特征提取案例。

图4是本发明手绘草图冗余笔画消除的过程。

图5是本发明手绘草图闭合检查的过程。

图6是本发明的手绘草图检索系统。

具体实施方式：

以下结合附图对本发明作进一步说明，但本发明的保护范围并不仅限于此。

如图1所示，本发明利用手绘草图检索三维模型方法，包括线下数据处理阶段和在线检索阶段。

步骤1：线下数据处理阶段步骤如下。

步骤1-1在imagnet-40数据集中抽取500个三维模型进行渲染，如图2所示，将每个三维模型的中心设置在三维坐标系的中心，并将虚拟摄像机放在该模型上方。然后，将模型以每步30度，在经度和纬度方向上旋转360度，以生成62张视图。在62张视图上，使用轮廓长度作为测量二维视图包含信息多少的指标。选取其中轮廓长度最长的24张视图作为最优视图集。

步骤1-2提取每一个二维视图的全局视图特征和二维形状特征，全局视图特征包括zernike矩和傅里叶描述符，如图3所示，取三维模型的二维视图为例。

步骤1-3对二维视图，提取它的zernike矩，取其中特征明显的前24维，并采用标准矩的方法归一化到(0,1)范围内。具体方法为：定义一组在单位圆上的复值函数集vnm(x,y)，表示在单位圆内的任何平方可积函数。其计算公式：

vnm(x,y)＝vnm(ρ,θ)＝rnm(ρ)exp(jmθ)

其中，ρ表示原点到点(x,y)的矢量长度，θ是矢量ρ与x轴逆时针方向的夹角，j是复数单位，n，m是zernike矩的维数，f(x,y)的zernike矩，其计算公式：

计算图3二维视图zernike矩的特征向量为[0.0218969,0.0406058,0.0400054,0.0117482,0.150082,0.0193659,0.0353753,0.127825,0.00517922,0.0347436,0.186192,0.0383599,0.0159012,0.0171871,0.0487334,0.00180063,0.00215753,0.00215032,0.0947592,0.0150598,0.00369286,0.0145497,0.0142396,0.0583898]。

步骤1-4提取二维视图的傅里叶描述符。在进行傅里叶变换之前，需要将其转换为一维形状表示，计算外轮廓边界点{p{xi,yi}|i＝1,...,n}的重心，其计算公式：

根据重心定义重心距离，其计算公式：

r(i)＝([x(i)-xc]²+[y(i)-yc]²)^1/2

对r(i)进行离散傅里叶变换得到傅里叶系数，其计算公式：

傅里叶系数r(n)除以第一个系数r(0)就得到了傅里叶描述符，其计算公式：

计算图3二维视图傅里叶描述符的特征向量为[0.188536,0.114522,0.0810066,0.0755489,0.0929832,0.0838755,0.0567791,0.032828,0.025864,0.0251861,0.0417195,0.043868,0.0391767,0.0254108,0.0172115,0.0156172,0.0155372,0.0243294]。

步骤1-5采用d2形状描述符描述二维视图的形状区域特征，以10维直方图的形式表示出来，其计算公式：

(xi,yi)和(xj,yj)为二维视图上的任意两个随机点，d为两点之间的距离。统计随机点对之间的距离，构建二维形状分布直方图。得到二维形状分布的特征向量为[0.0470942,0.127255,0.0701403,0.0681363,0.0951904,0,0,0.308617,0.158317,0.125251]。

步骤1-6全局视图特征描述符dg为zernike矩dz和傅里叶描述符df的向量累加和。集成描述子d是全局视图特征描述符dg和二维形状分布特征dd的向量和。其计算公式：

dg＝dz+df

d＝dg+dd

本发明用集成描述子提取图3视图的集成特征向量为x＝[0.0218969,0.0406058,0.0400054,0.0117482,0.150082,0.0193659,0.0353753,0.127825,0.00517922,0.0347436,0.186192,0.0383599,0.0159012,0.0171871,0.0487334,0.00180063,0.00215753,0.00215032,0.0947592,0.0150598,0.00369286,0.0145497,0.0142396,0.0583898，0.188536,0.114522,0.0810066,0.0755489,0.0929832,0.0838755,0.0567791,0.032828,0.025864,0.0251861,0.0417195,0.043868,0.0391767,0.0254108,0.0172115,0.0156172,0.0155372,0.0243294，0.0470942,0.127255,0.0701403,0.0681363,0.0951904,0,0,0.308617,0.158317,0.125251]。

步骤1-7循环步骤1-3到1-6的操作将所有三维模型的集成特征保存入库。

步骤2：在线检索阶段步骤如下。

步骤2-1如图6所示，在检索界面手绘二维草图，进行草图降噪，主要包括删除冗余笔画以及曲线闭合检查等。

步骤2-2采用判断曲率值的方法消除冗余笔画。笔画l采样后可表示为l＝{pi|0＜＝i＜n}。假定一个曲率值记录绘制笔画的首部和尾部。计算l的最小外包矩阵的对角线长度length，计算笔画中曲率最大的点。若该点的曲率大于0.8，并且到达首部或者尾部的长度小于length*0.1，则从这个点开始删除直到首部或者尾部，如图4所示。

步骤2-3闭合检查是用户绘制一个封闭曲线时，可能会造成起点与终点交叉或者分离的情况。如图5所示，闭合曲线上采样点偏移角度累加和一定是2π。若和大于2π，则出现图5左边图像的交叉情况，记录交叉点p，删除p到两端点的冗余线段。若和小于2π，则出现图5中间图像的分离情况，计算两端点的中间结点p，将p作为两端点的闭合中点。

步骤2-4利用集成描述子提取降噪后手绘草图的特征向量，得到向量y＝[0.0242119,0.0392128,0.0411554,0.0142483,0.155713,0.0203451,0.0354143,0.142415,0.00517922,0.0347436,0.186192,0.0383599,0.0159012,0.0171871,0.0487334,0.00412053,0.00321723,0.00321012,0.1047652,0.0211197,0.00449136,0.0154957,0.0202636,0.0723788，0.218536,0.124522,0.1010126,0.0415489,0.1228832,0.0538755,0.1067791,0.023838,0.034864,0.0131861,0.0147195,0.023868,0.0314217,0.0254108,0.0172115,0.0216162,0.0205732,0.0303184，0.0439042,0.167522,0.0630303,0.0761633,0.0991540,0.008827,0.006517,0.268167,0.12381750.152131]

步骤2-5对手绘草图的特征x＝(x1x2...xn)与三维模型库中投影视图特征y＝(y1y2...yn)进行相似性比较，其计算公式：

如图6所示，将相似度最高的8个模型作为检索结果输出到检索界面。

以上所述是结合附图对本发明的实施例进行的详细介绍，以上的具体实施方式只是用于帮助理解本发明的方法。对于本技术领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围内均可有所变更和修改，故本发明书不应理解为对本发明的限制。