一种三维模型的外观纹理合成方法及装置与流程

本发明涉及三维模型技术领域，尤其涉及一种三维模型的外观纹理合成方法及装置。

背景技术：

目前，三维模型的外观纹理信息(几何纹理与材质纹理)是其视觉真实性的重要因素。今天的高端电脑游戏和电影特效对带有逼真外观的高精度三维模型提出了很大需求。然而，制作这样的三维模型即使对于经验丰富的专业建模师来说也十分费时费力。为了制作一个具有丰富外观纹理的高精度三维模型，建模师往往需要通过一些图片作为创意来源或参考。而如今数字图像的极大应用与易获得性也使得计算机艺术家能够轻松构建他们的图像素材库作为创意来源与参考。

当前的三维模型的外观纹理合成方法中一般是基于单幅图像的三维建模或纹理建模方法，主要存在以下一些问题：第一：目前的技术主要是在三维模型上进行材质纹理合成而不改变模型本身的几何细节，因此这种贴图形式的外观纹理往往在视觉上不够真实，为了增加几何细节又需要耗费建模师大量的时间和精力。第二：目前在三维模型上进行纹理合成使用的纹理样例仅仅是颜色图像，无法捕捉足够的外观纹理信息。第三：目前的技术无法针对模型不同的感兴趣区域进行不同的外观纹理合成。

技术实现要素：

本发明的实施例提供一种三维模型的外观纹理合成方法及装置，以解决当前现有技术的贴图形式的外观纹理在视觉上不真实，且无法捕捉足够的外观纹理信息的问题。

为达到上述目的，本发明采用如下技术方案：

一种三维模型的外观纹理合成方法，包括：

获取预先设置的外观纹理模型和用户输入的三维模型；

确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征；

确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息；

根据所述相似性信息对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型；

确定第一级几何纹理增强三维模型的几何特征图；

根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理；

在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型；

在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。

具体的，确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征，包括：

将外观纹理模型和三维模型通过各自的对称平面进行对齐；所述对称平面通过RANSAC算法获得；

在参数网格上，确定三维模型的每个顶点的全局几何特征；其中，所述每个顶点的全局几何特征由一个9维向量表示，所述9维向量包括：1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡；

获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征；

根据三维模型的每个顶点的全局几何特征进行插值计算，确定参数网格上三维模型的其他位置的全局几何特征。

具体的，确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息，包括：

根据块匹配方法，通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛，确定三维模型每个顶点对应外观纹理模型中的顶点位置，或者接收用户的选择指令，确定用户的选择指令对应的感兴趣区域，确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。

具体的，所述外观纹理模型的每个顶点对应有一个第一几何偏移向量；

根据所述相似性信息对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型，包括：

根据三维模型每个顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量；或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量；

将所述一个或多个第一几何偏移向量进行平均值处理，确定三维模型各顶点的第二几何偏移向量；

根据三维模型各顶点的第二几何偏移向量，确定第一级几何纹理增强三维模型；

所述第一级几何纹理增强三维模型的每个顶点位置为：

其中，P为三维模型当前的顶点位置；E_s(P)为形状正则项；D_m(P_target)为根据第二几何偏移向量移动后的顶点位置；β为平衡参数。

具体的，确定第一级几何纹理增强三维模型的几何特征图，包括：

以第一级几何纹理增强三维模型中的每个顶点为球心，以预先设置的四个长度为半径，确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率；所述体积比率为所述四个长度对应在该顶点处的固态曲率角；

将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量，构成第一级几何纹理增强三维模型的13维几何特征向量。

具体的，根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理，包括：

根据公式：

确定降低维度后的实际使用特征向量X；其中，W_x和W_y表示最大相关性分析的返回矩阵；为对角矩阵；X为第一级几何纹理增强三维模型的13维几何特征向量；Y为第一级几何纹理增强三维模型对应的外观纹理模型；

通过距离函数：

根据降低维度后的实际使用特征向量X进行特征引导，进行包含3维材质纹理和1维几何纹理的合成，生成合成的几何纹理和合成的材质纹理；其中，r和t为降低维度后的实际使用特征向量X中的两个特征向量；为以两个特征向量为中心的块区域之间的距离；d_f(r,t)为以两个特征向量为中心的块区域之间的欧氏距离；d_t(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离；为权重函数；Ω(s)为合成纹理的使用次数；μ为预设参数。

此外，在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型，包括：

根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量；或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第一几何偏移向量；

将所述一个或多个第三几何偏移向量进行平均值处理，确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量；

根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量，确定第二级几何纹理增强三维模型；

所述第二级几何纹理增强三维模型的每个顶点位置为：

其中，P'为第一级几何纹理增强三维模型当前的顶点位置；E_s'(P')为形状正则项；D_m'(P_target)为根据第四几何偏移向量移动后的顶点位置；β为平衡参数。

一种三维模型的外观纹理合成装置，包括：

模型获取单元，用于获取预先设置的外观纹理模型和用户输入的三维模型；

全局几何特征确定单元，用于确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征；

相似性确定单元，用于确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息；

第一级几何纹理增强单元，用于根据所述相似性信息对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型；

几何特征图确定单元，用于确定第一级几何纹理增强三维模型的几何特征图；

合成纹理生成单元，用于根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理；

第二级几何纹理增强单元，用于在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型；

三维模型的外观纹理合成结果生成单元，用于在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。

另外，所述全局几何特征确定单元，具体用于：

将外观纹理模型和三维模型通过各自的对称平面进行对齐；所述对称平面通过RANSAC算法获得；

在参数网格上，确定三维模型的每个顶点的全局几何特征；其中，所述每个顶点的全局几何特征由一个9维向量表示，所述9维向量包括：1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡；

获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征；

根据三维模型的每个顶点的全局几何特征进行插值计算，确定参数网格上三维模型的其他位置的全局几何特征。

另外，所述相似性确定单元，具体用于：

根据块匹配方法，通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛，确定三维模型每个顶点对应外观纹理模型中的顶点位置，或者接收用户的选择指令，确定用户的选择指令对应的感兴趣区域，确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。

此外，所述外观纹理模型的每个顶点对应有一个第一几何偏移向量；

所述第一级几何纹理增强单元，具体用于：

根据三维模型每个顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量；或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量；

将所述一个或多个第一几何偏移向量进行平均值处理，确定三维模型各顶点的第二几何偏移向量；

根据三维模型各顶点的第二几何偏移向量，确定第一级几何纹理增强三维模型；

所述第一级几何纹理增强三维模型的每个顶点位置为：

其中，P为三维模型当前的顶点位置；E_s(P)为形状正则项；D_m(P_target)为根据第二几何偏移向量移动后的顶点位置；β为平衡参数。

此外，所述几何特征图确定单元，具体用于：

以第一级几何纹理增强三维模型中的每个顶点为球心，以预先设置的四个长度为半径，确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率；所述体积比率为所述四个长度对应在该顶点处的固态曲率角；

将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量，构成第一级几何纹理增强三维模型的13维几何特征向量。

此外，所述合成纹理生成单元，具体用于：

根据公式：

确定降低维度后的实际使用特征向量X；其中，W_x和W_y表示最大相关性分析的返回矩阵；为对角矩阵；X为第一级几何纹理增强三维模型的13维几何特征向量；Y为第一级几何纹理增强三维模型对应的外观纹理模型；

通过距离函数：

根据降低维度后的实际使用特征向量X进行特征引导，进行包含3维材质纹理和1维几何纹理的合成，生成合成的几何纹理和合成的材质纹理；其中，r和t为降低维度后的实际使用特征向量X中的两个特征向量；为以两个特征向量为中心的块区域之间的距离；d_f(r,t)为以两个特征向量为中心的块区域之间的欧氏距离；d_t(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离；为权重函数；Ω(s)为合成纹理的使用次数；μ为预设参数。

此外，所述第二级几何纹理增强单元，具体用于：

根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量；或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第一几何偏移向量；

将所述一个或多个第三几何偏移向量进行平均值处理，确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量；

根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量，确定第二级几何纹理增强三维模型；

所述第二级几何纹理增强三维模型的每个顶点位置为：

其中，P'为第一级几何纹理增强三维模型当前的顶点位置；E_s'(P')为形状正则项；D_m'(P_target)为根据第四几何偏移向量移动后的顶点位置；β为平衡参数。

本发明实施例提供的一种三维模型的外观纹理合成方法及装置，能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征；之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息；对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型；之后确定第一级几何纹理增强三维模型的几何特征图；根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理；在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型；在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。这样，通过两级几何纹理增强，可为用户输入的三维模型增加不同程度的几何细节。同时，在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息，使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时，由于两者之间来自真实数据的互相关信息，更具有视觉真实性；从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实，且无法捕捉足够的外观纹理信息的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种三维模型的外观纹理合成方法的流程图一；

图2为本发明实施例提供的一种三维模型的外观纹理合成方法的流程图二；

图3为本发明实施例中的三维模型的每个顶点的全局几何特征示意图；

图4为本发明实施例中的最近邻场NNF的示意图；

图5为本发明实施例中的外观纹理模型的参数网格、最近邻场NNF以及三维模型的参数网格示意图；

图6为本发明实施例中的三维模型各顶点的第二几何偏移向量的可视化图；

图7为本发明实施例中的用户输入的三维模型和第一级几何纹理增强三维模型的示意图；

图8为本发明实施例中的两种半径下的局部特征SolidAngleCurvature示意图；

图9为本发明实施例中的降低维度后的特征引导示意图；

图10为本发明实施例中的合成的几何纹理和合成的材质纹理的示意图；

图11为本发明实施例中的第二级几何纹理增强三维模型和最终得到的三维模型的外观纹理合成结果示意图；

图12为本发明实施例中的在R2D2机器人和唐朝马的简模上使用来自消防栓的外观纹理的示意图；

图13为本发明实施例中的在唐朝马的简模上使用来自石头椅子的外观纹理的示意图；

图14为本发明实施例中的在鸭子容器的简模上使用来自木头软椅的外观纹理的示意图；

图15为本发明实施例提供的一种三维模型的外观纹理合成装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种三维模型的外观纹理合成方法，包括：

步骤101、获取预先设置的外观纹理模型和用户输入的三维模型。

步骤102、确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征。

步骤103、确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息。

步骤104、根据所述相似性信息对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型。

步骤105、确定第一级几何纹理增强三维模型的几何特征图。

步骤106、根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理。

步骤107、在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型。

步骤108、在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。

本发明实施例提供的一种三维模型的外观纹理合成方法，能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征；之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息；对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型；之后确定第一级几何纹理增强三维模型的几何特征图；根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理；在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型；在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。这样，通过两级几何纹理增强，可为用户输入的三维模型增加不同程度的几何细节。同时，在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息，使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时，由于两者之间来自真实数据的互相关信息，更具有视觉真实性；从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实，且无法捕捉足够的外观纹理信息的问题。

为了使本领域的技术人员更好的了解本发明，下面列举一个更为详细的实施例，如图2所示，本发明实施例提供一种三维模型的外观纹理合成方法，包括：

步骤201、获取预先设置的外观纹理模型和用户输入的三维模型。

步骤202、将外观纹理模型和三维模型通过各自的对称平面进行对齐。

其中，所述对称平面通过RANSAC算法获得。

步骤203、在参数网格上，确定三维模型的每个顶点的全局几何特征。

由于用户输入的三维模型一般十分光滑，不包含任何细微的几何特征，因此此处仅确定三维模型的每个顶点的全局几何特征。

其中，所述每个顶点的全局几何特征由一个9维向量表示，所述9维向量包括：1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡。

此处，该三维模型的每个顶点的全局几何特征可以如图3所示。

步骤204、获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征。

步骤205、根据三维模型的每个顶点的全局几何特征进行插值计算，确定参数网格上三维模型的其他位置的全局几何特征。

步骤206、根据块匹配方法，通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛，确定三维模型每个顶点对应外观纹理模型中的顶点位置，或者接收用户的选择指令，确定用户的选择指令对应的感兴趣区域，确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。

通过用户的选择指令，可增加在纹理增强中的可控性，允许用户进行交互选择，用户的感兴趣区域能够按照本发明方法进行处理，而用户感兴趣之外的区域则可不作处理。

块匹配方法即PatchMatch优化方法。NNF(NearestNeighborField，最近邻场)的每个像素存储了在源图(外观纹理模型的全局几何特征)中最相似块的位置，因此可以用来确定三维模型每个顶点所对应外观纹理模型中的顶点位置。

该最近邻场NNF可以如图4所示。

此处，外观纹理模型的每个顶点对应有一个第一几何偏移向量。

步骤207、根据三维模型每个顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量；或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量。

如图5所示，右侧三维模型参数网格上的某个顶点由方框表示，在NNF上对应位置，有n×n(n为预设块的大小)个覆盖该位置的块，此处仅给出三个示例，左侧方框为通过NNF读出的在外观纹理模型参数网格上对应顶点位置，外观纹理模型的每个顶点都储存了一个第一几何偏移向量，平均后即得到三维模型上对应顶点的第二几何偏移向量。

步骤208、将所述一个或多个第一几何偏移向量进行平均值处理，确定三维模型各顶点的第二几何偏移向量。

如图6所示，该三维模型各顶点的第二几何偏移向量的可视化图，颜色表示向量方向，颜色纯度表示向量强度。

步骤209、根据三维模型各顶点的第二几何偏移向量，确定第一级几何纹理增强三维模型。

其中，所述第一级几何纹理增强三维模型的每个顶点位置为：

其中，P为三维模型当前的顶点位置；E_s(P)为形状正则项，防止三维模型发生过度剧烈的变化；D_m(P_target)为根据第二几何偏移向量移动后的顶点位置；β为平衡参数。

其中，第一级几何纹理增强三维模型可以如图7所示，注意该图7的三维模型还没有任何材质细节增强。其中图7的左侧为用户输入的三维模型，右侧为第一级几何纹理增强三维模型。

为了使合成在三维模型上的几何纹理与材质纹理更加逼真，在第二级外观纹理增强时，本发明使用了两者统计上的互相关信息，例如在石头的外观模型上某一处因为风化等原因腐蚀导致该位置有形状凹陷，其材质颜色则往往要比周围区域石头颜色要更深，利用两者的互相关联，在三维模型上合成新的外观纹理就能够保留这种相关信息，使得最终的渲染结果更好：

第二级外观纹理不仅包含了几何纹理也包含了材质纹理。由于这一级的几何纹理描述几何表面更细微的局部变化，因此仅仅使用全局几何特征来进行合成无法得到可信的效果。因此不仅仅使用在第一级几何纹理增强时的9维全局特征，此时需要另外计算局部特征SolidAngleCurvature，这是一种对几何表面局部凹凸性刻画理想的特征。

步骤210、以第一级几何纹理增强三维模型中的每个顶点为球心，以预先设置的四个长度为半径，确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率。

其中，所述体积比率为所述四个长度对应在该顶点处的固态曲率角，即为上述的局部特征SolidAngleCurvature。如图8所示，两种半径下的局部特征SolidAngleCurvature不相同，当半径较小时该表面是凸起特征，但是当半径较大时该表面则是凹陷特征。

步骤211、将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量，构成第一级几何纹理增强三维模型的13维几何特征向量。

步骤212、根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理。

由于计算的特征维数较多，可以想到并非所有的这些特征都与所要合成的外观纹理相关，如果在求解最相似块的时候不加以区别的考虑所有维度的特征值并不能得到最好的结果，并且每个像素位置都有13维特征向量，对于一个n×n大小的块，计算量大大增加。因此本发明应用最大相关性分析CCA(Canonical Correlation Analysis)，给定外观模型上某一处的13维几何特征与对应位置的外观纹理(第二级外观纹理有4维，其中材质颜色3维，几何偏移1维)，该方法能够找到几何特征中与其纹理最相关的特征维度同时能够将13维特征向量降低至与外观纹理维度相同，因此也同时降低了后续合成时的计算量。与传统的降维方法PCA不同，PCA适用于单一的随机变量分布，找到其中方差最大，即变化最显著的部分，而CCA则适用于一对随机变量X与Y，找到X中与Y相关性最大的部分，因此更适合此处的要求。

此处的步骤212具体可以通过如下方式实现：

根据公式：

确定降低维度后的实际使用特征向量X；其中，W_x和W_y表示最大相关性分析的返回矩阵；为对角矩阵；X为第一级几何纹理增强三维模型的13维几何特征向量；Y为第一级几何纹理增强三维模型对应的外观纹理模型。

本发明实施例中，不仅需要保持合成内容特性还需要让合成内容的分布满足外观纹理与三维模型的几何特征分布特性。

通过距离函数：

根据降低维度后的实际使用特征向量X进行特征引导，进行包含3维材质纹理和1维几何纹理的合成，生成合成的几何纹理和合成的材质纹理；其中，r和t为降低维度后的实际使用特征向量X中的两个特征向量；为以两个特征向量为中心的块区域之间的距离；d_f(r,t)为以两个特征向量为中心的块区域之间的欧氏距离；d_t(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离；为权重函数；Ω(s)为合成纹理的使用次数；μ为预设参数。

此处，值得说明的是，r和t可分别表示外观纹理模型和三维模型上的两个位置，上述的块区域就是以这两个位置为中心的矩形区域(例如3*3大小)，区域中的每个采样位置都有一个特征向量；对于外观纹理模型的块区域，合成纹理是输入时就已知的；对于三维模型的块区域，它的合成纹理是待求解的，但对于每一步迭代，目前的合成纹理是已知的。因此利用这些信息计算得到的可以更新NNF，进而更新三维模型的合成纹理作为下一步迭代的已知条件。如此反复直到收敛，即可得到三维模型上最后的合成结果。

上述降低维度后的特征引导可以如图9所示。上述的合成的几何纹理和合成的材质纹理如图10所示，图10的左侧为合成的几何纹理，图10的右侧为合成的材质纹理。

步骤213、根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量；或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第一几何偏移向量。

在此处，用户选择的感兴趣区域可增加在纹理增强中的可控性，允许用户进行交互选择，用户的感兴趣区域能够按照本发明方法进行处理，而用户感兴趣之外的区域则可不作处理。

步骤214、将所述一个或多个第三几何偏移向量进行平均值处理，确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量。

步骤215、根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量，确定第二级几何纹理增强三维模型。

所述第二级几何纹理增强三维模型的每个顶点位置为：

其中，P'为第一级几何纹理增强三维模型当前的顶点位置；E_s'(P')为形状正则项；D_m'(P_target)为根据第四几何偏移向量移动后的顶点位置；β为平衡参数。

步骤216、在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。

第二级几何纹理增强三维模型和最终得到的三维模型的外观纹理合成结果如图11所示。其中，左侧为第二级几何纹理增强三维模型，右侧为最终得到的三维模型的外观纹理合成结果。

在不同的三维模型上应用不同的外观模型，如图12所示，可以在R2D2机器人和唐朝马的简模上使用来自消防栓的外观纹理。如图13所示，可以在唐朝马的简模上使用来自石头椅子的外观纹理。如图14所示，可以在鸭子容器的简模上使用来自木头软椅的外观纹理。可以看到，本发明能够将不同外观纹理模型上的细节外观特征轻松复现在新输入的其他简单模型上，增加丰富的几何和材质纹理，这一工作如果由建模师手工完成需要消耗大量时间精力。通过用户想象力，可以制作出很多在真实世界中不存在但是却看起来十分逼真，表面细节丰富的三维模型。

本发明实施例的三维模型的外观纹理合成方法的应用场景有很多，例如集成到谷歌的sketchup软件中，作为物体表面细节三维重建的辅助工具，简化计算机美术工程师的工作量。或者，集成到有机建模软件pixologic的zbrush上作为纹理库，方便计算机美术工程师在自由创作模型上使用感兴趣的外观纹理，增加模型的自然感与逼真度。

本发明实施例提供的一种三维模型的外观纹理合成方法，能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征；之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息；对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型；之后确定第一级几何纹理增强三维模型的几何特征图；根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理；在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型；在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。这样，通过两级几何纹理增强，可为用户输入的三维模型增加不同程度的几何细节。同时，在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息，使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时，由于两者之间来自真实数据的互相关信息，更具有视觉真实性；从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实，且无法捕捉足够的外观纹理信息的问题。

对应于图1和图2所示的方法实施例，如图15所示，本发明实施例提供一种三维模型的外观纹理合成装置，包括：

模型获取单元31，用于获取预先设置的外观纹理模型和用户输入的三维模型。

全局几何特征确定单元32，用于确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征。

相似性确定单元33，用于确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息。

第一级几何纹理增强单元34，用于根据所述相似性信息对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型。

几何特征图确定单元35，用于确定第一级几何纹理增强三维模型的几何特征图。

合成纹理生成单元36，用于根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理。

第二级几何纹理增强单元37，用于在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型。

三维模型的外观纹理合成结果生成单元38，用于在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。

另外，所述全局几何特征确定单元32，具体用于：

将外观纹理模型和三维模型通过各自的对称平面进行对齐；所述对称平面通过RANSAC算法获得。

在参数网格上，确定三维模型的每个顶点的全局几何特征；其中，所述每个顶点的全局几何特征由一个9维向量表示，所述9维向量包括：1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡。

获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征。

根据三维模型的每个顶点的全局几何特征进行插值计算，确定参数网格上三维模型的其他位置的全局几何特征。

另外，所述相似性确定单元33，具体用于：

根据块匹配方法，通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛，确定三维模型每个顶点对应外观纹理模型中的顶点位置，或者接收用户的选择指令，确定用户的选择指令对应的感兴趣区域，确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。

此外，所述外观纹理模型的每个顶点对应有一个第一几何偏移向量。

所述第一级几何纹理增强单元34，具体用于：

根据三维模型每个顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量；或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置，确定三维模型各顶点对应的一个或多个第一几何偏移向量。

将所述一个或多个第一几何偏移向量进行平均值处理，确定三维模型各顶点的第二几何偏移向量。

根据三维模型各顶点的第二几何偏移向量，确定第一级几何纹理增强三维模型。

所述第一级几何纹理增强三维模型的每个顶点位置为：

其中，P为三维模型当前的顶点位置；E_s(P)为形状正则项；D_m(P_target)为根据第二几何偏移向量移动后的顶点位置；β为平衡参数。

此外，所述几何特征图确定单元35，具体用于：

以第一级几何纹理增强三维模型中的每个顶点为球心，以预先设置的四个长度为半径，确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率；所述体积比率为所述四个长度对应在该顶点处的固态曲率角。

将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量，构成第一级几何纹理增强三维模型的13维几何特征向量。

此外，所述合成纹理生成单元36，具体用于：

根据公式：

确定降低维度后的实际使用特征向量X；其中，W_x和W_y表示最大相关性分析的返回矩阵；为对角矩阵；X为第一级几何纹理增强三维模型的13维几何特征向量；Y为第一级几何纹理增强三维模型对应的外观纹理模型。

通过距离函数：

根据降低维度后的实际使用特征向量X进行特征引导，进行包含3维材质纹理和1维几何纹理的合成，生成合成的几何纹理和合成的材质纹理；其中，r和t为降低维度后的实际使用特征向量X中的两个特征向量；为以两个特征向量为中心的块区域之间的距离；d_f(r,t)为以两个特征向量为中心的块区域之间的欧氏距离；d_t(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离；为权重函数；Ω(s)为合成纹理的使用次数；μ为预设参数。

此外，所述第二级几何纹理增强单元37，具体用于：

根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量；或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置，确定第一级几何纹理增强三维模型各顶点对应的一个或多个第一几何偏移向量。

将所述一个或多个第三几何偏移向量进行平均值处理，确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量。

根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量，确定第二级几何纹理增强三维模型。

所述第二级几何纹理增强三维模型的每个顶点位置为：

其中，P'为第一级几何纹理增强三维模型当前的顶点位置；E_s'(P')为形状正则项；D_m'(P_target)为根据第四几何偏移向量移动后的顶点位置；β为平衡参数。

本发明实施例提供的一种三维模型的外观纹理合成装置，能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征；之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息；对所述三维模型进行第一级几何纹理增强，生成第一级几何纹理增强三维模型；之后确定第一级几何纹理增强三维模型的几何特征图；根据所述几何特征图作为引导，进行外观与材质互相关合成，生成合成的几何纹理和合成的材质纹理；在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强，生成第二级几何纹理增强三维模型；在所述第二级几何纹理增强三维模型上应用合成的材质纹理，并进行渲染，得到三维模型的外观纹理合成结果。这样，通过两级几何纹理增强，可为用户输入的三维模型增加不同程度的几何细节。同时，在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息，使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时，由于两者之间来自真实数据的互相关信息，更具有视觉真实性；从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实，且无法捕捉足够的外观纹理信息的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。