在胚料上雕刻出雕刻标的3D表面的方法及系统与流程

在胚料上雕刻出雕刻标的3d表面的方法及系统
技术领域
1.本技术涉及雕刻技术领域，具体涉及一种在胚料上雕刻出雕刻标的3d表面的方法及系统。


背景技术：

2.雕刻工艺从古至今在得以传承的同时也在与时俱进，从最早的石器雕刻到骨雕、陶塑等多种形式，内容也丰富多彩，历朝历代各具特色。雕刀在玉石、象牙、果核上能够雕刻出人物、山水、花鸟等图案，图案成形后其效果类似于美术中的素描或线条勾勒；又或者以浅浮雕或镂空的手法进行雕刻。近年来，以木质品雕刻工艺的手串、佛珠、吊坠等深受民众欢迎，此类佩戴工艺品渐渐流行，例如橄榄核，橄榄核串珠大小适中，硬度较优，可作为手串佩戴，可雕刻人像、神兽等图案，寓意吉祥美好。
3.然而，由于果核串珠尺寸较小，手工雕刻难度不小，制作过程需耗费较长时间，市面上渐渐出现机器雕刻工艺品，价格便宜，易于获得，但机器雕刻时获取的模板精准度较差，且不能根据模板的纹理特征自动匹配加工刀具，从而使得加工后获得的雕刻品的质量较差。


技术实现要素：

4.鉴于以上问题，本技术提出一种在胚料上雕刻出雕刻标的3d表面的方法及系统，以解决模板精准度较差和不能自动匹配加工刀具的技术问题。
5.本技术实施例提供一种在胚料上雕刻出雕刻标的3d表面的方法，包括：
6.使用立体相机采集雕刻标的3d表面的双目图像，并计算出雕刻标的3d表面的轮廓深度图；
7.使用亮度立体视觉测量技术，计算获得雕刻标的3d表面的纹理细节深度图；
8.基于所述轮廓深度图和纹理细节深度图，分别计算得到轮廓点云数据和纹理细节点云数据；
9.匹配所述轮廓点云数据和所述纹理细节点云数据，并在匹配后进行拼接，合成得到具有八叉树结构的拼接点云数据；
10.计算所述拼接点云数据中每个点的曲面法线，得到潜在曲面；
11.标定所述拼接点云数据中的每个点，以确定所述每个点与所述潜在曲面的位置；
12.基于标定后的所述拼接点云数据，提取三维网格表面，形成雕刻标的的网格状原始模型文件；
13.将所述网格状原始模型文件转换得到3d格式文件；
14.将所述3d格式文件传送到cad/cam系统，并选择匹配对应的刀具，进而生成cnc加工装置的nc加工指令，基于所述nc加工指令，控制所述cnc加工装置使用所述刀具对胚料进行切削雕刻。
15.在一实施例中，所述方法进一步包括：
16.将所述网格状原始模型文件传递至数据处理中心，所述数据处理中心用于通过深度神经网络得出的ai算法将所述网格状原始模型文件转化为根据客户选择的订制风格的模型文件；
17.将所述订制风格的模型文件转换得到所述3d格式文件，并继续执行后续加工步骤。
18.在一实施例中，所述深度神经网络得出的ai算法的步骤包括：
19.采集各个不同风格雕刻工艺品的深度图像并计算出其相应的3d点云数据；
20.将采集到的3d点云数据分别使用cad工程软件处理，生成对应的闭合完整的雕刻品3d曲面；
21.分别对所述雕刻品3d曲面进行轮廓特征处理，提取出细节雕刻特征，以形成各种不同雕刻风格特征数据库；和
22.使用vgg深度神经网络作为模型对所述各种不同雕刻风格特征数据库进行训练，藉由倒传递算法调整神经网络的参数，以得出所述ai算法。
23.在一实施例中，所述计算出雕刻标的3d表面的轮廓深度图的步骤，包括：
24.获取所述雕刻标的的双目图像；
25.基于所述双目图像，对所述立体相机进行标定，得到所述立体相机的内外参数；
26.根据所述内外参数对所述双目图像进行校正；
27.对校正后的所述双目图像进行立体匹配，获得视差图；
28.基于所述视差图，获得所述轮廓深度图。
29.在一实施例中，所述计算得到轮廓点云数据的步骤，包括：
30.根据所述轮廓深度图，获得每个第一点的第一深度值；
31.根据所述每个第一点的第一深度值，确定每个第一点的三维坐标；
32.根据确定的每个第一点的三维坐标，得到轮廓点云数据。
33.在一实施例中，所述获得雕刻标的3d表面的纹理细节深度图的步骤，包括：
34.建立一光照模型；
35.标定光源的方向向量，并获取所述光源光照下雕刻标的的图像；
36.基于所述光照模型、所述光源的方向向量及所述雕刻标的的图像，计算得到所述雕刻标的的表面法向量；
37.基于所述雕刻标的的表面法向量，计算得到所述纹理细节深度图。
38.在一实施例中，所述计算得到纹理细节点云数据的步骤，包括：
39.根据所述纹理细节深度图，获得每个第二点的第二深度值；
40.根据所述每个第二点的第二深度值，确定每个第二点的三维坐标；
41.根据确定的每个第二点的三维坐标，得到纹理细节点云数据。
42.在一实施例中，所述匹配所述轮廓点云数据和所述纹理细节点云数据，并在匹配后进行拼接，合成得到具有八叉树结构的拼接点云数据的步骤，包括：
43.通过运动恢复结构算法对所述轮廓点云数据和所述细节点云数据进行匹配；
44.通过迭代最近点算法对匹配后的所述轮廓点云数据和所述细节点云数据进行拼接，合成得到具有八叉树结构的拼接点云数据。
45.在一实施例中，所述通过迭代最近点算法对匹配后的所述轮廓点云数据和所述纹
理细节点云数据进行拼接，合成得到拼接点云数据的步骤，包括：
46.在所述轮廓点云数据中选取第一点集；
47.找出所述纹理细节点云数据中的与所述第一点集中的第一点距离最小的第二点，并形成第二点集；
48.基于所述第一点集和所述第二点集，计算旋转矩阵和平移矩阵，使得误差函数最小；
49.基于所述旋转矩阵和所述平移矩阵，对所述第一点集中的第一点进行旋转和平移变换，得到第三点集；
50.计算所述第二点集和所述第三点集的平均距离；
51.判断平均距离是否小于预设距离阈值或大于预设的最大迭代次数；
52.若为是，则停止迭代，获得所述拼接点云数据；
53.若为否，则继续找出所述纹理细节点云数据中的与所述第一点集中的第一点距离最小的第二点，并形成第二点集，直到满足收敛条件为止。
54.在一实施例中，所述雕刻标的为人脸，所述轮廓深度图包含五官的轮廓特征，所述纹理细节深度图包含人脸面部上皱纹的纹理特征，所述数据处理中心包括一雕刻风格模式数据库，用于提供用户从中选取雕刻风格模式数据，所述风格模式数据包括面部三维数据、雕刻风格数据、面部特征数据。
55.在一实施例中，基于胚料材质和所述用户所选取的雕刻风格模式数据，匹配选择具有相应刃径的刀具。
56.在一实施例中，基于用户所选取的雕刻风格模式数据中的面部特征数据，匹配选取相应形状的胚料。
57.在一实施例中，所述生成nc加工指令的步骤，包括：
58.基于所述客户选择的订制风格的模型文件，对所述刀具的加工过程进行仿真处理，以确定所述刀具的加工路径；
59.基于确定后的所述刀具的加工路径，得到相应的nc加工指令。
60.在一实施例中，所述刀具加工路径为x-y-z轴均沿脸部五官仿形方式移动。
61.在一实施例中，基于所述纹理细节深度图的纹理细节的细腻程度确定纹理区域的纹理沟槽宽度，并根据所述纹理沟槽宽度选择具有相应刃径和r角的刀具。
62.在一实施例中，所选择的刀具的刃径至少两倍于所述纹理沟槽宽度。
63.本技术实施例还提供一种在胚料上雕刻出雕刻标的3d表面的系统，包括：
64.一立体相机，用于采集雕刻标的3d表面的双目图像，
65.一计算机，用于根据采集的双目图像计算出雕刻标的3d表面的轮廓深度图，和利用亮度立体视觉测量技术，计算出雕刻标的3d表面的纹理细节深度图，该计算机进一步用于：
66.基于所述轮廓深度图和纹理细节深度图，分别计算得到轮廓点云数据和纹理细节点云数据；
67.匹配所述轮廓点云数据和所述纹理细节点云数据，并在匹配后进行拼接，合成得到具有八叉树结构的拼接点云数据；
68.计算所述拼接点云数据中每个点的曲面法线，得到潜在曲面；
69.标定所述拼接点云数据中的每个点，以确定所述每个点与所述潜在曲面的位置；
70.基于标定后的所述拼接点云数据，提取三维网格表面，形成雕刻标的的网格状原始模型文件；
71.一数据处理中心，用于接收计算机传送来的雕刻标的的网格状原始模型文件，所述数据处理中心进一步用于通过深度神经网络得出的ai算法将雕刻标的的网格状原始模型文件转化为根据客户选择的订制风格模型文件，并将所述客户选择的订制风格模型文件传送回所述计算机；和
72.一cnc加工装置，与所述计算机相连，
73.其中，所述计算机进一步用于将所述订制风格模型文件转换得到3d格式文件，并将所述3d格式文件，结合所选择匹配的刀具，生成所述cnc加工装置的nc加工指令，所述cnc加工装置用于基于所述nc加工指令，使用所述选择刀具对胚料进行切削雕刻。
74.上述的方法及系统在雕刻时先获取雕刻标的的轮廓深度图和纹理细节深度图，然后在计算得到轮廓点云数据和纹理细节点云数据后进行匹配、拼接，合成得到拼接点云数据，接着获取潜在曲面，并标定拼接点云数据中的每个点，确定每个点与潜在曲面的位置，之后提取三维网格表面，形成网格状原始模型文件，对网格状原始模型文件进行数据处理后选择匹配对应的刀具，最后通过刀具对胚料进行切削雕刻。相对于现有技术，本技术在雕刻时可获取较为精准的网格状原始模型文件，且根据网格状原始模型文件自动匹配刀具，加工后获得的雕刻品的质量较高。
附图说明
75.图1是本技术一实施例所提供的在胚料上雕刻出雕刻标的3d表面的方法流程示意图。
76.图2是图1中的获得轮廓深度图的流程示意图。
77.图3是图1中的获得纹理细节深度图的流程示意图。
78.图4是图1中的得到轮廓点云数据的流程示意图。
79.图5是图1中的得到纹理细节点云数据的流程示意图。
80.图6是图1中的得到拼接点云数据的流程示意图。
81.图7是为相机一、相机二及点p的对应关系图。
82.图8是图6中的通过迭代最近点算法icp对匹配后的轮廓点云数据和纹理细节点云数据进行拼接，合成得到拼接点云数据的流程示意图。
83.图9是八叉树数据结构图。
84.图10是等值面与六面体相交关系图。
85.图11是等值面与六面体的其中一个相交关系图。
86.图12是法矢量和平面方程式示意图。
87.图13是将网格状原始模型文件转换得到3d格式文件的流程示意图。
88.图14是形成大师雕刻风格特征数据库的流程示意图。
89.图15是网格状原始模型文件和转化后的模型文件的示意图。
90.图16是vgg深度神经网络结构图。
91.图17是格拉姆矩阵图。
92.图18是cad/cam系统的刀具参数与刀具信息表中的刀具参数的对应图。
93.图19是纹路的加工顺序图。
94.图20是外形到五观加工过程图。
95.图21是眼睛位置刀具的刀刃的选取图。
96.图22是不同刀刃的刀具的加工对比图。
97.图23是得到相应的加工指令的流程示意图。
98.图24是不同的加工方式图。
99.图25是对刀具进行检测的流程示意图。
100.图26是刀具检测的硬件图。
101.图27是刀具系统运行参数图。
102.图28是本技术的一实施例提出的在胚料上雕刻出雕刻标的3d表面的系统的硬件图。
103.主要元件说明
[0104][0105]
具体实施方式
[0106]
为了能够更清楚地理解本技术的所述目的、数据和优点，下面结合附图和具体实施例对本技术进行详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的数据可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本技术，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。
[0107]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
[0108]
本技术实施例提供一种在胚料上雕刻出雕刻标的3d表面的方法，包括：
[0109]
使用立体相机采集雕刻标的3d表面的双目图像，并计算出雕刻标的3d表面的轮廓深度图；
[0110]
使用亮度立体视觉测量技术，计算获得雕刻标的3d表面的纹理细节深度图；
[0111]
基于所述轮廓深度图和纹理细节深度图，分别计算得到轮廓点云数据和纹理细节点云数据；
[0112]
匹配所述轮廓点云数据和所述纹理细节点云数据，并在匹配后进行拼接，合成得到具有八叉树结构的拼接点云数据；
[0113]
计算所述拼接点云数据中每个点的曲面法线，得到潜在曲面；
[0114]
标定所述拼接点云数据中的每个点，以确定所述每个点与所述潜在曲面的位置；
[0115]
基于标定后的所述拼接点云数据，提取三维网格表面，形成雕刻标的的网格状原始模型文件；
[0116]
将所述网格状原始模型文件转换得到3d格式文件；
[0117]
将所述3d格式文件传送到cad/cam系统，并选择匹配对应的刀具，进而生成cnc加工装置的nc加工指令，基于所述nc加工指令，控制所述cnc加工装置使用所述刀具对胚料进行切削雕刻。本技术实施例还提供一种在胚料上雕刻出雕刻标的3d表面的系统，包括：
[0118]
一立体相机，用于采集雕刻标的3d表面的双目图像，
[0119]
一计算机，用于根据采集的双目图像计算出雕刻标的3d表面的轮廓深度图，和利用亮度立体视觉测量技术，计算出雕刻标的3d表面的纹理细节深度图，该计算机进一步用于：
[0120]
基于所述轮廓深度图和纹理细节深度图，分别计算得到轮廓点云数据和纹理细节点云数据；
[0121]
匹配所述轮廓点云数据和所述纹理细节点云数据，并在匹配后进行拼接，合成得到具有八叉树结构的拼接点云数据；
[0122]
计算所述拼接点云数据中每个点的曲面法线，得到潜在曲面；
[0123]
标定所述拼接点云数据中的每个点，以确定所述每个点与所述潜在曲面的位置；
[0124]
基于标定后的所述拼接点云数据，提取三维网格表面，形成雕刻标的的网格状原始模型文件；
[0125]
一数据处理中心，用于接收计算机传送来的雕刻标的的网格状原始模型文件，所述数据处理中心进一步用于通过深度神经网络得出的ai算法将雕刻标的的网格状原始模型文件转化为根据客户选择的订制风格模型文件，并将所述客户选择的订制风格模型文件传送回所述计算机；和
[0126]
一cnc加工装置，与所述计算机相连，
[0127]
其中，所述计算机进一步用于将所述订制风格模型文件转换得到3d格式文件，并将所述3d格式文件，结合所选择匹配的刀具，生成所述cnc加工装置的nc加工指令，所述cnc加工装置用于基于所述nc加工指令，使用所述选择刀具对胚料进行切削雕刻。
[0128]
上述的方法及系统在雕刻时先获取雕刻标的的轮廓深度图和纹理细节深度图，然后在计算得到轮廓点云数据和纹理细节点云数据后进行匹配、拼接，合成得到拼接点云数据，接着获取潜在曲面，并标定拼接点云数据中的每个点，确定每个点与潜在曲面的位置，之后提取三维网格表面，形成网格状原始模型文件，对网格状原始模型文件进行数据处理
后选择匹配对应的刀具，最后通过刀具对胚料进行切削雕刻。相对于现有技术，本技术在雕刻时可获取较为精准的网格状原始模型文件，且根据网格状原始模型文件自动匹配刀具，加工后获得的雕刻品的质量较高。
[0129]
下面结合说明书附图，对本请的实施例作进一步地说明。
[0130]
请参见图1，本技术实施例提供一种在胚料上雕刻出雕刻标的3d表面的方法，包括以下步骤：
[0131]
s1，使用立体相机采集雕刻标的3d表面的双目图像，并计算出雕刻标的3d表面的轮廓深度图。
[0132]
s2，使用亮度立体视觉测量技术，计算获得雕刻标的3d表面的纹理细节深度图。
[0133]
其中，雕刻标的包括但不限于是人脸、动物、植物、建筑物，在本实施例中，雕刻标的为人脸。
[0134]
其中，轮廓深度图为人面部轮廓的深度信息，例如眼睛、鼻子、嘴唇、眉毛、耳朵等五官的深度信息。
[0135]
其中，纹理细节深度图为人面部细节的深度信息，例如皱纹、鱼尾纹、额头纹等纹理的深度信息。
[0136]
在一实施例中，请参见图2，计算出雕刻标的3d表面的轮廓深度图的步骤，包括：
[0137]
s11，基于双目图像，对立体相机进行标定，得到立体相机的内外参数。
[0138]
其中，双目图像为两张图像，可以理解的，在一些实施例中，也可通过立体相机获取多对双目图像。
[0139]
s12，根据内外参数对双目图像进行校正。
[0140]
其中，在校正后可使得双目图像在同一平面且互相平行。
[0141]
s13，对校正后的双目图像进行立体匹配，获得视差图。
[0142]
具体的，可先获取视差平面，然后根据视差平面提取视差值，再得到视差图，其中对校正后的双目图像进行立体匹配获得视差平面的方法为：对于很多场景、区域都可以近似的用同一个平面来建模，为了找到每个区域的平面参数，对每个像素赋予一个随机的平面参数，每个区域至少有一个像素的初始平面是接近真实平面，然后通过传播算法把正确的平面参数传递给这个区域的其他像素。
[0143]
为了获得每一个像素所在的视差平面，在得到了视差平面之后，就可以计算出该像素的视差，假定像素p的视差为d
p
，则有：
[0144][0145]
其中，表示视差平面f
p
的三个平面参数，p
x
和py表示当前图像中像素p的x坐标和y坐标，和分别为像素p的x坐标和y坐标的加权，为常数项，皆在实数轴上取值。
[0146]
待求解的视差平面f
p
是所有可能的平面中使得聚合代价m(p,f)最小的平面，聚合代价为：
[0147][0148]
其中，w
p
是以像素p为中心的窗口；q为窗口中的某个领域像素；函数ρ(q,q
′
)表示
待匹配像素对之间的相似性，其中待匹配像素对之间的相似性，其中w(p,q)表示邻域像素q对中心像素p的权值。
[0149]
具体的，为了解决边缘模糊的问题，通过对每一个邻域像素点分配一个不同的权值，使非中心点对中心像素点有不同的权值贡献，则有：
[0150][0151]
其中，||i
p-iq||为窗口的中心像素p的像素值i
p
和领域像素q的像素值iq在rgb空间的l1距离；γ为人为指定的参数。
[0152]
待匹配像素对之间的相似性函数ρ(q,q
′
)为：
[0153][0154]
其中，q
′
为通过像素q的视差计算得到的，α为权重参数，τ
col
为像素距离阈值，τ
grad
为像素梯度阈值，||i
q-iq′
||为像素q的像素值iq和q
′
的像素值iq′
在rgb空间的l1距离，为像素q的像素梯度值和q
′
的像素梯度值在rgb空间的l1距离。
[0155]
相似性函数ρ(q,q
′
)为两像素点的像素距离和梯度距离的线性组合，函数值反映两像素点的相似性，并通过相应的阈值截断能够获得更鲁棒的结果。
[0156]
在聚合代价迭代的过程中，每一个像素都将经历以下阶段：空间传播、视图传播和平面细化，一般先处理双目图像中的左图，然后再处理双目图像中的右图，具体的：
[0157]
(1)空间传播：由于在位置上相邻的像素一般具有相近的视差。设当前像素p的视差平面为f
p
，其领域像素q的视差平面为fq。奇数次迭代时，比较中心点(x,y)、中心点的左边像素点(x-1,y)及上面相邻的像素点(x,y-1)的平面参数聚合代价，将聚合代价最小的平面参数赋予中心点；偶数次迭代时，与中心点的右边像素点(x+1,y)和下面相邻的像素点(x,y+1)比较；奇数次迭代时，相邻为当前点的左边像素点(x-1,y)和上面的像素点(x,y-1)，逐行遍历像素到达右下角像素点(x+1,y+1)，偶数次迭代时则反过来，从右下角像素点(x+1,y+1)开始到左上角像素点(x-1,y-1)停止。迭代时，若当前帧的像素和对应平面为(p,f
p
)、相邻帧的像素和其对应平面为(q,fq)，通过是否将当前帧的像素p分给相邻帧的对应平面fq可减少聚合代价评估视差平面，即比较m(p,f
p
)和m(q,fq)，若m(q,fq)《m(p,f
p
)，代表平面fq较平面f
p
适合作为视差平面，将平面f
p
更新为平面fq，反之则不用更新。
[0158]
(2)视图传播：利用左视差图、右视差图之间的强一致性，即一个像素点和它在另一个视图中的对应点具有相似的平面。
[0159]
(3)平面精细化
[0160]
这一步目标是优化像素p处的视差平面f
p
，使得聚合代价进一步减小，视差平面f
p
可以由一个点(x0,y0,z0)和一个法向量表示，所以视差平面更新可以通过点坐标和法向量的更新得到。对像素(x0,y0)设定视差搜索范围[0,d
max
]，从中随机选择一个深度z0；然后，随机选择一个法向量通过初始点和法向量可得到初始平面参数
[0161]
设z0的最大允许改变值为法向量最大允许变化量为从中选取深度变化量δz0，更新后的深度z
′0＝z0+δz0，从中选取法向量变化量δn，更新后的法向量其中用于将向量归一化为单位向量，以此进行迭代。
[0162]
每次计算当前聚合代价m(p,f
p
)和更新后的聚合代价m(p
′
,f
p
′
)，如果m(p
′
,f
p
′
)《m(p,f
p
)，则以更新后的视差平面f
p
′
为新的视差平面。每迭代一次，令缩减搜索范围，直到迭代停止。
[0163]
s14，基于视差图，获得轮廓深度图。
[0164]
在一些实施例中，请参见图3，该获取雕刻标的的纹理细节深度图的步骤，包括：
[0165]
s21，建立一光照模型。
[0166]
s22，标定光源的方向向量，并获取光源光照下雕刻标的的图像。
[0167]
s23，基于光照模型、光源的方向向量及雕刻标的的图像，计算得到雕刻标的的表面法向量。
[0168]
s24，基于雕刻标的的表面法向量，计算得到纹理细节深度图。
[0169]
在本实施例中，该方法是通过在不同光照条件下所拍摄的多幅图像的光强来计算物体表面的法向量，再由表面法相量恢复物体表面的三维技术。采用不同的角度对目标采集图像，此图像包含很多三维信息且是由很多的因素所决定，决定因素包含几何结构、光源分布、物体材料的表面、反射特性、表面的位置和取向、中间传播媒介的吸收、传感器的几何和光学特性等。利用反射出来的光强及颜色计算表面法向量，并计算物体表面深度图。
[0170]
首先，给出图像上像素点(x，y)处的光照模型为：
[0171][0172]
其中，i表示像素点(x，y)的亮度值，ρi表示第i种材料对应的表面反射率，fi(n,l,v)为光照方程，k0为材料的种类。
[0173]
该光照方程fi(n,l,v)是与物体的表面法向量n、光源方向l和相机的视角v有关。
[0174]
在朗伯体反射模型中，物体表面一点的亮度值只与其表面的反射率和表面法向量有关，且这个关系是线性的，因此三帧不同的光源照射下的图像可以唯一确定物体表面法向量。因此，在光照模型中的光照方程fi(n,l,v)为朗伯体反射模型时，根据反射模型有i＝ρn
·
l。
[0175]
已知光源方向和每帧图像点(x，y)的像素值，能够求出反射率，得到反射率后可再求出曲面的法向量。
[0176]
其中，反射率为：
[0177][0178]
其中，ρr为反射率的r通道值、ρg为反射率的g通道值、ρb为反射率的b通道值；分别表示拍摄每帧图像时的光源方向，例如表示拍摄第一帧图像时在r通道的光源方向。
[0179]
其中，曲面法向量为：
[0180]
；
[0181]
其中，nr为法向量的r通道值、ng为法向量的g通道值、nb为法向量的g通道值。
[0182]
s3，基于轮廓深度图和纹理细节深度图，分别计算得到轮廓点云数据和纹理细节点云数据。
[0183]
在一实施例中，请参见图4，该计算得到轮廓点云数据的步骤，包括：
[0184]
s31，根据轮廓深度图，获得每个第一点的第一深度值。
[0185]
其中，第一深度值为z坐标。
[0186]
s32，根据每个第一点的第一深度值，确定每个第一点的三维坐标。
[0187]
其中，根据每个第一点的第一深度值，获得该第一点的x和y坐标，从而确定每个第一点的x，y和z坐标，即三维坐标。
[0188]
s33，根据确定的每个第一点的三维坐标，得到轮廓点云数据。
[0189]
在一实施例中，请参见图5，计算得到纹理细节点云数据的步骤，包括：
[0190]
s34，根据纹理细节深度图，获得每个第二点的第二深度值。
[0191]
其中，第二深度值为z坐标。
[0192]
s35，根据每个第二点的第二深度值，确定每个第二点的三维坐标。
[0193]
其中，根据每个第二点的第二深度值，获得该第二点的x和y坐标，从而确定每个第二点的x，y和z坐标，即三维坐标。
[0194]
s36，根据确定的每个第二点的三维坐标，得到纹理细节点云数据。
[0195]
s4，匹配轮廓点云数据和纹理细节点云数据，并在匹配后进行拼接，得到合成具有八叉树结构的拼接点云数据。
[0196]
请参见图6，在一实施例中，该匹配轮廓点云数据和纹理细节点云数据，并在匹配
后进行拼接，合成得到具有八叉树结构的拼接点云数据的步骤，包括：
[0197]
s41，通过运动恢复结构算法对轮廓点云数据和纹理细节点云数据进行匹配。
[0198]
其中，运动恢复结构算法(sfm)主要是通过相机移动来确定目标空间的空间关系和几何关系。利用sift特征提取算法提取图像特征，再通过特征点间的距离进行匹配，最后通过sfm算法得到相机预估参数和场景几何信息。
[0199]
请参见图7，假设在世界坐标系中，点p的坐标为x；在相机一的第一相机坐标系中的坐标为x1，相机二的第二相机坐标系中的坐标为x2，两相机具有相同内参矩阵k，与世界坐标的变换关系分别为[r1，t1]、[r2，t2]，s1、s2为点p分别到两个相机像面的垂直距离，则分别有：
[0200]
s1x1＝k(r1x+t1)；
[0201]
s2x2＝k(r2x+t2)；
[0202]
在两个公式的两边同乘k-1
后，得到：
[0203]
s1k-1
x1＝r1x+t1；
[0204]
s2k-1
x2＝r2x+t2；
[0205]
令则有：
[0206][0207][0208]
和为归一化后的像坐标，像坐标和图像的大小没有关系，且原点位于图像中心。将第一相机坐标系选为世界坐标系，则r1＝i,t1＝0，则有：
[0209][0210][0211]
联合这两个公式得到：
[0212][0213]
两边同乘得到：
[0214][0215]
令并同除s1：
[0216][0217]
由此可知，e为两相机的相对变换关系，称为本质矩阵。
[0218]
得到相机间变换关系以及匹配点的坐标后，需还原这些匹配点在空间中的坐标，若空间点p在世界坐标下为x，在两相机坐标系下为x1,x2，对应相机投影矩阵p1,p2，则有：
[0219]
x1＝p1x,x2＝p2x；
[0220]
两边都对x1做外积可得：
[0221]
x1×
p1x＝0；
[0222]
将x1×
p1看作矩阵a，也即a为x1,p1系数构成的矩阵，此时常用奇异值分解(svd)求解，这种重建方式也被称作三角化。
[0223]
s42，通过迭代最近点算法对匹配后的轮廓点云数据和纹理细节点云数据进行拼接，合成得到具有八叉树结构的拼接点云数据。
[0224]
其中，迭代最近点算法(iterative closest point，icp)的原理为：分别在待匹配的目标点云p和源点云q中，按照一定的约束条件，找到最邻近点(pi,qi)，然后计算出最优匹配参数r和t，使得误差函数e(r,t)最小，该误差函数e(r,t)为：
[0225][0226]
其中，n为最邻近点对的数量，pi为目标点云p中的第i个点，qi为源点云q中与pi对应的最近点，r为旋转矩阵，t为平移向量。
[0227]
在一些实施例中，请参见图8，通过迭代最近点算法icp对匹配后的轮廓点云数据和纹理细节点云数据进行拼接，合成得到拼接点云数据的步骤，包括：
[0228]
s421，在轮廓点云数据中选取第一点集。
[0229]
其中，以轮廓点云数据为目标点云p，第一点集pi∈p。
[0230]
s422，找出纹理细节点云数据中的与第一点集中的第一点距离最小的第二点，并形成第二点集。
[0231]
其中，以纹理细节点云数据为源点云q，第二点集qi∈q，第一点集和第二点集满足‖q
i-pi‖＝min。
[0232]
s423，基于第一点集和第二点集，计算旋转矩阵和平移矩阵，使得误差函数最小。
[0233]
s424，基于旋转矩阵和平移矩阵，对第一点集中的第一点进行旋转和平移变换，得到第三点集。
[0234]
其中，旋转矩阵为r，平移矩阵为t，第三点集p
′i＝{p
′i＝rpi+t,pi∈p}。
[0235]
s425，计算第二点集和第三点集的平均距离。
[0236]
其中，平均距离为d，
[0237]
s426，判断平均距离是否小于预设距离阈值或大于预设的最大迭代次数；
[0238]
s427，若为是，则停止迭代，获得拼接点云数据；
[0239]
s428，若为否，则继续找出纹理细节点云数据中的与第一点集中的第一点距离最小的第二点，并形成第二点集，直到满足收敛条件为止。
[0240]
s5，计算拼接点云数据中每个点的曲面法线，得到潜在曲面。
[0241]
其中，请参见图9，采用八叉树(octree)来表达拼接点云数据，八叉树的每个节点表示一个正方体的体积元素，每个节点有八个子节点，将拼接点云数据放入八叉树的数据结构中。
[0242]
其中，利用主成分分析(pca)估计点云中每个点的曲面法线，推算出潜在曲面，根据周围邻域点与某点之间的协方差矩阵c，计算c的特征值和特征向量，其中法向量所在的方向是邻近分布最分散的方向，故特征值最小的特征向量为法向量方向。检测点云中的任意一点p是否为特征点的方法为：以点p为中心的预设半径范围内的邻域点记为邻域集合p，则协方差矩阵c为：
[0243]
[0244]
其中，k为邻域集合中邻域点的数量；pi表示邻域集合中的第i个点；表示邻域的中心点，反映了邻域的三维质心；λj表示协方差矩阵的第i个特征值；表示第j个特征向量。
[0245]
在最大特征值大于阈值时，认为点p为特征点。
[0246]
s6，标定拼接点云数据中的每个点，以确定每个点与潜在曲面的位置。
[0247]
其中，确定每个点位于潜在曲面内或潜在曲面外。假设等值面为s，该潜在曲面上函数f(x,y,z)的值给予某一定值f
t
，即等值面是由所有点s＝{(x,y,z):f(x,y,z)＝f
t
}组成的潜在曲面，比较点对应的函数值，若点(a,b,c)，其函数值f(a,b,c)》f
t
，则该点在潜在曲面外，反之，若f(a,b,c)≤f
t
，则该点在潜在曲面内。
[0248]
s7，基于标定后的拼接点云数据，提取三维网格表面，形成雕刻标的的网格状原始模型文件。
[0249]
其中，通过移动立方体(marching cube)算法提取三角网格表面。具体为：
[0250]
(1)将拼接点云数据经过预处理之后，读入八叉树结构中；
[0251]
(2)通过marching cube算法将空间中划分成很多个小块，相当于将空间分成多个六面体网格；
[0252]
(3)将当前六面体8个顶点的函数值与给定等值面值f
t
进行比较，当六面体中的顶点有正有负，即f(xi,yi,zi)-f
t
的值既有大于零的也有小于零的，其中(xi,yi,zi)为六面体的第i个顶点，i＝1,2,
…
8，说明有等值面穿过六面体，等值面与六面体相交情况经过简化后总共分为15种，请参阅图10，图10示出了等值面与六面体相交的15种情况；
[0253]
请参阅图11，以其中一个来举例，如果只有顶点3的值小于等值面，其他顶点都大于等值面，则可以生成与边2、3、11相交的三角面，而三角面的顶点位置需要根据等值面和边顶点的线性插值计算而来；
[0254]
(4)根据当前六面体的状态表索引，找出与等值面相交的六面体棱边，并采用线性插值的方法，计算出各个交点的位置坐标，相交坐标点用p表示，p1、p2代表边上两个端点的坐标，v1、v2代表这两个端点上的值，v代表等值面，则交点坐标的计算公式为：
[0255]
p＝p1+(v-v1)
·
(p2-p1)/(v2-v1)；
[0256]
(5)利用中心差分法求出当前六面体8个顶点的梯度(5)利用中心差分法求出当前六面体8个顶点的梯度再采用线性插值算法，得到三角面片各个顶点的法向量，再采用线性插值算法，得到三角面片各个顶点的法向量，
[0257]
(6)请参阅图12，若平面e的法向量为经过点a(x0,y0,z0)的平面方程式为a(x-x0)+b(y-y0)+c(z-z0)＝0，即满足此方程式上的点p(x,y,z)落在此平面上，并满足有了法向量与点坐标，则可以进行三角面的连接。
[0258]
(7)拼接点云数据可以生成三角网格表面。
[0259]
s8，将雕刻标的的网格状原始模型文件转换得到3d格式文件。
[0260]
其中，将网格状原始模型文件传递至数据处理中心，数据处理中心用于通过深度神经网络得出的ai算法将网格状原始模型文件转化为根据客户选择的订制风格的模型文
件；
[0261]
请参见图13，在一实施例中，将雕刻标的的网格状原始模型文件转换得到3d格式文件的步骤，包括：
[0262]
s81，将网格状原始模型文件传递至数据处理中心，数据处理中心用于通过深度神经网络得出的ai算法将网格状原始模型文件转化为根据客户选择的订制风格的模型文件。
[0263]
s82，将订制风格的模型文件转换得到3d格式文件。
[0264]
其中，可使用ug，proe等cad软件对订制风格的模型文件进行处理，转化成例如为.stp格式，.igs格式，._xt格式，.dwg格式的3d格式文件。
[0265]
其中，请参见图14，该深度神经网络得出的ai算法的步骤，包括：
[0266]
s83，采集各个不同风格雕刻工艺品的深度图像并计算出其相应的3d点云数据。
[0267]
其中获得3d点云数据的步骤包括：
[0268]
1.使用结构光相机直接扫描雕刻工艺品的表面，直接成像建模，精度不高但速度快；
[0269]
2.使用表面覆模或者油泥，硅胶拓印技术，将作品原本凹面转化凸面，然后用线阵相机进行拍照，完整采集360度旋转的三维雕刻工艺品的表面深度信息，然后在计算机中合成3d模型；
[0270]
3.使用接触式探针技术全面扫描工艺品的表面坐标，记录并合成3d数据模型，训练分析采集的3d数据中的拐点，曲线曲率等大师工艺品包含的数据特征。
[0271]
s84，将采集到的3d点云数据分别使用cad工程软件处理，生成对应的闭合完整的雕刻品3d曲面。
[0272]
s85，分别对雕刻品3d曲面进行轮廓特征处理，提取出细节雕刻特征，以形成各种不同雕刻风格特征数据库；
[0273]
s86，使用vgg深度神经网络作为模型对各种不同雕刻风格特征数据库进行训练，藉由倒传递算法调整神经网络的参数，以得出ai算法。
[0274]
其中如图15所示，图15中的左侧为网格状原始模型文件，中间和右侧为转化后的模型文件。
[0275]
其中，请参见图16，ai算法通过vgg深度神经网络进行风格特征提取，其结构简单，但包含权重的数目庞大，具有强大的拟合能力，也能够提取出关键特征。请参阅图17，为了找到风格，通过将特征图乘以其转置来捕获相关性，从而生成格拉姆矩阵(gram matrix)，通过该格拉姆矩阵来标识图像的风格。ai算法的形成过程为：将原始图像输入ai算法中得到生成图像，假设在某一层中输出图像m、风格图像xs及内容图像mc各自对应的特征图分别为fs(m)、fs(xs)、fs(mc)。该ai算法在训练的过程中采用总损失函数，具体为总损失函数包括内容损失函数(content loss)、风格损失函数(style loss)和平滑损失函数。
[0276]
具体的，内容损失函数lc主要目的为使产生出来的参考风格模型与原本的模型外观型态尽可能的接近，也即原始图像与生成图像尽可能的接近。内容损失函数lc为：
[0277][0278]
vi为某一层输出图像m中的第i个顶点，为内容图像mc中的第i个顶点。
[0279]
获取输出特征图的格拉姆矩阵和风格特征图的格拉姆矩阵，通过这两个格拉姆矩
阵计算风格损失，风格损失函数为：
[0280][0281]
表示可见点为非空集合的三维网络m的输出图像，表示输出图像对应的特征图，fs(xs)表示风格图像xs对应的特征图，m(x)为格拉姆矩阵(gram matrix)，格拉姆矩阵将cnn中的每个特征映射拉成一维向量，让这层的特征映射(feature maps)成为一个二维矩阵，并把这个矩阵乘上自己的转置，得到格拉姆矩阵，矩阵里面的每个元素都代表两个特征映射间的相关性，可进一步得知特征关系，表示整个图像的风格。
[0282]
平滑损失函数l
t
的目的为使得产生更平滑的风格图，方法为找邻近的点调整为相近的颜色。平滑损失函数l
t
为：
[0283][0284]
其中，p为风格图像中的像素点集合，pa，pb为集合p中任意两个相邻的像素。
[0285]
总损失函数为：
[0286]
l＝λclc+λsls+λ
t
l
t
；
[0287]
其中，λc、λs和λ
t
为超参数，分别作为不同损失函数的权重。
[0288]
使用vgg深度神经网络作为模型进行训练，通过倒传递算法调整神经网络的参数，使得总损失最小，即vgg深度神经网络生成的结果与实际的结果差值最小，网络则训练完成，得到ai算法。
[0289]
s9，将所述3d格式文件传送到cad/cam系统，并选择匹配对应的刀具，进而生成cnc加工装置的nc加工指令，基于所述nc加工指令，控制所述cnc加工装置使用所述刀具对胚料进行切削雕刻。
[0290]
在一实施例中，雕刻标的为人脸，轮廓深度图包含五官的轮廓特征，纹理细节深度图包含人脸面部上皱纹的纹理特征，数据处理中心包括一雕刻风格模式数据库，用于提供用户从中选取雕刻风格模式数据，雕刻风格模式数据包括面部三维数据、雕刻风格数据、面部特征数据。
[0291]
在一实施例中，基于胚料材质和用户所选取的雕刻风格模式数据，匹配选择具有相应刃径的刀具。
[0292]
其中，不同的笔划雕刻效果，需要用到不同大小、不同端面设计的特殊刀具，最终达成用户可以接受的细节特征效果。
[0293]
其中，雕刻风格模式数据包括例如粗细，笔画效果及凹凸空间，将雕刻风格模式数据传输至cad/cam系统，cad/cam系统与刀具系统电连接，刀具系统包括刀具的材质信息和刀具信息表，请参见图18，cad/cam系统的刀具参数与刀具信息表中的刀具参数相对应，上面的图为刀具参数图，下面的图为刀具信息表，刀具信息表根据不同系列的雕刻产品而定，cad/cam系统根据雕刻风格模式数据，从刀具信息表逐级匹配不同刃径、刃长等参数刀具。
[0294]
其中，可预先选取胚料的材质，然后再根据雕刻风格模式数据从刀具信息表中选取不同刃径的刀具。在本实施例中，胚料为橄榄核，可先选取能够对果核进行加工的刀具，然后再根据雕刻风格模式数据从能够对果核加工的刀具中匹配不同刃径的刀具。
[0295]
在一实施例中，基于纹理细节深度图的纹理细节的细腻程度确定纹理区域的纹理
沟槽宽度，并根据纹理沟槽宽度选择具有相应刃径和r角的刀具。
[0296]
其中，3d模型，脸部、毛发等有凹凸、深浅、粗密等复杂特征，关键轮廓和脸部/毛发深度特征，构成了面部整体特征，线条曲率、深度对刀具刃径、刃口r角均有直接影响。
[0297]
如图19所示，为纹路的加工顺序，从整体轮廓、形状识别特征至表情特征。如图20所示，以人面部雕刻为例，纹路的切削雕刻以外形到五观逐步生成：头部整体轮廓
→
发型等形状识别特征
→
五观等控制表情特征。
[0298]
其中头发刻画上可较为粗糙(纹理间距大)，眉毛部位则需要细腻(纹理间距密)，因此可定义细腻界限，如相邻两道雕刻纹路之间距离小于0.02％整个脸部轮廓宽的长度，同时纹理沟槽宽度小于0.1mm时，定义为细腻，根据细腻程度可确定纹理区域的纹理沟槽宽度。
[0299]
其中，cad/cam系统在刀具选择时，可对小口径刀具进行放大处理，即，所选择的刀具的刃径至少两倍于所述纹理沟槽宽度，以使得纹理沟槽更加平滑/圆润，例如图21和图22，对于眼睛位置的处理，选取的刀具刃径为纹理沟槽宽度的两倍，图22中的左图为刀具刃径为纹理沟槽宽度的两倍，图22中的右图为刀具刃径与纹理沟槽宽度相等，相对于右图中的刀具刃径，左图中的刀具可在平滑过渡的同时，还能大大提升加工效率，同时刃径较大的刀具，刚性更佳，寿命得到有效的保证。
[0300]
在一实施例中，基于用户所选取的雕刻风格模式数据中的面部特征数据，匹配选取相应形状的胚料。
[0301]
在一些实施例中，请参见图23，该生成nc加工指令的步骤，包括：
[0302]
s91，基于客户选择的订制风格的模型文件，对刀具的加工过程进行仿真处理，以确定刀具的加工路径。
[0303]
其中，在选取刀具后，cad/cam系统可根据客户选择的订制风格的模型文件进行仿真处理，也即模拟加工，并预览效果，能够防止工艺程序出错并提高加工精度，改善成品效果，以及优化加工路径，最终获得加工精度较高，成品效果较佳的刀具的加工路径。
[0304]
s92，基于确定后的刀具的加工路径，得到相应的nc加工指令。
[0305]
其中，cad/cam系统可根据确定后的刀具的加工路径，得到相应的nc加工指令。
[0306]
在一实施例中，请参见图24，左一为客户选择的订制风格的模型文件，对于雕刻标的的面部加工，可采用沿五官特征进行三维仿形加工(左四)，即x-y-z轴均沿五官仿形方式移动，而现有技术中常采用等距x-y轴直线铣削(如左二，z轴沿面起伏)或等距回形螺旋铣削(如左三，x-y轴等距回旋，z轴沿面起伏)，相对于现有的加工方式，本案结合五官特征的雕刻轮廓，形成五官特征曲线等扩张，从而强化了脸部雕刻纹理。
[0307]
其中，正常情况下，刀具放置在刀具库中，刀具的例如t1\t2\t3....tn刀号，与刀具信息表中的刀号一一对应。刀具的加工装置的加工室内安装有激光非接触式对刀仪，激光非接触式对刀仪与刀具系统电连接，可在刀具高速旋转时在线监测刀具的边缘完整度，边缘完整度包括但不限于是刀具的做大外径、长度、动平衡。在每把刀具完成相应的加工指令，切换至下一款刀具之前，可对刀具进行检测，从而对刀具的磨损状况进行评估。
[0308]
请参见图25，在一实施例中，该控制加工装置通过刀具对胚料进行雕刻的步骤，还包括：
[0309]
s101，获取雕刻后的一刀具的磨损值。
[0310]
其中，磨损值可为刀具的刃径。
[0311]
其中，请参见图26，通过激光非接触式对刀仪20对刀具10进行探测，获取刀具10的磨损值。
[0312]
可以理解的，不同刀具10的磨损值不同。
[0313]
s102，判断刀具10的磨损值是符合预设标准。
[0314]
其中，可通过终端计算机30判断刀具的磨损值是符合预设标准。预设标准从图27中的刀具系统运行参数表中获取，例如，d2端刀的新刀刃径为d1.98，刀具的最大磨损值为d1.95。
[0315]
s103，若为是，则对刀具的加工参数进行相应补正。
[0316]
其中，当符合标准时，终端计算机30将刀具10的磨损值和刀具10的标准值进行比对，核对偏差值，并将偏差值传输至补正系统40，补正系统40根据偏差值对刀具10的加工参数进行相应的补正。
[0317]
其中，标准值是刀具10装夹后，新刀具10(未使用状态)的初始性能参数，该数值作为刀具10的磨损对照标准值；偏差值则是加工后(磨损后)刀具10所检测的数值与标准值之差。
[0318]
例如，当刀具10的磨损值与预设标准之间的偏差值小于等于0.1mm时，根据偏差值对刀具10的加工参数进行相应的补正。
[0319]
其中，磨损值也可为两个，例如，t2刀号的刀具10的磨损值与标准值的差距为刀径差距-0.008，刀长差距-0.01，其仍小于偏差值(刀径为0.05，刀长为0.1)，此时，输出主轴x/z向的补正数值，如t2刀号的刀补为x方向0.008，z方向0.01，并传输至加工装置50完成补正。
[0320]
s104，若为否，则发出报警信息。
[0321]
其中，当不符合标准时，终端计算机30向加工装置50发出报警信息后可及时更换刀具10，使得刀具10的加工过程更为稳定，雕刻细腻，流线流畅。例如，当刀具的磨损值与预设标准之间的偏差值大于等于0.1mm时，机台报警，提醒下机更换刀具。
[0322]
请参见图28，本技术的实施例还提出了一种在胚料上雕刻出雕刻标的3d表面的系统，包括立体相机60、计算机80、数据处理中心90及cnc加工装置50。
[0323]
立体相机60用于采集雕刻标的70的3d表面的双目图像。
[0324]
计算机80用于根据采集的双目图像计算出雕刻标的70的3d表面的轮廓深度图，和利用亮度立体视觉测量技术，计算出雕刻标的70的3d表面的纹理细节深度图，该计算机80进一步用于：基于所述轮廓深度图和纹理细节深度图，分别计算得到轮廓点云数据和纹理细节点云数据；匹配所述轮廓点云数据和所述纹理细节点云数据，并在匹配后进行拼接，合成得到具有八叉树结构的拼接点云数据；计算所述拼接点云数据中每个点的曲面法线，得到潜在曲面；标定所述拼接点云数据中的每个点，以确定所述每个点与所述潜在曲面的位置；基于标定后的所述拼接点云数据，提取三维网格表面，形成雕刻标的的网格状原始模型文件。
[0325]
数据处理中心90用于接收计算机80传送来的雕刻标的70的网格状原始模型文件，数据处理中心90进一步用于通过深度神经网络得出的ai算法将雕刻标的的网格状原始模型文件转化为根据客户选择的订制风格模型文件，并将所述客户选择的订制风格模型文件
传送回计算机80。
[0326]
cnc加工装置50与计算机80相连。
[0327]
其中，计算机80进一步用于将订制风格模型文件转换得到3d格式文件，并将所述3d格式文件，结合所选择匹配的刀具，生成cnc加工装置50的nc加工指令，cnc加工装置50用于基于nc加工指令，使用选择刀具对胚料进行切削雕刻。
[0328]
在一些实施例中，该系统还包括一机械手110，在切削雕刻获得雕刻品100后，机械手110可移取雕刻品100并将其放置于预设位置。
[0329]
在一些实施例中，数据处理中心90可分别为多个相连接的cnc加工装置50提供模型文件转换，即将多个网格状原始模型文件转化为相应的根据客户选择的订制风格模型文件。
[0330]
本技术通过收集点云数据并进行拼接融合，生成闭合完整的人脸头像模型，通过匹配对应刀具，可模拟雕刻刀路，生成加工代码并输送至数控加工中心，同时可从手工雕刻品中学习大师手法，大大接近纯手工雕刻技法，再及时监控刀具状况，及时进行加工参数补正，使得雕刻过程更加稳定，雕刻纹理细腻、线条流畅，高度定制化的工艺品，造就了其唯一性，大大增加了雕刻品的趣味性及收藏价值。
[0331]
最后应说明的是，以上实施例仅用以说明本技术的技术方案而非限制，尽管参照较佳实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，可以对本技术的技术方案进行修改或等同替换，而不脱离本技术技术方案的精神和范围。