一种基于高斯过程迁移学习的复杂曲面高效测量系统的制作方法

1.本发明属于计算机视觉、图形图像处理领域，涉及一种基于高斯过程迁移学习的复杂曲面高效测量系统。


背景技术：

2.点云精度和密度直接关系到曲面重建的质量，更高的点云密度意味着包含更多的细节信息，蕴含更大的应用潜能。然而在实际获取过程中，低精度的设备虽然能获得大量数据，但是点云精度较差，因此通常采用高精度设备，但是由于高精度设备本身的限制、环境因素的影响导致获取点云的效率较低，因此通常采用较为稀疏的采样方法，然后通过插值等技术对点云进行加密，但是加密精度往往较低，检测效率和点云加密方法阻碍高精度测量仪器的进一步应用。随着计算机视觉技术的不断发展，尤其是深度学习的发展，点云增强方法也越来越多，直接采用点云上采样网络计算量较为复杂，而大多数机械加工表面为2.5d曲面，将其投射到二维空间，利用图像上采样技术不失为一种有效手段。图像超分辨率网络就是一种针对图像像素的上采样技术，可以将低分辨率的图像通过软件手段，将其上采样到高分辨率图像，在图像增强领域已经得到了广泛的应用，并取得了不错的效果。然而图像超分网络需要大量已有的数据对进行训练，而实际场景下往往缺少这种数据对，通过退化模型生成的数据对和推理阶段的输入数据往往存在分布上的差别，泛化性能较差。


技术实现要素：

3.为了解决现有技术中存在的上述技术问题，本发明提供了一种基于高斯过程迁移学习的复杂曲面高效测量系统，通过在低维隐式空间将实测数据分布迁移到合成数据分布上，提升在实测数据上的泛化能力，最后仅仅利用较少的稀疏测量数据，通过上采样技术得到高密度高精度的点云数据，从而恢复出细节信息，达到重建精度的要求，其具体技术方案如下：一种基于高斯过程迁移学习的复杂曲面高效测量系统，包括：依次连接的点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、编码器模块、高斯过程处理模块、解码器模块、解归一化模块、点云空间映射模块；所述点云自适应采样模块用于点云的自适应采样；所述曲面配准和稀疏误差重建模块用于将采样点云进行粗配准和精配准，比对点云与设计曲面，输出实际点云的误差，即点云的测量误差；所述像素化和归一化模块将点云的测量误差数据转化为图像的像素信息，得到稀疏的误差图，后进行归一化处理；所述编码器模块接收输入的稀疏误差图，提取特征信息，输出对应的隐式向量；所述高斯过程处理模块，将隐式向量转换到高斯分布空间，采用平方指数核函数建模，指导非成对数据训练；所述解码器模块输入编码器模块提取的特征信息，输出目标分辨率的误差图；所述解归一化模块和点云空间映射模块用于将增强后的基于像素的灰度图像信息重新映射到曲面空间中，从而获得经过上采样之后的高精度点云。
4.进一步的，所述点云自适应采样模块利用已有的设计曲面先验知识，选择高斯曲
率较大的区域进行优先采集，将采集的若干点云用于初始高斯过程模型的构建，然后根据模型输出的几何轮廓和设计曲面进行比较，得到重建误差，将重建误差和模型输出的不确定度作为采样准则进行后续点云的采集，目标采样点为重建误差和不确定度较大的区域，直到满足采样点数和误差后停止采样。
5.进一步的，所述曲面配准和稀疏误差重建模块，利用基于高斯曲率进行粗配准，然后计算这两组高斯曲率的互相关性并进行归一化处理，找到峰值点坐标，确定两组数据的对应位置，获得刚体变换矩阵，然后再结合最近点迭代方法进行精配准，最后将两组数据统一到同一个坐标系下，将测量点与设计曲面进行比对，输出实际测量点的误差。
6.进一步的，所述像素化和归一化模块将点云的测量误差数据转化为图像的像素信息，点云位置为像素位置，点云高度信息为图像的灰度信息，对于没有测量点云的位置，将该处的值设定为0，然后将稀疏的误差图进行归一化处理。
7.进一步的，所述编码器模块采用4个卷积模块，i=0,1,2,3，其中采用多个残差通道注意力模块，用于从稀疏的特征中提取有效的轮廓和纹理信息，由2个3
×3×
64
×
1卷积层和6个串联的残差通道注意力单元组成，所述3
×3×
64
×
1卷积层， 3
×
3表示卷积核尺寸，64表示卷积核个数，最后一位表示卷积核的运动步幅；每个残差通道注意力单元均包括残差单元和通道注意力单元，通过残差单元提取输入图像的特征，再将特征输入至通道注意力单元中获取通道校准系数向量β，将通道校准系数向量β与通道注意力单元的输入特征进行重新校准后作为残差通道注意力单元的输出；所述残差单元包括两个分支，其中一路将输入依次通过一个3
×3×
64
×
1卷积、一个lrelu非线性变换层和另一个3
×3×
64
×
1卷积，另一支路将输入不做任何变化，直接与第一个支路的输出进行相加操作；剩余的三个卷积模块，i=1,2,3，包括一个步长1的卷积层、激活层和一个步长2的卷积层，经过每个卷积模块，i=0,1,2,3，之后的特征为，i=0,1,2,3，最后得到一系列低维空间的隐式向量，，每一个稀疏数据输入都获得对应的一个隐式向量。
8.进一步的，所述通道注意力单元包括全局平均池化层、第一卷积层、relu非线性变换层、第二卷积层和sigmoid非线性变换层。
9.进一步的，所述的解码器模块包括解码器，i=0,1,2,3，卷积模块提取的特征信息输入到解码器中，输出结果和卷积模块输出结果输入到解码器中，输出结果和卷积模块输出结果输入到解码器中，输出结果和卷积模块提取的特征信息输入到解码器中，最后得到目标分辨率的误差图。
10.进一步的，所述的解码器模块中的前三个解码器 i=0,1,2，依次包含一个3
×3×
64
×
1卷积层、一个lrelu非线性变换层、两个残差单元、一个2倍上采样的亚像素卷积层、一个lrelu非线性变换层，所述残差单元包括两个分支，其中一路将输入依次通过一个3
×3×
64
×
1卷积，一个lrelu非线性变换层和一个3
×3×
64
×
1卷积，另一支路将输入不做任何变化，直接与第一个支路的输出进行相加操作，最后一个解码器包含一个3
×3×3×
1的
卷积层。
11.一种用于所述的基于高斯过程迁移学习的复杂曲面高效测量系统的非成对数据训练方法，所述非成对数据训练的数据包括：根据实际加工的少量零件误差数据和引入分形布朗运动合成数据量较多的数据对；训练具体包括以下两个阶段：第一阶段，利用合成数据对进行训练，通过最小化损失函数获得优化参数，后将合成的稀疏数据输入到网络中，通过编码器模块获得隐式向量，用于后续的无监督学习，其中的损失函数表达式为：学习，其中的损失函数表达式为：表示内容感知损失，表示输入经过网络之后的输出，是对应的用来监督的真值信息，表示内容感知损失系数；第二阶段，输入实际测量的稀疏数据，进一步改进模型参数，使模型参数适用于实际情况，通过编码器模块将其映射到低维隐式空间中进行监督学习，将低维隐式空间中的隐式向量与合成稀疏数据的隐式向量共同输入到高斯过程模型中，完成训练。
12.进一步的，所述第二阶段，具体为：输入实际测量的稀疏数据，进一步改进模型参数，使模型参数适用于实际情况，由于该数据没有对应的高分辨率数据，而且通常与合成的训练数据分布不一致，因此通过编码器模块将其映射到低维隐式空间中进行监督学习，其在低维隐式空间中的隐式向量记为，，进一步，将，，与合成稀疏数据的隐式向量，，共同输入到高斯过程模型中，作为已知量，通过核函数即可求得待测量处的值：，， 表示噪声的方差，是对应的预测均值，作为真值用来监督隐式向量 ，是对应的预测方差，由于包含了合成数据对的所有隐式向量，数量较多且并非所有特征都与实测稀疏数据的隐式向量接近，因此采用最近邻方法从特征库选择与特征最接近的一批隐式向量，生成的更接近，值更小，采用最近邻方法从特征选择与特征最远离的一批隐式向量，生成更远离，值更大，损失函数表示为：该阶段的训练的要保证第一阶段合成数据上的效果，所以整体的损失函数如下：，表示无监督实测稀疏数据训练下的损失系数。
13.本发明的有益效果是，利用分形布朗与实际加工曲面的信息生成成对数据，模拟
加工误差，进行2.5d曲面点云的监督学习，然后结合部分实测的稀疏数据，提供半监督学习，通过编解码器将实测数据和合成数据映射到低维的隐式空间中，在该低维空间中通过高斯过程变换到高斯分布空间中，能够将真实世界的数据变换到与训练数据相对接近的分布中，并且不易受实际噪声的影响，不仅对输入特征进行细节增强，而且增强了网络的泛化性能，使得该方法在实测数据的上采样中也具有很好的效果。
附图说明
14.图1是本发明的整体流程图；图2是本发明的由编解码模块和高斯过程模块组成的核心模块结构图。
具体实施方式
15.为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
16.为了克服实际场景数据对的缺失，提升泛化性能，本发明的一种基于高斯过程迁移学习的复杂曲面高效测量系统，首先根据检测设备的数据尺度和噪声规模，基于分形布朗运动来模拟加工误差数据，分形布朗运动与实际加工的误差数据分布非常接近，通过分形布朗运动生成仿真的数据对，然后采集若干真实的测量数据，通过编解码器将数据投射到低维隐式空间中，然后在此空间中利用高斯过程使真实数据分布逼近合成数据分布，将合成数据上的超分效果传递到实际数据中，从而提高在实际数据中的泛化性能。
17.如图1所示，该系统，包括：依次连接的点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、编码器模块、高斯过程处理模块、解码器模块、解归一化模块、点云空间映射模块。
18.所述点云自适应采样模块用于指导传感器进行点云的自适应采样，该模块利用已有的设计曲面先验知识，选择高斯曲率较大的区域进行优先采集，然后将采集的若干点云用于初始高斯过程模型的构建，然后根据模型输出的几何轮廓和设计曲面进行比较，得到重建误差，将重建误差和模型输出的不确定度作为采样准则进行后续点云的采集，目标采样点为重建误差和不确定度较大的区域，直到满足采样点数和误差后停止采样。
19.根据常见的曲面几何形状，高斯过程模型中使用复合核函数，该复合核函数为平方指数核函数、mat
é
rn核函数族、周期性核函数、以及白噪声核函数中的一个或多个的组合形式。
20.所述曲面配准和稀疏误差重建模块，利用基于高斯曲率进行粗配准，然后计算这两组高斯曲率的互相关性并进行归一化处理，找到峰值点坐标，确定两组数据的对应位置，获得刚体变换矩阵，然后再结合最近点迭代方法进行精配准，最后将两组数据统一到同一个坐标系下，将测量点与设计曲面进行比对，输出实际测量点的误差。
21.所述像素化和归一化模块将点云的测量误差数据转化为图像的像素信息，点云位置为像素位置，点云高度信息为图像的灰度信息，对于没有测量点云的位置，将该处的值设定为0，然后将稀疏的误差图进行归一化处理。
22.如图2所示，所述编码器模块、高斯过程处理模块、解码器模块为本发明的核心模块，其中编码器模块采用4个卷积模块，i=0,1,2,3，其中采用多个残差通道注意力模
块，用于从稀疏的特征中提取有效的轮廓和纹理信息，由2个3
×3×
64
×
1卷积层和6个串联的残差通道注意力单元组成，所述3
×3×
64
×
1卷积层，其中的3
×
3表示卷积核尺寸，64表示卷积核个数，最后一位表示卷积核的运动步幅，每个残差通道注意力单元均包括残差单元和通道注意力单元，通过残差单元提取输入图像的特征，再将特征输入至通道注意力单元中获取通道校准系数向量β，将通道校准系数向量β与通道注意力单元的输入特征进行重新校准后作为残差通道注意力单元的输出；所述残差单元包括两个分支，其中一路将输入依次通过一个3
×3×
64
×
1卷积、一个lrelu非线性变换层和另一个3
×3×
64
×
1卷积，另一支路将输入不做任何变化，直接与第一个支路的输出进行相加操作；所述通道注意力单元包括全局平均池化层、第一卷积层、relu非线性变换层、第二卷积层和sigmoid非线性变换层，剩余的三个卷积模块，i=1,2,3，包括一个步长1的卷积层、激活层和一个步长2的卷积层，经过每个卷积模块，i=0,1,2,3，之后的特征为，i=0,1,2,3，最后得到一系列低维空间的隐式向量，，每一个稀疏输入都获得对应的一个隐式向量。
23.所述的高斯过程处理模块，将隐式向量进行转换到高斯分布空间，用于指导非成对数据的训练，采用平方指数核函数进行建模。
24.所述的解码器模块包括解码器，i=0,1,2,3，提取的特征信息输入到解码器中，输出结果和输出结果输入到解码器中，输出结果和输出结果输入到解码器中，输出结果和提取的特征信息输入到解码器中，最后得到目标分辨率的误差图，所述的解码器模块中的前三个解码器 i=0,1,2，依次包含一个3
×3×
64
×
1卷积层、一个lrelu非线性变换层、两个残差单元、一个2倍上采样的亚像素卷积层、一个lrelu非线性变换层，所述残差单元包括两个分支，其中一路将输入依次通过一个3
×3×
64
×
1卷积，一个lrelu非线性变换层和一个3
×3×
64
×
1卷积，另一支路将输入不做任何变化，直接与第一个支路的输出进行相加操作，最后一个解码器包含一个3
×3×3×
1的卷积层。
25.所述核心模块的训练阶段，根据曲面的加工误差数据特性，训练数据包括两部分，一部分利用实际加工的少量零件误差数据，该数据较为稀疏，并且没有高分辨率的数据用于监督，数据规模也较小；另一方面，根据实际加工误差的尺度范围和噪声情况，特别地，引入分形布朗运动合成数据量较多的数据对，用于模拟实际的加工误差；训练具体分为两个阶段：第一阶段，利用合成数据对进行训练，训练采用的损失函数包括内容感知损失和像素损失，损失函数如下所示：其中表示输入经过网络之后的输出，是对应的用来监督的真值信息，表示内容感知损失系数，通过最小化损失函数获得第一阶段的优化参数，优化参数确定后，将合成的稀疏数据输入到网络中，通过编码器模块获得一系列隐式向量并保存为，用于后续的无监督学习；第二阶段，输入实际测量的稀疏数据，进一步改进模型参数，使模型参数适用于实
际情况，由于该数据没有对应的高分辨率数据，而且通常与合成的训练数据分布不一致，因此通过编码器模块将其映射到低维隐式空间中进行监督学习，其在低维隐式空间中的隐式向量记为，，进一步，将，，与合成稀疏数据的隐式向量，，共同输入到高斯过程模型中，作为已知量，通过核函数即可求得待测量处的值：，， 表示噪声的方差，初始值设置为0.005，是对应的预测均值，作为真值用来监督隐式向量 ，是对应的预测方差，该值越小越好。由于包含了合成数据对的所有隐式向量，数量较多且并非所有特征都与实测稀疏数据的隐式向量接近，因此采用最近邻方法从特征库选择与特征最接近的一批隐式向量，生成的更接近，值更小，采用最近邻方法从特征选择与特征最远离的一批隐式向量，生成更远离，值更大，损失函数表示为：第二阶段训练的时候也要保证第一阶段合成数据上的效果，所以整体的损失函数如下：，表示无监督实测稀疏数据训练下的损失系数。
26.整个训练阶段的数据按照一定的比例构成，合成的数据对占据60%
‑
80%的比例，实测的稀疏数据占据20%
‑
40%的比例，先进行合成数据对的训练，然后将稀疏数据代入，结合合成数据对进行精调。
27.所述解归一化模块和点云空间映射模块用于将增强后的基于像素的灰度图像信息重新映射到2.5d曲面空间中，从而获得经过上采样之后的高精度点云。
28.本实施例中，利用分形布朗运动的生成4000组数据对，数据对的误差尺度来源于实际某个铣床的加工误差，误差的峰谷值大约在45微米到55微米之间，测量噪声服从高斯分布（0,0.0022），选择64
×
64图像块作为高分辨率图像，下采样率设置为5%，实际有效点数204的图像块作为对应的低分辨率图像，另外经过稀疏采样得到1000组实际的加工数据，该非成对数据占全部数据的20%，将高低分辨率的图像对和稀疏采样数据作为训练集、验证集和测试集，使用adam进行训练，β
1 = 0.9， β
2 = 0.999，，学习率设置为0.0002，总共迭代80个epochs，每隔20个epochs将学习率乘以0.75，，，使用反向传播策略更新网络，如已收敛，则保存训练好的网络模型，用作最终的推理。选择50张合成数据和50张实测的稀疏数据图作为测试集，合成数据有对应的高密度真值数据，然后用密集采样方式得到近似的实测真值误差，测试结果如表1所示，对比常用的插值方法，包括b样条：bspline，克里金：kriging，单一核函数高斯过程：gp，复合核函数高斯过程：cgp，
进行了同样的数据集训练和测试，本发明得到的测试图片的平均psnr和ssim都取得了较高的结果，如表1所示，不仅在合成数据上取得了很好的效果，在真实数据上也取得了很好的效果，另外由于是误差数据的纹理信息较为单一，没有图片丰富和复杂，所以生成的评价指标都很高。
29.表1. 本发明与其他方法在不同测试数据集的性能比较(psnr/ssim)，采样率为5%
数据oursbsplinekriginggpcgpunet合成数据51.38/0.882343.64/0.846147.16/0.857348.25/0.862749.15/0.869247.43/0.8587真实数据51.27/0.881243.52/0.845347.03/0.856948.13/0.861949.07/0.868744.53/0.8489
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。