一种基于深度图像配准网络的高精度成像方法及系统

本发明涉及工业视觉，尤其是涉及一种基于深度图像配准网络的高精度成像方法及系统。

背景技术：

1、在当今竞争激烈的制造业环境中，企业需要不断提高产品质量、降低成本，并保持生产效率和可靠性。高精度成像技术的应用为实现这些目标提供了重要的支持。高精度成像技术能够提供精确的图像和数据，帮助工业企业实时监控制造过程。通过高分辨率的成像设备，生产线上的关键环节可以被准确记录和检测，以确保产品符合质量标准。例如，在电子器件和精密机械零件生产与加工中，高精度成像可以提供对物体表面质量的详细图像，用于评估表面的光洁度、平整度、缺陷和纹理等特征，从而确保每个零件和组件的质量和一致性。

2、现阶段，高精度成像技术通常需要昂贵的设备和复杂的图像处理算法，这增加了应用的成本。大多数实现方案使用x光设备进行成像，然而x射线成像使用的是电离辐射，长时间或过量的暴露可能对人体和环境造成潜在的健康风险，其次高精度成像要求更高的图像分辨率和质量，可能需要增加辐射剂量，这可能会增加辐射暴露风险。因此，需要确保在成像过程中对辐射剂量进行有效的控制和监测。x射线成像技术产生的图像通常是灰度图像，对于非专业人员来说解释起来可能有一定的困难。其次，现阶段的某些高精度成像技术可能需要更长的时间来获取和处理图像数据，这可能不适用于一些需要实时决策和反馈的应用场景。例如，在生产线上需要及时发现和纠正问题的情况下，快速的图像处理速度至关重要。

3、本发明旨在提出一种基于深度图像配准网络的高精度成像方法及系统，来实现待检测产品的快速的高精度成像。深度图像配准网络能够对拍摄到高精度图像进行快速配准，减少高分辨率图像对传统配准方法带来的计算量显著提升，提高高精度成像速度，其次提升算法对配准过程的鲁棒性。

技术实现思路

1、针对上述成像设备昂贵、成像速度慢、成像质量低的问题，本发明提出一种基于深度图像配准网络的高精度成像方法及系统，用于实现待检测产品的快速的高精度成像。

2、本发明一方面提供一种基于深度图像配准网络的高精度成像方法，包括如下步骤：

3、s1、搭建高精度成像系统，系统包括三轴运动平台、成像模块和载具，载具固设于三轴运动平台的y轴上，成像模块固设于三轴运动平台的z轴上，目标产品通过载具固定；

4、s2、通过调整x轴、y轴和z轴直到成像模块可以对目标产品清晰成像，在对目标产品可以清晰成像的基础上确定成像模块的拍摄路径，成像模块按照拍摄路径对目标产品进行局部拍摄，由此得到若干张带有重叠区域的局部图像序列；

5、s3、预设深度图像配准网络并训练，得到训练后的深度图像配准网络，采用训练后的深度图像配准网络对若干张带有重叠区域的局部图像序列进行处理，得到若干个变换矩阵；

6、s4、将若干张带有重叠区域的局部图像序列通过若干个变换矩阵进行转换，得到同一坐标下若干张转换后的局部图像，将若干个转换后的局部图像依次填入到预先设计好的空白大图中，并将空白大图中相邻图像的重叠区域使用加权融合法进行融合，得到目标产品的高精度完整图像。

7、优选地，s2中通过调整x轴、y轴和z轴直到成像模块可以对目标产品清晰成像，在对目标产品可以清晰成像的基础上确定成像模块的拍摄路径，具体包括：

8、s21、通过调整三轴运动平台中的x轴和y轴，使目标产品出现在成像模块的视野中；

9、s22、通过调整三轴运动平台中的z轴，使成像模块能对目标产品清晰成像，并记录此时的z轴高度；

10、s23、在z轴高度确定的情况下，调整三轴运动平台中的x轴和y轴，确定成像模块的拍摄起点和终点，记录起点坐标和终点坐标；

11、s24、使用网格标定法对成像模块进行标定，计算出拍摄的带有重叠区域的局部图像对应的实际物理尺寸；

12、s25、通过起点坐标、终点坐标和实际物理尺寸，规划出成像模块的拍摄路径。

13、优选地，s25具体包括：

14、s251、通过起点坐标和终点坐标计算出待拍摄区域的二维长度；

15、s252、通过实际物理尺寸对二维长度进行划分，确定需要拍摄的点数；

16、s253、根据起点坐标和需要拍摄的点数计算得出中间过程点的坐标；

17、s254、起点坐标、中间过程点坐标和终点坐标构成成像模块的拍摄路径。

18、优选地，s253中中间过程点的坐标的计算公式如下：

19、，

20、其中，，

21、，

22、，

23、，

24、式中，表示起点坐标，表示终点坐标，表示中间过程点坐标，表示第行，，表示第列，，表示轴上的中间过程点的数量，表示轴上的中间过程点的数量，lenght表示拍摄的局部图像对应的实际物理尺寸，units表示一个网格中像素的长度，pixels表示一个网格的实际长度。

25、优选地，s3中预设深度图像配准网络并训练，深度图像配准网络包括依次连接的特征提取模块、相关性估计transformer模块和直接线性变换模块，特征提取模块用于提取图像对中两张图像之间的相关特征，相关性估计transformer模块用于对相关特征进行分割和线性映射，估计出图像对中两张图像之间的偏移量，直接线性变换模块将偏移量转换为图像对的变换矩阵。

26、优选地，s3中采用训练后的深度图像配准网络对若干张带有重叠区域的局部图像序列进行处理，得到若干个变换矩阵，具体包括：

27、s31、将若干张带有重叠区域的局部图像序列进行预处理并分组，得到若干个图像对；

28、s32、从若干个图像对中按顺序选取一个图像对输入至训练后的深度图像配准网络；

29、s33、特征提取模块对选取的图像对中的两张图像分别进行特征提取，得到每张图像对应的向量特征和掩码特征，将每张图像对应的向量特征和掩码特征进行乘积，得到每张图像重叠区域的特征矩阵，将选取的图像对中的两张图像的特征矩阵按维度进行拼接，得到选取的图像对的相关特征；

30、s34、相关性估计transformer模块对相关特征进行分割处理和线性映射，得到初始特征序列，对初始特征序列进行处理，输出选取的图像对的偏移向量；

31、s35、直接线性变换模块根据偏移向量计算出选取的图像对的变换矩阵；

32、s36、从若干个图像对中按顺序选取另外一个图像对，直到若干个图像对均被选取，经过步骤s32至s35处理，得到若干个图像对的变换矩阵。

33、优选地，s34中初始特征序列可用公式表示为：

34、；

35、式中，表示初始特征序列，表示图像嵌入操作过程的线性映射的权重，表示可学习的一维位置嵌入向量，表示可学习的类别嵌入向量，表示第个特征图序列，。

36、优选地，s4具体包括：

37、s41、将若干个图像对的变换矩阵分为若干个列变换矩阵和若干个行变换矩阵，根据若干个列变换矩阵和若干个行变换矩阵计算出若干张带有重叠区域的局部图像序列中的其它张图像相对于第一张图像的变换矩阵；

38、s42、以若干张带有重叠区域的局部图像序列中的第一张图像所在坐标系为主坐标系，将若干张带有重叠区域的局部图像序列中的其它张图像通过各自相对于第一张图像的变换矩阵变换到主坐标系上，得到变换后的局部图像序列；

39、s43、以若干张带有重叠区域的局部图像序列中的第一张图像的左上角点为起点，以变换后的局部图像序列中的最后一张图像的右下角点为终点生成一张空白大图；

40、s44、依次将若干张带有重叠区域的局部图像序列中的第一张图像和变换后的局部图像序列填入到空白大图中；

41、s45、对空白大图中相邻图像的重叠区域做线性加权融合，得到目标产品的高精度完整图像。

42、优选地，s41中根据若干个列变换矩阵和若干个行变换矩阵计算出若干张带有重叠区域的局部图像序列中的其它张图像相对于第一张图像的变换矩阵，变换矩阵可用公式表示为：

43、；

44、；

45、式中，表示第行第列图像相对于第一张图像的变换矩阵，表示第一列中位于第行和第行的两个相邻图像的列变换矩阵，表示第行中位于第列和第列的两个相邻图像的行变换矩阵，表示变换前第行第列的图像，为变换后第行第列的图像。

46、本发明另一方面提供了一种基于深度图像配准网络的高精度成像系统，采用上述基于深度图像配准网络的高精度成像方法进行成像，高精度成像系统包括：高精度成像设备和计算机系统，高精度成像设备与计算机系统连接，计算机系统中设有深度图像配准网络，高精度成像设备包括底座、保护罩、三轴运动平台、成像模块、载具以及控制面板，保护罩设于底座上方，保护罩与底座合围形成半封闭空间，三轴运动平台固设在底座上且位于半封闭空间内，载具固设于三轴运动平台的y轴上，成像模块固设于三轴运动平台的z轴上，控制面板设置在底座的侧面且靠近载具一侧，待拍摄的目标产品位于载具上，其中：

47、控制面板用于控制三轴运动平台沿着x、y和z轴运动；

48、三轴运动平台带动设置在其上的成像模块和目标产品做相对运动，以获取若干个拍摄位置；

49、成像模块在若干个拍摄位置对目标产品进行拍摄，获取若干张带有重叠区域的局部图像序列；

50、计算机系统获取若干张带有重叠区域的局部图像序列并通过设置在其上的深度图像配准网络进行处理，输出目标产品的高精度完整图像。

51、上述一种基于深度图像配准网络的高精度成像方法及系统，首先搭建高精度成像系统，该成像系统包括三轴运动平台、成像模块和载具，载具固设于三轴运动平台的y轴上，成像模块固设于三轴运动平台的z轴上，目标产品通过载具固定；然后通过调整三轴运动平台x轴、y轴和z轴，使成像模块可以对目标产品清晰成像，在此基础上确定成像模块的拍摄路径，成像模块按照拍摄路径对目标产品进行局部拍摄，由此得到若干张带有重叠区域的局部图像序列；接着预设深度图像配准网络并训练，得到训练后的深度图像配准网络，采用训练后的深度图像配准网络对若干张带有重叠区域的局部图像序列进行处理，得到若干个变换矩阵；最后将若干张带有重叠区域的局部图像序列通过变换矩阵进行转换，得到同一坐标下若干张转换后的局部图像，将若干个转换后的局部图像依次填入到预先设计好的空白大图中，并将空白大图中相邻图像之间使用加权融合法进行融合，得到目标产品的高精度完整图像。本方法中的成像模块包括高精度相机、远心镜头和三轴运动平台设备，和现有成像系统相比，设备成本大大降低；另外，本方法中的深度图像配准网络能够在成像质量不变的情况下，通过降低图像分辨率加快成像速度，通过对相邻图像组成的图像对的变换矩阵进行估计，而非依赖传统的先检测特征点再配准方式，节省了特征配准的时间。