基于双目视觉的零部件缺陷检测和评价方法以及装置

本发明涉及缺陷检测，特别涉及一种基于双目视觉的零部件缺陷检测和评价方法以及装置。

背景技术：

1、再制造作为循环经济的重要技术支撑，可以通过利用先进技术和产业化生生产，快速恢复甚至提升废旧装备或产品的性能，使其质量性能不低于原型新品水平。废旧零部件的种类繁多、数量庞大，而且缺陷的类型和程度各异，这使得针对各类废旧零部件进行再制造检测和评估成为一项巨大挑战。

2、零部件的缺陷检测是再制造过程中重要的一环，通过无损检测评价技术，可以满足再制造生产中对缺陷检测评价快速、无损的要求。随着机器视觉技术的飞速发展，利用机器视觉对零部件表面进行无损检测已成为研究的热点领域。传统的人工检验和单目视觉检测方法在面对复杂的三维对象时存在一定的局限性。为了克服这些限制，双目视觉技术逐渐引起了广泛关注。双目视觉是基于两幅从不同角度拍摄的图像，通过寻找这些图像中相同点的像素差异，模拟人眼获取目标对象深度信息的过程。通过将深度信息与图像特征相结合，双目视觉可以提高缺陷检测的准确性和可靠性，同时降低了误检率。然而，目前利用双目视觉对物体进行三维缺陷检测仍存在检测精度、效率不高的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于双目视觉的零部件缺陷检测和评价方法以及装置。

2、一种基于双目视觉的零部件缺陷检测和评价方法，包括：

3、基于双目视觉相机获取零部件的顶部图像和多个侧面图像；

4、基于立体匹配算法对所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的点云数据；

5、通过多视角点云融合算法将所述零部件的顶部和各所述侧面的点云数据融合到同一坐标系下，基于所述坐标系对所述零部件的建模进行逆向处理，得到所述零部件的三维点云图；

6、对所述三维点云图进行点云分割，得到缺陷点云；

7、通过基于深度学习算法对所述缺陷点云进行缺陷识别，得到缺陷数据；

8、利用智能决策模型对所述缺陷数据进行评价，得到所述零部件的再制造评价结果。

9、在其中一个实施例中，所述通过多视角点云融合算法将所述零部件的顶部和各所述侧面的点云数据融合到同一坐标系下，基于所述坐标系对所述零部件的建模进行逆向处理，得到所述零部件的三维点云图的步骤包括：

10、通过多视角点云融合算法将所述双目视觉相机于同一视角获取的图像的点云数据分别作为源点云集合和目标点云集合，通过确定所述源点云集合和所述目标点云集合之间的最近点，得到所述源点云集合和所述目标点云集合之间的变换矩阵，通过多次迭代，将所述零部件的顶部和各所述侧面的点云数据融合到同一坐标系下；

11、基于所述坐标系对所述零部件的建模进行逆向处理，得到所述零部件的三维点云图。

12、在其中一个实施例中，所述通过基于深度学习算法对所述缺陷点云进行缺陷识别，得到缺陷数据的步骤包括：

13、对缺陷点云进行分层采样和分组，利用最远点采样法选择缺陷点云的至少一个中心点，在每个中心点周围的预设半径内寻找最近的k个邻居点，形成局部区域；

14、对每个局部区域进行提取特征，将每个缺陷点云的坐标和特征作为输入，输入至深度学习算法，经过深度学习算法的多层感知机和最大池化得到每个局部区域的特征向量；

15、将不同层次的局部区域的特征向量进行拼接或聚合，得到更高层次的特征表示，直到得到整个缺陷点云的全局特征；

16、使用与所述全局特征对应的深度学习算法的网络结构对所述全局特征进行分类或分割，得到缺陷数据。

17、在其中一个实施例中，所述对所述三维点云图进行点云分割，得到缺陷点云的步骤包括：

18、采用随机采样一致性算法对所述三维点云图进行点云分割，得到缺陷点云，将所述缺陷点云从三维空间映射到二维平面。

19、在其中一个实施例中，所述基于立体匹配算法对所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的点云数据的步骤包括：

20、基于立体匹配算法对所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的视差图；

21、基于所述零部件的顶部和各所述侧面的视差图，计算得到所述零部件的顶部和各所述侧面的深度图；

22、对所述零部件的顶部和各所述侧面的深度图进行解析，得到所述零部件的顶部和各所述侧面的点云数据。

23、在其中一个实施例中，所述获基于双目视觉相机获取零部件的顶部图像和多个侧面图像的步骤之后还包括：

24、对所述获取零部件的顶部图像和多个侧面图像进行预处理，所述预处理包括降噪处理、标定处理、立体校正处理中的至少一种；

25、所述基于立体匹配算法对所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的点云数据的步骤包括：

26、基于立体匹配算法对预处理后的所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的点云数据。

27、在其中一个实施例中，

28、所述降噪处理包括：采用采用高斯滤波和直方图均衡的方法对所述零部件的顶部图像和多个侧面图像进行降噪；

29、所述标定处理包括：采用张正友算法对所述双目视觉相机的图像进行标定，得到双目视觉相机的标定参数和立体标定参数；

30、所述立体校正处理包括：基于双目视觉相机的标定参数和立体标定参数对所述顶部图像和各侧面图像进行立体校正。

31、一种基于双目视觉的零部件缺陷检测和评价装置，包括：

32、图像采集模块，用于基于双目视觉相机获取零部件的顶部图像和多个侧面图像；

33、点云数据获得模块，用于基于立体匹配算法对所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的点云数据；

34、三维点云图获得模块，用于通过多视角点云融合算法将所述零部件的顶部和各所述侧面的点云数据融合到同一坐标系下，基于所述坐标系对所述零部件的建模进行逆向处理，得到所述零部件的三维点云图；

35、缺陷点云获得模块，用于对所述三维点云图进行点云分割，得到缺陷点云；

36、缺陷数据获得模块，用于通过基于深度学习算法对所述缺陷点云进行缺陷识别，得到缺陷数据；

37、评价结果获得模块，用于利用智能决策模型对所述缺陷数据进行评价，得到所述零部件的再制造评价结果。

38、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

39、基于双目视觉相机获取零部件的顶部图像和多个侧面图像；

40、基于立体匹配算法对所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的点云数据；

41、通过多视角点云融合算法将所述零部件的顶部和各所述侧面的点云数据融合到同一坐标系下，基于所述坐标系对所述零部件的建模进行逆向处理，得到所述零部件的三维点云图；

42、对所述三维点云图进行点云分割，得到缺陷点云；

43、通过基于深度学习算法对所述缺陷点云进行缺陷识别，得到缺陷数据；

44、利用智能决策模型对所述缺陷数据进行评价，得到所述零部件的再制造评价结果。

45、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

46、基于双目视觉相机获取零部件的顶部图像和多个侧面图像；

47、基于立体匹配算法对所述顶部图像和各侧面图像进行立体匹配，得到所述零部件的顶部和各所述侧面的点云数据；

48、通过多视角点云融合算法将所述零部件的顶部和各所述侧面的点云数据融合到同一坐标系下，基于所述坐标系对所述零部件的建模进行逆向处理，得到所述零部件的三维点云图；

49、对所述三维点云图进行点云分割，得到缺陷点云；

50、通过基于深度学习算法对所述缺陷点云进行缺陷识别，得到缺陷数据；

51、利用智能决策模型对所述缺陷数据进行评价，得到所述零部件的再制造评价结果。

52、上述基于双目视觉的零部件缺陷检测和评价方法以及装置，采用多视角双目视觉的方法，对零部件进行无损检测，采用立体匹配和三维重建等方法对零部件进行三维缺陷检测，并利用智能决策模型对零部件的再制造进行评价，提升了再制造的检测效率，提高了零部件智能识别率和再制造自动化、智能化水平，有良好的应用前景。