一种基于深度学习的铸造清理机器人三维点云处理方法与流程

本发明涉及铸造清理机器人数据处理，尤其是一种基于深度学习的铸造清理机器人三维点云处理方法。

背景技术：

1、随着机器人和自动化技术的发展，工业机器人越来越多的代替人工完成工作环境恶劣的特种性质的工作。工业机器人技术的飞速发展，让其替代人工、清理铸造后铸件上的杂质能够实现。铸造后杂质的清理对铸件最终的质量至关重要，但目前已有的铸件杂质清理技术仍不能满足实际生产加工对高效率和高质量的要求，很多情况下仍旧是需要人工进行处理，一方面工作环境恶劣、清理效率低，另一方面杂质清理效果无法保证，最终铸件的清理效果很大程度上取决于工人的清理经验，对生产的效率和质量造成极大影响。

2、三维点云虽具有高精度的特点，但同样伴随着巨大的计算复杂度，并且点云处理算法灵活性不高，即对于特定的目标只能人为进行算法的调整，不能适应工业生产的铸件参差不齐的要求。对于三维目标物体，其数据结构、表述方式都区别于二维图像，如果直接使用二维图像的深度学习方法处理点云数据，得到的效果并不理想。而图像领域的深度学习方法拥有很强的特征处理能力，故深度学习在图像领域的方法可以有选取地移植到三维物体的深度学习方法研究中来，并加入新的网络结构，使之成为有效感知三维物体的方法。

3、然而，现有的铸造件清理过程中，待清理铸件缺陷特征识别结果仍会存在较大的误差，造成清理结果不理想的问题。

技术实现思路

1、本发明针对上述问题而提出了一种基于深度学习的铸造清理机器人三维点云处理方法。

2、一种基于深度学习的铸造清理机器人三维点云处理方法，包括以下步骤：

3、步骤1、控制铸造清理机器人对不同待清理铸件进行拍照和3d扫描，获取不同待清理铸件的二维图像和三维点云数据，进而获得二维图像样本集和三维点云数据样本集；

4、步骤2、构建基于深度学习的卷积神经网络和pointnet++3d神经网络；

5、步骤3、将所述二维图像样本集中的二维图像依次输入至所述基于深度学习的卷积神经网络中进行自适应学习和训练获得具有自动识别待清理铸件缺陷特征的卷积神经网络深度学习模型；将所述三维点云数据样本集中的三维点云数据依次输入至所述pointnet++3d神经网络中进行自适应学习和训练获得具有自动识别待清理铸件缺陷特征的pointnet++3d神经网络深度学习模型；

6、步骤4、将所述卷积神经网络深度学习模型和pointnet++3d神经网络深度学习模型分别继续进行大规模数据集的自适应学习训练，不断优化深度学习模型对待清理铸件缺陷特征识别的准确率直至准确率达到设定阈值；

7、步骤5、将所述待清理铸件的二维图像输入到训练优化后的卷积神经网络深度学习模型中获得待清理铸件二维图像的缺陷特征识别结果；将所述待清理铸件的三维点云维输入到训练优化后的pointnet++3d神经网络深度学习模型中获得待清理铸件三维点云的缺陷特征识别结果；

8、步骤6、将所述卷积神经网络深度学习模型对待清理铸件二维图像的缺陷特征识别结果与所述pointnet++3d神经网络深度学习模型对待清理铸件三维点云的缺陷特征识别结果进行对比，将准确率高的特征识别结果作为最终的输出。

9、有益效果：本发明通过构建深度学习的卷积神经网络和pointnet++3d神经网络，并通过深度学习的卷积神经网络和pointnet++3d神经网络分别对待清理铸件的二维图像和三维点云数据进行处理，即通过引入深度学习神经网络机制，使用卷积神经网络对铸件的二维图像进行缺陷特征检测，同时使用pointnet++3d神经网络对铸件的三维点云进行缺陷特征检测，最终实现快速准确的识别出铸件的缺陷特征。

技术特征：

1.一种基于深度学习的铸造清理机器人三维点云处理方法，其特征在于：包括以下步骤：

技术总结
本发明公开了一种基于深度学习的铸造清理机器人三维点云处理方法，采集待清理铸件的二维图像和三维点云数据，进而获得二维和三维数据样本集；并将二维三维数据样本集依次输入基于深度学习的卷积神经网络和PointNet++3D神经网络中进行自适应学习和训练获得两种神经网络深度学习模型；后续通过将两种神经网络模型获得结果进行对比，将准确率高的特征识别结果作为最终的输出。本发明公开了基于深度学习的铸造清理机器人三维点云处理方法使用卷积神经网络和PointNet++3D神经网络对铸件的二维和三维点云图像进行缺陷特征检测，最终实现快速准确的识别出铸件的缺陷特征，弥补了传统的卷积神经网络对二维图像中的缺陷检测的不足，提升了铸件缺陷特征识别的准确率。

技术研发人员：李炳萱,于健,关颖,秦兆伯,穆禹丞,赵博,陈广泰
受保护的技术使用者：中车大连机车研究所有限公司
技术研发日：
技术公布日：2024/3/11