基于生成对抗网络的小样本3D视觉检测方法及其系统与流程

本发明属于计算机视觉领域，具体涉及一种基于生成对抗网络的小样本3d视觉检测方法及其系统。

背景技术：

1、机器视觉是与工业应用结合最为紧密的人工智能技术，通过对图像的智能分析，使工业装备具备了基本的识别和分析能力。随着工业数字化、智能化转型逐渐加深入，智能制造的稳步推动，工业机器视觉逐渐形成规模化的产业，并伴随人工智能技术在工业领域落地逐渐深入到工业生成的各种场景中去，尤其是在工业分拣中，机器视觉扮演着重要的角色。

2、工业相机是机器视觉系统中的一个关键组件，全球工业正在快速向着智能制造转型，机器视觉应用的深度和广度不断提高，使得工业相机的需求量以及品质要求也在稳步提高。我国制造业尚处在机器换人的转换期的起步阶段，工业相机的需求量相对较小，但未来发展潜力巨大。

3、3d工业相机为工业分拣提供视觉信息，机械臂通过对应的视觉信息进行分拣。然而在实际工业检测应用中，工业相机虽然能采集到大量信息，但是所采集的数据大多是良品工件的信息，废品工件的信息较少，但却是最关键的信息，而传统视觉检测算法需要大量标注的有效信息，显然无法满足工业分拣中视觉检测的需求。

4、综上所述，为了克服现有3d视觉检测算法难以有效在工业分拣中应用的问题，发明一种具备强大生成能力、强大分辨能力的小样本3d视觉检测算法成为了本研究领域技术人员亟待解决的问题。

技术实现思路

1、有鉴于此，本发明的主要目的在于提供一种基于生成对抗网络的小样本3d视觉检测方法及其系统。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、本发明实施例提供一种基于生成对抗网络的小样本3d视觉检测方法，该方法为：

4、通过张正友标定法进行相机标定；

5、对相机采集的图像进行预处理；

6、结合短时傅里叶变换与改进的辅助分类生成对抗网络对预处理后的图像进行外表检测；

7、获得被检测工件的点云数据；

8、根据所述被检测工件的点云数据估计工件的位姿。

9、上述方案中，所述通过张正友标定法进行相机标定，具体为：

10、获得相机坐标系下的点与相机成像平面之间的映射关系；

11、获得相机坐标系下的点与相机像素平面坐标系之间的转换关系；

12、获得相机坐标系下的点与世界坐标系之间的映射关系；

13、获得相机坐标系和机械臂基坐标系之间的映射关系。

14、上述方案中，所述对相机采集的图像进行预处理，具体为：

15、对相机采集的图像进行图像灰度处理，获得灰度图；

16、对所述灰度图进行图像二值化处理，获得黑白二值化图像；

17、确定黑白二值化图像中被测工件的轮廓。

18、上述方案中，所述结合短时傅里叶变换与改进的辅助分类生成对抗网络对预处理后的图像进行外表检测，具体为：

19、采集各种工件损伤的信号，通过短时傅里叶变换获得时频图像；

20、对所述时频图像进行归一化处理；

21、将来自先验分布的随机噪声输入辅助分类生成对抗网络的生成器，生成假样本；

22、将所述假样本和真实样本分别作为判别器的输入，获得判别分值；

23、通过所述辅助分类生成对抗网络的损失函数对判别分值进行判别样本真假；

24、当输入为真实样本时，判别器最大化判别概率得分；当输入来自生成样本时，判别器最小化概率得分，即最大化，两者相加组成判别器的目标函数，gan通过反向传播优化判别器的参数；

25、通过优化生成器的参数，最终生成的样本的概率分布能收敛到真实样本的概率分布 (即)，达到纳什平衡。

26、上述方案中，所述获得被检测工件的点云数据，具体为：

27、通过被检测工件在彩色图像上的像素点位置将其对应到深度图像的同样位置上，并进行深度图像的裁剪，获取到被检测工件的深度图像信息；

28、对所述被检测工件的深度图像信息按照x、y、z划分点云数据获得每个子集的点数量接近设定的阈值t的八个点集；

29、对所述八个点集进行预处理，获得最大程度简化后的八个点集。

30、上述方案中，所述根据所述被检测工件的点云数据估计工件的位姿，具体为：

31、通过计算投影方差确定点云数据在主轴方向上的方差；

32、构建目标函数；

33、根据所述目标函数和拉格朗日函数确定点云数据在主轴投影上最大的投影方差；

34、求解所述点云数据在主轴投影上最大的投影方差获得最大的2个特征值分别为点的局部邻域点云中的表面法向量和主轴向量。

35、本发明实施例还提供一种基于生成对抗网络的小样本3d视觉检测系统，包括相机、机械臂、传送带、检测装置、上位机以及控制器；

36、所述相机，用于为系统提供视觉图像信息。

37、与现有技术相比，本发明相对于传统视觉检测算法，能够更平稳的处理信号，克服训练样本需求较大的缺陷，且具备更强的泛化性及稳定性。

技术特征：

1.一种基于生成对抗网络的小样本3d视觉检测方法，其特征在于，该方法为：

2.根据权利要求1所述的基于生成对抗网络的小样本3d视觉检测方法，其特征在于，所述通过张正友标定法进行相机标定，具体为：

3.根据权利要求1或2所述的基于生成对抗网络的小样本3d视觉检测方法，其特征在于，所述对相机采集的图像进行预处理，具体为：

4.根据权利要求3所述的基于生成对抗网络的小样本3d视觉检测方法，其特征在于，所述结合短时傅里叶变换与改进的辅助分类生成对抗网络对预处理后的图像进行外表检测，具体为：

5.根据权利要求4所述的基于生成对抗网络的小样本3d视觉检测方法，其特征在于，所述获得被检测工件的点云数据，具体为：

6.根据权利要求5所述的基于生成对抗网络的小样本3d视觉检测方法，其特征在于，所述根据所述被检测工件的点云数据估计工件的位姿，具体为：

7.一种基于生成对抗网络的小样本3d视觉检测系统，其特征在于，该系统用于实现如权利要求1-6中任一项所述的方法，包括相机、机械臂、传送带、检测装置、上位机以及控制器；

技术总结
本发明公开了一种基于生成对抗网络的小样本3D视觉检测方法及其系统，该方法为：通过张正友标定法进行相机标定；对相机采集的图像进行预处理；结合短时傅里叶变换与改进的辅助分类生成对抗网络对预处理后的图像进行外表检测；获得被检测工件的点云数据；根据所述被检测工件的点云数据估计工件的位姿。本发明相对于传统视觉检测算法，能够更平稳的处理信号，克服训练样本需求较大的缺陷，且具备更强的泛化性及稳定性。

技术研发人员：丁丁,王灿,游小超,付明磊,张文安
受保护的技术使用者：杭州灵西机器人智能科技有限公司
技术研发日：
技术公布日：2024/1/15