基于轻量化神经网络的目标零件抓取方法、存储介质及设备

本发明属于机器人目标识别，具体地，涉及一种基于轻量化神经网络的目标零件抓取方法、存储介质及设备。

背景技术：

1、随着机器人控制技术和互联网技术的发展，利用无线远程控制机器人成为机器人远程控制的一种新方式。目前机器人上料技术是选用机器人作为控制单元的研究对象，通过对机器人—视觉的坐标变换进行算法研究，将摄像头采集到的工件信息转换成机器人可识别的机器人坐标，利用视觉软件捕获工件的图像信息，然后设计码垛算法进行坐标标定。通过示教器编写指令程序实现机器人对工件的抓取并按照要求进行码垛摆放。该技术在控制端灵活性不足，识别精度较低，且一旦零件位置倾斜或者零件数量较多发生堆叠，则无法识别。

2、而基于yolo v8等大型深度神经网络的识别算法或三维重构算法虽然有较好的识别精度，但是大型深度神经网络和三维重构算法在实际部署时需要依赖及其昂贵的高性能服务器或专用工控机、三维摄像头，且无法适配于一些设备老旧的生产线，极大限制了现有生产线的升级。

技术实现思路

1、针对现有技术中存在的问题，本发明提供了一种基于轻量化神经网络的目标零件抓取方法、存储介质及设备，通过轻量化神经网络lighttransfernet进行目标零件识别并抓取，不依赖于高性能服务器与专用工控机，可在手机等低性能移动设备上部署并保证性能，快速灵活地升级现有生产线或应用到全新的生产线中，具有低成本、便携性好，通用性强的特点。

2、为实现上述技术目的，本发明采用如下技术方案：一种基于轻量化神经网络的目标零件抓取方法，具体包括如下步骤：

3、步骤1、收集由移动设备远程控制上料机器人的摄像头拍摄的待抓取目标零件的照片集；

4、步骤2、根据移动设备的主频优化收集的照片的尺寸参数，得到尺寸优化的照片集；

5、步骤3、构建可变式轻量化神经网络结构；

6、步骤4、根据移动设备的运行帧数动态调整可变式轻量化神经网络结构中特征提取层的通道数，再将尺寸优化的照片集依次输入可变式轻量化神经网络结构中，对可变式轻量化神经网络结构进行训练，直至达到最大迭代次数，完成对可变式轻量化神经网络结构的训练；

7、步骤5、实时通过移动设备远程控制上料机器人的摄像头拍摄待抓取目标零件的照片，根据移动设备的主频优化照片的尺寸参数，并根据移动设备的运行帧数动态调整特征提取层的通道数，将尺寸优化的照片输入训练好的可变式轻量化神经网络结构中，预测出目标零件被抓取的概率值；

8、步骤6、若预测目标零件被抓取的概率值大于设定阈值，确认目标零件的位置，通过上料机器人抓取目标零件；否则，调整上料机器人位置，重复步骤5，直至上料机器人抓取到目标零件。

9、进一步地，步骤2中优化照片的尺寸参数的具体过程为：

10、

11、其中，h为上料机器人的摄像头所拍照片的纵向像素数，w为上料机器人的摄像头所拍照片横向像素数，f为移动设备的主频。

12、进一步地，所述可变式轻量化神经网络结构由多个不同尺度的特征提取层、一个全平均池化层和一个全连接层依次连接组成。

13、进一步地，步骤3中多个不同尺度的特征提取层用于提取尺寸优化的照片中的特征，获取特征图；所述全平均池化层用于将特征图进行压缩取平均值；所述全连接层用于将压缩取平均值的特征图通过全连接层中的分类器预测目标零件被抓取的概率值。

14、进一步地，步骤4中根据移动设备的运行帧数动态调整特征提取层的通道数的具体过程为：每一个特征提取层依据移动设备目前的运行帧数优化特征提取层的通道数，并以优化的通道数的照片特征信息作为提取的照片特征。

15、进一步地，所述通道数的优化过程为：

16、

17、其中，表示特征提取层的通道数，m表示优化后的特征提取层通道数，表示向下取整函数，fps表示移动设备目前的运行帧数。

18、进一步地，本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行所述的基于轻量化神经网络的目标零件抓取方法。

19、进一步地，本发明还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现所述的基于轻量化神经网络的目标零件抓取方法。

20、与现有技术相比，本发明具有如下有益效果：本发明基于轻量化神经网络的目标零件抓取方法，首先可以摆脱对昂贵高性能服务器、专用工控机的依赖。轻量化神经网络lighttransfernet首先会根据移动设备的性能对输入的图片做尺寸优化，由于生产线中所需识别的零件相对集中，因此优化图片的分辨率后并不会丢失关键信息，同时还可以有效减少移动设备处理器的处理负担增强运算速度；同时，在网络运行过程中，如果生产线摄像头的分辨率极高或生产线对运行速度的要求较高，导致网络识别速度跟不上需求时，lighttransfernet还会优化特征提取层的通道数，通过保留部分通道的关键信息，放弃一些通道的冗余信息来保证识别速度，让lighttransfernet在各型新旧生产线中都可以正常工作。因此本发明提出的此种基于轻量化神经网络的零件抓取方法可以在低成本移动平台上部署，无需依赖高性能台式计算机、专用工控机，并可以根据设备性能自适应调整网络参数，可以简单、快速移植到不同的生产线中流畅使用。

技术特征：

1.一种基于轻量化神经网络的目标零件抓取方法，其特征在于，具体包括如下步骤：

2.根据权利要求1所述的一种基于轻量化神经网络的目标零件抓取方法，其特征在于，步骤2中优化照片的尺寸参数的具体过程为：

3.根据权利要求1所述的一种基于轻量化神经网络的目标零件抓取方法，其特征在于，所述可变式轻量化神经网络结构由多个不同尺度的特征提取层、一个全平均池化层和一个全连接层依次连接组成。

4.根据权利要求3所述的一种基于轻量化神经网络的目标零件抓取方法，其特征在于，步骤3中多个不同尺度的特征提取层用于提取尺寸优化的照片中的特征，获取特征图；所述全平均池化层用于将特征图进行压缩取平均值；所述全连接层用于将压缩取平均值的特征图通过全连接层中的分类器预测目标零件被抓取的概率值。

5.根据权利要求1所述的一种基于轻量化神经网络的目标零件抓取方法，其特征在于，步骤4中根据移动设备的运行帧数动态调整特征提取层的通道数的具体过程为：每一个特征提取层依据移动设备目前的运行帧数优化特征提取层的通道数，并以优化的通道数的照片特征信息作为提取的照片特征。

6.根据权利要求5所述的一种基于轻量化神经网络的目标零件抓取方法，其特征在于，所述通道数的优化过程为：

7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序使计算机执行如权利要求1-6任一项所述的基于轻量化神经网络的目标零件抓取方法。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如权利要求1-6任一项所述的基于轻量化神经网络的目标零件抓取方法。

技术总结
本发明公开了一种基于轻量化神经网络的目标零件抓取方法、存储介质及设备，包括：收集由移动设备远程控制上料机器人的摄像头拍摄的待抓取目标零件的照片集，进行照片尺寸参数优化；构建可变式轻量化神经网络结构；动态调整特征提取层的通道数，并对可变式轻量化神经网络结构进行训练，直至达到最大迭代次数，完成对可变式轻量化神经网络结构的训练；实时拍摄待抓取目标零件的照片，将尺寸优化的照片输入训练好的可变式轻量化神经网络结构中，预测出目标零件被抓取的概率值；若预测目标零件被抓取的概率值大于设定阈值，确认目标零件的位置，通过上料机器人抓取目标零件。本发明的目标零件抓取方法具有低成本、便携性好，通用性强的特点。

技术研发人员：张天宇,杨甚鑫,赵梓清
受保护的技术使用者：南京工程学院
技术研发日：
技术公布日：2024/2/29