一种神经网络定位梭子蟹辅助打码方法及系统

本发明涉及辅助打码，尤其是一种神经网络定位梭子蟹辅助打码方法及系统。

背景技术：

1、目前梭子蟹市场上没有对梭子蟹进行统一的溯源管理；市场上部分梭子蟹在包装盒上虽然有二维码标识，商家和用户可扫描二维码查看相关生产日期，养殖地点以及时间等，但这类二维码容易作假，一个包装盒里面可以多次利用，进行二次或者多次销售假蟹。

2、现有技术主要是在外包装盒上打码，这样容易让不良商家有机可乘，可以仿制包装盒，装品级较差的螃蟹，达到以次充好的目的；且目前辅助打码技术主要依靠机械结构固定，需要人工介入的环节多，对于运动的活体生物定位效果差。

3、在中国专利文献上公开的“一种激光自动打码装置”，其公开号为cn218558344u，公开了一种激光自动打码装置，包括产品输送单元及激光打码单元；但是公开号为cn218558344u的中国专利并不适用于活体生物的打码。

技术实现思路

1、本发明解决了目前梭子蟹在包装盒上设置二维码标识容易作假且目前辅助打码主要依靠机械结构固定导致活体生物定位效果差的问题，提出一种神经网络定位梭子蟹辅助打码方法及系统，利用关键点检测网络对梭子蟹背壳进行定位，然后利用云台自动调整位置来面向激光打码头，实现激光打码；定位效果更准确，且无需人工介入，降低成本。

2、为了实现上述目的，本发明采用以下技术方案：一种神经网络定位梭子蟹辅助打码方法，包括以下步骤：

3、s1，对梭子蟹进行上料操作，梭子蟹背壳朝上放置在云台上；

4、s2，获取梭子蟹图像并经过处理后，将梭子蟹图像输入至关键点检测网络，以得到关键点信息；

5、s3，根据关键点信息之间的关系，计算梭子蟹的偏移角度，根据梭子蟹的偏移角度调整云台；s4，云台调整完毕后，利用激光打码模块进行激光打码。

6、本发明中，首先利用上料固定装置使梭子蟹背壳朝上放在云台上，利用图像采集装置获取梭子蟹图像，进行缩放处理后进入至关键点检测网络，本发明的关键点检测网络为经过改进的yolov3网络，具有关键点检测功能；在得到关键点信息后，根据计算出的偏移角度对云台进行调整，最后进行激光打码操作；本发明采用神经网络检测后自动调整定位，有效降低人工成本，且精度更高。

7、作为优选，所述步骤s2包括以下步骤：

8、s21，获取梭子蟹图像并缩放为512*512*3大小，并输入至关键点检测网络中；

9、s22，通过darknet53网络提取特征后得到大小为16*16*1024的特征图；

10、s23，通过spp模块提取并融合多尺度信息；

11、s24，通过多个卷积模块提取特征信息，在三个不同尺度的特征层上输出结果；

12、s25，通过非极大值抑制、越界判定后得到最终结果。

13、本发明中，经过采集梭子蟹图像后将图像缩放至512*512*3，随后输入到关键点检测网络之中，在关键点检测网络内，通过darknet53网络进行特征的提取，随后通过spp模块提取并融合多尺度信息，接着通过一系列卷积模块进一步提取特征信息，输出结果，最后通过非极大值抑制和越界判定后得到最终的结果。

14、作为优选，所述关键点检测网络通过若干张标记完成的梭子蟹背部照片以及标记信息进行训练，输出结果后计算损失函数后通过随机梯度下降算法进行反向传播。

15、本发明中，通过800张标记完成的梭子蟹背部照片以及标记信息进行训练。

16、作为优选，每个所述特征层上有(box*4+classes+confidence+keypoints*2)*num_anchor个输出结果，其中box*4表示当前预测层锚框总数*4个偏移参数，classes为预测类别，confidence为目标置信度，keypoints*2为预测关键点信息，keypoint为关键点个数，num_anchor为各个特征层生成的锚框总数。

17、本发明中，预测类别的范围在0-1之间，本发明中包括有梭子蟹和背景两个预测类别，在预测类别大于0.5时表示为梭子蟹，其他情况下表示为背景；目标置信度的范围在0-1之间，表示当前预测框内含有梭子蟹的置信度信息，目标置信度越高说明含有梭子蟹的概率越大且框的位置较准确。

18、作为优选，所述损失函数的表达式如下：

19、lloss＝α*lossbox+β*losscls+γ*lossobj+η*losslandmark

20、其中，lossbox表示为目标预测框回归损失，losscls表示为目标分类损失，lossobj表示为目标置信度损失，losslandmark表示为关键点坐标损失，α、β、γ、η分别为不同损失对应的增益超参数。

21、本发明中，损失函数包括目标预测框回归损失、目标分类损失、目标置信度损失以及关键点坐标损失。

22、作为优选，所述步骤s3包括以下步骤：

23、s31，梭子蟹两个尖角的关键点连线以及两只眼睛的关键点连线分别与水平线形成有第一夹角a和第二夹角b，计算水平偏移角度a+b，调整云台三轴使a+b接近0；

24、s32，分别将梭子蟹两侧的尖角和眼睛连线与垂直线分别形成有第三夹角c和第四夹角d，计算垂直偏移角度c+d，调整云台三轴使c+d接近0。

25、本发明中，通过连接相应的关键点，计算得到梭子蟹的偏移角度，根据偏移角度，生成相应的控制指令，控制指令下发至云台，云台进行转动调整。

26、作为优选，所述目标分类损失具体通过将网络预测对应锚框的各类别值与锚框真实匹配的标签值进行交叉熵损失计算，然后对采样的正负样本锚框取均值得到最终的分类损失。

27、作为优选，所述偏移参数包括目标框中心坐标x和y以及高宽h和w，所述关键点取梭子蟹背壳的两个尖角和两只眼睛。

28、本发明中，偏移参数的作用为准确定位到预测框。

29、一种神经网络定位梭子蟹辅助打码系统，使用上述的一种神经网络定位梭子蟹辅助打码方法，包括

30、上料固定装置，包括上料带，利用上料带将梭子蟹送入云台；

31、关键点检测模块，内设有关键点检测网络，输入梭子蟹图像，输出关键点信息；

32、云台控制模块，发送控制指令至云台，使云台转动至指定位置；

33、激光打码模块，对梭子蟹背壳进行激光打码。

34、本发明中，上料固定装置将梭子蟹放置在云台上，在获取到梭子蟹图像后经过处理将图像送入至关键点检测模块的关键点检测网络中，输出关键点信息，经过偏移角度计算后，云台控制模块控制云台进行转动调整，最后利用激光打码模块进行激光打码。

35、本发明的有益效果是：对于本发明的一种神经网络定位梭子蟹辅助打码方法及系统，利用关键点检测网络对梭子蟹背壳进行定位，然后利用云台自动调整位置来面向激光打码头，实现激光打码；定位效果更准确，且无需人工介入，降低成本。

技术特征：

1.一种神经网络定位梭子蟹辅助打码方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，所述步骤s2包括以下步骤：

3.根据权利要求1或2所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，所述关键点检测网络通过若干张标记完成的梭子蟹背部照片以及标记信息进行训练，输出结果后计算损失函数后通过随机梯度下降算法进行反向传播。

4.根据权利要求2所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，每个所述特征层上有(box*4+classes+confidence+keypoints*2)*num_anchor个输出结果，其中box*4表示当前预测层锚框总数*4个偏移参数，classes为预测类别，confidence为目标置信度，keypoints*2为预测关键点信息，keypoint为关键点个数，num_anchor为各个特征层生成的锚框总数。

5.根据权利要求3所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，所述损失函数的表达式如下：

6.根据权利要求1或2所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，所述步骤s3包括以下步骤：

7.根据权利要求5所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，所述目标分类损失具体通过将网络预测对应锚框的各类别值与锚框真实匹配的标签值进行交叉熵损失计算，然后对采样的正负样本锚框取均值得到最终的分类损失。

8.根据权利要求4所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，所述偏移参数包括目标框中心坐标x和y以及高宽h和w，所述关键点取梭子蟹背壳的两个尖角和两只眼睛。

9.一种神经网络定位梭子蟹辅助打码系统，使用权利要求1-8任一项所述的一种神经网络定位梭子蟹辅助打码方法，其特征在于，包括

技术总结
本发明公开了一种神经网络定位梭子蟹辅助打码方法，旨在解决目前梭子蟹在包装盒上设置二维码标识容易作假且目前辅助打码主要依靠机械结构固定导致活体生物定位效果差的问题，包括以下步骤：对梭子蟹进行上料操作，梭子蟹背壳朝上放置在云台上；获取梭子蟹图像并经过处理后，将梭子蟹图像输入至关键点检测网络，以得到关键点信息；根据关键点信息之间的关系，计算梭子蟹的偏移角度，根据梭子蟹的偏移角度调整云台；云台调整完毕后，利用激光打码模块进行激光打码。本发明利用关键点检测网络对梭子蟹背壳进行定位，然后利用云台自动调整位置来面向激光打码头，实现激光打码；定位效果更准确，且无需人工介入，降低成本。

技术研发人员：杜焕狄,李莉莉,宋昊哲,张肖,林晔
受保护的技术使用者：浙江海洋大学
技术研发日：
技术公布日：2024/1/13