基于旋转目标检测的视觉分拣方法

本发明涉及视觉分拣，尤其涉及基于旋转目标检测的视觉分拣方法。

背景技术：

1、目前，主流的视觉分拣技术主要包括二维码检测和模板匹配算法。然而，这些方法存在以下缺点：

2、1)对光照和尺度变化敏感：传统视觉算法对于光照变化和尺度变化较为敏感。当目标物体在光照条件或尺度方面发生变化时，检测结果可能受到影响，从而降低准确性。

3、2)受噪声和变形影响：图像中存在噪声或目标物体发生变形时，算法的准确性可能受到影响。噪声和变形可能导致匹配结果产生误差，降低算法的可靠性。

4、3)计算复杂度高：模板匹配算法需要在图像中的每个位置进行匹配，导致计算复杂度较高。这限制了算法的识别速度、准确性和实时性。

5、4)需要对产品进行预处理：为了完成识别任务，需要对产品进行预处理，从而降低工作效率。

6、因此，亟需开发一种新的视觉分拣方法以解决上述技术问题。

技术实现思路

1、基于背景技术存在的技术问题，本发明提出了基于旋转目标检测的视觉分拣方法，具有更好的稳定性、准确性和识别速度。

2、本发明提出的基于旋转目标检测的视觉分拣方法，方法步骤如下：

3、s1：采集待分拣物的图像，将采集的图像输入旋转检测模型；

4、s2：对旋转检测模型进行部署，并将旋转检测模型的输出通过非极大值抑制方法得到旋转检测目标的最终输出矩形框；

5、s3：对旋转检测目标的最终输出矩形框进行坐标变换得到其在绝对坐标系下的具体位置，并根据实际需求制定分拣策略；

6、s4：通过轨迹规划与逆运动学控制机器人进行分拣；

7、s5：机器人完成分拣动作后重复s1-s4，直到完成分拣任务。

8、优选地，所述旋转检测模型的输入阶段采用改进的旋转目标检测网络与自定义数据生成和增强方法；特征融合模块采用改进的特征金字塔与个人区域网络结构进行下采样融合。

9、优选地，s2中自定义数据生成和增强的方法步骤如下：

10、s211：根据物体标签对输入图像进行裁剪，生成模板；

11、s212：引入随机参数对模板进行修改；

12、s213：将经过修改的模板图像与背景图像进行融合；

13、s214：采用局部图像平滑技术增强模板图像与背景图像的融合度，并输出融合后的图像。

14、优选地，s212中的随机参数包括偏移量、缩放比例和旋转角度。

15、优选地，改进的特征金字塔与个人区域网络结构为引入改进的全连接空间金字塔空洞卷积模块。

16、优选地，改进的全连接空间金字塔空洞卷积模块采用空洞卷积模块代替最大池化层，空洞卷积模块包含空洞卷积、归一化和silu激活函数。

17、优选地，主干结构和特种融合模块之间还设置有协调注意力机制模块。

18、优选地，所述旋转检测模型的预测头由参数向量[x，y，w，h，θ，conf，cls]表示，其中x和y表示矩形框的中心坐标，w和h表示矩形框的宽度和高度，表示矩形框的旋转角度，conf表示矩形框的置信度，cls表示矩形框的类别概率。

19、优选地，矩形框的置信度表达式为：

20、

21、式中：pr(obj)为物体存在的概率函数；为预测框与真实框的交并比；score(θ)为角度得分项，表达式为：

22、score(θ)＝1-|norm(θpred-θtruth)|k

23、式中：k为旋转检测模型的超参数；θpred为角度预测值；θtruth为标签值。

24、优选地，s2中非极大值抑制的方法步骤如下：

25、s221：将置信度值低于置信度阈值的预测框过滤掉，其余的预测框按类别分为k1、k2、k2、…、knc集合；

26、s222：找到每个集合中置信度得分最大的预测框，放到解集q中，并计算剩下所有预测框与它的旋转框iou，如果大于iou阈值，则说明为同一物体的检测框，将其排除；反之，则保留；

27、s223：重复s222，直到所有预测框都被遍历。

28、本发明的有益技术效果：

29、本发明以yolov7为基础框架，将ca注意力机制与改进的特征融合方法结合到目标检测网络当中，同时使用先验框回归的方法预测旋转框的角度，相较于将角度作为分类问题的方法可以更加精确地表示旋转目标的角度，并且大大降低了计算量，避免因检测头过长造成的特征浪费；且本发明保留了yolov7的优秀性能，推理速度更快，预测效果更加准确，可以更好的实现工业分拣系统的实时检测功能。

技术特征：

1.基于旋转目标检测的视觉分拣方法，其特征在于，方法步骤如下：

2.根据权利要求1所述的基于旋转目标检测的视觉分拣方法，其特征在于，所述旋转检测模型的输入阶段采用改进的旋转目标检测网络与自定义数据生成和增强方法；特征融合模块采用改进的特征金字塔与个人区域网络结构进行下采样融合。

3.根据权利要求2所述的基于旋转目标检测的视觉分拣方法，其特征在于，s2中自定义数据生成和增强的方法步骤如下：

4.根据权利要求3所述的基于旋转目标检测的视觉分拣方法，其特征在于，s212中的随机参数包括偏移量、缩放比例和旋转角度。

5.根据权利要求2所述的基于旋转目标检测的视觉分拣方法，其特征在于，改进的特征金字塔与个人区域网络结构为引入改进的全连接空间金字塔空洞卷积模块。

6.根据权利要求5所述的基于旋转目标检测的视觉分拣方法，其特征在于，改进的全连接空间金字塔空洞卷积模块采用空洞卷积模块代替最大池化层，空洞卷积模块包含空洞卷积、归一化和silu激活函数。

7.根据权利要求5所述的基于旋转目标检测的视觉分拣方法，其特征在于，主干结构和特种融合模块之间还设置有协调注意力机制模块。

8.根据权利要求2所述的基于旋转目标检测的视觉分拣方法，其特征在于，所述旋转检测模型的预测头由参数向量[x,y,w,h,θ,conf,cls]表示，其中x和y表示矩形框的中心坐标，w和h表示矩形框的宽度和高度，表示矩形框的旋转角度，conf表示矩形框的置信度，cls表示矩形框的类别概率。

9.根据权利要求8所述的基于旋转目标检测的视觉分拣方法，其特征在于，矩形框的置信度表达式为：

10.根据权利要求1所述的基于旋转目标检测的视觉分拣方法，其特征在于，s2中非极大值抑制的方法步骤如下：

技术总结
本发明公开了基于旋转目标检测的视觉分拣方法，方法步骤如下：S1：采集待分拣物的图像，将采集的图像输入旋转检测模型；S2：对旋转检测模型进行部署，并将旋转检测模型的输出通过非极大值抑制方法得到旋转检测目标的最终输出矩形框；S3：对旋转检测目标的最终输出矩形框进行坐标变换得到其在绝对坐标系下的具体位置，并根据实际需求制定分拣策略；S4：通过轨迹规划与逆运动学控制机器人进行分拣；S5：机器人完成分拣动作后重复S1‑S4，直到完成分拣任务。本发明可以更加精确地表示旋转目标的角度，并且大大降低了计算量，避免因检测头过长造成的特征浪费，且推理速度更快，预测效果更加准确，可以更好的实现工业分拣系统的实时检测功能。

技术研发人员：钱森,朱家鼎,赵泽曜,王正雨,刘勇,訾斌
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/1/15