理袋机及其理袋方法与流程

本发明涉及包装机械领域，具体而言，涉及一种理袋机及其理袋方法。

背景技术：

1、目前，工厂所需要的包装袋均是通过采购进厂后使用，而外购的包装袋都是成捆成堆的送往厂内，包装袋的正反不一，为方便装袋使用，使用过程中需要操作工人反复的整理包装袋的正反与整齐，十分麻烦，降低了工作效率。

2、若人工整理时，没有将包装袋的底边对齐，则会导致包装袋在堆叠过多后重心不稳发生整体的倾斜甚至倒塌。

技术实现思路

1、本发明的目的在于：提供了一种理袋机及其理袋方法。本发明可以通过机械手与相机实时检测包装袋的状态来整理包装袋，提高了工作效率与包装袋整理堆叠的准确，有效避免包装袋堆叠过高而发生倾斜或倒塌。

2、本技术的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

3、为了解决以上背景技术部分提到的技术问题，本技术的一些实施例提供了一种理袋机，包括：

4、机架；

5、理袋机还包括：

6、放置平台，设于机架的前端，用于放置未整理的编织袋；

7、分袋平台，设于机架的中端，用于分理编织袋；

8、第一机械手，设于机架上，位于放置平台与分袋平台之间，用于将放置平台上的编织袋依次搬移至分袋平台上；

9、运输带，设于分袋平台上，用于运输编织袋；

10、理袋平台，设于机架的后端；

11、第二机械手，设于机架上，位于分袋平台与理袋平台的上方，用于将分袋平台上的编织袋运输至理袋平台上后再整理理袋平台上的编织袋；

12、其中，理袋平台上设有多个用于检测编织袋状态的相机。

13、一种理袋机的理袋方法，包括以下步骤：

14、s1、通过相机对放置于理袋平台上的编织袋进行图像信息采集；

15、s2、对采集到编织袋的图像进行预处理；

16、s3、根据预处理得到的图片进行编织袋实时图像检测；

17、s4、根据图形检测结果，第二机械手和理袋平台运动，整理编织袋。

18、进一步地，s2中，图像的预处理是先对原始图像的进行滤波处理，然后将滤波后的图像灰度化，再进行图像增强处理。

19、进一步地，图像滤波使用双边滤波，其公式为

20、

21、公式中，g(x,y)为滤波后图像，ωs(i,j)为空间域权值，ωr(i,j)为灰度域权值，ωp为归一化参数，i(i,j)为噪声图像，ω为像素(x,y)处的邻域范围；

22、其中，

23、

24、

25、

26、进一步地，图像灰度化是采用加权平均法将三个分量按照各分量的重要程度使用权值来进行加权平均，其计算公式为：

27、gray＝ω1r+ω2g+ω3b；

28、其中，r,g,b为三原色，ω1,ω2,ω3为权重系数。

29、进一步地，图像增强处理是先使用索贝尔算子进行边缘检测，其方式是对于图像中任意一点p0使用两种卷积核分别进行水平方向与垂直方向边缘检测：

30、gx(p0)＝(p3+2p5+p8)-(p1+2p4+p6)；

31、gy(p0)＝(p6+2p7+p8)-(p1+2p2+p3)；

32、式中，gx(p0)与gy(p0)为点p0处的水平方向边缘响应强度与垂直方向边缘响应强度，其值大小表示其为图像边缘可能性的大小；

33、再进行特征提取，以图像的右上角为起点，从左到右，从上到下遍历图像所有像素点，对像素点采取如下操作：获取边缘检测图像的梯度值，某点梯度大于阈值t且与其水平相隔距离l处的像素点的梯度值也大于阈值t，则此处为内撑环边缘点，将这两点间的像素值全部置为255，不符合条件的像素点像素值置为0；至此即完成图像增强。

34、进一步地，图像检测包括检测编织袋朝向、检测编织袋是否摆放整齐和检测编织袋数量；

35、检测编织袋朝向和检测编织袋是否摆放整齐是利用改进yolov5网络进行，yolov5网络的改进包括：

36、使用wiou损失函数：假定锚框为b＝[x,y,w,h]，目标框为bgt＝[xgt,ygt,wgt,hgt]，wiou的计算公式如下：

37、

38、

39、

40、

41、lwlouv1＝rwloullou；

42、

43、其中，wi，hi为两个框重叠部分的尺寸，wg，hg为最小包围框的尺寸，α为权重系数，v为两个框长宽比指标的相似性计算；x,y,w,h分别为锚框的中心点的横纵坐标、锚框的宽和高，xgt,ygt,wgt,hgt分别为预测框的中心点的横纵坐标、锚框的宽和高，wg，hg为最小包围框的尺寸，上标*表示将wg，hg从计算图中分离，将其从变量变为常量，防止rwlou产生阻碍收敛的梯度；

44、使用通道注意力：首先，利用全局平均池化将通道全局空间信息转化为通道描述符：

45、

46、其中，xc表示第c个通道xc在(i，j)位置的值，hp为全局池化函数，特征图的大小从c×h×w变成c×1×1，为了得到不同通道的不同权值，特征随后通过两个卷积层和sigmoid，relu激活函数：

47、cac＝σ(conv(δ(conv(gc))))；

48、式中，σ是sigmod函数，δ是relu函数；

49、最后按元素的顺序将输入fc与通道cac的权值进行对应元素相乘

50、进一步地，改进yolov5网络的训练包括以下步骤：

51、a、构建数据集：采集若干数量的正向和倒向的编织袋图像，进行标注，将标注好的数据集划分，得到具有上方向和侧方向的数据集，上方向数据集中训练集和验证集，比例为一比一；

52、b、将数据集输送到yolov5网络中进行预训练，获取预训练权重；

53、c、使用获取到的预训练权重，再次将数据集输送到改进后的yolov5网络中进行训练；

54、d、编写脚本，统计在不同阈值下验证集的准确率，设定低于阈值的为倒向编织袋，否则为正向编织袋；

55、e、测试出在最高准确率下的阈值。

56、进一步地，检测编织袋数量的采用图形分割的方法，首先对增强后的图像进行阈值分割，然后进行canny边缘检测，最后使用霍夫直线检测，以输出检测到的直线的矢量集合，该集合中的矢量表示编织袋数量。

57、进一步地，阈值分割使用otsu算法进行，求解如下所示：

58、

59、其中：

60、

61、

62、式中：表示类间方差；p1为像素被分类到c1的概率为；p2为分类到c2的概率，m1为分配到c1的像素的平均灰度值；m2为分配到c2的像素的平均灰度值；k为灰度级；pi为像素的灰度级为的概率；i为灰度级为i；

63、令{0,1,2,…,l-1}表示一幅大小为m×n像素的数字图像中的l个不同的灰度级，ni表示灰度级为i的像素数，像素的灰度级为的概率为且假设选择一个阈值t(k)＝k,0＜k＜l-1，并使用它把输入图像阈值化处理为两类c1和c2，其中c1由图像中灰度值在范围[0,k]内的所有像素组成，c2由灰度值在范围[k+1,l-1]内所有像素组成；则像素被分类到c1的概率为分类到c2的概率为则分配到c1的像素的平均灰度值为分配到c2的则为灰度级为0到k的像素的平均灰度值为：整个图像的平均灰度值为：类间方差为全局方差为：

64、canny边缘检测是先使用高斯滤波对阈值分割后的图像进行处理，以放大图像的对比度并增强边缘轮廓信息，处理的公式如下：

65、

66、式中：fs(x，y)为高斯函数与图像进行卷积的结果；g(x，y)为一维零均值高斯核函数；f(x，y)为原始像素点的灰度值；σ是标准差；

67、

68、然后计算图像灰度梯度：利用sobel算子水平与垂直算子与图像卷积计算dx、dy，如下式：

69、dx＝f(x，y)·sobelx(x，y)；

70、dy＝f(x，y)·sobely(x，y)；

71、进而得到图像梯度幅值与角度如下：

72、

73、其中m[x，y]为梯度值，θm为梯度方向，dx与dy分别表示图像在水平与竖直方向上的梯度；

74、最后使用双重阈值对提取到的的边缘特征进行筛选，通过设置高低两种不同阈值来确定最终的边缘像素点，若算法第三步中得到的像素邻域边缘梯度大于所设定的高阈值则判定为边缘，小于所设定的低阈值则判定为非边缘，介于阈值之间的像素点会根据其是否与边缘像素相连来进行判断，相连则被判定为边缘特征像素点；

75、霍夫变换是根据边缘特征像素点输出检测到的直线矢量集合，矢量集合中的每一条直线由具有四个元素的矢量(x1，y1，x2，y2)表示，其中(x1，y1)表示线段的起点，(x2，y2)表示线段的终点。

76、与现有技术相比，本发明具有以下有益效果：

77、1、通过机械手的设置，自动拿取包装袋，降低了人工劳动力，提高了工作效率。

78、2、通过相机实时检测包装袋的状态，来调整包装袋的正反与整齐，使得包装袋在使用时操作者能够更方便的使用包装袋。