一种利用双目相机测量AGV小车剩余物料的方法与流程

本发明涉及纸板储存上料领域，尤其涉及一种利用双目相机测量agv小车剩余物料的方法。

背景技术：

1、纸板经过一系列折盒操作后可以形成一个用于包装的纸盒，在自动化设备中经常以纸板为物料经过折盒后用于产品的包装，目前的纸板储存一般都是采用堆放式，为了更好的调度，一般会将其堆放到agv小车上，通过agv小车移动至上料工位，然后再配合相应的上料机械手取走纸板进行后续的折盒包装，在agv小车堆放的纸板被取完后，需要进行补料，一般会采用多个agv小车进行轮替，提高补料效率，使上料机械手等后续的折盒包装设备不需要进行长时间的等待，然而，处于上料工位的agv小车堆放的剩余物料则成了关键的数据，因此亟需设计一种能够精准度测量agv小车剩余物料的方法。

技术实现思路

1、本发明的目的是提供一种利用双目相机测量agv小车剩余物料的方法，通过双目相机配合特定的算法，能够精准的计算出agv小车上剩余物料的深度，进而得到agv小车剩余纸板的数量。

2、为了实现以上目的，本发明发明采用的技术方案为：一种利用双目相机测量agv小车剩余物料的方法，包括如下步骤：

3、步骤一、通过固定的双目相机拍摄agv小车上的纸板图像，读取左右图像；

4、步骤二、对左右图像进行灰度化预处理；

5、步骤三、对预处理后的左右图像使用sift算法进行特征提取；

6、步骤四、设计基于改进欧氏距离的k-最近邻算法计算左右图像特征点的对应关系；

7、步骤五、根据特征点匹配关系计算视差值，即左右特征点的水平像素偏移量；

8、步骤六、根据视差值计算深度值，假设摄像机的基线长度为b(单位为米)，摄像机的焦距为f(单位为像素)，则可以使用以下公式计算深度值(d)：

9、d＝(b×f)/parallaxvalue

10、其中parallax value为视差值；

11、步骤七、输出深度图或深度估计结果，结合纸板厚度及空载状态下的agv小车深度得到agv小车剩余物料量。

12、优选的，灰度值＝α×r+β×g+γ×b

13、使用粒子群算法优化权重值，α、β、γ，具体流程如下：

14、1)初始化粒子群参数：

15、①定义粒子数目：确定参与优化的粒子数量，对应本例中α、β、γ。

16、②定义权重分配的维度：根据具体问题，确定需要优化的权重分配的维度。

17、③定义迭代次数：指定需要进行优化的迭代次数。

18、2)初始化粒子的位置和速度：

19、①随机初始化粒子的位置：根据权重分配的维度和取值范围，生成初始位置。

20、②随机初始化粒子的速度：根据权重分配的维度和取值范围，生成初始速度。

21、3)计算适应度函数：

22、定义适应度函数：根据权重分配计算图像的灰度化效果，并评估其好坏。

23、设原始图像为x，灰度化后的图像为y。对于每个像素位置(i,j)，设x(i,j)为原始图像的像素强度值，y(i,j)

24、为灰度化图像的像素强度值。

25、则，平均绝对差异(mad)的计算公式如下：

26、

27、其中，n为图像的像素总数。

28、适应度函数定义为mad的值，即：

29、fitness＝mad

30、4)迭代优化：

31、对于每次迭代：

32、·针对每个粒子计算适应度值，并更新其最佳位置和最佳适应度值；

33、·更新全局最佳位置和最佳适应度值；

34、·根据粒子群算法的更新规则，更新粒子的速度和位置。通常包括使用当前速度和位置、个体最佳位置和全局最佳位置，以及随机因子等进行加权运算；

35、·限制速度和位置在合理的范围内，确保权重分配在指定的取值范围内；

36、所涉及到的更新迭代公式如下：假设在d维搜索空间中，有n个粒子，每个粒子代表一个解，则：

37、①第i个粒子的位置：xi-d＝(xi-1,xi-2,xi-3,…xi-d,)

38、②第i个粒子的速度：vi-d＝(vi-1,vi-2,vi-3,…vi-d,)

39、③第i个粒子要搜索到的最优位置：

40、pi-d,best＝(pi-1,best,pi-2,best,pi-3,best,…pi-d,best)

41、④群体搜索到的最优位置：

42、pd,best＝(p1,best,p2,best,p3,best,…pd,best)

43、⑤速度更新：

44、

45、⑥位置更新：

46、

47、5)输出最优解：

48、获取全局最佳位置(global_best)，即最佳的权重分配。

49、优选的，sift算法的主要步骤如下：

50、1)尺度空间极值检测：

51、·构建高斯金字塔：通过重复使用高斯滤波器，将原始图像在不同尺度下进行平滑，将每个尺度下的图像称为一层；

52、·构建高斯差分金字塔(dog金字塔)：对相邻层进行高斯平滑后，计算差分图像，这样可以从金字塔的不同层中检测到具有不同尺度的图像细节；

53、·在金字塔的每个层中检测局部极值点：对每个像素的周围像素进行比较，找到局部极小或极大值点；

54、高斯滤波器：

55、其中，窗口模板的大小为(2k+1)×(2k+1)，i,j对应窗口模板中的坐标点。

56、高斯金字塔：

57、其中，w(m,n)＝w(m)*w(n)是长度为某定值的高斯核卷积。

58、高斯差分金字塔l(i)＝g(i)-expand(g(i+1))

59、其中：

60、

61、定义高斯金字塔的组数：

62、ο＝[log2(min(i,j)]-k

63、其中，i,j是图像的宽、高，k是最小图像的尺寸，相同尺寸的图像定义为一组；

64、关键点定位：

65、·基于高斯曲率的关键点定位：利用尺度空间上的曲率信息来定位更稳定的关键点，通过计算像素点周围像素的高斯梯度和梯度的二阶导数，来估计特征点的稳定性；

66、·剔除低对比度的关键点：根据设定的阈值，将低对比度的关键点排除；

67、·剔除边缘响应较大的关键点：基于像素点周围的梯度方向，剔除位于边缘的关键点；

68、2)关键点方向计算：

69、·计算梯度方向直方图：在关键点周围的区域内计算像素的梯度方向；根据梯度方向的大小，生成梯度方向直方图；

70、·寻找关键点主方向：选择梯度方向直方图中的峰值作为关键点的主方向；

71、3)关键点描述：

72、·计算关键点周围的局部图像区域：根据关键点的位置和尺度，在关键点周围定义一个以关键点为中心的圆形区域；

73、·利用关键点周围图像的梯度方向生成描述符：在圆形区域内划分子区域，并计算每个子区域内像素的梯度方向和大小，使用这些信息生成一个具有固定维度的特征向量，即sift描述符。

74、优选的，设计的k-最近邻算法用于计算左右图像之间的特征点的对应关系，从而实现立体匹配和三维重建，具体步骤如下：

75、1)提取特征点：结合步骤三，可以检测到具有独特属性的关键特征点；

76、2)特征描述：对于每个特征点，将其周围的局部图像区域转化为一个特征向量，描述其关键属性；

77、3)计算距离：对于左图像中的每个特征点，计算它与右图像中所有特征点的改进欧氏距离；考虑不同特征点的权重不同，引入权重来计算欧氏距离，距离越小表示两个特征点越相似；其中权重定义为：wij，左图像特征点坐标(xi,yi)，右图像特征点坐标(xj,yj)；

78、改进欧氏距离：

79、自适应权重：根据特征在样本中的分布情况来自适应地调整权重，计算每个特征的样本方差或标准差，并将其作为权重，方差或标准差较大的特征可以被赋予较低的权重，反之则较高，最后，结合数据样本，借助交叉实验验证技术，来评估最佳的权重选择；

80、4)最近邻匹配：对于每个左图像的特征点，选择右图像中距离最近的特征点作为其对应关系；

81、5)过滤和验证：进行匹配后，可以进行一些过滤和验证步骤来排除错误匹配。

82、优选的，视差值的计算如下：假设左图像中的特征点坐标为(x_left,y)，右图像中对应的特征点坐标为(x_right,y)，则视差值parallax value定义为：parallax value＝x_left-x_right。

83、本发明的技术效果：通过对双目相机图像采集，设计特定数据强化算法，获取不同场景下的高质量图像；基于高质量的图像数据集，匹配特定算法，精准计算出移动仓(agv小车构成)上的剩余物料的高度，进而得到原材料(纸板)的数量，为后续制定库存补货策略奠定基础。