1.本发明属于行李智能搬运识别测量技术领域，尤其涉及基于深度学习的行李识别测量方法及装置。
背景技术：
2.目前国内外机场对于需要托运的行李后处理，一般是由地面服务人员根据箱包的规格目视检查及人工评估，将行李手动搬运到行李运输集装箱或飞机货舱。
3.人工搬运行李需要较高的人力成本，并且在搬运过程中容易造成行李损坏，影响旅客飞行体验及机场的运行效率。而行李的智能搬运需要获取行李的尺寸和位姿信息才能与机械臂配合将行李码放在合适的位置，以提高搬运效率和货舱空间利用率。
4.目前对于行李的测量一般为传统的光栅测量或线激光扫描，光栅测量容易造成行李尺寸误差较大的问题，而一整套的激光扫描设备成本又相对较大，因此不能较好的满足对于多件行李，不同类别、不同形状的行李的识别和测量。
5.因此，针对上述问题，本发明提出了一种基于深度学习的行李非接触测量方法及装置。
技术实现要素：
6.本发明的目的在于提供提出一种基于深度学习的行李识别测量的方法及装置，解决现有行李测量设备成本较高，传统立体匹配算法误差较大的问题，相比于传统的算法能够获得更好的尺寸测量精度，解决在机场运输环境光照复杂多变，行李表面弱纹理区域匹配效果差，从而影响行李检测搬运效率和机场服务满意度的问题。
7.本发明解决其技术问题是采取以下技术方案实现的：
8.基于深度学习的行李识别测量方法，包括如下步骤：
9.构建acvnet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对acvnet网络模型进行训练，利用行李立体匹配数据集进行训练后的acvnet网络模型的迁移学习，获得最终的训练好的acvnet网络模型；
10.利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的acvnet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；
11.将点云数据可视化分类并获得行李的尺寸信息。
12.进一步的，所述行李立体匹配数据集的获取方法为：
13.a、通过双目相机获取行李rgb图像及行李视差图，对获取的行李rgb图像进行处理，获得行李左、右目图像，通过激光雷达结合雷达标定的外参与行李视差图融合形成完整的视差图；
14.b、调整行李在相机和激光雷达视场下的摆放位置和姿态，重复步骤a，获得多组图像对和视差图，从而获得行李立体匹配数据集。
15.进一步的，利用训练集对acvnet网络模型进行训练的方法为：
16.利用sceneflow数据集对acvnet网络模型进行模型预训练，并保存训练权重；
17.利用真实驾驶场景kitti2012、kitti2015数据集分别对acvnet网络模型进行模型预训练，并保存训练权重。
18.进一步的，对行李图像进行预处理的方法为：对行李图像依次进行图像极线校正、图像增强处理、图像分割处理，获得预处理后的行李图像。
19.进一步的，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据的方法为：
20.利用三角测量原理将视差图转化为深度图：
[0021][0022]
式中，b是双目相机左右光轴之间的距离，f为相机焦距，z为待测物体距离相机的深度，xl是左目相机图像中的点在左相机图像坐标系下的水平坐标，xr是右目相机图像中的点在右相机图像坐标系下的水平坐标；
[0023]
获取行李各点的三维坐标：
[0024][0025]
式中，(x,y,z)为行李的三维坐标信息，d为行李左右图像的视差图，(xa，ya)为经过图像预处理之后的图像坐标值；
[0026]
将得到的行李深度图转化为点云图。
[0027]
进一步的，对行李图像进行图像极线校正的方法为：
[0028]
通过张正友标定法进行相机标定，获取双目相机的内外参数，运用bouguet图像校正算法将双目相机获取到的左、右行李图像进行极线校正，使图像满足立体匹配的极线约束。
[0029]
进一步的，采用直方图均衡化图像灰度变换增强算法，对极线校正后的行李图像进行增强处理；运用霍夫变换算法对获得的增强图像进行行李图像分割处理。
[0030]
基于深度学习的行李识别测量装置，包括：
[0031]
acvnet网络模型获取模块，用于构建acvnet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对acvnet网络模型进行训练，利用行李立体匹配数据集进行训练后的acvnet网络模型的迁移学习，获得最终的训练好的acvnet网络模型；
[0032]
行李图像点云数据获取模块，用于利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的acvnet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；
[0033]
行李尺寸信息获取模块，用于将点云数据可视化分类并获得行李的尺寸信息。
[0034]
一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的
存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于深度学习的行李识别测量方法。
[0035]
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于深度学习的行李识别测量方法。
[0036]
本发明的优点和积极效果是：
[0037]
本发明使用双目相机来采集行李图像，对行李图像进行预处理，得到相对准确的行李图像，降低了外界噪声的干扰；然后使用预训练好的acvnet网络模型，在真实行李数据集上进行微调，调节立体匹配的权重参数，使用固态激光雷达得到的深度图作为补充，实现更为准确的行李深度图估计，得到行李的三维信息，该过程提高了行李视觉测量方案的准确性和稳定性；最后根据输出的深度图转化为行李点云，通过点云数据可视化分类并获得行李的尺寸信息；因此，本发明能在保证准确率和效率的同时，提供一种更方便的、更智能化的行李尺寸测量方法，为智慧机场建设和产业结构化改革提供新思路。
具体实施方式
[0038]
首先，需要说明的是，以下将以示例方式来具体说明本发明的具体结构、特点和优点等，然而所有的描述仅是用来进行说明的，而不应将其理解为对本发明形成任何限制。此外，在本文所提及各实施例中予以描述或隐含的任意单个技术特征，仍然可在这些技术特征(或其等同物)之间继续进行任意组合或删减，从而获得可能未在本文中直接提及的本发明的更多其他实施例。
[0039]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0040]
本实施例提供的基于深度学习的行李识别测量方法，包括如下步骤：
[0041]
构建acvnet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对acvnet网络模型进行训练，利用行李立体匹配数据集进行训练后的acvnet网络模型的迁移学习，获得最终的训练好的acvnet网络模型；
[0042]
利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的acvnet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；
[0043]
将点云数据可视化分类并获得行李的尺寸信息。
[0044]
所述行李立体匹配数据集的获取方法为：a、通过双目相机获取行李rgb图像及行李视差图，对获取的行李rgb图像进行处理，获得行李左、右目图像，通过激光雷达结合雷达标定的外参与行李视差图融合形成完整的视差图；b、调整行李在相机和激光雷达视场下的摆放位置和姿态，重复步骤a，获得多组图像对和视差图，从而获得行李立体匹配数据集。
[0045]
具体的，在本实施例中，所述行李立体匹配数据集的获取方法为：
[0046]
步骤2-1-1：使用小觅s1030-ir标准版双目相机和sick tim 561激光雷达进行行李立体匹配数据集的制作，将相机和雷达固定；
[0047]
步骤2-1-2：使用小觅s1030-ir双目相机获取行李rgb图像，并保存；
[0048]
步骤2-1-3：使用小觅s1030-ir双目相机获取行李视差图，并保存；
[0049]
步骤2-1-4：使用sick tim561激光雷达结合雷达标定的外参与相机获取的行李视差图融合形成完整的视差图；
[0050]
步骤2-1-5：对步骤2-1-2中获取的双目行李图像进行处理，将图像保存为行李左右目图像对；
[0051]
步骤2-1-6：对步骤2-1-3中获取的双目行李视差图进行处理，使其符合步骤2-1-5中所得图像对的视差图要求，并保存；
[0052]
步骤2-1-7：调整工作台上行李在相机和雷达视场下的摆放位置和姿态，重复步骤2-1-1、2-1-2、2-1-3、2-1-4、2-1-5和2-1-6，拍摄多组图像对和视差图，从而完成行李立体匹配数据集的制作；
[0053]
具体的，利用训练集对acvnet网络模型进行训练的方法为：
[0054]
利用sceneflow数据集对acvnet网络模型进行模型预训练，并保存训练权重；
[0055]
利用真实驾驶场景kitti2012、kitti2015数据集分别对acvnet网络模型进行模型预训练，并保存训练权重。
[0056]
需要说明的是，sceneflow数据集是一个大规模的合成数据集，提供了3万多对训练图像，使得深度神经网络能够充分的训练，acvnet先在该数据集上进行一次模型预训练，并保存训练权重；kitti数据集分为2012和2015两个版本，作为真实数据集在业界有一定影响力，acvnet在kitti2012和kitti2015上再分别进行一次预训练，并保存训练权重。
[0057]
进一步的，对行李图像进行预处理的方法为：对行李图像依次进行图像极线校正、图像增强处理、图像分割处理，获得预处理后的行李图像。
[0058]
进一步的，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据的方法为：
[0059]
利用三角测量原理将视差图转化为深度图：
[0060][0061]
式中，b是双目相机左右光轴之间的距离，f为相机焦距，z为待测物体距离相机的深度，xl是左目相机图像中的点在左相机图像坐标系下的水平坐标，xr是右目相机图像中的点在右相机图像坐标系下的水平坐标；
[0062]
获取行李各点的三维坐标：
[0063][0064]
式中，(x,y,z)为行李的三维坐标信息，d为行李左右图像的视差图，(xa，ya)为经过图像预处理之后的图像坐标值；
[0065]
将得到的行李深度图转化为点云图。
[0066]
进一步的，对行李图像进行图像极线校正的方法为：
[0067]
通过张正友标定法进行相机标定，获取双目相机的内外参数，运用bouguet图像校正算法将双目相机获取到的左、右行李图像进行极线校正，使图像满足立体匹配的极线约
束；采用直方图均衡化图像灰度变换增强算法，对极线校正后的行李图像进行增强处理；运用霍夫变换算法对获得的增强图像进行行李图像分割处理。
[0068]
具体的，搭建实验平台并固定好双目相机，通过张正友标定法进行相机标定，获取双目相机的内外参数；依据获取的相机参数，包括相机的畸变参数k、旋转矩阵r、平移矩阵t等，运用bouguet图像校正算法将双目相机获取到的左、右行李图像进行极线校正，使图像满足立体匹配的极线约束；
[0069]
采用直方图均衡化图像灰度变换增强算法，对校正后的行李图像进行增强处理，具体步骤如下：
[0070]
首先得到校正后行李图像的灰度直方图，统计得到每个灰度级对应的概率密度函数，所用公式为：
[0071][0072]
式中，p(rk)为灰度级为k的像素点的概率密度函数，nk为灰度级为k的像素个数，m
×
n为图像像素点的总数，l代表图像灰度级；
[0073]
由概率密度函数得到每个灰度级的累积分布函数，所用公式为：
[0074][0075]
式中，sk为灰度级为k的像素在整张图像中的累计概率值；
[0076]
取整计算并确定像素映射关系，所用公式为：
[0077]
f(k)＝(l-1)
×
s(k)
[0078]
式中，f(k)为灰度级为k的像素在经过取整扩展后，根据映射关系对应的新的像素值；
[0079]
根据映射关系计算出新的均衡后的直方图；
[0080]
运用霍夫变换算法对增强图像进行行李图像分割处理，具体步骤为：
[0081]
根据canny边缘检测算法进行行李边缘的检测；
[0082]
将获得的行李边缘图像进行直线霍夫空间变换，从图像笛卡尔坐标系统转换到图像极坐标霍夫空间系统，所用公式为：
[0083]
r＝x
·
cos(θ)+y
·
sin(θ)
[0084]
式中，θ为r与x轴之间的夹角，r为到直线的几何垂直距离，x为像素点的横坐标，y为像素点的纵坐标；
[0085]
根据图像极坐标霍夫空间系统，设置阈值，输出最大霍夫变换值；
[0086]
根据获得的最大霍夫变换值，进行行李图像分割，所用公式为：
[0087][0088]
式中，g为变换之后得到的行李灰度图像像素值，g为变换之前行李灰度图像像素值，c为图像像素所在列数,c
left
为获得图像左霍夫变换值所在列数，c
right
为获得图像右霍夫变换值所在列数；
[0089]
在本实施例中，将点云数据可视化分类并获得行李的尺寸信息的方法为：
[0090]
使用小觅s1030-ir双目相机sdk，在visual studio 2017上运行程序，输出行李的
双目图像及网络得到视差图，在行李左图像上标注得到的待测行李的尺寸信息；
[0091]
通过行李传送装置获取行李重量信息，并且，传送带转速已知；
[0092]
行李的长宽数据可以由最小外接矩形得到，对于表面平整的点云数据取行李表面点云的平均值作为高度值，从而得到行李体积；
[0093]
对于不规则点云采用点云切片的方式，将其投影到xoy平面，平面上的点具有不同的深度值，积分求得不规则行李的体积。
[0094]
实施例2
[0095]
基于深度学习的行李识别测量装置，包括：
[0096]
acvnet网络模型获取模块，用于构建acvnet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对acvnet网络模型进行训练，利用行李立体匹配数据集进行训练后的acvnet网络模型的迁移学习，获得最终的训练好的acvnet网络模型；
[0097]
行李图像点云数据获取模块，用于利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的acvnet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；
[0098]
行李尺寸信息获取模块，用于将点云数据可视化分类并获得行李的尺寸信息。
[0099]
另外，本实施例还提供一种计算设备，包括：
[0100]
一个或多个处理单元；
[0101]
存储单元，用于存储一个或多个程序，
[0102]
其中，当所述一个或多个程序被所述一个或多个处理单元执行，使得所述一个或多个处理单元执行上述的基于深度学习的行李识别测量方法；需要说明的是，计算设备可包括但不仅限于处理单元、存储单元；本领域技术人员可以理解，计算设备包括处理单元、存储单元并不构成对计算设备的限定，可以包括更多的部件，或者组合某些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
[0103]
还提供一种具有处理器可执行的非易失的程序代码的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于深度学习的行李识别测量方法的步骤；需要说明的是，可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合；可读介质上包含的程序可以用任何适当的介质传输，包括，但不限于无线、有线、光缆，rf等等，或者上述的任意合适的组合。例如，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java，c++等，还包括常规的过程式程序设计语言，诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行，或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0104]
以上实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。