基于深度视觉识别的平板式货车全自动装卸车系统及方法

本发明涉及工业装卸车领域，具体涉及基于深度视觉识别的平板式货车全自动装卸车系统及方法。

背景技术：

1、近年来，市场出现了一些自动或半自动的装车系统，或是利用传送带将货物输送到车内，再由人工完成货物的车内码垛，或是事先测量好货车的长、宽、高等参数，输入到中控系统，控制机械臂或装车装置自动完成货物的车内摆放，但目前这些系统仅能完成装车任务，市场上还鲜有卸车系统，更没有能实现装/卸一体的全自动系统。

2、现有中国专利：袋装产品自动装车系统。提出了一种袋装产品自动装车系统，通过三轴桁架机械手、抓手机构和撑平机构完成袋装产品的装车流程。但是该系统缺少能满足全自动卸载货物的条件，不满足一些加工厂装\卸一体化的需求。

3、另外，中国专利：件货货物整车自动卸车方法、系统以及作业方法。该发明提出了一种件货货物整车自动卸车方法、系统以及作业方法，通过该系统能解决普通件货货物整车自动卸车的方法，实现整车普通件货货物卸车作业的自动化过程。但是该系统在卸载时不能判断货物的具体位置，无法进行视觉定位识别从而对货物进行布局，在卸载过程中会存在很大的局限性，并且这种系统无法完成自动装车功能。

技术实现思路

1、针对现有技术的不足，本发明提供基于深度视觉识别的平板式货车全自动装卸车系统及方法，实现全自动化的货物装/卸载搬运过程。

2、基于深度视觉识别的平板式货车全自动装卸车系统，包括装车部分和卸车部分；

3、所述卸车部分包含货物数据集采集处理系统、货物三维坐标识别系统、通信系统、主控制器操作系统以及桁架针式吸盘抓取装置；

4、货物数据集采集处理系统和货物三维坐标识别系统基于pc端完成，通过通信系统的网线连接主控制器操作系统；由主控制器操作系统控制桁架针式吸盘抓取装置完成抓取货物；

5、所述装车部分包含车厢位姿识别系统和抓取系统两部分，车厢位姿识别系统用来预测平板货车车厢的长、宽、高参数，抓取系统用来完成对货物的抓取；

6、所述车厢位姿识别系统包括测量机构和控制系统，测量机构包含伸缩杆机构、360°激光扫描测距雷达、激光测距仪，360°激光扫描测距雷达和激光测距仪安装在伸缩杆机构上，并分别通过串口通信与控制系统相连；伸缩杆机构用于带动360°激光扫描测距雷达和激光测距仪实现竖直方向的上下移动；360°激光扫描测距雷达用于采集车厢的极坐标数据点集；激光测距仪用于采集车厢的深度数据；控制系统用于根据采集到的极坐标数据点集识别车厢的存在，并估算车厢的位姿，车厢的位姿包括车厢的长度值、宽度值、车厢偏移角度值，控制系统还根据采集到的深度数据实现车厢深度的测量；

7、所述抓取系统包括卸车部分的主控制器操作系统以及桁架针式吸盘抓取装置，根据车厢位姿识别系统测量的车厢信息，进行货物的装配；

8、所述货物数据集采集处理系统包括：深度相机、pc端和数据集标注工具；首先利用相机获取货物每一帧图片得到数据集，经过pc端处理得到其rgb图片，再经由数据集标注工具对rgb图片数据集进行标注处理；

9、所述货物三维坐标识别系统，包括预训练模型、货物识别模型和旋转目标检测网络模型；首先利用标注后的货物数据集把预训练模型放入到旋转目标检测网络模型中生成属于货物的识别模型文件，预训练模型定义了所用的旋转目标检测网络模型中的模型结构和初始权重参数，由此完成货物识别模型的训练；然后经由深度相机拍摄的视频流取出一张图片，利用货物识别模型估计出货物的二维坐标，在利用相机反馈货物的深度值，得到深度图像中相机到货物的距离，获得货物的三维坐标；

10、所述通信系统，包括plc、网线、以太网通讯库；pc端利用以太网通讯库通过python把货物的三维坐标作为real数据类型，以网线为连接器发送给主控制器操作系统；

11、所述主控制器操作系统，包括plc编程逻辑控制器、伺服电机、伺服电机驱动器、总开关、电机开关电器元件；接通电源，打开总开关和相应的电机开关，plc接收货物的三维坐标，发送控制信号给伺服电机驱动器，伺服电机驱动器将控制信号转为实际的电机运动，控制伺服电机的速度、位置和扭矩，从而控制桁架针式吸盘抓取装置的运动和抓取；

12、所述桁架针式吸盘抓取装置，包括桁架、针式吸盘和相机支架，所述桁架用不同的方位移动完成系统的x轴、y轴、z轴运动，相机支架用来放置深度相机拍摄图片，桁架针式吸盘抓取装置既对货物完成装载过程，也完成卸载过程；

13、基于深度视觉识别的平板式货车全自动装卸车方法，基于上述基于深度视觉识别的平板式货车全自动装卸车系统实现，具体包括以下步骤：

14、所述全自动装卸车方法包括装车和卸车两个过程；

15、所述卸车过程具体包括以下步骤：

16、步骤1：将深度相机固定在桁架针式吸盘抓取装置上的相机支架上完全拍摄到货物的位置；

17、步骤2：利用相机拍摄货物照片，对其进行处理，获得货物数据集；

18、利用相机对摆放的货物以不同的角度进行拍摄，拍摄完毕后，在pc端转换为rgb货物图片，利用旋转标注工具对每一张拍摄的照片进行数据集标签的制作处理，生成xml文件，完成数据集的采集处理制作工作；

19、步骤3：建立训练货物识别模型，识别出置信度较高的货物的位置，并结合深度相机得到货物的三维坐标值；

20、货物识别模型的建立利用mmrotate—基于pytorch的旋转框检测的开源工具箱；旋转框由水平框绕中心点旋转一个角度得到，通过添加一个弧度参数得到其旋转框定义法(x_center,y_center,width,height,theta)；其中，theta＝angle*pi/180，单位为rad；利用标注工具生成的xml文件通过转换矩阵的方式生成mmrotate所能使用的dota类型的数据格式；

21、将货物数据集划分为train、test、val、trainval数据集，在以旋转目标检测网络模型文件作为训练基础，根据此网络的预训练模型文件，配置数据集的类别数，最后开始训练得到货物识别模型，之后利用货物识别模型进行识别操作，得到图片中由矩形框圈出的货物的位置，以置信度较高的货物为基础，得到货物的二维坐标(x,y)；在利用相机反馈货物的深度值，得到深度图像中相机到货物的距离，也就是z坐标，由此得到货物的三维坐标(x，y，z)；

22、所使用的旋转目标检测网络模型在第一阶段，使用了一种有向候选框生成网络oriented rpn，生成高质量的有向候选框；具体为：设计了新的定向对象表示方案即中点偏移表示，使用六个参数o＝(x,y,w,h,δα,δβ)的定向边界框o表示计算解码对象；其中(x,y)是预测的候选框的中心坐标，w和h是预测的定向候选框的外部矩形框的宽度和高度；δα和δβ是相对于外部矩形顶边和右侧边中点的偏移；通过六个参数，获得每个候选框的四个顶点的坐标集v＝(v1,v2,v3,v4)；δα是v1相对于水平框顶边中点(x,y-h/2)的偏移量；根据对称性，-δα表示v3相对于底部中点(x,y+h/2)的偏移；δβ代表v2相对于右中点的偏移量(x+w/2,y)，-δβ代表v4相对于左中点的偏移量(x-w/2,y)；因此，四个顶点的坐标表示如下：

23、

24、通过表示方式，根据预测其外部矩形的参数(x,y,w,h)并推断其中点偏移的参数(δα，δβ)来实现每个定向候选框的回归；

25、旋转目标检测网络第二阶段是有向目标检测头，用于有向候选框的分类和精细回归；对于每个定向候选框，使用旋转roi对齐从每个定向候选框中提取旋转不变特征；roi是从输入的图像中框选处理待处理的区域；根据v＝(v1,v2,v3,v4)得到的有向候选框属于平行四边形；将每个平行四边形调整为有方向的矩形；具体通过延长平行四边形的较短对角线以使其具有与较长对角线相同的长度来实现；从平行四边形中获得了有向矩形(x,y,w,h,θ)，其中θ∈[-π/2,π/2]由交集定义水平轴与矩形长边之间的角度；

26、接下来，将定向矩形(x,y,w,h,θ)投影到特征图f，步长为s，以获得旋转的roi，该roi由(xr,yr,wr,hr,θ)定义以下操作：

27、

28、最后，将每个旋转的roi分为m×m个网格，得到尺寸为m×m×c的固定大小的特征图f'，完成对有向候选框的分类和精细回归；

29、步骤4：利用通信系统将货物位置信息的三维坐标值通过以太网传输给plc；

30、步骤5：当plc收到货物的位置信息时，通过伺服电机驱动器，控制伺服电机运行，从而带动桁架针式吸盘抓取装置运动和抓取；

31、plc得到货物的三维坐标后，通过通信协议发送脉冲到伺服电机驱动器上，伺服电机驱动器再操控电机旋转，带动桁架机构x方向、y方向、z方向的运动，把针式吸盘移动到货物的正上方，控制伺服电机转动针式吸盘并完成插针的伸出，紧固货物，完成对货物的抓取操作，卸载货物；

32、步骤6：抓取成功后，将货物放到指定的输送带位置上，完成卸载过程。

33、所述装车过程具体为：

34、步骤1：运用测量机构和控制系统车厢位姿识别系统识别出平板货车车厢的长、宽、高参数即车厢位姿；

35、所述车厢位姿识别系统包括测量机构和控制系统；所述测量机构包含伸缩杆机构、360°激光扫描测距雷达、激光测距仪；360°激光扫描测距雷达用于采集车厢的极坐标数据点集；激光测距仪用于采集车厢的深度数据；

36、所述控制系统用于根据采集到的极坐标数据点集识别车厢的存在，并估算车厢的位姿，车厢的位姿包括车厢的长度值、宽度值、车厢偏移角度值，控制系统还用于根据采集到的深度数据实现车厢深度的测量；

37、步骤2：当货物经过传动带运输工具运输到指定位置后，plc通过伺服电机驱动器，控制伺服电机运行，带动桁架针式吸盘抓取装置运动和抓取货物，把货物装载到平板货车上；

38、步骤3：根据获得的货车车厢的长、宽、高参数和预先知道的货物的长、宽、高参数，控制装载货物的数量，完成装车的过程。

39、与现有技术相比，本发明的有益效果是：

40、本发明提出了一种基于深度视觉识别的平板式货车全自动装卸车系统及方法，本发明能够全自动的完成装/卸一体化的货物搬运，只需要一套设备便可完成装/卸货物的过程，极大的满足工厂装/卸的条件；本发明引入视觉识别定位的方式来卸载货物，并能根据不同的货物进行识别，判断货物的具体位置，使用范围更广；本发明所使用的设备配件都是工业常用的，开发系统成本较低；填补了国内全自动化装卸车一体化的空白；推进智能制造设备的发展；确保了工艺的科学性和稳定性。