一种基于视觉的货机交互的方法与装置与流程

本发明涉及货机交互，具体为一种基于视觉的货机交互的方法与装置。

背景技术：

1、物流系统是先进制造业的重要组成部分，物流系统已从最初的简单物料搬运发展到包含机械、计算机科学、管理工程、自动化控制等多学科的综合系统。生产、制造和运输等企业希望自己的物流系统保持畅通，因此采取一定的策略来适应库存管理、物料管理、运行柔性等不断提高的需求。同时也希望货物在供应链中的转移、制造和运输更加顺利，提高工厂以及仓库的货物流通和信息跟踪效率，随着计算机科学与自动化控制的快速发展，为更有效地提高仓储系统的作业效率和人力成本，无人叉车已被引入仓储空间，代替人工运输货物，叉车在现代物流设备中扮演中主要角色，同时也是应用最广泛的物料运输设备之一；

2、当前，针对货物实际宽度信息、货物在托盘上的摆放情况的问题，主要由叉车自带的光电设备进行检测；针对货物上下架时与货架的位置关系问题，主要通过激光定位与光电设备进行判断；针对货叉中心与托盘中心是否对准的问题，主要利用叉车本身携带的激光扫描仪与i mu等传感器进行判断，但叉车本身携带的光电设备传输信息较少，难以检测到货物超宽、摆放不合规等问题，导致叉车拒绝叉货；激光定位与光电方式无法判断货物与货架的位置关系，导致货物上下架时与货架产生剐蹭；光电设备难以获取托盘中心的准确位置信息，导致货叉无法对准托盘中心，容易造成由于货物偏移而与周围货物或货架产生剐蹭的情况。

3、针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于视觉的货机交互的方法与装置，具备图像获取和预处理、背景去除、目标检测与分割、托盘位置判断、货叉对位等优点，解决了叉车本身携带的光电设备传输信息较少，难以检测到货物超宽、摆放不合规等问题，导致叉车拒绝叉货；激光定位与光电方式无法判断货物与货架的位置关系，导致货物上下架时与货架产生剐蹭；光电设备难以获取托盘中心的准确位置信息，导致货叉无法对准托盘中心，容易造成由于货物偏移而与周围货物或货架产生剐蹭的问题。

3、(二)技术方案

4、为解决上述无人叉车在搬运货物时，无法判断货物的真实宽度、在托盘上的摆放情况、货物上下架时与货架的位置关系、货叉中心与托盘中心是否对准等等，导致叉车叉货时拒绝率较高、货物上下架发生剐蹭等技术问题，本发明提供如下技术方案：

5、一种基于视觉的货机交互的方法与装置，包括底座、货叉组件和门架组件，所述底座的上端设置有控制箱，所述控制箱的两侧分别设置有视觉组件，所述视觉组件包括有主图像传感器，所述控制箱的一侧设置有门架组件，所述门架组件的两侧分别安装有三角固定架，所述三角固定架的另一侧安装在所述控制箱上，所述门架组件包括有升降门架，所述升降门架内安装有升降组件，所述升降组件包括齿轮，所述齿轮啮合连接所述升降门架，所述升降组件的一侧连接有货叉组件，所述货叉组件包括有相机，所述底座上开设有转动槽，所述转动槽安装有动力机构，所述动力机构包括有方向板，所述方向板的一侧设置有转动组件，所述转动组件包括有轮子，所述底座的一侧两端分别设置有辅图像传感器。

6、优选地，所述转动槽内部设置有限位框，所述限位框的内部嵌套安装有动力机构，所述底座的上端固定安装有所述控制箱，所述控制箱的一端固定设置有控制面板，所述控制箱的两侧分别固定安装有所述视觉组件，所述底座远离所述转动槽的一端均匀分别安装有若干辅图像传感器，所述底座的下端一侧嵌套安装有若干转动轮。

7、优选地，所述视觉组件包括有固定板，所述固定板的一端固定安装在所述控制箱的一侧，所述固定板的另一端转动安装有转动架，所述转动架转动连接有所述主图像传感器。

8、优选地，所述升降门架的两侧分别嵌套安装有延伸架，所述延伸架与所述升降门架滑动配合，所述升降门架的上端固定安装有延伸气泵的输出端，所述延伸气泵的另一端固定安装在所述底座的上表面，所述升降门架的两端内侧分别开设有升降腔，所述升降腔的一侧开设有若干齿轮槽，所述升降腔内啮合连接有升降组件。

9、优选地，所述升降组件包括有升降壳，所述升降壳内两侧分别固定安装有升降电机，所述升降电机的输出端穿过所述升降壳固定安装有所述齿轮，所述齿轮啮合连接于所述升降腔内，所述升降壳内的中部安装有角度电机，所述角度电机的输出端穿过所述升降壳固定安装有所述货叉组件。

10、优选地，所述货叉组件包括有固定架，所述固定架的一侧固定安装有所述角度电机的输出端，所述固定架的另一端固定安装有相机，所述固定架两侧分别嵌套安装有货叉，所述货叉之间固定安装有若干双向伸缩气泵。

11、优选地，所述动力机构包括有角度气泵，所述角度气泵的一端固定安装在所述转动槽的一侧，所述角度气泵的另一端安装有方向板，所述方向板嵌套安装在所述限位框内，所述方向板的远离所述角度气泵的一端安装有转动组件。

12、优选地，所述转动组件包括有双向转动电机，所述双向转动电机的两个输出端分别固定安装有所述轮子。

13、优选地，所述三角固定架的一侧固定安装在所述控制箱的一侧，所述三角固定架的另一侧固定安装在所述延伸架的外侧。

14、(三)有益效果

15、与现有技术相比，本发明提供了一种基于视觉的货机交互的方法与装置，具备以下有益效果：

16、1、本发明通过计算找出托盘的中心点，与标准坐标原点对比，若两点重合，则托盘中心未偏移，货叉组件可直接叉取货物；若托盘中心与坐标原点不重合，则托盘中心偏移，可向叉车发出相应指令，根据托盘位置利用动力机构调整叉车的整体位置，并通过升降组件的驱动源运转以改变货叉组件的角度，货叉组件的驱动源运转以改变货叉之间的距离，解决了叉车本身携带的光电设备传输信息较少，难以检测到货物超宽、摆放不合规等问题，导致叉车拒绝叉货，继而利用货叉组件受升降组件动力源运转以带动齿轮转动，由于齿轮和门架组件的升降门架架之间存在啮合配合，从而升降组件沿着门架组件升降运动，并带动货叉组件升降运动叉取货物，利用动力机构驱动叉车运动至指定位置，并通过主图像传感器检测货架和货物之间的位置关系，进而解决了无法判断货物与货架的位置关系，导致货物上下架时与货架产生剐蹭。

17、2、本发明通过在无人叉车上安装视觉货物检测识别系统，判断货物的真实宽度、在托盘上的摆放情况、货物上下架时与货架的位置关系、货叉中心与托盘中心是否对准等，解决叉车叉货时拒绝率较高、货物上下架发生剐蹭等问题，实现叉车取放货过程中的货物形状检测、左右防碰撞检测、货叉对位等功能，提高无人叉车货机交互的可行性和安全性。总之，在节约人力资源、创建仓储的数字化、智能化、无人化的大趋势面前，研发一种能有效解决无人叉车的货物运输问题的装置，具有较大的理论和实践价值。

18、3、本发明通过角度电机运转以改变固定架的水平角度，固定架的两端又分别嵌套安装有货叉，从而在角度电机的作用下使得装置根据货物的摆放角度对货叉的角度进行改变，进而更好地将货物用货叉叉起，解决了叉车因为摆放不合规等，导致叉车拒绝叉货的问题。

19、4、本发明通过安装在固定架一侧的相机用以使得叉车利用相机中心点设置坐标原点，确定标准空间直角坐标系，从而判断托盘摆放是否偏移，并计算偏移角度，通过叉车控制升降电机和角度电机运转根据托盘的中心对货叉进行校对，进而解决了难以获取托盘中心的准确位置信息，导致货叉无法对准托盘中心，容易造成由于货物偏移而与周围货物或货架产生剐蹭的情况。