叉车托盘的分割和定位方法、装置及智能叉车与流程

本发明涉及计算机视觉，尤其涉及一种叉车托盘的分割和定位方法、装置及智能叉车。

背景技术：

1、近年来，仓储物流行业对自动化搬运设备的需求迅速增长，以智能叉车为代表的自动化搬运设备蓬勃发展，而托盘的识别与定位作为实现智能叉车无人化作业的关键技术之一，愈发得到人们的重视。

2、现有主流的托盘识别与定位方法有两种。在点云识别托盘方面，针对不同类型的托盘预设托盘模板，利用模板匹配的方式定位托盘的位置，该方法计算资源消耗严重，运算量大且运算时间长，难以对托盘进行实时的识别与定位，严重制约了叉车作业效率的提升。在图像识别托盘方面，利用目标检测的方法定位托盘的位置，该方法无法对每一个像素点进行分类，往往无法精准的获取目标托盘像素坐标。此外，随着计算机视觉方面的技术更新，虽然研究学者多将点云识别和图像识别的融合解决单一托盘的识别问题上，缺少对实际应用场景中容易出现的多类型托盘上下垛叠、前后并行排列情形的考虑。所以，现有的托盘定位识别方法无法兼顾针对于多类型且放置位置不规律的托盘识别精度和速度，降低叉车的实际工作效率。

技术实现思路

1、本发明提供一种叉车托盘的分割和定位方法、装置及智能叉车，用以解决现有技术中针对于多类型且放置位置不规律的托盘识别精度和速度均较低下的缺陷。

2、本发明提供一种叉车托盘的分割和定位方法，包括：

3、将仓储彩色图像输入至分割模型，获取所述分割模型输出的第一托盘图像；其中，所述第一托盘图像中目标托盘类型的托盘像素区域均被设置为与所述目标托盘类型匹配的颜色和像素值，所述目标托盘类型为托盘类型的任一种，所述仓储彩色图像为叉车上的摄像模组在和被拍摄的仓储托盘保持安全距离的情况下所采集的彩色图像信息；

4、利用从第一托盘图像中解析出的托盘轮廓坐标集合，得到每个托盘对应的托盘像素面积、托盘角点坐标以及托盘中心点坐标；

5、对所有托盘的托盘像素面积、托盘中心点坐标和托盘中心点深度距离进行阈值条件约束，以及对托盘中心点坐标在y轴中先上后下的条件约束，从托盘轮廓坐标集合中筛选出目标托盘，并确定目标托盘的中心在相机坐标系下的空间坐标；其中，所述托盘中心点深度距离是利用所述托盘中心点坐标在仓储深度图像中索引确定的，所述仓储深度图像是所述摄像模组在拍摄所述仓储彩色图像的同时所采集的深度图像信息；

6、对目标托盘的中心在相机坐标系下的空间坐标进行坐标系转换，将转化得到的目标托盘在仓储平面坐标系下的位置坐标下发至叉车，以供所述叉车根据所述目标托盘在仓储平面坐标系下的位置坐标对所述目标托盘实施作业；

7、其中，所述分割模型是根据基于样本仓储彩色图像、所述样本仓储彩色图像中对应标注的托盘种类标签，以及与所述托盘种类标签对应的区域颜色和区域像素值训练得到的。

8、根据本发明提供的一种叉车托盘的分割和定位方法，所述分割模型包括类别分割层和托盘分离层；

9、将所述仓储彩色图像输入至所述类别分割层进行语义分割，获取所述类别分割层输出的第二托盘图像；其中，所述第二托盘图像中的各托盘类型对应的像素值所组成的托盘像素区域，每一托盘像素区域均被着色为与托盘类型匹配的颜色；

10、将所述第二托盘图像输入至所述托盘分离层进行颜色阈值上下限的对比，获取所述托盘分离层输出的所述第一托盘图像。

11、根据本发明提供的一种叉车托盘的分割和定位方法，所述利用从第一托盘图像中解析出的托盘轮廓坐标集合，得到每个托盘对应的托盘像素面积、托盘角点坐标以及托盘中心点坐标，包括：

12、对所述第一托盘图像进行轮廓边缘的提取，将目标托盘类型下的每一托盘的托盘像素区域的轮廓坐标整合为所述托盘轮廓坐标集合；

13、对所述托盘轮廓坐标集合中的每一托盘像素区域的轮廓坐标进行包络，得到每一托盘的第一托盘像素面积、第一托盘角点坐标以及第一托盘中心点坐标；

14、在确定所述第一托盘中心点坐标处于画幅中间位置的托盘的第一托盘角点坐标中携带的左上角点坐标和左下角点坐标更新为画幅左边界的情况下，得到左边界视野中所有完整托盘的第二托盘像素面积和第二托盘中心点坐标；

15、在确定所述第一托盘中心点坐标处于画幅中间位置的托盘的第一托盘角点坐标中携带的右上角点坐标和右下角点坐标更新为画幅右边界的情况下，得到右边界视野中所有完整托盘的第三托盘像素面积和第三托盘中心点坐标。

16、根据本发明提供的一种叉车托盘的分割和定位方法，所述对所有托盘的托盘像素面积、托盘中心点坐标和托盘中心点深度距离进行阈值条件约束，以及对托盘中心点坐标在y轴中先上后下的条件约束，从托盘轮廓坐标集合中筛选出目标托盘轮廓坐标，包括：

17、基于所述第一托盘中心点坐标处于第一阈值范围，且所述第一托盘像素面积处于第二阈值范围的托盘在所述托盘轮廓坐标集合中对应的托盘轮廓坐标，确定处于同一垂直仓储范围内的候选托盘中心点坐标；

18、将利用所述候选托盘中心点坐标在所述仓储深度图像获取的托盘中心点深度距离处于第三阈值范围的托盘作为在同一垂直仓储范围内处于前排的候选托盘后，获取每一候选托盘在相机坐标系下的中心空间坐标；

19、将所述中心空间坐标中的y坐标值最小的候选托盘作为在同一垂直仓储范围内处于前排且最上层的目标托盘，将所述目标托盘的中心空间坐标输出；

20、其中，所述第一阈值范围是基于所述第二托盘中心点坐标和所述第三托盘中心点坐标确定的；所述第二阈值范围是基于所述第二托盘像素面积和所述第三托盘像素面积确定的；所述第三阈值范围是基于所述摄像模组在和被拍摄的仓储托盘保持的安全距离确定的。

21、根据本发明提供的一种叉车托盘的分割和定位方法，所述对目标托盘的中心在相机坐标系下的空间坐标进行坐标系转换，将转化得到的目标托盘在仓储平面坐标系下的位置坐标下发至叉车，以供所述叉车根据所述目标托盘在仓储平面坐标系下的位置坐标对所述目标托盘实施作业，包括：

22、将所述目标托盘的中心在相机坐标系下的空间坐标相机向xoz平面作投影，得到目标托盘在主天线坐标系下的二维坐标；

23、将目标托盘在主天线坐标系下的二维坐标转换至仓储平面坐标系，获得所述目标托盘在仓储平面坐标系下的位置坐标。

24、其中，所述相机坐标系的原点位于所述摄像模组的光心处，相机光轴z平行于地面并指向车辆正前方，x、y轴则分别指向叉车左侧以及地面；所述主天线坐标系的原点为沿车辆纵轴线方向且在所述摄像模组后方安装的主天线的中心点，以叉车前进方向为z轴、车辆左侧指向为x轴；所述仓储平面坐标系是以北斗基站为原点，以北向为z轴，东向为x轴建立的高斯平面直角坐标系。

25、根据本发明提供的一种叉车托盘的分割和定位方法，在所述将所述中心空间坐标中的y坐标值最小的候选托盘作为在同一垂直仓储范围内处于前排且最上层的目标托盘之后，还包括：

26、基于所述目标托盘的托盘角点坐标，确定左侧短边中点坐标和右侧短边中点坐标；

27、基于所述左侧短边中点坐标、所述右侧短边中点坐标和所述仓储深度图像，确定所述目标托盘相对于所述摄像模组的倾斜角度；

28、其中，所述目标托盘相对于所述摄像模组的倾斜角度用于换算叉车的作业位置。

29、本发明还提供一种叉车托盘的分割和定位装置，包括：

30、托盘分割模块，用于将仓储彩色图像输入至分割模型，获取所述分割模型输出的第一托盘图像；其中，所述第一托盘图像中目标托盘类型的托盘像素区域均被设置为与所述目标托盘类型匹配的颜色和像素值，所述目标托盘类型为托盘类型的任一种，所述仓储彩色图像为叉车上的摄像模组在和被拍摄的仓储托盘保持安全距离的情况下所采集的彩色图像信息；

31、托盘识别模块，用于利用从第一托盘图像中解析出的托盘轮廓坐标集合，得到每个托盘对应的托盘像素面积、托盘角点坐标以及托盘中心点坐标；

32、托盘定位模块，用于对所有托盘的托盘像素面积、托盘中心点坐标和托盘中心点深度距离进行阈值条件约束，以及对托盘中心点坐标在y轴中先上后下的条件约束，从托盘轮廓坐标集合中筛选出目标托盘，并确定目标托盘的中心在相机坐标系下的空间坐标；其中，所述托盘中心点深度距离是利用所述托盘中心点坐标在仓储深度图像中索引确定的，所述仓储深度图像是所述摄像模组在拍摄所述仓储彩色图像的同时所采集的深度图像信息；

33、坐标转换模块，用于对目标托盘的中心在相机坐标系下的空间坐标进行坐标系转换，将转化得到的目标托盘在仓储平面坐标系下的位置坐标下发至叉车，以供所述叉车根据所述目标托盘在仓储平面坐标系下的位置坐标对所述目标托盘实施作业；

34、其中，所述分割模型是根据基于样本仓储彩色图像、所述样本仓储彩色图像中对应标注的托盘种类标签，以及与所述托盘种类标签对应的区域颜色和区域像素值训练得到的。

35、本发明还提供一种智能叉车，包括车辆本体，以及设置在所述车辆本体纵轴线方向安装的摄像模组，以及沿所述车辆本体的纵轴线方向，且处于所述摄像模组后方安装的主天线，还包括设置在所述车辆本体的处理器，所述处理器执行所述程序时实现如上任一项所述叉车托盘的分割和定位方法。

36、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述叉车托盘的分割和定位方法。

37、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述叉车托盘的分割和定位方法。

38、本发明提供的叉车托盘的分割和定位方法、装置及智能叉车，利用语义分割网络对仓储彩色图像进行不同类型托盘的分割，分离出属于同类型托盘的第一托盘图像，通过图像处理对第一托盘图像进行轮廓提取，得到同类型的每个托盘对应的托盘像素面积、托盘角点坐标以及托盘中心点坐标，并结合相应的阈值以及基于先上后下原则的逻辑处理，定位出处于前排且最上层的目标托盘的中心在相机坐标系下的空间坐标，并将其转换至仓储平面坐标系下，以利用目标托盘在仓储平面坐标系下的位置坐标引导叉车实施作业，实现在不同类型托盘多层垛叠、前后并行排列的复杂场景，能够在众多托盘中准确定位目标托盘，能够兼顾托盘定位的精度与速度，进一步提升叉车的工作效率。