一种基于叉车视觉识别托盘的方法及叉车与流程

本发明涉及自动化技术领域，特别是涉及一种基于叉车视觉识别托盘的方法及叉车。

背景技术：

随着科技的发展，工业自动化应用而生，为降低人力劳动成本，在许多工厂或者货仓都采用移动机器人进行搬运货物等。托盘，也称叉车垫板，可以通过托盘盛放物品，再通过叉车将托盘托起，搬运到相应位置，以实现机械自动托运。在市面上，为了节省人工成本，大多数都是通过自动控制叉车的对准托盘的插孔并插入，然后将托盘托起，控制叉车到相应的位置，以实现搬运物品。

也就是说，目前市面上的叉车都是自动控制其运动轨迹的，由于各行各厂家所生产的叉车不一样，因此各厂家所生产的叉车对托盘不能准确定位，叉车的插条有时候不能准确的对准托盘的插孔，使得整个搬运过程所消耗的时间较大，且工作效率也低。

技术实现要素：

本发明主要解决的技术问题是提供一种基于叉车视觉识别托盘的方法及叉车，解决了上述现有技术中的叉车的插条不能准确插入托盘的插孔的技术问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于叉车视觉识别托盘的方法，该叉车设有摄像头，托盘设有插孔，托盘设有插孔的区域倾斜设有具有反光功能的反光层，该方法包括：叉车在确定叉车与托盘的距离处于预设距离值内时，叉车利用单色照明单元照亮托盘所对应的反光层；叉车通过摄像头拍摄托盘所对应的反光层，以获得托盘的位置和/或托盘上的反光层的位置所对应的倾斜图像，其中摄像头的镜头上设置有窄带滤光片，窄带滤光片用于通过单色照明单元所发出的光以及与单色照明单元所发出的光的波长相同的光；叉车对倾斜图像进行分解处理，以获得倾斜图像中托盘的位置和/或托盘上的反光层的位置的垂直图像；叉车将所述垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比，并根据对比结果调整叉车的运动轨迹，使得叉车能够准确插入托盘的插孔中。

其中，托盘设有插孔的区域倾斜设有多个形状不同的反光层，叉车通过摄像头拍摄托盘所对应的反光层的步骤包括：叉车通过摄像头拍摄托盘所对应的多个形状不同的反光层中的至少一者。

其中，叉车对倾斜图像进行分解处理，以获得倾斜图像中托盘的位置和/或托盘上的反光层的位置的垂直图像的步骤包括：叉车将倾斜图像中托盘的位置和/或托盘上的反光层的位置转换为垂直拍摄托盘的位置和/或托盘上的反光层的位置所对应的垂直图像；叉车获取并保存所转换得到的垂直拍摄托盘的位置和/或托盘上的反光层的位置所对应的垂直图像。

其中，叉车将垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或所述托盘上的反光层的位置进行对比，并根据对比结果调整叉车的运动轨迹的步骤包括：叉车将垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比，并计算出垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置的相对偏移度；叉车根据偏移度的大小调整叉车与托盘的相对应运动轨迹。

其中，反光层与摄像头不处于同一水平面上，且摄像头相对反光层倾斜设置。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种叉车，包括：单色照明模块，用于在确定叉车与托盘的距离处于预设距离值时，照亮托盘所对应的反光层，其中托盘设有插孔，托盘设有插孔的区域倾斜设有具有反光功能的反光层；摄像头模块，用于拍摄托盘所对应的反光层，以获得托盘的位置和/或托盘上的反光层的位置所对应的倾斜图像，其中摄像头模块的镜头上设置有窄带滤光片，窄带滤光片用于通过单色照明模块所发出的光以及与单色照明模块所发出的光的波长相同的光；图像分解模块，用于对倾斜图像进行分解处理，以获得倾斜图像中托盘的位置和/或托盘上的反光层的位置的垂直图像；图像对比调整模块，用于将垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比，并根据对比结果调整叉车的运动轨迹，使得叉车能够准确插入托盘的插孔中。

其中，托盘设有插孔的区域倾斜设有多个形状不同的反光层；摄像头模块用于拍摄托盘所对应的多个形状不同的反光层中的至少一者。

其中，图像分解模块包括：图像转换单元，用于将倾斜图像中托盘的位置和/或托盘上的反光层的位置转换为垂直拍摄托盘的位置和/或托盘上的反光层的位置所对应的垂直图像；图像保存单元，用于获取并保存所转换得到的垂直拍摄托盘的位置和/或托盘上的反光层的位置所对应的垂直图像。

其中，图像对比调整模块包括：图像对比单元，用于将垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比；图像计算单元，用于计算出垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置的相对偏移度；调整单元，用于根据偏移度的大小调整叉车与托盘的相对应运动轨迹。

其中，反光层与摄像头模块的镜头不处于同一水平面上，且摄像头模块的镜头相对反光层倾斜设置。

区别于现有技术，本发明所取得的有益效果是：本发明所公开的基于叉车视觉识别托盘的方法包括：叉车在确定叉车与托盘的距离处于预设距离值时，叉车利用单色照明单元照亮托盘所对应的反光层；叉车通过摄像头拍摄托盘所对应的反光层，以获得托盘的位置和/或托盘上的反光层的位置所对应的倾斜图像，其中摄像头的镜头上设置有窄带滤光片，窄带滤光片用于通过单色照明单元所发出的光以及与单色照明单元所发出的光的波长相同的光；叉车对倾斜图像进行分解处理，以获得倾斜图像中托盘的位置和/或托盘上的反光层的位置的垂直图像；叉车将所述垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比，并根据对比结果调整叉车的运动轨迹，使得叉车能够准确插入托盘的插孔中。通过上述方式，本发明能够自动调整叉车的运动轨迹，使得叉车的插条(方向和/或位置)能够准确对准托盘的插孔(方位)，方便叉车快速将托盘托起。

附图说明

图1是本发明基于叉车视觉识别托盘的系统的结构示意图；

图2是图1中叉车的立体结构示意图；

图3是图1中托盘的立体结构示意图；

图4是图1中叉车的摄像头和托盘的位置关系示意图；

图5是本发明基于叉车视觉识别托盘的系统的流程示意图；

图6是图5中步骤S103的子步骤结构示意图；

图7是图6中倾斜图像转换为垂直图像示意图；

图8是图5中步骤S104的子步骤结构示意图；

图9是图1中叉车的结构示意图；

图10是图9中图像分解模块的结构示意图；

图11是图9中图像对比调整模块的结构示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

如图1-3所示，该系统包括叉车10和托盘11。叉车10设有摄像头101和单色照明单元。托盘11设有插孔111，托盘11设有插孔111的区域倾斜设有具有反光功能的反光层112。

在本实施例中，摄像头101和/或单色照明单元倾斜设置，摄像头101的镜头和/或单色照明单元发出光线的开口倾斜朝向托盘11的反光层112。具体地，反光层112与摄像头不处于同一水平面上，且摄像头相对反光层112倾斜设置。也就是说，摄像头101的镜头与反光层112的连线倾斜设置，即摄像头101的镜头朝向方向A拍摄托盘11的反光层112，如图4所示。

在本实施例中，反光层112间隔设置在托盘11设有至少一插孔的一侧面和/或托盘设有至少一插孔的一侧面的上方的顶面上。具体的，托盘设有至少一插孔的一侧面和/或托盘设有至少一插孔的一侧面的上方的顶面设置有多个倾斜面，反光层设置在倾斜面上。优选的，托盘11设有至少一插孔的一侧面和/或托盘设有至少一插孔的一侧面的上方的顶面设有凸起或设有凹槽，凸起或凹槽形成倾斜面，倾斜面的倾斜角度小于等于90度且大于等于0度。

如图2所示，图2是本发明基于叉车视觉识别托盘的系统的流程示意图。该方法包括以下步骤：

步骤S101：叉车10在确定叉车10与托盘11的距离处于预设距离值内时，叉车10利用单色照明单元照亮托盘所对应的反光层112。

应理解，叉车10上设置有距离传感器，具体地，叉车10的底部设有距离传感器，保持与托盘11处于同一水平面，在步骤S101之前，该方法还包括：

步骤a：叉车10的距离传感器检测叉车10与托盘11的距离。

具体的，距离传感器通过检测叉车10与托盘11的反光层112来检测叉车10与托盘11的距离。距离传感器通过发送红外线至反光层112上，使得反光层112反射红外线后，叉车即可确定叉车和反光层112的距离。

步骤b：叉车10判断叉车10与托盘11的距离是否处于预设距离值内。其中预设距离值为用户设置的值，如果叉车10确定叉车10与托盘11的距离不处于预设距离值内，继续执行步骤a，如果叉车10确定叉车10与托盘11的距离处于预设距离值内，则执行步骤S101。

步骤S102：叉车10通过摄像头拍摄托盘所对应的反光层112，以获得托盘的位置和/或托盘上的反光层112的位置所对应的倾斜图像。

其中，摄像头的镜头上设置有窄带滤光片，窄带滤光片用于通过单色照明单元所发出的光以及与单色照明单元所发出的光的波长相同的光。

在本实施例中，托盘11设有插孔111的区域倾斜设有多个形状不同的反光层112。也就是说，叉车10可以通过托盘11上的反光层112识别到每一反光层112在托盘11上的不同位置，即每一反光层112对应托盘11的不同位置，因此为了方便叉车10识别反光层112处于托盘11的位置，优选将反光层112的形状设置成不相同。

在步骤S102中，叉车10通过摄像头拍摄托盘11所对应的反光层112的步骤包括：叉车10通过摄像头拍摄托盘11所对应的多个形状不同的反光层112中的至少一者。

步骤S103：叉车10对倾斜图像进行分解处理，以获得倾斜图像中托盘11的位置和/或托盘11上的反光层112的位置的垂直图像。

其中步骤S103具体包括以下子步骤：

步骤S1031：叉车10将倾斜图像中托盘11的位置和/或托盘11上的反光层112的位置转换为垂直拍摄托盘11的位置和/或托盘11上的反光层112的位置所对应的垂直图像。

举例而言，如图7所示，摄像头朝A方向拍摄反光层112所得到一个倾斜角度拍摄的倾斜图像c，犹如几何一样，将倾斜图像c分解为水平方向B拍摄反光层112所得到一个水平角度拍摄的水平图像b和垂直方向C拍摄反光层112所得到一个垂直角度拍摄的垂直图像a。当然，这种将倾斜图像分解为垂直图像和水平图像的技术已经是相当成熟的技术，故在此不一一赘述。

步骤S1032：叉车10获取并保存所转换得到的垂直拍摄托盘11的位置和/或托盘11上的反光层112的位置所对应的垂直图像。

由于叉车10和托盘11是设置在同一水平面的，因此，托盘11在水平方向B所移动的动作对叉车10来讲是很难察觉的，也不利于观察，也就是说，水平图像不利于观察；而只有在垂直图像的变化才能观察的清楚，在垂直方向C，托盘11的一举一动都能清晰反映。

步骤S104：叉车10将垂直图像所对应的托盘11的位置和/或托盘11上的反光层112的位置与标准图像所对应的托盘11的位置和/或托盘11上的反光层112的位置进行对比，并根据对比结果调整叉车10的运动轨迹，使得叉车10能够准确插入托盘11的插孔111中。

其中步骤S104包括以下子步骤：

步骤S1041：叉车10将垂直图像所对应的托盘11的位置和/或托盘11上的反光层112的位置与标准图像所对应的托盘11的位置和/或托盘11上的反光层112的位置进行对比，并计算出垂直图像所对应的托盘11的位置和/或托盘11上的反光层112的位置与标准图像所对应的托盘11的位置和/或托盘11上的反光层112的位置的相对偏移度。

在本实施例中，该相对偏移度为托盘11和/或托盘11上的反光层112在图像中的位置，叉车10通过此偏移度能够计算出实际的叉车10相对托盘11的偏移度。

应理解，标准图像为预设设置的图像，即托盘11的位置和/或托盘11上的反光层112的位置在标准图像的位置都预先设置好，即如果叉车10拍摄反光层112所得到的图像与标准图像一样，则叉车10的插条102对准托盘11的插孔111。又或者叉车拍摄托盘11的预定距离以及预定方位都是确定好的，叉车10在该预定距离和预定方位所拍摄图像为标准图像的，此时叉车10的插条102能够对准托盘11的插孔111。也就是说，通过标准图像能够计算出叉车10应在托盘的相对预定位置，如果叉车不在该相对预定位置，则可以计算出与相对预定位置的方位，从而调整叉车的运动轨迹使其处于相对预定位置即可。

步骤S1042：叉车10根据偏移度的大小调整叉车10与托盘11的相对应运动轨迹。

在步骤S1042中，叉车10是一边运动一边调整叉车10的运动轨迹。即如果垂直图像a所对应的托盘11的位置与标准图像所对应的托盘11的位置相偏移10度，则叉车10一边运动一边调整相对托盘11方位，使得叉车10所拍摄的垂直图像a所对应的托盘11的位置与标准图像所对应的托盘11的位置相偏移0度。

如图9所示，图9是图1中叉车的结构示意图。该叉车10包括单色照明模块101、摄像头模块102、图像分解模块103和图像对比调整模块104。

单色照明模块101用于在确定叉车10与托盘11的距离处于预设距离值时，照亮托盘11所对应的反光层112。应理解，托盘11设有插孔111，托盘11设有插孔111的区域倾斜设有具有反光功能的反光层112。

摄像头模块102用于拍摄托盘11所对应的反光层112，以获得托盘11的位置和/或托盘11上的反光层112的位置所对应的倾斜图像。其中摄像头模块102的镜头上设置有窄带滤光片，窄带滤光片用于通过单色照明模块所发出的光以及与单色照明模块所发出的光的波长相同的光。

在本实施例中，摄像头模块102的镜头和/或单色照明模块101倾斜设置，摄像头模块102的镜头和/或单色照明模块101发出光线的开口倾斜朝向托盘11的反光层112。具体地，反光层112与摄像头模块102的镜头不处于同一水平面上，且摄像头模块102的镜头相对反光层112倾斜设置。也就是说，摄像头模块102的镜头与反光层112的连线倾斜设置，即摄像头模块102的镜头朝向方向A拍摄托盘11的反光层112，如图4所示。

另外，在本实施例中，托盘11设有插孔111的区域倾斜设有多个形状不同的反光层112。摄像头模块102用于拍摄托盘11所对应的多个形状不同的反光层112中的至少一者。也就是说，叉车10可以通过托盘11上的反光层112识别到每一反光层112在托盘11上的不同位置，即每一反光层112对应托盘11的不同位置，因此为了方便叉车10识别反光层112处于托盘11的位置，优选将反光层112的形状设置成不相同。

应理解，反光层112间隔设置在托盘11设有至少一插孔的一侧面和/或托盘设有至少一插孔的一侧面的上方的顶面上。具体的，托盘设有至少一插孔的一侧面和/或托盘设有至少一插孔的一侧面的上方的顶面设置有多个倾斜面，反光层设置在倾斜面上。优选的，托盘11设有至少一插孔的一侧面和/或托盘设有至少一插孔的一侧面的上方的顶面设有凸起或设有凹槽，凸起或凹槽形成倾斜面，倾斜面的倾斜角度小于等于90度且大于等于0度。

应理解，叉车10还包括有距离传感器模块，其中，叉车10的底部设有距离传感器模块，距离传感器模块保持与托盘11处于同一水平面。在本实施例中，距离传感器模块用于检测叉车10与托盘11的距离。具体地，距离传感器模块通过检测叉车10与托盘11的反光层112来检测叉车10与托盘11的距离。距离传感器模块通过发送红外线至反光层112上，使得反光层112反射红外线后，叉车即可确定叉车和反光层112的距离。同时，距离传感器模块判断叉车10与托盘11的距离是否处于预设距离值内。其中预设距离值为用户设置的值，如果叉车10确定叉车10与托盘11的距离不处于预设距离值内，继续检测叉车10与托盘11的距离；如果叉车10确定叉车10与托盘11的距离处于预设距离值内，则摄像头模块102才拍摄托盘11所对应的反光层112。

图像分解模块103用于对倾斜图像进行分解处理，以获得倾斜图像中托盘的位置和/或托盘上的反光层的位置的垂直图像。

如图10所示，图像分解模块包括图像转换单元1031和图像保存单元1032，图像转换单元1031用于将倾斜图像中托盘的位置和/或托盘上的反光层的位置转换为垂直拍摄托盘的位置和/或托盘上的反光层的位置所对应的垂直图像。图像保存单元103用于获取并保存所转换得到的垂直拍摄托盘的位置和/或托盘上的反光层的位置所对应的垂直图像。

图像对比调整模块104用于将垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比，并根据对比结果调整叉车的运动轨迹，使得叉车能够准确插入托盘的插孔中。

如图11所示，图像对比调整模块104包括图像对比单元1041、图像计算单元1042和调整单元1043。图像对比单元1041用于将垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比。图像计算单元1042用于计算出垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置的相对偏移度。调整单元1043用于根据偏移度的大小调整叉车与托盘的相对应运动轨迹。

应理解，该相对偏移度为托盘11和/或托盘11上的反光层112在图像中的位置，图像计算单元1042通过此偏移度能够计算出实际的叉车10相对托盘11的偏移度。

应理解，标准图像为预设设置的图像，即托盘11的位置和/或托盘11上的反光层112的位置在标准图像的位置都预先设置好，即如果叉车10拍摄反光层112所得到的图像与标准图像一样，则叉车10的插条102对准托盘11的插孔111。又或者叉车拍摄托盘11的预定距离以及预定方位都是确定好的，叉车10在该预定距离和预定方位所拍摄图像为标准图像的，此时叉车10的插条102能够对准托盘11的插孔111。也就是说，通过标准图像能够计算出叉车10应在托盘的相对预定位置，如果叉车不在该相对预定位置，则可以计算出与相对预定位置的方位，从而调整叉车的运动轨迹使其处于相对预定位置即可。

其中，叉车10是一边运动一边调整叉车10的运动轨迹。即如果垂直图像a所对应的托盘11的位置与标准图像所对应的托盘11的位置相偏移10度，则叉车10一边运动一边调整相对托盘11方位，使得叉车10所拍摄的垂直图像a所对应的托盘11的位置与标准图像所对应的托盘11的位置相偏移0度。

综上，本发明所公开的基于叉车视觉识别托盘的方法包括：叉车在确定叉车与托盘的距离处于预设距离值时，叉车利用单色照明单元照亮托盘所对应的反光层；叉车通过摄像头拍摄托盘所对应的反光层，以获得托盘的位置和/或托盘上的反光层的位置所对应的倾斜图像，其中摄像头的镜头上设置有窄带滤光片，窄带滤光片用于通过单色照明单元所发出的光以及与单色照明单元所发出的光的波长相同的光；叉车对倾斜图像进行分解处理，以获得倾斜图像中托盘的位置和/或托盘上的反光层的位置的垂直图像；叉车将所述垂直图像所对应的托盘的位置和/或托盘上的反光层的位置与标准图像所对应的托盘的位置和/或托盘上的反光层的位置进行对比，并根据对比结果调整叉车的运动轨迹，使得叉车能够准确插入托盘的插孔中。通过上述方式，本发明能够自动调整叉车的运动轨迹，使得叉车的插条(方向和/或位置)能够准确对准托盘的插孔(方位)，方便叉车快速将托盘托起。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。