一种基于图像和激光点云图的输送物料检测方法与流程

本发明属于物流领域，具体涉及一种基于图像和激光点云图的输送物料检测方法。

背景技术：

物流领域中如何在物料出入库时尽可能快地实现物品的识别登记，是一个重要环节，直接影响到出入库物料的工作效率。现在很多大型仓库在进行出入库时为了提高对物料的登记效率，采用输送装置结合识别装置实现自动识别登记物料名称、数量的方法。但是现在很多仓库采用射频标签识别或者机械视觉自动识别的方法实现对物料进行识别登记的作用。现在仓库所采用的物料识别装置能够将堆垛起来的物料放在在输送机构上进行输送识别，这种方式对原本在运输时堆垛好的物料能实现快速出入库，其中射频标签检测需要设置大量射频标签，会增加成本降低效率，而采用视觉识别还具有下列缺陷：首先由于物料通过射频标签识别或者机械视觉自动识别的结果只包含物料的种类，入库时仍需人工计算每个堆垛上的物料数量，并录入计算机。增加了人工点数的步骤，效率较低，并且可能发生人为失误输入错误数量；其次，当人工输入后如果输送过程中发生意外或盗窃，现有的检测方法无法发现物料数量上的变化，影响库存统计。此外出入库在分流前进行数据录入，一个输送带中会出现种类，高度均不同的堆叠物料，这更加增大了识别的难度，现有系统无法完成识别。

技术实现要素：

本发明的目的在于提供一种基于图像和激光点云图的输送物料检测方法，以解决现有技术中无法对输送过程中的物料在进行视觉识别其种类的同时快速识别堆叠后每堆物料的数量的问题，并且在相近位置混有不同物料的情况下无法同时识别的问题。

所述的一种基于图像和激光点云图的输送物料检测方法，包括下列步骤：

步骤一、激光测距传感器沿横向作等距离线性排列，对输送带上面进行测量形成一行稀疏点，等间隔时间采集稀疏点的距离数据；

步骤二、输送带运载堆叠的物料，感应器检测到物料通过摄像头下方，摄像头拍照得到物料顶摄图；

步骤三、根据拍照时间将拍照前及拍照后相等一段时间内采集的稀疏点的距离数据转化为稀疏点云图；

步骤四、将稀疏点云图与所述物料顶摄图重叠结合生成包含点云图数据的物料顶摄图；

步骤五、使用深度学习的分类算法对物料顶摄图中每堆堆叠物料的轮廓以及物料种类进行识别；

步骤六、根据之前识别所得的物料种类和物料轮廓所占的区域，将对应物料所占区域内检测到的稀疏点的距离与物料种类相关联；

步骤七、以各区域内稀疏点的距离求得对应的物料堆叠后的总高度，除以储存对应的单个物料的高度得到堆叠的物料数量，将物料种类和物料数量存储到数据库中。

优选的，所述稀疏点云图的转化方式是将每个时间点获得的成行的稀疏点数据按时间先后顺序以等间隔距离方式从后向前顺序排列成稀疏点云图，间隔距离为匀速运动的输送带在采集稀疏点的间隔时间内的移动距离，所述点云图的前后方向与输送带的输送方向一致，所述步骤四中，稀疏点云图中间一行稀疏点与物料顶摄图垂直于输送方向的中线重叠对齐进行图像叠加。

优选的，所述步骤三中，所述拍照前及拍照后相等一段时间为时间长短等于输送带上物料从摄像头所对位置到达拍摄范围后端的运行时间。

优选的，所述感应器即所述激光测距传感器，所述步骤二中，当计算机发现测得的距离数据减小在延迟一段预留时间后进行拍照，所述预留时间的长短等于所述运行时间。

优选的，所述感应器为设在所述摄像头后方的光电感应器，所述光电感应器位于拍照范围的后端，光电感应器包括分设于输送带两侧的发射端和接收端，光电感应器检测到物体通过后摄像头立即拍照。

优选的，所述感应器为所述摄像头，所述摄像头持续向计算机输入拍摄的图像信息，所述计算机具有图像识别模块，当图像识别模块识别出图像信息中有不同于输送带表面颜色的色彩后，在延迟一段预留时间后进行拍照，所述预留时间的长短等于所述运行时间。

优选的，所述步骤五中，当识别过程中发现图像中存在无法识别的图像轮廓，向人机交互界面发出结合后的顶摄图图像并发出报警提醒操作者。

优选的，所述步骤七中，当计算得到的数量结果为非整数，计算小数位部分是否在误差阈值内，如果在误差阈值内则对计算结果四舍五入取整数值，否则发出计算结果并报警。

本发明有以下优点：

1、本发明利用机械视觉进行物料识别，同时对物料输送带进行激光测距测得不同稀疏点的距离，这样在拍照后将顶摄图与按一定方式转化的点云图结合重叠，此后通过神经网络对结合后图片信息进行视觉识别，识别出物料种类和轮廓后就能根据轮廓标记范围内的稀疏点的距离数据得到堆叠后该物料的总高度，计算出该堆物料的数量。这样本发明不仅能在输送过程中识别不同物料的种类并能对应各堆物料测得相应物料的堆叠数量，相比现有技术不仅能自动识别种类和数量，而且能对输送带上位置相近的不同物料进行同时识别，检测效率高，无需另外设置用于识别的标签，而且无需人工输入数量，避免人为失误和干扰，检测结果可靠。

2、本发明中点云图的转化方式能对应标明物料所在区域各个位置的稀疏点距离数据，能保证点云图与顶摄图结合的结果与输送带各个位置在激光测距传感器的实际测定结果基本相符。

3、本发明触发拍照动作的感应器可以通过激光测距仪或摄像头实现，优点是无需另设感应器，成本降低。也可在拍摄范围后端另设光电感应器，优点是能即时拍照，采集图像的时间更准确，减小后续图像结合时减少误差。

4、通过报警信息能自动在识别结果异常时发出报警，让现场人员能及时发现异常情况，避免造成大量识别错误，减少物料倒塌、设备故障造成的出入库记录错误情况。

附图说明

图1为本发明所用的检测设备的结构示意图；

图2为本发明所用的检测设备的后视图。

上述附图中的附图标记为：

1、输送带，2、摄像头，3、安装架，4、激光测距传感器，5、支撑架，6、计算机。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

如图1-2所示，本实施例中本发明提供了一种基于图像和激光点云图的输送物料检测方法，该方法所用检测设备包括输送机构和识别机构，输送机构包括支撑架5和安装在支撑架5之间的输送带机构，输送带1从前向后输送堆叠的物料。而识别机构包括安装在支撑架5靠近出料端的安装架3，安装架的立柱安装在两侧的支撑架5上，顶部为横跨在输送带1上方的安装板，安装板底部中间安装有摄像头2，向正下方进行拍摄。摄像头2的左右两边等距离分布有若干个激光测距传感器4，激光测距传感器4安装在安装板下面对物料进行测距以计算高度。

所述基于图像和激光点云图的输送物料检测方法，包括下列步骤：

步骤一、激光测距传感器4沿横向作等距离线性排列，对输送带1上面进行测量形成一行稀疏点，等间隔时间采集稀疏点的距离数据；

步骤二、输送带1运载堆叠的物料，感应器检测到物料通过摄像头2下方，摄像头2拍照得到物料顶摄图；

步骤三、根据拍照时间将拍照前及拍照后相等一段时间内采集的稀疏点的距离数据转化为稀疏点云图；

步骤四、将稀疏点云图与所述物料顶摄图重叠结合生成包含点云图数据的物料顶摄图；

步骤五、使用深度学习的分类算法对物料顶摄图中每堆堆叠物料的轮廓以及物料种类进行识别；

步骤六、根据之前识别所得的物料种类和物料轮廓所占的区域，将对应物料所占区域内检测到的稀疏点的距离与物料种类相关联；

步骤七、以各区域内稀疏点的距离求得对应的物料堆叠后的总高度，除以储存对应的单个物料的高度得到堆叠的物料数量，将物料种类和物料数量存储到数据库中。

所述稀疏点云图的转化方式是将每个时间点获得的成行的稀疏点数据按时间先后顺序以等间隔距离方式从后向前顺序排列成稀疏点云图，间隔距离为匀速运动的输送带1在采集稀疏点的间隔时间内的移动距离，所述点云图的前后方向与输送带1的输送方向一致。所述步骤四中，稀疏点云图中间一行稀疏点与物料顶摄图垂直于输送方向的中线重叠对齐进行图像叠加。

所述步骤三中，所述拍照前及拍照后相等一段时间为时间长短等于输送带1上物料从摄像头2所对位置到达拍摄范围后端的运行时间。

本方法所用触发拍照动作的感应器可以采用多种方案，例如：

1)所述感应器即所述激光测距传感器4，所述步骤二中，当计算机6发现测得的距离数据减小在延迟一段预留时间后进行拍照，所述预留时间的长短等于所述运行时间。

2)所述感应器为设在所述摄像头2后方的光电感应器，所述光电感应器位于拍照范围的后端，光电感应器包括分设于输送带1两侧的发射端和接收端，光电感应器检测到物体通过后摄像头2立即拍照。

3)所述感应器为所述摄像头2，所述摄像头2持续向计算机6输入拍摄的图像信息，所述计算机6具有图像识别模块，当图像识别模块识别出图像信息中有不同于输送带1表面颜色的色彩后，在延迟一段预留时间后进行拍照，所述预留时间的长短等于所述运行时间。

其中第1)和第3)种方案无需另设感应器，成本降低，但需要计算机对激光测距传感器4或摄像头2采集的信息做识别判断，并且需要延迟拍照，可能在延迟过程中产生误差。第2)种方案在拍摄范围后端另设光电感应器，优点是能即时拍照，采集图像的时间更准确，减小后续图像结合时减少误差，缺点是多设置感应器成本增加，另外光电感应器发生故障会影响检测过程。

所述步骤五中，当识别过程中发现图像中存在无法识别的图像轮廓，向人机交互界面发出结合后的顶摄图图像并发出报警提醒操作者。

所述步骤七中，当计算得到的数量结果为非整数，计算小数位部分是否在误差阈值内，如果在误差阈值内则对计算结果四舍五入取整数值，否则发出计算结果并报警。

通过报警信息能自动在识别结果异常时发出报警，让现场人员能及时发现异常情况，避免造成大量识别错误，减少物料倒塌、设备故障造成的出入库记录错误情况。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。