包裹分拣系统及其控制方法、存储介质与流程

本申请实施例涉及机器人分拣技术领域，尤其涉及一种包裹分拣系统及其控制方法、存储介质。

背景技术：

传统的货运或物流行业中，通常采用人工配合传送带分拣包裹，但是，随着社会的进步，用工成本也在不断提升，而且工人的工作强度大，工作效率会随着工人体力消耗而降低，导致装卸货人工成本高、效率低的问题。另外，若分拣包裹增多，或者分拣地增加时，传送带等固定设备的配置难度高，成本高，而在分拣包裹减少，或者分拣地减少时，又会导致资源浪费的问题。

技术实现要素：

有鉴于此，本申请实施例的目的在于提供一种包裹分拣系统及其控制方法以及存储介质，以解决现有包裹的传送分拣人工成本高、配置成本高且容易导致资源浪费的问题。

本申请实施例解决上述技术问题所采用的技术方案如下：

根据本申请实施例的一个方面，提供的一种包裹分拣系统，所述包裹分拣系统包括卸载装置、输送装置、视觉装置以及机器人装置；

所述卸载装置，用于从包裹容器中卸载包裹；

所述输送装置，用于接收并输送所述卸载装置卸载的包裹；

所述视觉装置，用于获取所述输送装置输送包裹的图像；对所述输送装置输送包裹的图像进行识别，得到所述输送装置输送包裹的图像中物体的分类信息；根据所述输送装置输送包裹的图像中物体的分类信息，控制所述机器人装置对所述输送装置输送的包裹进行抓取。

可选的，所述包裹分拣系统还包括回流装置；

所述回流装置，用于将所述机器人装置未抓取的包裹回流到所述输送装置。

可选的，所述视觉装置包括调节模块；

所述调节模块，用于调节所述输送装置的输送速度。

可选的，所述输送装置包括传感器模块；

所述传感器模块，用于获取所述输送装置的速度信息，并将所述速度信息发送给所述视觉装置。

可选的，所述输送装置包括缓冲模块；

所述缓冲模块，用于缓冲所述卸载装置卸载的包裹。

可选的，所述机器人装置包括dof机器人手臂、scara机器人手臂或者笛卡尔机器人手臂。

根据本申请实施例的另一个方面，提供的一种包裹分拣系统的控制方法，所述方法包括：

获取输送装置输送包裹的图像；

对所述输送装置输送包裹的图像进行识别，得到所述输送装置输送包裹的图像中物体的分类信息；

根据所述输送装置输送包裹的图像中物体的分类信息，控制机器人装置对所述输送装置输送的包裹进行抓取。

可选的，所述对所述输送装置输送包裹的图像进行识别，得到所述输送装置输送包裹的图像中物体的分类信息，包括：

根据所述输送装置输送包裹的图像，获取所述输送装置输送包裹的图像中物体的点云；

根据所述输送装置输送包裹的图像中物体的点云，通过预设的物体识别模型得到所述输送装置输送包裹的图像中物体的分类信息。

可选的，所述对所述输送装置输送包裹的图像进行识别，得到所述输送装置输送包裹的图像中物体的分类信息，包括：

将所述输送装置输送包裹的图像输入至预先训练的神经网络进行计算，得到所述输送装置输送包裹的图像中物体的分类信息。

根据本申请实施例的另一个方面，提供的一种存储介质，所述存储介质上存储有包裹分拣系统的控制程序，所述包裹分拣系统的控制程序被所述处理器执行时实现上述的包裹分拣系统的控制方法的步骤。

本申请实施例的包裹分拣系统及其控制方法、存储介质，通过卸载装置从包裹容器中卸载包裹到输送装置，在视觉装置获取到输送装置输送包裹的图像之后，对包裹进行分类并控制对应的机器人装置对输送装置输送的包裹进行抓取；相比人工分拣的方式，降低了成本，提高了工作效率，降低了出错率。

附图说明

图1为本申请第一实施例的包裹分拣系统结构示意图；

图2为本申请第一实施例的包裹分拣系统另一结构示意图；

图3为本申请实施例的包裹分拣系统的示例结构示意图；

图4为本申请第二实施例的包裹分拣系统的控制方法流程示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

第一实施例

如图1所示，本申请第一实施例提供一种包裹分拣系统，所述包裹分拣系统包括卸载装置11、输送装置12、视觉装置13以及机器人装置14。

所述卸载装置11，用于从包裹容器中卸载包裹。

在本实施例中，包裹容器可以为拖车或集装箱，即容纳包裹的容器。需要说明的是，包裹容器并不限于上述情形。

所述卸载装置11为能够将包裹容器向上提起并重新定向以使包裹容器的开口面向重力方向，使得包裹容器内的包裹可以通过重力滑落到所述输送装置12的机构。

所述输送装置12，用于接收并输送所述卸载装置11卸载的包裹。

在本实施例中，所述输送装置12可以为皮带输送机、动力滚筒输送机或者其他可以输送包裹的装置。

在本实施例中，所述输送装置12一方面应具有良好的缓冲以保护所述卸载装置11滑落的包裹免受伤害，另一方面所述输送装置12应该足够快地运行以允许所有包裹直接落在所述输送装置12上，而不是落在另一个包裹上(可能是刚性包裹上)，即是尽量避免包裹重叠。理想情况下，所有包裹都在所述输送装置12上展平。虽然可能仍然有彼此叠加的包裹，但至少包裹不再堆叠很高。需要说明的是，“足够快”的定义需达到以下两点：

1、速度快的作用主要是用于使得包裹展平在输送机上，而使得包裹没有互相重叠在输送机上。

2、硬版：视觉装置对输送机的速度一无所知，仅根据自己的观察来确定物体的速度。

简易版本：一些传感器，通常是连接到驱动传送带的电机的编码器，或者连接到接触传送带的轮子，获得传送带的速度并将该信息发送到视觉装置和/或机器人装置。

在实际系统中，速度可以由监视包裹状态的视觉装置调节，这个范围可能很大，比如说0.1m/s到5m/s。

在一种实施方式中，所述输送装置12包括传感器模块(附图未示出)；

所述传感器模块，用于获取所述输送装置12的速度信息，并将所述速度信息发送给所述视觉装置13。

在该实施方式中，所述传感器模块可以连接到驱动所述输送装置12的电机的编码器，或者连接到所述输送装置12的轮子，获得所述输送装置12的速度信息并将该信息发送到所述视觉装置13。

在另一种实施方式中，所述输送装置12包括缓冲模块(附图未示出)；

所述缓冲模块，用于缓冲所述卸载装置11卸载的包裹。

在该实施方式中，通过所述缓冲模块使得所述输送装置12具有良好的缓冲以保护所述卸载装置11滑落的包裹免受伤害。

所述视觉装置13，用于获取所述输送装置12输送包裹的图像；对所述输送装置12输送包裹的图像进行识别，得到所述输送装置12输送包裹的图像中物体的分类信息；根据所述输送装置12输送包裹的图像中物体的分类信息，控制所述机器人装置14对所述输送装置12输送的包裹进行抓取。

在本实施例中，对所述输送装置12输送包裹的图像进行识别，得到所述输送装置12输送包裹的图像中物体的分类信息包括但不限于以下方式：

1)、根据所述输送装置输送包裹的图像，获取所述输送装置输送包裹的图像中物体的点云；根据所述输送装置输送包裹的图像中物体的点云，通过预设的物体识别模型得到所述输送装置输送包裹的图像中物体的分类信息。

作为示例地，假设预设的物体识别模型为常规大小的箱子，在获取到所述输送装置输送包裹的图像之后，根据所述输送装置输送包裹的图像中物体的点云，通过物体识别模型先识别到顶部平面，然后判断左右前后是否还存在竖直高度，如果有，则识别成功，控制机器人装置14抓取箱子。

2)、将所述输送装置输送包裹的图像输入至预先训练的神经网络进行计算，得到所述输送装置输送包裹的图像中物体的分类信息。

作为示例地，预先训练的神经网络包括信封姿态数据库，在将所述输送装置输送包裹的图像输入至预先训练的神经网络之后，即可得到信封包裹的信息。预先训练的神经网络的优势在于在物体重叠的时候，可分割出每一个物体。

在本实施例中，所述机器人装置14可设置在所述输送装置12旁边或者悬挂在所述输送装置12上。所述机器人装置14可以是能够将一个特定包裹从输送装置12移出到某个目的地的任何机构。这些“某些目的地”可以是另一组输送装置或一组移动机器人或类似的东西，只要它是一些机制可以使包裹远离邻近的获持包裹机械手。所述机器人装置14包括但不限于dof机器人手臂、scara机器人手臂或者笛卡尔机器人手臂。

在一种实施方式中，所述视觉装置13包括调节模块(附图未示出)；

所述调节模块，用于调节所述输送装置12的输送速度。

在该实施方式中，通过所述调节模块可使得所述输送装置12足够快地运行以允许所有包裹直接落在所述输送装置12上，而不是落在另一个包裹上(可能是刚性包裹上)，即是尽量避免包裹重叠。

请参考图2所示，在一种实施方式中，所述包裹分拣系统还包括回流装置15；

所述回流装置15，用于将所述机器人装置14未抓取的包裹回流到所述输送装置12。

在该实施方式中，通过所述回流装置15可将所述机器人装置14未抓取的包裹回流到所述输送装置12上，再由所述输送装置12将所述机器人装置14未抓取的包裹进行输送重新进行分拣。

为了更好地阐述本申请实施例的包裹分拣系统，以下结合图3对包裹分拣过程进行说明：

如图3所示，卸载装置11将包裹容器中的包裹(图中的a-g所示)卸载到输送装置12。输送装置12将卸载下来的包裹输送至机器人手臂(图中的141、143所示)所在地点。

包裹分拣系统可以将传入的包裹分类为后续处理所需的任何数量的类别，并且将严格执行分类以避免所有人为错误。此外，可以对分类进行定制，以减少设计后期自动化或机器人过程的难度。例如，可以为所有包裹创建5个类(软包装包裹和硬质纸盒，厚度薄的比如信封，厚度大的，体积大的，体积小)，而不是为所有包创建3个类，这使得机器人夹具的机械设计对于所有5类包更容易，而不是尝试设计适应更宽的包的夹具原始分类中的各种包装。

在一个方式中，五个分类的对应有五种机器人，五种机器人的末端执行器不一样用于抓取不同的包裹类型，通过相机拍摄图像，识别出每一个物体，把每一类物体指令发送给对应的机器人，控制机器人抓取对应的物体。

在一个方式中，五个分类的物体对应三种机器人，三种机器人的末端执行器不一样用于抓取不同的包裹类型，其中一种机器人的末端执行器可以获持两种物体，这三种机器人里面，每一个机器人单独设置一种神经网络系统，用于识别机器人所要获持的物体；具体的，当一种机器人只获持信封的时候，设置的神经网络系统用于识别大量的信封，建立一个信封姿态数据库。

在另外一个方式中，五个分类的物体对应五种机器人，五种机器人的末端执行器不一样用于抓取不同的包裹类型，通过相机拍摄图片，获取物体的点云，通过识别模型来匹配对应的是那种物体，比如一种要获持常规大小的箱子的时候，识别模型先识别到顶部平面，通过物体的点云判断左右前后是否还存在竖直高度，如果有，则识别成功，控制机器人获持箱子；这种方法不用采用神经网络系统(神经网络系统主要优点在于物体重叠的时候，用来分割出每一个物体)，因为输送机的速度很快，使得包裹在输送机上不重叠，直接用箱子识别模型与拍摄的图像中物体一个个匹配。

视觉装置在得到图像中物体的分类信息之后，控制对应的机器人手臂对输送装置12输送的包裹进行抓取。具体地，假如第一处设置的机器人手臂141用于抓取软包装包裹，第二处设置的机器人手臂143用于抓取信封。得到的图像中物体的分类信息包括软包装包裹信息和信封信息，则控制第一处设置的机器人手臂141抓取软包装包裹并通过另一输送装置142进行输送、第二处设置的机器人手臂143抓取信封并通过另一输送装置144进行输送。机器人手臂未抓取的包裹将通过回流装置15重新回流到输送装置12上进行重新分拣。

本申请实施例的包裹分拣系统，通过卸载装置从包裹容器中卸载包裹到输送装置，在视觉装置获取到输送装置输送包裹的图像之后，对包裹进行分类并控制对应的机器人装置对输送装置输送的包裹进行抓取；相比人工分拣的方式，降低了成本，提高了工作效率，降低了出错率。

第二实施例

如图4所示，本申请第二实施例提供一种包裹分拣系统的控制方法，所述方法包括：

步骤s21、获取输送装置输送包裹的图像。

步骤s22、对所述输送装置输送包裹的图像进行识别，得到所述输送装置输送包裹的图像中物体的分类信息。

在一种实施方式中，所述对所述输送装置输送包裹的图像进行识别，得到所述输送装置输送包裹的图像中物体的分类信息，包括：

根据所述输送装置输送包裹的图像，获取所述输送装置输送包裹的图像中物体的点云；

根据所述输送装置输送包裹的图像中物体的点云，通过预设的物体识别模型得到所述输送装置输送包裹的图像中物体的分类信息。

在该实施方式中，预设的物体识别模型的数量和类型在此不作限制。

作为示例地，假设预设的物体识别模型为常规大小的箱子，在获取到所述输送装置输送包裹的图像之后，根据所述输送装置输送包裹的图像中物体的点云，通过物体识别模型先识别到顶部平面，然后判断左右前后是否还存在竖直高度，如果有，则识别成功，控制机器人装置抓取箱子。

在另一种实施方式中，所述对所述输送装置输送包裹的图像进行识别，得到所述输送装置输送包裹的图像中物体的分类信息，包括：

将所述输送装置输送包裹的图像输入至预先训练的神经网络进行计算，得到所述输送装置输送包裹的图像中物体的分类信息。

具体地，对所述输送装置输送包裹的图像通过神经网络降维算法，获得所述输送装置输送包裹的图像的降维图像；根据降维图像和预设的分类模型，对所述降维图像的每一像素进行分类；将降维图像通过神经网络升维算法，获得与所述输送装置输送包裹的图像大小相同的分类图像。预设的分类模型的数量在此不作限定。

还可根据多个分类模型获得的分类图像的重叠情况进行调整，获得调整后的分类图像。其中，多个分类模型可以采用不同的训练样本训练得来。然后，根据多个分类模型获得各自的分类图像。最后根据各个分类图像的重叠情况进行调整，具体可以是重叠的部分保留，而没有重叠的部分去除，等等。

神经网络的训练过程可如下所示：获得多个训练图像；根据输入指令获得所述训练图像中完整度达到70％的物体的标注；根据所述训练图像和对应的标注对神经网络进行训练。

具体地，训练图像可以成千上万，通过越多的训练图像能够训练出越精确的分类模型。训练图像包括处于多种形态，多种角度，多种距离和或多种光线的物体。从而能够使训练结果具有更强的鲁棒性。

然后，通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。其中，本实施例中，设置完整度达到70％的物体进行标注。完整度是指，在训练图像中，物体仅部分暴露在外，而通过判断暴露在外的区域是否达到物体本身的70％。若是，则完整度达到70％。通过仅标注完整度达到70％的物体，则能够使得训练更具有针对性，能够识别出最上层可供抓取的物体。使得系统在识别原始图像中的物体时，仅仅能够识别到最上层，并且能够抓取的物体。

步骤s23、根据所述输送装置输送包裹的图像中物体的分类信息，控制机器人装置对所述输送装置输送的包裹进行抓取。

本申请实施例的包裹分拣系统的控制方法，通过卸载装置从包裹容器中卸载包裹到输送装置，在视觉装置获取到输送装置输送包裹的图像之后，对包裹进行分类并控制对应的机器人装置对输送装置输送的包裹进行抓取；相比人工分拣的方式，降低了成本，提高了工作效率，降低了出错率。

第三实施例

本申请第三实施例提供一种存储介质，所述存储介质上存储有包裹分拣系统的控制程序，所述包裹分拣系统的控制程序被处理器执行时用于实现第二实施例所述的包裹分拣系统的控制方法的步骤。

需要说明的是，本实施例的存储介质，与第二实施例的方法属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，这里不再赘述。

本申请实施例的存储介质，通过卸载装置从包裹容器中卸载包裹到输送装置，在视觉装置获取到输送装置输送包裹的图像之后，对包裹进行分类并控制对应的机器人装置对输送装置输送的包裹进行抓取；相比人工分拣的方式，降低了成本，提高了工作效率，降低了出错率。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上参照附图说明了本申请的优选实施例，并非因此局限本申请的权利范围。本领域技术人员不脱离本申请的范围和实质内所作的任何修改、等同替换和改进，均应在本申请的权利范围之内。