基于图像分割的物体定位方法、设备和存储介质与流程

本发明实施例涉及机器人分拣领域，特别涉及基于图像分割的物体定位方法、设备和存储介质。

背景技术

目前随着物流自动化的发展，机器人分拣也越来越火热。越来越多的货物需要快速进行分拣。在实际操作中，许多货物堆叠在一起，需要进行区分。

但是，现有的图像分割算法通常仅算出一个大致的矩形边框，不能准确的涵盖物体的所有像素点，包含了大量的背景信息，并造成定位不准确，也无法得到准确的姿态。

技术实现要素：

本发明实施例的主要目的是提供一种基于图像分割的物体定位方法、设备和存储介质，旨在使图像分割精确到物体的每一像素，使图像分割达到像素级别，以达到目标物体定位准确和姿态判断准确的效果。

根据本发明的一个方面，提供的一种基于图像分割的物体定位方法，用于物流系统中，该方法包括：收集训练图像并对训练图像进行标注，形成一个训练数据库；设计一个完全卷积神经网络；将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；根据目标神经网络，对物流系统中的物体图像进行标记与定位。

进一步的，所述收集训练图像并对训练图像进行标注包括：摄像头在不同角度拍摄多个互相重叠的训练物体，获取其训练图像。

进一步的，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注。

进一步的，所述训练物体的标注为像素级别的人工标注。

进一步的，所述完全卷积神经网络设有卷积层、池化层以及反卷积层。

进一步的，所述将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络包括：根据所述述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。

进一步的，所述目标神经网络包括所述目标反卷积层，以及所述根据目标神经网络，对物流系统中的物体图像进行标记与定位包括：物体图像通过目标神经网络的下样化，获得所述物体图像的多个像素点组成；在所述目标神经网络中对每一像素点进行分类，得到像素点的分类结果；通过所述目标反卷积层的上样化，获得与原始的物体图像大小相同的分类图像。

进一步的，所述根据目标神经网络，对物流系统中的物体图像进行标记与定位还包括：根据所述像素点的分类结果，在分类图像中定位标记目标物体的边界。

进一步的，所述在分类图像中定位标记目标物体的边界包括：根据已分类的像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线；将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；根据所述参考平面和相关平面拟合出目标物体区域。

进一步的，根据所述目标物体区域获取所述目标物体，通过机械手将所述目标物体放置在目标位置。

根据本发明的另一方面，提供一种基于图像分割的物体定位设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的基于图像分割的物体定位方法的步骤。

根据本发明的再一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于图像分割的物体定位方法的步骤。

本发明实施例所提供的基于图像分割的物体定位方法、设备和存储介质，通过以利用实际应用场景中采集的训练样本对完全卷积神经网络模型进行训练。这样，经过迭代训练，本发明实施例的图像分割的技术方案可以获取到优化的完全卷积神经网络模型。在此基础上，本发明实施例的基于图像分割的物体定位方法可以有较高的鲁棒性和分割精度。特别是，本发明实施例的基于图像分割的物体定位方法在处理物流系统中的信封包裹时，能够对多个相互重叠的信封区域进行高精度分割，精确的提取出位于最上层的一个信封，使得机械手每一次抓取的时候只抓取一个信封，极大提高物流分拣的精确度与体验感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例提供的一种基于图像分割的物体定位方法的流程图；

图2为本发明实施例提供的另一种基于图像分割的物体定位方法的流程图；

图3为本发明实施例中物体标记与定位方法的应用例的一示意；

图4为本发明实施例中物体标记与定位方法的应用例的另一示意图；

本发明实施例目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。

实施例一

本实施例提供了一种基于图像分割的物体定位方法，用于物流系统中，使得精确的分割出目标物体以供机械手抓取，请结合参看图1至图4，所述基于图像分割的物体定位方法包括：

s1、收集训练图像并对训练图像进行标注，形成一个训练数据库。

其中，在物流分拣信封的场景下，根据多个信封在分拣时出现的实际情况，将多个信封根据出现的实际情况摆放出不同的状态，获取信封的训练图像可以成千上万，通过越多的训练图像能够越多的训练分类模型。多个训练分类模型包括处于多种形态，多种角度，多种距离和或多种光线的物体状态，从而能够使训练结果具有更强的鲁棒性。具体的，比如三个信封相互重叠，位于最上方的信封没有被遮挡，多个摄像头从不同角度拍摄第一场景图像，以此收集训练图像；或者四个信封相互重叠，位于表面的一个信封的没有被遮挡的面积为70％，多个摄像头从不同角度拍摄第二场景图像，以此收集训练图像。此步骤为在实际应用场景中采集的多样性的训练样本，对每一个训练样本进行手工标注，手工标注为像素级别的标注，最后所有的训练样本形成一个训练数据库。

具体的，通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。其中，本实施例中，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注，其中预设条件为设置完整度达到70％的物体进行标注。完整度是指，在训练图像中，最上层的物体没有被遮挡的部分，而通过未被遮挡的区域完整度达到70％的物体，则能够使得训练更具有针对性，能够使得视觉结构识别出目标物体，使得系统在识别原始图像中的物体时，仅仅能够识别到最上层，并且能够抓取的物体。

s2、设计一个完全卷积神经网络。

本文所使用的完全卷积神经网络使用具有生物神经元的简化功能的人工神经元，人工神经元可以通过具有连接加权的连接线进行连接。神经网络可以通过人工神经元执行至少一定程度上类似于人的识别功能或训练处理的识别功能或训练处理。人造神经元也被称为节点。

所述完全卷积神经网络设有卷积层、池化层以及反卷积层。卷积层可以接收用于执行训练的输入，并且将输入传送到池化层。反卷积层可以基于从池化层的节点接收的信号生成完全卷积神经网络的输出。池化层可以被布置在卷积层和反卷积层之间，并且将通过输入层传送的训练数据改变到预测值。

s3、将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络。

具体的，根据所述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。

在所述完全卷积神经网络中包括一图像模型，图像模型是指被训练为基于输入生成期望输出的模型，并且指示机器学习结构中的参数。机器学习结构可以被表达为可以基于训练处理生成关于输入到函数的输入数据的一个或多个参数的预测、决定和/或分类作为输出数据的函数。具体的，所述训练图像通过所述完全神经网络的卷积层输入到完全卷积神经网络的图像模型中，池化层提取出所述训练图像的多个像素点，将多个像素点传送到反卷积层，通过观察反卷积层的输出的图像，判断输出的图像是否与输入的训练图像的大小相等，不断的调节完全卷积神经网络的参数，使得反卷积层输出的图像的大小严格跟输入的训练图像大小相等，以此得到目标反卷积层。

s4、根据目标神经网络，对物流系统中的物体图像进行标记与定位。

具体的，所述目标神经网络包括所述目标反卷积层，把训练好的所述目标神经网络处理物流系统中机械手要获取的目标物体，使得所述目标神经网络能把目标物体的像素点识别分类出来。物体图像通过目标神经网络的卷积层下样化，获得所述物体图像的多个像素点组成；在所述目标神经网络中对每一像素点进行分类，得到像素点的分类结果；通过所述目标反卷积层的上样化，获得与原始的物体图像大小相同的分类图像，使得经过目标神经网络能够高效和准确进行分类，从而获得对应每一物体的像素点集。从而再进行后续步骤时，能够定位准确，并且得到准确的姿态。

请参考图2，s5、根据所述像素点的分类结果，在分类图像中定位标记目标物体的边界。

具体的，根据已分类的像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线。将已分类的像素点云进行拼合，而获得具有目标物体的完整长宽高信息的拼合像素点云之后，再根据拼合像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线。其中，通过拼合像素点云拟合出多个矩形区域，可以将像素点云进行分隔，而将属于同一平面的像素点云进行集合，再根据该像素点云集合的边缘来拟合出矩形区域。

将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面。其中，预设条件可以是矩形区域的面积达到多少，以及形成矩形区域的像素点云的密度达到多少，以及是否位于图像的预设位置等等。通过预设条件的筛选，则可以获得属于目标物体的一个矩形区域，标记为参考平面。相应的，由于本实施例中的信封为矩形体状，因此其他的矩形区域应当与该矩形区域具有法线垂直的属性。因此，再查找法线与该矩形区域的法线相垂直的其他矩形区域，而这些区域则为属于目标物体的其他矩形区域。这些区域标记为相关平面。

在本实施例中，在找到参考平面和相关平面之后，再根据所述参考平面和相关平面拟合出目标物体区域。具体的目标物体设为信封，若参考平面和相关平面包括三个面，则根据这三个面的边缘信息，则可以估计获得另外三个面，从而完成拟合信封区域，如图3所示。若参考平面和相关平面包括四个面，则可以根据四个面的边缘信息估计获得另外两个面，从而完成拟合箱体区域，等等。

在本实施例中，根据所述目标物体区域获取所述目标物体，通过机械手将所述目标物体放置在目标位置。

本实施例所提供的信封拟合方法，通过采用深度摄像头，从而可以获得信封的像素点云。再通过像素点云进行提取平面以及拟合矩形区域，然后通过识别属于信封的矩形区域，最后所识别的这些矩形区域拟合出信封区域，进而大幅提高了识别信封形状的准确度，提高机器人分拣的成功率。

本实施例提供了一种基于图像分割的物体定位方法，通过收集形成训练数据库，设计的完全卷积神经网络通过训练数据库的不断训练，使得设计的完全卷积神经网络得到一个目标的神经网络，目标神经网络用于物流系统中的场景应用，物流系统中的机械手要获取的目标物体，先通过视觉系统获取目标物体的目标图像，将目标图像输入目标神经网络后，目标神经网络对目标图像进行标记与定位得到目标物体的像素点的分类结果，再通过系统算法将像素点的分类结果拟合出目标物体的边界与位置，将目标物体的边界与位置发送给机械手，使得机械手精确的抓取目标物体。

实施例二

本发明实施例还提供了一种基于图像分割的物体定位设备，该设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的基于图像分割的物体定位程序，所述基于图像分割的物体定位程序被所述处理器执行时实现如下步骤(请参考图1)：

s1、收集训练图像并对训练图像进行标注，形成一个训练数据库；

s2、设计一个完全卷积神经网络；

s3、将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；

s4、根据目标神经网络，对物流系统中的物体图像进行标记与定位。

本实施例所提供的基于图像分割的物体定位设备，通过收集形成训练数据库，设计的完全卷积神经网络通过训练数据库的不断训练，使得设计的完全卷积神经网络得到一个目标的神经网络，目标神经网络用于物流系统中的场景应用，物流系统中的机械手要获取的目标物体，先通过视觉系统获取目标物体的目标图像，将目标图像输入目标神经网络后，目标神经网络对目标图像进行标记与定位得到目标物体的像素点的分类结果，再通过系统算法将像素点的分类结果拟合出目标物体的边界与位置，将目标物体的边界与位置发送给机械手，使得机械手精确的抓取目标物体。

需要说明的是，本实施例的基于图像分割的物体定位设备实施例与上述方法实施例以属于同一构思，其具体实现过程详细参见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，可以参照上述基于图像分割的物体定位方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

实施例三

本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时实现如下步骤(请参考图1)：

s1、收集训练图像并对训练图像进行标注，形成一个训练数据库；

s2、设计一个完全卷积神经网络；

s3、将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；

s4、根据目标神经网络，对物流系统中的物体图像进行标记与定位。

本实施例所提供的计算机可读存储介质，通过收集形成训练数据库，设计的完全卷积神经网络通过训练数据库的不断训练，使得设计的完全卷积神经网络得到一个目标的神经网络，目标神经网络用于物流系统中的场景应用，物流系统中的机械手要获取的目标物体，先通过视觉系统获取目标物体的目标图像，将目标图像输入目标神经网络后，目标神经网络对目标图像进行标记与定位得到目标物体的像素点的分类结果，再通过系统算法将像素点的分类结果拟合出目标物体的边界与位置，将目标物体的边界与位置发送给机械手，使得机械手精确的抓取目标物体。

需要说明的是，本实施例的计算机可读存储介质与上述方法实施例以属于同一构思，其具体实现过程详细参见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，可以参照上述基于图像分割的物体定位方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明实施例各个实施例所述的方法。

上面结合附图对本发明实施例的实施例进行了描述，但是本发明实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明实施例的启示下，在不脱离本发明实施例宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明实施例的保护之内。