一种可回收垃圾视觉分类方法、系统、设备与流程

本发明涉及垃圾分类技术领域，尤其涉及一种可回收垃圾视觉分类方法、系统、设备。

背景技术：

随着现代人们生活水平的提高和各项消费的增加，城市垃圾产生量日益增多，环境状况也逐渐恶化。面对此种局面，垃圾分类是解决日益增多垃圾的最有效方式，也是对垃圾进行有效处置的一种科学管理方法。如何通过垃圾分类管理，最大限度地实现垃圾资源利用，减少垃圾处置的数量，改善生存环境状态，是当前中国乃至世界各国共同关注的迫切问题。

垃圾分类在源头将垃圾分类投放，目前垃圾主要分为可回收垃圾、有害垃圾、干垃圾、湿垃圾等。其中，可回收垃圾又主要包括废纸、塑料、玻璃、金属等几大类。可回收垃圾是可以再生循环的垃圾。因此对可回收垃圾进行分类回收再利用十分的有必要。

目前，可回收垃圾的分类回收方法主要包括人工拣选、风选等，其人工成本高，处理效率低，准确度也不高。

技术实现要素：

有鉴于此，本发明的目的在于提供一种可回收垃圾视觉分类方法、系统、设备，以解决现有技术可回收垃圾分类回收效率低准确度不高的问题。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的第一个方面，提供一种可回收垃圾视觉分类方法，所述方法包括以下步骤：

获取传送带上物体的rgb图像和深度信息；

根据获取的物体的rgb图像，对rgb图像进行分割和分类；

将分割后的rgb图像与对应的深度信息匹配，获取各物体在世界坐标的点云；

根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。

根据本发明的第二个方面，提供一种可回收垃圾视觉分类系统，所述系统包括：

传送带，用于传送物体，所述物体为可回收垃圾；

rgb相机，用于获取传送带上物体的rgb图像和深度信息；

服务器，用于接收rgb相机发送的rgb图像和深度信息，对rgb图像进行分割和分类，将分割后的rgb图像与对应的深度信息匹配，获取各物体在世界坐标的点云，根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。

根据本发明的第三个方面，提供一种可回收垃圾视觉分类设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现可回收垃圾视觉分类步骤。

本发明实施例的可回收垃圾视觉分类方法、系统以及设备，通过视觉方法检测、分类以及定位传送带上的可回收垃圾，可以高效而精准的对混合的可回收垃圾进行分类，极大程度提高了可回收垃圾分类的效率和准确性。

附图说明

图1为本发明实施例一提供的一种可回收垃圾视觉分类系统的示意图；

图2为本发明实施例二提供的一种可回收垃圾视觉分类方法的流程图；

图3a为本发明实施例二中计算初步抓取位姿示意图的正视图；

图3b为本发明实施例二中计算初步抓取位姿示意图的俯视图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，如果使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例一提供了一种可回收垃圾视觉分类系统。如图1所示，可回收垃圾视觉分类系统包括传送带10、rgb相机30、服务器50。

所述传送带10，用于传送物体，传送带10上的物体为可回收垃圾。最常见的可回收垃圾有：纸质包装盒、塑料瓶、金属制易拉罐、玻璃瓶等。将需要分类的可回收垃圾从传送带10一端进行放置，随着传送带10的向前移动。

所述rgb相机30，用于获取传送带10上物体的rgb图像和深度信息，所述rgb相机30放置于传送带10附近，并对传送带10上的物体进行拍摄，获取物体的rgb图像和深度信息。所述rgb相机30还将获取的rgb图像和深度信息发送给服务器50。

所述服务器50，用于接收rgb相机30发送的rgb图像和深度信息，对rgb图像进行分割和分类，将分割后的rgb图像与对应的深度信息匹配，获取各物体在世界坐标的点云，根据所述各物体在世界坐标的点云、传送带10的运动速度，计算各物体的抓取位姿。

服务器50通过基于深度卷积神经网络模型的实例分割算法，对rgb图像进行分割，得到各个物体在rgb图像中的区域、各个物体所属的垃圾种类。

所述基于深度卷积神经网络模型进行了预先训练，具体方式为：根据垃圾回收种类的定义，采集各种物体图像并进行标注，使用标注后的图像数据对所述基于深度卷积神经网络模型进行预先训练。由于进行了预先训练，因此可以对rgb图像进行分割和分类。

所述服务器50计算所得到的抓取位姿，可以提供给抓取设备，抓取设备根据抓取位姿，对各物体分别进行精准抓取，这里不再赘述。

通过本实施例提供的可回收垃圾视觉分类系统，通过视觉方法检测、分类以及定位传送带上的可回收垃圾，可以高效而精准的对混合的可回收垃圾进行分类，极大程度提高了可回收垃圾分类的效率和准确性。

为了进一步理解本发明的实现过程，请继续参阅图2，图2为本发明实施例二提供的可回收垃圾视觉分类方法的流程图。

所述可回收垃圾视觉分类方法包括：

步骤s201、获取传送带上物体的rgb图像和深度信息；

通过rgb相机拍摄传送带上的物体，获取传送带上物体的原始图像rgb图像和深度信息。

步骤s202、根据获取的物体的rgb图像，对rgb图像进行分割和分类；

优选地，根据获取的物体的rgb图像，对rgb图像进行分割和分类，具体可采用如下方式：

通过基于深度卷积神经网络模型的实例分割算法，对rgb图像进行分割和检测，得到各个物体在rgb图像中的区域、各个物体所属的垃圾种类。

神经网络模型预先进行过训练。可以根据垃圾回收种类的定义，采集各种物体图像并进行标注，使用标注后的图像数据对所述基于深度卷积神经网络模型进行预先训练。

对神经网络模型预先进行训练，可以采用下面的方法：

神经网络获得多个物体的训练图像；

根据当前垃圾回收任务的定义，获得训练图像中完整度达到70％的物体的标注；

根据所述训练图像和对应的标注对神经网络进行训练。

其中，训练图像可以是成千上万个不同种类的可回收垃圾物体的图像，通过越多的训练图像能够训练出越精确的分类模型。训练图像中的物体包括处于不同形态、不同角度、不同距离和不同光线下的物体。再通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。这里，完整度是指，在训练图像中，物体仅部分暴露在外，通过判断暴露在外的区域是否达到物体本身的70％，若是，则表示完整度达到70％。经过预先训练的神经网络能够根据rgb图像信息进行分割和分类。

步骤s203、将分割后的rgb图像与对应的深度信息匹配，获取各物体在世界坐标的点云；

优选地，获取各物体在世界坐标的点云具体方式为：

根据检测得到的各个物体的位置区域，从深度信息中获取各个物体在rgb相机坐标系的点云，所述点云由nⅹ4矩阵pc表示，其中n为矩阵行数，即物体点云的三维点数量，每行的四个数分别表示一个三维点的齐次(x,y,z,l)坐标；

根据物体在rgb相机坐标系的点云，计算物体在世界坐标系下的点云：设从各个物体的相机坐标系到世界坐标系的转换矩阵为m，m为4ⅹ4矩阵，设物体在世界坐标系下的点云为nⅹ4矩阵pw,则计算公式为：pw＝(m·(pc)^t)^t，其中t表示矩阵的转置运算。

步骤s204、根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。

具体地，计算各物体的抓取位姿，包括：

根据所述各物体在世界坐标的点云，计算各物体的初步抓取位姿；

根据各物体的初步抓取位姿、传送带的运动速度，计算各物体的实时抓取位姿。

本实施例中，抓取位姿指的是抓取设备的末端执行器抓取物体的位置和朝向等。

优选地，根据所述各物体在世界坐标的点云，计算各物体的初步抓取位姿的具体方式为：

根据物体的世界坐标点云，计算得到物体的初步抓取位姿，初步抓取位姿g由gx,gy,gz,gα,gβ,gθ六个变量表示，其中(gx,gy,gz)表示抓取位姿的空间位置坐标，(gα,gβ,gθ)表示抓取位姿的单位方向向量。

为了更好的理解计算各物体的初步抓取位姿的过程，请一起参阅图3a和图3b。其中，图3a为计算初步抓取位姿示意图的正视图。图3b为计算初步抓取位姿示意图的俯视图。图中圆柱体表示物体点云区域，虚线框表示能够包含物体点云的最小立体框，小圆圈表示计算得到的抓取位姿的位置，箭头表示计算得到的抓取位姿的方向，hg为抓取设备末端执行器的高度。本实施例中，机械臂的末端执行器是夹爪。

由图3a和3b可以看出，(gx,gy)为最小立体框在xy平面上矩形框的中心坐标点。gz的坐标点可以通过传送带表面离地面的高度加上夹爪的高度得出，即gz＝hc+hg，hc表示传送带表面离地面的高度，hg是夹爪的高度。(gα,gβ)为最小立框体在xy平面上矩形框的短边方向，gθ为-z轴方向。

优选地，根据各物体的初步抓取位姿、传送带的运动速度，计算各物体的实时抓取位姿，具体方式为：

设传送带的传输速度恒定为v，在x和y方向的速度分别为vx和vy，g(t)为根据t时刻获取的rgb图像和深度图像计算得到的初步抓取位姿，则各物体的实时抓取位姿g(t)的计算公式为：

gx(t)＝gx(t)+vxⅹ(t-t),

gy(t)＝gy(t)+vyⅹ(t-t),

gz(t)＝gz，gα(t)＝gα，gβ(t)＝gβ，gθ(t)＝gθ。

由于物体随着传送带匀速运动，因此各物体的实时抓取位姿g(t)和初步抓取位姿g之间的关系如上式所示。

通过本实施例提供的可回收垃圾视觉分类方法，通过视觉方法检测、分类以及定位传送带上的可回收垃圾，可以高效而精准的对混合的可回收垃圾进行分类，极大程度提高了可回收垃圾分类的效率和准确性。

在前述实施例的基础上，本发明实施例三提供了一种可回收垃圾视觉分类设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一实施例或者第二实施例的可回收垃圾视觉分类步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。