一种人机协同式垃圾分拣系统及方法与流程

本发明涉及垃圾分选技术领域，尤其涉及一种人机协同式垃圾分拣系统及方法。

背景技术：

垃圾分类是实现减量、提质、增效的必然选择，是改善人居环境、促进城市精细化管理、保障可持续发展的重要举措。能不能做到垃圾分类，直接反映一个人，乃至一座城市的生态素养和文明程度。

然而，现有技术中，对垃圾的分选有两种方式，第一种方式，是采用人工分选，但是人工分选存在工作环境差、损害工人身体健康等问题；第二种方式，是采用机器人进行分拣，但是，由于垃圾的种类、颜色、形状繁多，机器人能识别的垃圾种类有限，并不能对种类繁多的垃圾进行准确分拣。

技术实现要素：

为了达到上述技术目的，本发明提供了一种人机协同式垃圾分拣系统及方法。

一种人机协同式垃圾分拣系统，其包括：

皮带机，待分选垃圾能从匀速运动的所述皮带机的一端进入；

垃圾类别识别设备，所述垃圾类别识别设备能获取垃圾在进入皮带机一端的图像，并对每次拍摄的图像进行处理得出第一信息及第二信息，第一信息为垃圾所属类别及该垃圾的位置信息，第二信息为所述垃圾类别识别设备不能识别的垃圾的图像及该垃圾的位置信息；

控制系统，所述控制系统接收垃圾类别识别设备的处理结果；

人工识别机台，所述人工识别机台显示未被分类的垃圾的图片并人工对垃圾的种类进行标定并将标定结果传输给控制系统；以及

分拣机器人，分拣机器人与所述控制系统通信连接且设置在所述皮带机的运转方向上；使所述控制系统控制分拣机器人对垃圾类别识别设备能识别类别的垃圾进行分拣以及对经过人工识别机台进行类别标定后的垃圾进行分拣。

一种人机协同式垃圾分拣方法，其包括：

提供皮带机，使待分选垃圾从匀速运动的皮带机的一端进入；

提供垃圾类别识别设备，利用垃圾类别识别设备获取垃圾在进入皮带机一端的图像，并对每次拍摄的图像进行处理得出第一信息及第二信息，第一信息为垃圾所属类别及该垃圾的位置信息，第二信息为垃圾类别识别设备不能识别的垃圾的图像及该垃圾的位置信息；

提供控制系统，利用控制系统接收垃圾类别识别设备的处理结果；

提供人工识别机台，利用人工识别机台显示未被分类的垃圾的图片并人工对垃圾的种类进行标定并将标定结果传输给控制系统；以及

提供分拣机器人，所述分拣机器人与所述控制系统通信连接且设置在所述皮带机的运转方向上；使所述控制系统控制分拣机器人对垃圾类别识别设备能识别类别的垃圾进行分拣以及对经过人工识别机台进行类别标定后的垃圾进行分拣。

在一个优选实施方式中，在使待分选垃圾从匀速运动的皮带机的一端进入之前还包括对垃圾进行预处理的步骤。

在一个优选实施方式中，所述预处理的步骤包括磁选步骤以及在磁选后还包括对垃圾进行筛选的步骤。

在一个优选实施方式中，所述垃圾类别识别设备为视觉设备。

在一个优选实施方式中，提供的所述控制系统为上位机，所述控制系统包括ui界面，任务管理器、视觉控制模块、人工分类模块、plc模块、坐标转换模块以及机械臂控制模块，所述视觉控制模块与所述垃圾类别识别设备通信连接，人工分类模块与人工识别机台通信连接，机械臂控制模块与分拣机器人通信连接，plc模块与皮带机通信连接，所述坐标转换模块用于将图像坐标转换为皮带机上的坐标。

在一个优选实施方式中，提供的所述人工识别机台还包括输入设备，工人利用输入设备对显示器上显示的垃圾图像的类别进行标定。

在一个优选实施方式中，所述输入设备包括输入部，所述输入部为手动操作手柄。

在一个优选实施方式中，所述上位机与垃圾类别识别设备之间通过tcp协议及http协议通信连接，所述上位机与人工识别机台之间通过tcp协议及http协议通信连接，所述上位机与可编程逻辑控制器之间通过tcp协议通信连接，所述上位机与分拣机器人之间通过tcp协议通信连接。

与现有技术相比，本发明具有如下有益效果：本发明提供的人机协同式垃圾分拣方法采用垃圾类别识别设备获取进入其视角范围内的垃圾图像并进行算法处理，能从整张图像中分离出单个垃圾的图片以及映射出该垃圾在皮带机上的位置，对能识别的垃圾。人工识别机台包括显示器及多个操作手柄，显示器用于显示垃圾类别识别设备不能识别的垃圾图片，手动操作按钮供人工操作以对显示器显示的垃圾进行分类，也即利用人的视觉对垃圾进行分类，并将分类结果传输给控制系统，控制系统根据该垃圾在皮带机上的位置以及该垃圾的种类生成控制指令，将控制指令发给指定的分拣机器人，该分拣机器人能对垃圾类别识别设备能识别类别的垃圾进行分拣以及对经过人工识别机台进行类别标定后的垃圾进行分拣，如此，使工人能远离环境恶劣的分拣现场。

附图说明

图1是本发明提供的人机协同式垃圾分拣设备的结构示意图。

图2是图1提供的提供的人机协同式垃圾分拣设备的模块示意图。

图3是图1提供的提供的人机协同式垃圾分拣设备的工作原理图。

主要元件符号说明

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅本发明涉及一种采用人机协同式垃圾分拣系统进行垃圾分选的方法，其包括：提供皮带机1、垃圾类别识别设备2、控制系统3、人工识别机台4以及多个分拣机器人5。其中，皮带机1、垃圾类别识别设备2、控制系统3及分拣机器人5设置在分选车间现场，所述人工识别机台4设置在分选车间现场之外。

请参阅图1，提供的所述皮带机1匀速运转，待分选的垃圾从所述皮带机1的一端进入。具体地，皮带机1包括输送带101以及驱动输送带101匀速运动的驱动电机(图未示)。待分选垃圾均平摊在输送带101上，所述输送带101将已平摊好的待分选垃圾匀速前送。输送带101可以为直线型或者圆环状。

垃圾类别识别设备2用于获取垃圾在进入皮带机1一端的图像，并对每次拍摄的图像进行处理得出第一信息及第二信息。第一信息为垃圾类别识别设备2能识别的当前垃圾所属类别及该垃圾的位置信息，第二信息为垃圾类别识别设备2不能识别的当前垃圾的图像及该垃圾的位置信息。

垃圾类别识别设备2为机器对垃圾的种类进行识别，可以为光谱成分识别、2d视觉识别、3d视觉识别、或者结构光识别等。

在本实施方式中，所述垃圾类别识别设备2包括图像采集装置(图未示)以及图像处理与数据分析模块(图未示)。数据分析模块能根据单个垃圾位于输送带101上的位置坐标计算得出单个的垃圾移动至对应的分拣机器人5的时间以生成分拣机器人的抓取位姿。

所述图像采集装置用于连续地对进入其视场内的垃圾进行拍照。所述图像处理模块是基于图像处理技术，譬如神经网络技术对每次拍摄的图像进行处理以得到所述第一信息及第二信息。图像采集装置为2d相机，图像为rgb图像，图像处理与数据分析模块可以为任何具备图像处理能力和数据运算能力的装置，例如pc机等。当拍摄的图像中包括多个垃圾图片时，可以采用图像分割技术分离出单个的垃圾，并进行识别。由于这些都是已知技术，在此不再赘述。

所述垃圾类别识别设备2经过深度学习训练后可根据输入的垃圾图像帧，对图像帧对应的垃圾进行识别分类，并输出垃圾分类预测结果，并且对新型垃圾，可采集新型垃圾的样本图像扩充样本集，对垃圾类别识别设备2进行二次训练，使其经过学习之后，能够识别新型垃圾，完成对新型垃圾的快速识别。从而，垃圾类别识别设备2对其能自行识别的垃圾类别向控制系统3输出处理结果，控制系统3能分配相应的分拣机器人5对垃圾进行分拣。

在其它实施方式中，垃圾类别识别设备2还可以包括图像采集装置、x射线发射源、x射线探测器图像处理与数据分析模块。图像采集装置获取垃圾的2d图像及垃圾轮廓，图像采集装置还将采集结果发送至所述图像处理与数据分析模块，图像处理与数据分析模块用于垃圾的材质及位置以得到垃圾的类别；所述x射线发射源发出x射线照射垃圾，所述x射线探测器接收经所述垃圾衰减后的x射线并转化成数字信号，以得出垃圾的材质以根据材质得出垃圾的类别。将两者的结果结合处理最终确定垃圾的类别。

控制系统3用于接收垃圾类别识别设备2的处理结果，也即用于接收第一信息及第二信息。

请参阅图2，所述控制系统3与皮带机1、垃圾类别识别设备2通信连接，能接收所述第一信息及第二信息。在本实施方式中，所述控制系统3为上位机，所述控制系统3包括ui界面31，任务管理器32、视觉控制模块33、人工分类模块34、plc模块35、坐标转换模块36以及机械臂控制模块37。

视觉控制模块33、人工分类模块34、plc模块35、坐标转换模块36以及机械臂控制模块37分别为对应硬件设备的软件控制模块，用于与对应的硬件设备形成命令交互以达到控制相应的硬件设备的目的。

人工分类模块34与人工识别机台4通信连接，机械臂控制模块37与分拣机器人5通信连接，plc模块与皮带机通信连接。所述坐标转换模块36用于将图像坐标转换为皮带机1上的坐标。更具体地，所述上位机与垃圾类别识别设备2之间通过tcp协议及http协议通信连接，所述上位机与人工识别机台4之间通过tcp协议及http协议通信连接，所述上位机与可编程逻辑控制器(plc)之间通过tcp协议通信连接，所述上位机与分拣机器人5之间通过tcp协议通信连接。

人工识别机台4用于显示未被分类的垃圾的图片并人工对垃圾的种类进行标定并将标定结果传输给控制系统。在本实施方式中，人工识别机台4可以为pc机。所述人工识别机台4包括显示器40以及输入部41。显示器40用于显示经图像处理模块处理后的单个垃圾12的图像。工人能根据所述显示器40上显示的垃圾12的图片利用所述输入部41对垃圾的种类进行标定并传输给所述控制系统3，所述控制系统3能根据第一信息及垃圾12的种类生成控制指令。

在本实施方式中，输入部为与显示器40进行通信连接的手动操作手柄，每个手动操作手柄预先被标定为与一种类别的垃圾对应，如此，能提高垃圾类别的识别时间。

利用所述人工识别机台4或者控制系统3存储分割出单个的垃圾的图片作为样本集。经过长期的垃圾样本收集就能得到多种垃圾的样本集，以能对垃圾类别识别设备进行训练逐渐使垃圾类别识别设备识别更多的垃圾类别，方便后续不需要人工参与就能达到垃圾类别的准确识别。

譬如，手动操作手柄的数量为7个或者8个等，每个手动操作手柄用于与一种如下类型的垃圾相对应，7个手动操作手柄分别用于根据显示器40显示的图片为垃圾进行实时分类。现实生活中，待分选的生活垃圾一般为如下7种。

废纸：包括报纸、期刊、图书、各种包装纸、办公用纸、广告纸和纸盒等。

塑料：包括各种塑料袋、塑料包装物、一次性塑料餐盒和餐具、牙刷、杯子、矿泉水瓶和牙膏皮等。

玻璃：包括各种玻璃瓶、碎玻璃片、镜子、灯泡和暖瓶等。

金属物：包括易拉罐和罐头盒等。

布料：包括废弃衣服、桌布、洗脸巾、书包、鞋等。

有害垃圾：包括废电池、废日光灯管、废水银温度计和过期药品等。

其他垃圾：包括砖瓦陶瓷、卫生间废纸和废弃纸巾等。

当然可以理解，手动操作手柄的数量可以以实际需要分选的垃圾种类而定。每一种手动操作手柄上都贴设相应种类垃圾的标识(图未示)，以便工人根据显示器40上显示的图像内容能快速地操作相对应的手动操作手柄。当显示器40显示的是玻璃类垃圾时，工人就操作标识有玻璃的手动操作手柄，工人将显示器40上显示的垃圾分类至玻璃类别，这个处理结果就被传输至控制系统3。

所述分拣机器人5与所述控制系统3通信连接且设置在所述皮带机1的运转方向上。所述控制系统3能控制分拣机器人5，使分拣机器人5对垃圾类别识别设备2能识别类别的垃圾进行分拣以及对经过人工识别机台4进行类别标定后的垃圾进行分拣。

在本实施方式中，所述分拣机器人5为并联双轴机器人，在其它实施方式中，还可以是三轴机器人或者是工业六轴机械臂。分拣机器人5具体可以依据作业范围进行选择。并联双轴机器人的作业范围为直线，三轴机器人的作业范围为圆形，也即其作业范围大于并联双轴机器人。

优选地，本发明提供的人机协同式垃圾分拣方法，在使待分选垃圾从匀速运动的皮带机1的一端进入之前还包括对垃圾进行预处理的步骤。预处理对垃圾进行初步筛选。在本实施方式中，预处理包括依次进行磁选以及筛选的步骤。经过预处理步骤能减少垃圾的类别，以减少垃圾类别识别设备2需要识别的垃圾类别。

人机协同式垃圾分拣系统100在使用的时候，垃圾从进料斗7进入皮带机1、并运行时垃圾类别识别设备2的下方，经过垃圾类别识别设备2的垃圾均会被被拍照并进行算法处理，垃圾类别识别设备2处理的结果会传输给控制系统3，控制系统3将垃圾类别识别设备2的处理结果中的第二信息传输给人工识别机台4，由人工对垃圾的类别进行识别通过输入部41对显示器40上显示的垃圾打上该垃圾所属的垃圾类别标签，垃圾类别的处理结果回再次传输给控制系统3，控制系统3将垃圾的类别与该垃圾的位置的处理结果传输给分配的分拣机器人5，由于皮带机1在匀速运动，从而，垃圾就逐渐运输至被分配的分拣机器人5的下方时就会被分选并丢在相对应的分类垃圾桶6，未被及时分拣的垃圾就会落入垃圾桶8，再次从进料斗7进入皮带机1。

譬如，在t0时刻，垃圾类别识别设备2拍摄的图像中有a垃圾及b垃圾，a垃圾的类别不能被垃圾类别识别设备2识别，而b垃圾的类别能被垃圾类别识别设备2识别。

控制系统3就将垃圾类别识别设备2进行处理后的a垃圾的图像及a垃圾的初始位置传输至人工识别机台4，人工识别机台4对垃圾的类别进行识别，利用手动操作手柄对垃圾的类别进行判定，判定结果会从所述人工识别机台4传输至控制系统3，由于垃圾在皮带机1上匀速运动，只要设定皮带机1的运输速率、以及获得a垃圾的初始位置坐标，那a垃圾运动至分拣机器人5的时间就可以计算得出，譬如为t，那人工识别机台4需要在t时刻内对垃圾的类别进行判定，这样，在t0+t时刻，垃圾就能被分拣机器人5抓取。也即，可以根据人对垃圾类别的判定时间、分拣机器人5的作业范围去分配分拣机器人。

控制系统3还将垃圾类别识别设备2进行处理后的b垃圾的类别及b垃圾的初始位置传输至坐标转换模块36，坐标转换模块36进行坐标转换及计算，将处理结果传输给分拣机器人模块36，分拣机器人模块36及根据皮带机1的运输速率获得a垃圾的初始位置坐标。

本发明提供的人机协同式垃圾分拣方法，对于垃圾类别识别设备2不能识别的垃圾，利用人工识别机台4的显示器进行显示，工人对显示器上显示的类别进行确定并利用输入设备，譬如操作手柄对垃圾类别进行标定，将标定结果传输给控制系统3，控制系统3将被识别的垃圾及其位置信息传输给分拣机器人5，分拣机器人5对垃圾进行抓取并丢入相应的垃圾桶，利用人工协作识别垃圾，大大提高了垃圾识别率。

上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。