基于计算机视觉的一次性纸尿裤智能分拣系统的制作方法

本发明涉及一种一次性纸尿裤分拣，特别涉及一种基于计算机视觉的一次性纸尿裤智能分拣系统。

背景技术：

分拣作业是配送中心依据需求或者配送计划将指定物品迅速、准确地从储位或者其他区位捡取出来，并按照一定的方式进行分类、集中的作业过程。如何能提高分拣效率，提高分拣准确率是分拣作业的重点。

目前的货物分拣基本方法主要有：

(1)人工分拣：即通过纯手工方式对商品进行筛选分类。这类分拣方式劳动强度大，分拣效率低，其准确率受人为因素影响。

(2)半自动分拣：利用机械(如输送机)为主要的输送工具，通过在各分拣位置配备作业人员进行分拣。这种分拣方式一定程度上可以减轻劳动强度，提高效率，但是仍然需要人工对待分拣物品进行识别，并进行分拣作业，需要一定的人力成本。

(3)自动分拣：是指货物从进入分拣系统到指定的位置为止，所有的作业均是按照机器的指令自动完成。因此，此种方式分拣效率较高，分拣的货物品种和数量也非常大，但是分拣的准确率有待提高。

目前一次性纸尿裤商品的分拣方案主要有人工分拣，机械分拣，扫码分拣，射频识别分拣。

人工分拣：该方式通过纯人工对一次性纸尿布进行识别、筛选和分类。

机械分拣：该方案利用输送工具(例如：传送带)运送一次性纸尿布，在分拣阶段需要人工识别商品类别，并手动送达分拣口。

扫码分拣：该方案通过扫码仪器获取一次性纸尿裤包装上的条形码或二维码，并通过解读条形码或二维码自带的产品生产信息，然后通知后端分拣机械手对纸尿裤进行分类。

频射识别分拣：该方案通过阅读器与一次性纸尿裤包装上的标签建立连接，利用射频信号读取产品的生产信息，同样通过后端分拣机械手完成作业。

上述分拣方法分别具有以下问题和缺点：

人工分拣：该方式仅适用数量少、种类单一的一次性纸尿布分拣，其分拣效率受人工因素、商品种类、数量的影响。

机械分拣：该方式其操作系统和流程相对简单，但分拣效率同样受人工因素、商品种类、数量的影响。当分拣量、商品种类增多时，需要延长产线长度，增加人工数量，会显著提升分拣的成本，并降低了分拣的效率与精度。

扫码分拣：该方式在一定程度上改善人工、半自动分拣存在的问题，但是实际操作过程中，由于会出现条形码位置的不确定性，所以需要通过检测系统对物品摆放和对拍摄角度进行调整，甚至要在多方位布置多个扫描相机，才能保证尽可能地扫取条形码或二维码；如果条形码或二维码正好在一次性纸尿裤包装的底部，则此类方法失效。

频射分拣：该方式在实施过程中，需要对每一份生产出的一次性纸尿裤附上射频芯片(线圈)，并对其书写相应的产品信息，信息写入流程繁琐；同时，书写和读取射频芯片(线圈)的仪器设备也比较昂贵。此类方法成本较高、需要人工协助操作、分拣效率不高的缺点。

技术实现要素：

本发明的目的是提供一种基于计算机视觉的一次性纸尿裤智能分拣系统，以弥补现有技术的不足。

为达到上述目的，本发明采取的具体技术方案为：

一种基于计算机视觉的一次性纸尿裤智能分拣系统，包含传送-分拣子系统、图像采集子系统，和控制上述两个子系统的嵌入式控制子系统；其中，所述传送-分拣子系统包括传动直流电机、传送带、编码器和分拣机械手，以及伺服电机；所述图像采集子系统包括高速相机、led光源组和光电传感器；所述嵌入式控制子系统包括图像处理装置gpu、中央处理器cpu、显示器和存储装置。

所述传送-分拣子系统接收嵌入式控制子系统所发出的速度指令，通过传动直流电机和编码器来控制传送速度，并向嵌入式控制子系统提供传送带实时运行速度；所述传送-分拣子系统接受嵌入式控制子系统发出的分拣指令，来控制对应分拣机械手工作，以完成分拣工作；当商品通过光电传感器时，所述传送-分拣子系统向嵌入式控制子系统提供光电门信号；为了传送-分拣子系统能够在接收分拣指令后，分拣机械手能及时将商品送下传送带，分拣区光电门传感器与分拣机械手距离设置为lgf，并记录分拣机械手接受指令到动作的时间，即分拣机械手响应时间为tg；为了满足图像采集以及分拣需求，设置传送-分拣子系统中传送带运动速度为v。

所述图像采集子系统根据嵌入式控制子系统所提供图像采集指令，使高速相机采集图像，并上传至嵌入式控制子系统；所述图像采集子系统根据嵌入式控制子系统所提供快门参数，调整高速相机快门时间为tc；为了图像采集子系统能够在图像采集指令后，高速相机能及时获取商品图像信息，检测区光电门传感器与高速相机距离设置为lgc。

所述嵌入式控制子系统根据分拣区光电门信号，向图像采集系统发出图像采集指令；传送-分拣子系统从图像采集子系统中获取商品图像信息，在gpu上运行深度网络vgg-16，并给出商品类型；当接收到分拣区光电门信号时，嵌入式控制子系统向传送-分拣子系统发出分拣指令；所述嵌入式控制子系统在显示器上显示传送带实时运行速度、机械手状态、高速相机快门时间、图像实时处理时间；所述嵌入式控制子系统上运行ubuntu16.04环境，深度网络在tensorflow平台上运行；为了使嵌入式控制子系统能够及时处理输入图像，被测商品之间距离设置为lp，图像平均处理时间tr即为深度网络vgg-16处理单张图像所用的平均时间。

所述传送带可依次划分为待测区、检测区和分拣区，直流电机位于传送带两侧；所述高速相机位于传送带正上方，镜头对准检测区，所述led光源组围绕在高速相机镜头旁，光源对准检测区；所述分拣机械手分布在分拣区两旁，并通过伺服电机控制；所述光电传感器设于传送带检测区入口和分拣区两侧；所述嵌入式控制子系统与分拣机械手、光电传感器、传送带编码器、高速相机、高性能服务器相连，并进行控制。

系统启动时，上述的传送-分拣子系统、图像采集子系统和嵌入式控制子系统三者均需启动；启动后，传送带按照设定速度运行，所有分拣机械手复位，led光源组开启，光电传感器开启，嵌入式控制子系统开机；待分拣一次性纸尿裤依次以一定距离间隔进入到传动带上，并经过待测区后进入检测区；在检测区中，通过高速相机和光电传感器来采集待分拣纸尿裤图像，其中检测区和分拣区的光电传感器，主要检测待分拣物品是否到达指定区域；高速相机位于传送带正上方，周围配有六个led光源组围绕，以消除待分拣纸尿裤的光影影响，提供稳定光照条件，以获得更为清晰的待分拣物品图像，在接收到光电传感器的信号后，镜头对准检测区采集一次性纸尿裤的高清图像。

图像从高速相机传送至高性能服务器中，然后通过训练好的深度网络模型对一次性纸尿裤图像进行预测分类。

进一步的，上述深度网络模型为多层结构的卷积神经网络vgg-16，包含有7层卷积层、7层池化层以及relu激活函数，3层全连接层，最后通过softmax层输出分类结果，由嵌入式控制子系统中的gpu完成训练环节。

进一步的，上述分类结果传输至传送-分拣子系统中，根据不同的分类结果，分配相应的分拣机械手控制信号，当一次性纸尿裤通过分拣区对应光电传感器触发时，传送-分拣子系统接收到可分拣信号，按照分类信号驱动该伺服电机运动，将一次性纸尿裤分入合适区域，然后分拣机械手复位等待下一个一次性纸尿裤，最终完成分拣。

为了有效监控生产线环境，在本系统中配有基于mfc的可视化控制软件，控制软件能实时显示传送带上被检出商品数量，待分类商品数量，完成分类商品数量；为了增加失误召回率，对已经分类但匹配度较低的商品做好记录。

本发明的优点和技术效果：

1.本系统在服务器端采用高性能gpu，有效提升了深度网络的训练和预测速度。使用卷积网络具有强大的特征学习能力，能获取商品最具特点的外观信息，并进行分类。通过训练，网络识别的一次性纸尿裤类型能高达数百种，且具有相当或超越人眼识别精度的能力，使得分拣系统具有良好的分类效果。网络识别速度也超过人工分类速度。

2.本发明可通过嵌入式控制子系统获取光电传感器、编码器、高速相机的工作状态，并在高性能服务器上记录。同时加入了可视化界面，用户可通过服务器直观地掌握实各类子系统工作状态，并在显示屏上直接监控生产线生产状况，例如检测速度、检测精度、已完成尿裤数量等。

3.本发明利用检测区、分拣区光电传感器以及传送带速度两个方面监控被测商品位置，能准确实时的判断商品位置，以实现准确的分拣。

附图说明

图1为本发明的基本架构和工作流程图。

具体实施方式

以下通过具体实施例并结合附图对本发明进一步解释和说明。

如图1所示，一种基于计算机视觉的一次性纸尿裤智能分拣系统，包含传送-分拣子系统、图像采集子系统，和控制上述两个子系统的嵌入式控制子系统；其中，所述传送-分拣子系统包括传动直流电机、传送带、编码器和分拣机械手，以及伺服电机；所述图像采集子系统包括高速相机、led光源组和光电传感器；所述嵌入式控制子系统包括图像处理装置gpu、中央处理器cpu、显示器和存储装置。

所述传送-分拣子系统接收嵌入式控制子系统所发出的速度指令，通过传动直流电机和编码器来控制传送速度，并向嵌入式控制子系统提供传送带实时运行速度；所述传送-分拣子系统接受嵌入式控制子系统发出的分拣指令，来控制对应分拣机械手工作，以完成分拣工作；当商品通过光电传感器时，所述传送-分拣子系统向嵌入式控制子系统提供光电门信号；为了传送-分拣子系统能够在接收分拣指令后，分拣机械手能及时将商品送下传送带，分拣区光电门传感器与分拣机械手距离设置为lgf，并记录分拣机械手接受指令到动作的时间，即分拣机械手响应时间为tg；为了满足图像采集以及分拣需求，设置传送-分拣子系统中传送带运动速度为v。

所述图像采集子系统根据嵌入式控制子系统所提供图像采集指令，使高速相机采集图像，并上传至嵌入式控制子系统；所述图像采集子系统根据嵌入式控制子系统所提供快门参数，调整高速相机快门时间为tc；为了图像采集子系统能够在图像采集指令后，高速相机能及时获取商品图像信息，检测区光电门传感器与高速相机距离设置为lgc。

所述嵌入式控制子系统根据分拣区光电门信号，向图像采集系统发出图像采集指令；传送-分拣子系统从图像采集子系统中获取商品图像信息，在gpu上运行深度网络vgg-16，并给出商品类型；当接收到分拣区光电门信号时，嵌入式控制子系统向传送-分拣子系统发出分拣指令；所述嵌入式控制子系统在显示器上显示传送带实时运行速度、机械手状态、高速相机快门时间、图像实时处理时间；所述嵌入式控制子系统上运行ubuntu16.04环境，深度网络在tensorflow平台上运行；为了使嵌入式控制子系统能够及时处理输入图像，被测商品之间距离设置为lp，图像平均处理时间tr即为深度网络vgg-16处理单张图像所用的平均时间。

所述传送带可依次划分为待测区、检测区和分拣区，直流电机位于传送带两侧；所述高速相机位于传送带正上方，镜头对准检测区，所述led光源组围绕在高速相机镜头旁，光源对准检测区；所述分拣机械手分布在分拣区两旁，并通过伺服电机控制；所述光电传感器设于传送带检测区入口和分拣区两侧；所述嵌入式控制子系统与分拣机械手、光电传感器、传送带编码器、高速相机相连，并进行控制。

系统启动时，上述的传送-分拣子系统、图像采集子系统和嵌入式控制子系统三者均需启动；启动后，传送带按照设定速度运行，所有分拣机械手复位，led光源组开启，光电传感器开启，嵌入式子系统和高性能服务器开机；待分拣一次性纸尿裤依次以一定距离间隔进入到传动带上，并经过待测区后进入检测区；在检测区中，通过高速相机和光电传感器来采集待分拣纸尿裤图像，其中检测区和分拣区的光电传感器，主要检测待分拣物品是否到达指定区域；高速相机位于传送带正上方，周围配有六个led光源组围绕，以消除待分拣纸尿裤的光影影响，提供稳定光照条件，以获得更为清晰的待分拣物品图像，在接收到光电传感器的信号后，镜头对准检测区采集一次性纸尿裤的高清图像。

图像从高速相机传至嵌入式控制子系统，然后通过训练好的深度网络模型对一次性纸尿裤图像进行预测分类。

进一步的，上述深度网络模型为多层结构的卷积神经网络vgg-16，包含有7层卷积层、7层池化层以及relu激活函数，3层全连接层，最后通过softmax层输出分类结果，由嵌入式控制系统中的gpu完成训练环节。

进一步的，上述分类结果传输至传送-分拣子系统中，根据不同的分类结果，分配相应的分拣机械手控制信号，当一次性纸尿裤通过分拣区对应光电传感器触发时，传送-分拣子系统接收到可分拣信号，按照分类信号驱动该伺服电机运动，将一次性纸尿裤分入合适区域，然后分拣机械手复位等待下一个一次性纸尿裤，最终完成分拣。

为了有效监控生产线环境，在本系统中配有基于mfc的可视化控制软件，控制软件能实时显示传送带上被检出商品数量，待分类商品数量，完成分类商品数量；为了增加失误召回率，对已经分类但匹配度较低的商品做好记录。

工作流程：先统计纸尿裤类型n，将分类网络vgg-16中的softmax层神经元数量修改为n。由于每类纸尿裤外包装具有6个面，使用高速相机获取每类肥皂外包装各个面图像样本i为纸尿裤种类数，其范围为1≤i≤n；f为外包装面数，其范围为1≤f≤6。假设为第1类纸尿裤，使用高速相机获取该纸尿裤外包装六个面的正向图像所谓的正向图像是指包装面与相机视角角度一致，包装面无倾斜。为了提升分类网络vgg-16分类性能，需要对图像去噪和增强。图像去噪，即使用平滑滤波对图像进行滤波，消除噪声对图像特征的影响。图像增强，即将对图像进行旋转以获得更多图像数据，旋转角度分别为30°,60°,90°,120°,150°,180°，旋转方向包含顺时针和逆时针。然后将经过图像去噪和增强的图像样本投入到深度网络vgg-16中，对网络进行训练，获得训练好的分类网络vgg-16。运行深度网络计算出图像平均处理时间tr。接下来开启分拣装置，向嵌入式子系统中输入分拣机械手最大响应时间tr；输入检测区光电传感器与高速相机中心点的距离lgc；输入分拣区光电传感器与分拣机械手的距离lgr；调整额每个纸尿裤之间的平均间隔为lm，即将纸尿裤按间隔lm投入到传送带上。设置传送带运行速度为v，其中运行速度v应当满足lm>v×tr即保证在嵌入式子系统处理当前图像时，没有新的纸尿裤进入检测区。传送带运行速度v和快门时间tc需满足,lgc≈v×tc，即在快门时间内，纸尿裤应传送到高速相机中心位置。传送带运行速度v应满足lgf>v×tg，即在机械手响应时间内，机械手能将纸尿裤推送出传送带。随后开启传送-分拣子系统、图像采集子系统，让分拣系统进入工作状态，让纸尿裤商品按照设定好的距离lm依次进入传送带，传送带按照上述参数商品进行分拣。