一种光电智能垃圾分拣小车系统

1.本发明涉及一种光电智能垃圾分拣小车系统，属于垃圾分类及机械智能控制技术领域。


背景技术：

2.按一定规定或标准将垃圾分类储存、投放和搬运，将垃圾转变成公共资源，提高垃圾的资源价值和经济价值，可以为国民经济提供了巨大经济、社会、生态效益。在城市中，垃圾主要分布在道路和小区内，这些区域直接和居民住行相关联，垃圾的识别检测显得非常重要。随着社会的不断进步和人民生活水平的日益提高，对生活环境的要求也越来越高，也对垃圾的处理技术提出了更高要求，目前垃圾分类是对垃圾处理提出的新要求，不同型号的垃圾分拣小车系统被广泛的使用到垃圾处理的各个领域。垃圾资源回收再利用的重要环节是将垃圾的拾取、装载、分离和分类，然后根据分离出来的垃圾按照其特性加以利用，现有的垃圾分类只是简单的依赖于人工，人工作业效率低且容易出错，无法满足城市垃圾资源化的高要求。
3.本发明提出了一种光电智能垃圾分拣小车系统，采用激光雷达与imu作为主要传感器，利用2dslam进行地图构建与定位，最大化减小垃圾移动对于定位的影响，再结合imu与光电编码器的信息，使用卡尔曼滤波进行多传感器的信息融合，以光电编码器与激光slam消除imu的累积误差；通过深度神经网络对垃圾进行特征提取和识别并记录垃圾在相机坐标下的位置。小车具有结构简单、便于操作的优势，降低人力操作。


技术实现要素：

4.本发明的目的在于针对现有垃圾分类小车存在操作繁琐、缺乏协作以及效率有待提高的技术现状，提出了一种光电智能垃圾分拣小车系统。
5.为了实现上述目的，本发明采取的技术方案如下：
6.所述光电智能垃圾分拣小车系统，包括传感器模块、信息处理模块、控制系统模块以及运动模块；
7.其中，传感器模块包括相机单元、imu单元、激光雷达以及光电编码器；
8.信息处理模块包括识别处理单元、回收区识别单元以及卡尔曼滤波处理单元；
9.控制系统模块包括任务规划子模块、底层驱动单元和通信单元；
10.任务规划子模块包括垃圾识别定位单元、垃圾拾取判决单元和导航与路径规划单元；
11.运动模块包括机械臂、运动底盘单元；
12.所述光电智能垃圾分拣小车系统中各模块的连接如下：
13.传感器模块与信息处理模块相连，信息处理模块和控制系统模块相连，控制系统模块与运动模块相连。传感器模块与信息处理模块相连，具体为：传感器模块的相机单元与信息处理模块的识别处理单元和回收区识别单元相连；传感器的imu单元、激光雷达、光电
编码器和信息处理模块的卡尔曼滤波单元相连；
14.信息处理模块和控制系统模块相连，具体为：信息处理模块的识别处理单元与控制系统模块的垃圾识别定位单元相连；回收区别单元与导航路径规划单元相连；卡尔曼滤波单元与导航路径规划单元和通信单元均相连；
15.其中，在控制系统模块内部的任务规划模块中，垃圾识别定位单元与夹取放置判决单元相连；导航路径规划单元与夹取放置判决单元相连；
16.同时，底层驱动单元与任务规划模块的导航路径规划单元相连，通信单元与任务规划模块的夹取放置判决单元相连；
17.控制系统模块与运动模块相连，具体为：控制系统模块的底层驱动模块与运动模块的底盘运动模块相连；夹取放置判决单元与机械臂单元相连；
18.一种光电智能垃圾分拣小车系统各模块的安装及工作如下：
19.传感器模块中相机单元中的摄像头接收控制系统模块的信息，对现场图像进行采集；信息处理模块的识别处理单元或回收区识别单元对采集信息进行处理；光电编码器用来获取小车当前的状态信息，联合激光雷达和imu单元在信息处理模块进行2dslam算法进行建图与定位；
20.信息处理模块接收来自传感器模块的信息，其中包括：对垃圾进行特征提取和识别并记录相机坐标下的位置；激光雷达与imu进行地图构建与定位；结合imu与光电编码器的信息；回收区域的识别采用传统的颜色识别等，再将这些信息传递给控制系统模块；
21.控制系统模块置于运动底盘单元内，是整个系统的主控，处理并发出控制信息，发出执行指令及内部通信。接受到信息处理模块的数据后，任务规划模块根据垃圾及垃圾桶位置开始规划路径，同时，夹取放置判决单元确定小车是实行夹取或者放置垃圾的动作，并将底盘运动的驱动信号和机械臂的动作信息发动给运动模块；
22.运动模块在控制系统模块做出处理后，接收发出的驱动指令，该指令驱动底盘单元，进而控制对应结构进行运动根据任务规划模块提供的路径信息，实现移动、转向、避障；同时接受夹取放置指令，通过机械臂实现垃圾的夹取和放置动作。
23.所述可控捡球小车系统的工作过程，包括如下步骤：
24.步骤1.初始化垃圾分拣小车系统，包括摄像头初始化、机械臂及机械爪初始化；
25.步骤2.控制系统模块启动指令，通信单元将指令传递给传感器模块的相机单元、激光雷达、imu单元，通过相机单元摄像头开始采集信息，获取垃圾图像，激光雷达开始获取空间位置信息，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块，具体为：
26.步骤2.1通过相机单元摄像头开始采集信息，获取目标图像，所述目标图像中包括垃圾、垃圾桶；
27.步骤2.2.激光雷达开始获取空间位置信息，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块；
28.步骤3.信息处理模块将步骤2的信息进行处理，将垃圾的分布位置进行准确定位，并将准确定位后的垃圾的位置映射到地图上，并将信息发送给控制系统模块；
29.步骤4.控制系统模块通过任务规划模块开始规划运行路线，对运动模块发出驱动指令；底盘运动单元接收到驱动信号，小车开始按照路线运行到垃圾的位置；
30.步骤5.运动单元根据拾取指令让机械臂拾取多个垃圾，并依据任务规划模块开始规划运行路线，返回垃圾回收点；
31.步骤6.运回至垃圾处理点后，信息处理模块根据识别处理单元中的目标检测算法对所述目标图像中的垃圾进行分类和识别；具体为通过实际图像与多种模型的对比判断出图像中是否存在其中的一个或多个垃圾；
32.步骤7.通过相机单元识别垃圾桶颜色，通过控制系统模块发出指令将分类好的垃圾扔回到指定的垃圾桶中；
33.步骤8.完成一次垃圾回收后，继续搜寻垃圾。
34.有益效果
35.本发明提出的一种光电智能垃圾分拣小车系统，与现有垃圾分类车相比，具有如下有益效果：
36.1.所述光电智能垃圾分拣小车系统，将激光slam得到的位姿信息与imu加速度积分得到的位姿信息通过ekf进行融合，将融合得到的信息用于定位与导航，能大大提高小车的定位精度，提高识别与夹取的精准度；
37.2.本发明所述光电智能垃圾分拣小车系统设计以光电编码器测量车轮转速进而积分获得位移，以此作为消除imu累积误差的备用手段，提高系统鲁棒性。通过通讯系统的节点信息发布与程序控制，灵活获取位姿与视觉信息，做到综合利用传感器信息控制小车与机械臂运动。
附图说明
38.图1是本发明一种光电智能垃圾分拣小车系统的组成示意图；
39.图2是本发明一种光电智能垃圾分拣小车系统的结构示意图；
40.图3是本发明所述光电智能垃圾分拣小车系统具体实施时的工作过程。
具体实施方式
41.下面结合附图及实施例对本发明一种光电智能垃圾分拣小车系统进行详细说明。
42.实施例1
43.如图1所示，为一种光电智能垃圾分拣小车系统的结构示意图。由图1可见，所述光电智能垃圾分拣小车系统，包括传感器模块、信息处理模块、控制系统模块以及运动模块；
44.其中，传感器模块包括相机单元、imu单元、激光雷达以及光电编码器；
45.信息处理模块包括识别处理单元、回收区识别单元以及卡尔曼滤波处理单元；
46.控制系统模块包括任务规划子模块、底层驱动单元和通信单元；
47.任务规划子模块包括垃圾识别定位单元、垃圾拾取判决单元和导航与路径规划单元；
48.运动模块包括机械臂、运动底盘单元；
49.所述光电智能垃圾分拣小车系统中各模块的连接如下：
50.传感器模块与信息处理模块相连，信息处理模块和控制系统模块相连，控制系统模块与运动模块相连。传感器模块与信息处理模块相连，具体为：传感器模块的相机单元与信息处理模块的识别处理单元和回收区识别单元相连；传感器的imu单元、激光雷达、光电
编码器和信息处理模块的卡尔曼滤波单元相连；
51.信息处理模块和控制系统模块相连，具体为：信息处理模块的识别处理单元与控制系统模块的垃圾识别定位单元相连；回收区别单元与导航路径规划单元相连；卡尔曼滤波单元与导航路径规划单元和通信单元均相连；
52.其中，在控制系统模块内部的任务规划模块中，垃圾识别定位单元与夹取放置判决单元相连；导航路径规划单元与夹取放置判决单元相连。同时，底层驱动单元与任务规划模块的导航路径规划单元相连，通信单元与任务规划模块的夹取放置判决单元相连；
53.控制系统模块与运动模块相连，具体为：控制系统模块的底层驱动模块与运动模块的底盘运动模块相连；夹取放置判决单元与机械臂单元相连；
54.一种光电智能垃圾分拣小车系统各模块的安装及工作如下：
55.传感器模块中相机单元中的摄像头接收控制系统模块的信息，对现场图像进行采集；信息处理模块的识别处理单元或回收区识别单元对采集信息进行处理；光电编码器用来获取小车当前的状态信息，联合激光雷达和imu单元在信息处理模块进行2dslam算法进行建图与定位；
56.信息处理模块接收来自传感器模块的信息，其中包括：对垃圾进行特征提取和识别并记录相机坐标下的位置；激光雷达与imu进行地图构建与定位；结合imu与光电编码器的信息；回收区域的识别采用传统的颜色识别等，再将这些信息传递给控制系统模块；
57.控制系统模块置于运动底盘单元内，是整个系统的主控，处理并发出控制信息，发出执行指令及内部通信。接受到信息处理模块的数据后，任务规划模块根据垃圾及垃圾桶位置开始规划路径，同时，夹取放置判决单元确定小车是实行夹取或者放置垃圾的动作，并将底盘运动的驱动信号和机械臂的动作信息发动给运动模块；
58.运动模块在控制系统模块做出处理后，接收发出的驱动指令，该指令驱动底盘单元，进而控制对应结构进行运动根据任务规划模块提供的路径信息，实现移动、转向、避障；同时接受夹取放置指令，通过机械臂实现垃圾的夹取和放置动作。
59.所述可控捡球小车有如下2种工作模式；正常工作模式、多次工作模块可供选择，多次工作模式步骤如下：
60.步骤a.初始化分拣小车系统，包括相机初始化状态和机械臂状态；
61.步骤b.控制系统模块启动指令，通信单元将指令传递给传感器模块的相机单元、激光雷达、imu单元；
62.步骤b.1通过相机单元摄像头开始采集信息，获取目标图像，所述目标图像中包括垃圾、垃圾桶等；
63.步骤b.2.激光雷达开始获取空间位置信息，确定相机坐标系与激光雷达坐标系之间的位置关系，并将信息传递给信息处理模块；
64.步骤c.信息处理模块将步骤2的信息进行处理，将垃圾的分布位置进行准确定位，并将准确定位后的垃圾的位置映射到地图上，并将信息发送给控制系统模块；
65.步骤d.控制系统模块通过任务规划模块开始规划运行路线，对运动模块发出驱动指令；底盘运动单元接收到驱动信号，小车开始按照路线运行到垃圾的位置；
66.同时，在小车运行过程中，可利用相机单元和imu单元得到的位姿信息结合卡尔曼滤波进行融合，得到优化后定位和运行路线；
67.步骤f.运动单元根据拾取指令让机械臂拾取少量垃圾，并即刻对垃圾进行识别和分类。具体为信息处理模块根据识别处理单元中的yolov5算法对所述目标图像中的垃圾进行分类和识别，并依据任务规划模块开始规划运行路线，返回垃圾回收点；
68.步骤g.运回至垃圾处理点后，通过相机单元识别垃圾桶颜色，通过控制系统模块发出指令将分类好的垃圾扔回到指定的垃圾桶中；
69.步骤8.完成一次垃圾回收后，继续搜寻垃圾。
70.所述光电智能垃圾分拣小车系统具体实施时，可以采用基于动态模式分解结合yolov5网络实现垃圾分拣，如图3所示，所述小车系统的工作过程，包括如下步骤：
71.步骤1.初始化垃圾分拣小车，包括摄像头初始化、机械臂及机械爪初始化；
72.步骤2.通过摄像头获取垃圾图像，并建立垃圾图像数据集，具体通过dmd分解垃圾图像为背景和前景，提取分解后的垃圾图像前景，构建垃圾图像数据集；
73.其中，dmd将采集的垃圾图像数据作为相同的连续两帧图像并建立线性相关矩阵，对时序矩阵求解获得图像数据的前景和背景；
74.步骤3.将步骤2中构建的垃圾图像数据集输入yolov5网络进行训练，得到训练好的yolov5网络，将该训练好的yolov5网络作为垃圾图像识别模型；
75.步骤4.通过摄像头捕捉待识别的时序画面，使用dmd分解将捕捉的待识别时序画面区分为背景和前景，提取待识别时序画面的前景构成测试集；
76.其中，使用dmd将捕捉的待识别时序画面区分为背景和前景，具体为：
77.步骤4.1.基于待识别时序画面建立时序矩阵
78.其中，时序矩阵表示为为一个视频流，按照时间间隔δt均匀捕捉的连续n帧时序画面；
79.步骤4.2基于步骤4.1中的时序矩阵建立时序矩阵和时序矩阵
80.步骤4.3基于步骤4.2中建立的时序矩阵和建立关系矩阵a；
81.其中其中为时序矩阵的广义逆矩阵；
82.步骤4.4对步骤4.2建立的时序矩阵进行奇异值分解；
83.其中，时序矩阵通过奇异值分解得到的u和v是酉矩阵，σ是对角矩阵，v
*
是矩阵v的伴随矩阵；
84.步骤4.5.基于步骤4.2中建立的时序矩阵步骤4.3建立的关系矩阵a、步骤4.4中得到的u矩阵得到近似关系矩阵
85.其中u
*
是矩阵u的伴随矩阵；
86.步骤4.6基于步骤4.5得到的近似关系矩阵进行特征分解，得到特征值λ和特征向量ω以及由特征向量组成的矩阵q；
87.步骤4.7基于步骤4.2中建立的时序矩阵步骤4.4中得到的u矩阵和σ矩阵和
步骤4.6得到的矩阵q建立dmd的模态
88.其中，模态其中是矩阵σ的广义逆矩阵；
89.步骤4.8根据线性相关数据矩阵s求解待识别时序画面的前景和背景，提取待识别时序画面的前景构成测试集：
90.其中，前景和背景分别为：
[0091][0092]
其中，r为使用到的模态的个数，为dmd对应的模态；α
j
为对应的系数，ω
j
实部对应dmd基函数的增长或衰减，虚部对应dmd的震荡，p为低秩模式，t表示时序矩阵的时刻；
[0093]
步骤5.利用步骤3训练好的垃圾图像识别模型对测试集中的待识别画面的前景进行实时分类与识别，得到所述待识别画面中的垃圾位置和数量。
[0094]
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。