一种基于双目视觉的垃圾分类识别系统及其方法与流程

本发明涉及垃圾处理的技术领域,尤其涉及一种基于双目视觉的垃圾分类识别系统以及一种基于双目视觉的垃圾分类识别方法。

背景技术：

专利申请号201810319315.0《自动分类垃圾箱》专利提供了一种自动分类垃圾箱，包括：外壳框架、若干个垃圾桶、电子控制系统、摄像头和支架，在外壳框架内装有若干个垃圾桶，每个垃圾桶上端装有顶盖，顶盖通过其上的开关使其打开或关闭，在垃圾桶的侧壁上装有门扇，在外壳框架的正上方装有支架，在支架上装有至少一个摄像头，每个摄像头和每个开关均与电子控制系统相连，每个摄像头将待放入垃圾桶内的垃圾图像传输给电子控制系统，电子控制系统经过图像识别，通过开关打开或关闭相应的垃圾桶的顶盖；该专利采用电子控制系统中的图像识别技术，来识别出需要丢弃的垃圾的类型，相应自动打开该类垃圾的顶盖，用户只能将该垃圾放入被打开的垃圾桶内，垃圾被扔入相应垃圾桶后，顶盖自动关闭。

该方式虽然能实现自动分类，但是需要用户手持垃圾等待系统进行识别和分类，在完成识别和分类后，才能进行垃圾抛弃，用户体验较差，不符合公共场合的用户普遍的直接抛弃垃圾的使用习惯。因此，在用户往垃圾桶投掷垃圾后，亟需让垃圾桶实现简单快速地自动识别垃圾。

技术实现要素：

针对现有技术存在的问题，对此我们提供一种基于双目视觉的垃圾分类识别系统及其方法，其具体技术方案如下：

一种基于双目视觉的垃圾分类识别系统，该垃圾分类识别系统包括分拣导向机构，其特征在于，该垃圾分类识别系统还包括：垃圾检测入口通道、本地端处理器和两个ccd摄像头，这两个ccd摄像头在垃圾检测入口通道的竖直方向呈上下设置，垃圾检测入口通道连通分拣导向机构，这两个ccd摄像头的输出端连接本地端处理器的输入端，分拣导向机构与本地端处理器存在电性连接关系。该技术方案在垃圾检测入口通道的竖直上下方向处设置双目摄像头，尤其是ccd摄像头，实现对竖直方向运动的目标垃圾的检测与追踪，降低系统复杂性，使得被投掷垃圾的识别分类更快。

进一步地，所述垃圾检测入口通道的竖直方向设置有竖直托架，该竖直托架的上侧设置的ccd摄像头及其下侧设置的ccd摄像头的竖直视角在所述垃圾检测入口通道内侧的同一竖直平面上，且该竖直托架的上侧设置的ccd摄像头及其下侧设置的ccd摄像头不处于正交姿态。该技术方案利用所述竖直托架固定竖直方向上侧及其下侧设置的摄像头，实时捕获自上而下投掷入垃圾检测入口通道的目标垃圾的图像，在竖直视角获取的目标垃圾的图像符合目标垃圾的运动特征，该垃圾分类识别系统基于上述双目视觉结构更好的反应真实环境中的视觉效果。

进一步地，所述本地端处理器同时连接所述竖直托架的上侧设置的ccd摄像头及其下侧设置的ccd摄像头，用于同步采集所述垃圾检测入口通道内部下落的目标垃圾的动态图像，然后结合预先获得的所述竖直托架的上侧设置的ccd摄像头及其下侧设置的ccd摄像头之间的位置距离信息，控制上侧设置的ccd摄像头所在的像素坐标系往下侧设置的ccd摄像头所在的像素坐标系平移转换，使得两者的坐标系原点统一，再在原点统一的像素坐标系上处理动态图像以获取目标垃圾的二维运动信息，并与垃圾识别分类参数库中相应的识别模型进行匹配，最后根据匹配结果向分拣导向机构发送垃圾分拣指令；其中，所述二维运动信息包括所述目标垃圾的运动状态、运动形式和变化的速度，用于鉴别所述目标垃圾的物理状态；垃圾识别分类参数库及其内部的识别模型都存储于所述本地端处理器。该技术方案根据匹配的结果决定双目视觉识别下落垃圾的精度，且在保证图像识别精度的同时，降低系统的复杂性。

进一步地，所述垃圾检测入口通道的开口边缘内侧设置有红外传感器阵列，红外传感器阵列与所述本地端处理器存在电性连接，用于触发所述两个ccd摄像头同步启动工作。提高整个识别系统的智能化程度。

一种基于所述垃圾分类识别系统的垃圾分类识别方法，该垃圾分类识别方法包括：同步采集所述垃圾检测入口通道内部下落的目标垃圾的动态图像；结合预先获得的所述竖直托架的上侧设置的ccd摄像头及其下侧设置的ccd摄像头之间的位置距离信息，控制上侧设置的ccd摄像头所在的像素坐标系往下侧设置的ccd摄像头所在的像素坐标系平移转换，使得两者的坐标系原点统一；在原点统一的像素坐标系上处理动态图像以获取目标垃圾的二维运动信息，并与垃圾识别分类参数库中相应的识别模型进行匹配；根据匹配结果完成目标垃圾的识别工作。该技术方案根据匹配的结果决定双目视觉识别下落垃圾的精度，且在保证图像识别精度的同时，降低系统的复杂性。

附图说明

图1是本发明第一个实施例提供的一种基于双目视觉的垃圾分类识别系统的结构示意图。

图2是本发明第二个实施例提供的一种基于双目视觉的垃圾分类识别系统的结构示意图。

图3是本发明第三个实施例提供的一种基于双目视觉的垃圾分类识别系统的结构示意图。

图4是本发明实施例提供的一种基于双目视觉的垃圾分类识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而在实施例中提出了权利要求书没公开的技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明第一个实施例提供一种基于双目视觉的垃圾分类识别系统，如图1所示，垃圾分类识别系统包括垃圾检测入口通道101、分拣导向机构103、本地端处理器（图中未表示出）、ccd摄像头1021和ccd摄像头1022。这两个ccd摄像头在垃圾检测入口通道101的竖直方向呈上下设置，构成垃圾检测入口通道101的竖直方向设置的双目摄像头，这两个ccd摄像头的输出端连接本地端处理器的输入端，用于传输ccd摄像头1021和ccd摄像头1022采集的双目视觉图像至本地端处理器进行垃圾识别分类；垃圾检测入口通道101连通分拣导向机构103，分拣导向机构103与本地端处理器存在电性连接，分拣导向机构103接收到本地端处理器输出的垃圾分类结果后执行垃圾分拣操作。本实施例将垃圾分类识别系统装配到任一垃圾桶中，通过在垃圾检测入口通道101的竖直上下方向处设置双目摄像头，尤其是ccd摄像头，实现对竖直方向运动的目标垃圾的检测与追踪，降低系统复杂性，使得被投掷垃圾的识别分类的速度加快。

在本发明第二个实施例中，如图2所示，本实施例在本发明第一个实施例的基础上，在所述垃圾检测入口通道101的竖直方向设置竖直托架104，该竖直托架102的上侧设置的ccd摄像头1021及其下侧设置的ccd摄像头1022的竖直视角在同一竖直平面上，ccd摄像头1021及其下侧设置的ccd摄像头1022相对固定安装，位于所述垃圾检测入口通道101开口下方的内侧，本实施例需要在物理结构上保证ccd摄像头1021及其下侧设置的ccd摄像头1022的光轴平行，有利于完成后续处理图像数据过程中的坐标系的转换。所以，与现有技术相比，该竖直托架104的上侧设置的ccd摄像头1021及其下侧设置的ccd摄像头1022不处于正交姿态。虽然牺牲了双目摄像头的视角范围，但是加快采集的图像的目标区域的处理速度。

在本实施例中，所述本地端处理器同时连接所述竖直托架104的上侧设置的ccd摄像头1021及其下侧设置的ccd摄像头1022，用于同步采集所述垃圾检测入口通道101内部下落的目标垃圾的动态图像，在识别下落的目标垃圾时视觉上具有差异性；基于该差异性，结合预先获得的所述竖直托架的上侧设置的ccd摄像头1021及其下侧设置的ccd摄像头1022之间的位置距离信息，控制上侧设置的ccd摄像头1021所在的像素坐标系往下侧设置的ccd摄像头1022所在的像素坐标系平移转换，使得两者的坐标系原点统一，再在原点统一的像素坐标系上处理动态图像以获取目标垃圾的二维运动信息，然后再与垃圾识别分类参数库中相应的识别模型进行数值匹配，最后根据匹配结果向分拣导向机构103发送垃圾分拣指令。本实施例利用所述竖直托架104固定竖直方向的上侧及其下侧设置的摄像头，实时捕获自上而下投掷入垃圾检测入口通道101的目标垃圾的图像，从而竖直视角上获取的目标垃圾的图像符合目标垃圾的运动特征，该垃圾分类识别系统基于上述双目视觉结构更好的反应真实环境中的视觉效果。

如图4所示，基于前述实施例，本发明实施例提供一种基于前述垃圾分类识别系统的垃圾分类识别方法，具体包括：

步骤s201、当垃圾被投掷进入所述垃圾检测入口通道101后，控制ccd摄像头1021和ccd摄像头1022同步开启采集工作，从竖直方向的不同视角采集所述垃圾检测入口通道101内部下落的目标垃圾图像，然后进入步骤s202。

步骤s202、以所述竖直托架104的下侧设置的ccd摄像头1022采集的所述目标垃圾对应的所述动态图像为模板图像，然后进入步骤s203。

步骤s203、结合预先输入所述本地端处理器的所述竖直托架的上侧设置的ccd摄像头1021及其下侧设置的ccd摄像头1022之间的位置距离信息，所述本地端处理器计算出上述两个ccd摄像头采集图像的对应的像素坐标系的转换关系，包括旋转矩阵r和平移矩阵t，然后进入步骤s204。

步骤s204、控制上侧设置的ccd摄像头1021所在的像素坐标系往下侧设置的ccd摄像头1022所在的像素坐标系平移转换，使得两者的坐标系原点统一到所述垃圾检测入口通道的同一位置处，然后进入步骤s205。上述两个ccd摄像头采集图像的对应的坐标系的转换关系，即ccd摄像头1021所在的像素坐标系的原点与ccd摄像头1022所在的像素坐标系的原点之间的矢量位置关系。由于本发明第二个实施例中的ccd摄像头1021的光轴及其下侧设置的ccd摄像头1022的光轴平行，所以，本发明第二个实施例下的两个ccd摄像头采集的图像所在的坐标系的转换仅仅是简单的平移变换，而且后续搜寻ccd摄像头画面上的所述目标垃圾的质心位置效率较高，从而加快垃圾分类识别的速度。

步骤s205、控制所述竖直托架104的上侧设置的ccd摄像头1021采集的与步骤s202属于同一所述目标垃圾对应的每一帧图像与同步获取的每一帧模板图像作像素差，再将像素差转换到世界坐标系，从而得到二维运动信息，然后进入步骤s206。该步骤先选取ccd摄像头1022采集的模板图像中的所述目标垃圾部分的像素值，作为第一像素值；再选取ccd摄像头1021采集的动态图像中所述目标垃圾部分的像素值，作为第二像素值，然后传输给所述本地端处理器。这里的所述目标垃圾部分是两个ccd摄像头画面上的同一位置质心坐标处；然后由所述本地端处理器控制第一像素值减去第二像素值获取像素差值，作为同一所述目标垃圾在像素坐标系下的运动变化特征。避免所述目标垃圾的图像噪声或背景在转换到世界坐标系后施加的误差影响所述目标垃圾实际的运动变化量。其中，所述二维运动信息包括所述目标垃圾的运动状态、运动形式和变化的速度，用于鉴别所述目标垃圾的物理状态。

本实施例利用双目视觉（上下侧的ccd摄像头）获取并运算竖直上下的视角图像中同一目标垃圾对应的中心像素的距离，然后基于同一竖直平面的两个ccd摄像头相对位置关系确立数值转换关系，在保证图像识别精度的同时，降低系统的复杂性。

步骤s206、所述本地端处理器将前述获取的二维运动信息与垃圾识别分类参数库中相应的识别模型进行匹配，当匹配成功则进入步骤s207；如果匹配不成功，则所述本地端处理器将匹配不成功的二维运动信息对应的所述目标垃圾的图像发送到云端服务器进行人工甄别，然后云端服务器再将所述目标垃圾的识别结果发回所述垃圾分类识别系统，再由所述本地端处理器将该识别结果更新到垃圾识别分类参数库中相应的识别模型中，使得所述垃圾分类识别系统学习自动识别二维运动信息匹配不成功的所述目标垃圾的图像，然后进入步骤s207。

步骤s207、所述本地端处理器根据匹配结果完成所述目标垃圾的类型识别和归类，然后向分拣导向机构发送垃圾分拣指令，所述垃圾识别分类参数库包括基于像素参数的识别模型包括：影像特征模型、颜色特征模型、相貌特征模型、形状特征模型。本实施例通过影像匹配参数获取垃圾的运动状态、运动形式和变化的速度，鉴别垃圾的物理状态，通过垃圾在投放力产生的形状变化、流动和运动的速度鉴别垃圾的含水量、成分、粘度，通过弹性变化的频率鉴别垃圾中的橡胶、果冻、生肉、熟肉、米饭；根据垃圾的颜色特征参数区分垃圾中的塑料、纸、陶瓷、食品和金属，相貌特征参数区分垃圾中的动物、植物、电池和灯泡，形状特征参数区分垃圾中的瓶、罐、板和膜。

本实施例利用双目视觉（上下侧的ccd摄像头）计算基于同一竖直平面的两个ccd摄像头相对位置关系确立数值转换关系，从而得到不同视角图像中同一目标点的对应关系，然后运算竖直上下的视角图像中同一目标垃圾对应的中心像素的距离，在保证图像识别精度的同时，降低系统的复杂性。

在本发明第三个实施例中，如图3所示，本实施例在本发明第二个实施例的基础上，所述垃圾检测入口通道101的开口边缘内侧设置有红外传感器阵列105，红外传感器阵列105的传感器均匀地分布在所述垃圾检测入口通道101的开口边缘，且其红外探头都朝向所述垃圾检测入口通道101的开口中心，红外传感器阵列105与所述本地端处理器（图中未表示）存在电性连接，用于检测是否有垃圾被投掷入所述垃圾检测入口通道101或者装配有所述垃圾分类识别系统的垃圾桶内，当检测到有垃圾进入所述垃圾分类识别系统时，触发ccd摄像头1021和摄像头1022同步启动采集目标垃圾的图像。为了更准确地对垃圾进行识别以进行分类，所述红外传感器阵列105还可以对放入所述垃圾分类识别系统的垃圾的尺寸范围进行检测，以供所述垃圾分类识别系统对所述目标垃圾的更为全面的识别。也提高所述垃圾分类识别系统的智能化程度。

前述实施例中，所述分拣导向机构的开口与所述垃圾检测入口通道相连通，用于接纳垃圾进入由不同成分类型垃圾组合的垃圾容器中，当所述本地端处理器完成所述目标垃圾的类型识别后，发送相应的垃圾分拣指令给所述分拣导向机构，所述分拣导向机构将所述目标垃圾放进相应识别类型的垃圾容器内。所述分拣导向机构可采用常规技术，包括有由串联结构并搭载伺服构成的分拣手臂，或者电机驱动移动的垃圾分类投放斗，这些分拣导向机构的运动形式包含旋转运动和直线运动，取决于垃圾的品种数量、垃圾分类和分选的品种多少和品种的归类要求及数量和相应垃圾接收容器的数量及其排列方式。

前述实施例中的双目摄像头之所以选择ccd摄像头来采集投掷进入垃圾检测入口通道的垃圾，是因为ccd摄像头的响应速度快，适合扫描快速下落的目标垃圾，图像畸变小，无残像，且获取信息量大，能处理复杂的垃圾图像；另外，ccd摄像头抗冲击与震动，性能稳定，寿命长，适合装设在垃圾桶内侧（包括垃圾检测入口通道内侧）这种环境中执行采样任务。同时ccd摄像头的功耗小，工作电压低，使得所述垃圾分类识别系统的整体工作功耗降低。

以上实施例仅为充分公开而非限制本发明，凡基于本发明的创作主旨、未经创造性劳动的等效技术特征的替换，应当视为本申请揭露的范围。