基于深度相机的黑果枸杞分选装置及识别与分类算法的制作方法

本发明涉及黑果枸杞分拣领域，具体说是一种基于深度相机的黑果枸杞分选装置及识别与分类算法。

背景技术：

黑果枸杞，是枸杞属科多年生灌木，具棘刺，浆果球形，皮薄，皮熟后紫黑色，果实含丰富的紫红色素，极易溶于水，属天然的水溶性花色甙黄酮类。藏医用于治疗心热病、心脏病、月经不调、停经等且药效显著。由于黑果枸杞价格昂贵，品质要求较高，目前对于黑果枸杞的分选，大多数都是采用人工分选，需要每个工人通过肉眼仔细的对每一颗黑果枸杞进行挑选，且每个工人一天也只能挑选两三斤的枸杞，这种人工分选的方法耗费大量人力，也提高了黑果枸杞的成本，而且人工分选标准不一，不利于黑果枸杞的统一分级。同时现有的分选装置也无法实现对黑果枸杞进行一颗一颗的分选，无法精确的对黑果枸杞实现品质分级。

技术实现要素：

发明目的：针对上述现有技术存在的不足，提供一种基于深度相机的黑果枸杞分选装置及算法；能够通过深度相机所获得信息判断黑果枸杞质量进而进行精密分选。

技术方案：为了实现上述发明目的，本发明采用的技术方案如下：

一种基于深度相机的黑果枸杞分选装置，包括可旋转的圆锥台，在所述圆锥台的外周设置有挡圈，在所述挡圈与圆锥台之间形成与圆锥台连接并随圆锥台旋转的容纳槽，在所述容纳槽上间隔均匀的设置有外侧开口的黑果枸杞大小的凹槽，所述凹槽向外侧向下倾斜；在所述挡圈上设置有与凹槽外侧开口相对应的出料口，所述出料口外连接有传送带，所述传送带下方设置有分选机构，所述分选机构包括相机分选装置、吹扫装置和落料筐。

作为优选，所述相机分选装置包括设置在传送带末端下方的光电传感器、深度相机、穹顶光源和背景板，所述穹顶光源设置在深度相机的上下两侧，所述背景板对准深度相机的拍摄方向设置，所述光电传感器设置在深度相机的上方，所述穹顶光源为全光谱卤素灯，所述背景板为白色背景板。

作为优选，所述深度相机设置有3个，每个深度相机配置2个相匹配的穹顶光源和一个对应的背景板；所述深度相机拍摄方向水平，所述背景板10垂直设置在深度相机的拍摄方向，3个深度相机在圆周上以相隔120°的位置设置。

作为优选，所述吹扫装置包括喷阀控制器和与喷阀控制器连接的高速喷阀，所述高速喷阀设置在传送带末端垂直向下的落料通道的一侧，所述高速喷阀的工作压力为5公斤，每秒开关次数为50次。

作为优选，所述落料筐至少包括两个，分别为正品落料筐和残次品落料筐。

作为优选，在所述传送带的末端下方设置有连接传送带的透明落料管，所述透明落料管垂直设置。

作为优选，在所述容纳槽内位于出料口之前的位置还设置有挡板，所述挡板连接圆锥台和挡圈。

采用上述基于深度相机的黑果枸杞分选装置的一种基于深度信息的黑果枸杞识别与分类算法，由三台深度相机通过三维卷积神经网络并结合极限学习机分类器来实现；包括以下步骤：

1)深度相机采集rgb图像和深度信息图像；

2)将rgb图像和深度信息图像经过前期处理后输入三维卷积神经网络，三维卷积神经网络的输出为高维特征向量，将此高维特征向量输入到二层全连接神经网络的分类器进行分类识别；

3)选取足够的训练和测试数据样本，输入总网络中，对整个网络进行训练和测试，确定三维卷积神经网络的所有网络参数；

4)确定三维卷积神经网络的所有网络参数后，将待分类的黑果枸杞的rgb图像和深度信息图像经前期处理后输入三维卷积神经网络，获取高维特征向量，将该高维特征向量输入极限学习机构成的分类器，实现黑枸杞分类识别。

作为优选，对rgb图像和深度信息图像的前期处理包括rgb图像和深度信息图像的降噪和归一化处理。

作为优选，步骤2)中，利用误差反向传播传算法对整个网络进行训练和测试，确定三维卷积神经网络的网络参数，从而获得高维特征向量。

有益效果：本发明与现有技术相比，具有以下优点：

(1)本装置所有部分空间一体化，避免了空间的位移；并且本装置中进料采用可旋转的圆锥台，可旋转圆锥台的底部的设置有一圈黑果枸杞大小的凹槽，且凹槽具有一定程度的向下倾斜；同时在出料口之前和凹槽之上还设置有挡板，可以将黑果枸杞扫进凹槽；凹槽设置为黑果枸杞大小的形状，凹槽两两相隔，可以将每一颗黑果枸杞进行分离，防止枸杞之间发生遮挡不利于成像；同时圆台形挡板上开有一个凹槽大小的出料口，可以保证黑果枸杞为单颗出料；并且传送带的另一端连接一个直径类似黑果枸杞大小的透明落料管，可以防止黑果枸杞在空中发生旋转，不利于成像；同时采用光电传感器实时检测枸杞的下落，触发深度相机拍照；采用深度相机，可获得枸杞的深度信息和颜色信息，便于分选。本发明分选快速、准确率高，大大提高了黑果枸杞的分选效率，且节省了人工成本。

(2)本装置的分选算法以深度相机所获得的rgb图像以及深度信息图像为基础进行分选，经降噪、归一化处理后利用三维卷积神经网络和极限学习机分类器分类黑果枸杞；使用分选装置配合该分选算法后，其分选的准确性以及精度大幅度提升。

附图说明

图1为基于深度相机的黑果枸杞分选装置结构示意图；

图2为基于深度相机的黑果枸杞分选装置部分结构示意图一；

图3为基于深度相机的黑果枸杞分选装置部分结构示意图二；

图4为本发明分选算法的流程图；

图5为不合格黑果枸杞的图例。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

如图1-3所示，本申请的基于深度相机的黑果枸杞分选装置，包括可旋转的圆锥台1，在圆锥台1的外周设置有挡圈3，在挡圈3与圆锥台1之间形成与圆锥台1连接并随圆锥台1旋转的容纳槽2，圆锥台的上底面小于圆锥台的下底面的面积，挡圈3为上部开口内径大于底部内径的倒锥形，圆锥台1和挡圈3的设置，方便黑果枸杞快速落入容纳槽2内，在容纳槽2上间隔均匀的设置有外侧开口的黑果枸杞大小的凹槽21，凹槽21向外侧向下倾斜，便于凹槽21内的黑果枸杞落入传送带6上，凹槽21设置为黑果枸杞大小的形状，凹槽21两两相隔，可以将每一颗黑果枸杞进行分离，防止枸杞之间发生遮挡不利于成像。在挡圈3上设置有与凹槽21外侧开口相对应的出料口4，出料口4大小和位置高度与凹槽21相同，出料口4外连接有传送带6，传送带6下方设置有分选机构，分选机构包括相机分选装置、吹扫装置和落料筐。

相机分选装置包括设置在传送带6末端下方的光电传感器15、穹顶光源8、深度相机9和背景板10，穹顶光源8设置在深度相机9的上下两侧，保证相机的采光均匀，背景板10对准深度相机9的拍摄方向设置。深度相机9可以获得枸杞的深度信息和颜色信息。光电传感器15检测到枸杞的下落，便传输信号至控制装置，触发深度相机9拍照。

深度相机9至少设置有2个，每个深度相机9配置2个相匹配的穹顶光源8和一个对应的背景板10。

本发明优选的将深度相机9设置有3个，深度相机9拍摄方向水平，背景板10垂直设置在深度相机9的拍摄方向，3个深度相机9在圆周上以相隔120°的位置均匀间隔设置，3个深度相机9位于同一水平面上或者位于不同的水平面上。

穹顶光源8采用全光谱卤素灯，全光谱卤素灯可发出最近似自然光线的灯光，因为他们所发出的光是全谱的，包含所要采集的光谱范围，也就是所有的光波都有，其中包括了所有颜色的可见光，与少部分的紫外线。穹顶保证枸杞成像无阴影。穹顶光源8的卤素灯的发热量大，卤素灯的外壳可以设置为铝合金材料方便散热，并且穹顶光源通入循环封闭的冷空气，可解决穹顶光源散热问题，避免使用常规风机带入粉尘，提高设备寿命。背景板10采用白色背景板，已便于从图像中提取黑果枸杞的形状。

吹扫装置包括喷阀控制器11和与喷阀控制器11连接的高速喷阀12，高速喷阀12设置在传送带6末端垂直向下的落料通道的一侧；高速喷阀12的工作压力为5公斤，每秒开关次数为50次。

落料筐至少包括两个，分别为正品落料筐13和残次品落料筐14。落料筐还可以设置三个以上，按照黑果枸杞的等级进行设置，不同等级的给过枸杞垂落至不同的落料筐内。高速喷阀12通过气管与空气压缩机连接，采用压缩空气进行枸杞的吹扫分选。

在传送带6的末端下方设置有连接传送带6的透明落料管7，透明落料管7垂直设置，可以采用塑料或者玻璃制成，透明落料管7可以防止黑果枸杞在空中发生旋转，不利于深度相机9拍摄成像。

在容纳槽2内位于出料口4之前的位置还设置有挡板5，挡板5连接圆锥台1和挡圈3，挡板5可以将黑果枸杞扫进凹槽21。

本发明中在使用时，利用可旋转的圆锥台1进行进料，在挡板5的作用下，进入容纳槽2的黑果枸杞在挡板5的作用下进入凹槽21内，当圆锥台1旋转使凹槽21对准出料口4时，单颗黑果枸杞在倾斜的凹槽21的作用下落入传送带6，传送带6将黑果枸杞传送并使之落入透明落料管7，此时光电传感器15检测枸杞的下落，信号传输至控制系统，触发深度相机9进行拍照并分析，与深度相机9相连的智能控制系统判断分析黑果枸杞的好坏，若判断为正品，则直接落入塑料落料管7正下方的正品落料筐13，若判断为次品，则控制吹扫装置开启高速喷阀12，将残次品吹入残次品落料筐14。

本发明还提供一种基于深度信息的黑果枸杞识别与分类算法，由三台深度相机通过三维卷积神经网络并结合极限学习机分类器来实现；主要包括以下步骤：

1)采用三台深度相机采集黑果枸杞的rgb图像和深度信息图像；

2)首先进行三维卷积神经网络的训练，将rgb图像和深度信息图像经过降噪和归一化处理后输入三维卷积神经网络，三维卷积神经网络的输出为高维特征向量，将此高维特征向量输入到二层全连接神经网络的分类器进行分类识别；

3)训练时，选取足够的训练和测试数据样本，输入总网络中，利用误差反向传播传算法(即bp算法)对整个网络进行训练和测试，确定三维卷积神经网络的所有网络参数；此处的总网络和整个网络指在训练和测试阶段，从卷积神经网络到有2层全连接神经网络的部分。

4)确定三维卷积神经网络的所有网络参数后，进行实际的测试，将待分类的黑果枸杞的rgb图像和深度信息图像经降噪和归一化处理后处理后输入三维卷积神经网络，获取高维特征向量，将该高维特征向量输入极限学习机(elm)构成的分类器，实现黑枸杞分类识别，将黑果枸杞分类出不合格品和合格品，在实际测试时，为了提高算法的实时性和准确性，采用极限学习机代替前述的二层全连接神经网络构成新的分类器，实现黑枸杞分类快速识别。

不合格的黑果枸杞包括有露籽果、红果、泥果、霉变果、毛发和不明显霉果(如图5所示)，三维卷积神经网络的训练时，合格的黑果枸杞和各种不合格的黑果枸杞均为三维卷积神经网络的所有网络参数的确定提供数据支持。