基于深度学习的苹果外观质量分级方法与流程

本发明涉及一种苹果外观质量分级方法，属于图像识别技术领域。

背景技术：

苹果采摘之后根据外观进行自动质量分级是提升苹果分装自动化水平、减轻人工劳动的重要环节。传统的技术手段采用固定尺寸网孔过滤、称重等方法，对于腐烂、霉变苹果靠人工处理，自动化水平较低；现阶段主流的方法是采用机器视觉方法，能够根据尺寸、霉变程度等外观因素进行分级，但存在特征提取困难、面对不同品种、不同类型苹果难以全面胜任、算法较复杂等问题。

技术实现要素：

本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种无需特征提取，减少样本数量和运算时间的基于深度学习的苹果外观质量分级方法。

为解决上述技术问题，本发明采用的技术方案是：

基于深度学习的苹果外观质量分级方法，步骤为：

1）用机器视觉系统采集用于神经网络模型训练的苹果图像作为样本；

2）对采集的样本进行处理：

21）把待处理图像通过变换到hsi颜色空间，分割成前景和背景；

22）对分割的前景区域进行如下操作：删除小面积区域、填充小面积孔洞和对锯齿形边沿进行平滑处理，得到目标区域，即为待分级苹果区域；

3）对样本苹果进行分类，并赋予不同的标签号；

4）采用有标签数据的样本进行迁移学习训练神经网络模型；

5）通过训练好的神经网络模型对苹果外观质量按标签号进行分级。

采集到的样本图像包括：各种腐烂程度、斑点的苹果图像，各种颜色、色泽度的图像，各种大小的图像，包含有虫噬、划伤、裂纹各种外伤苹果图像；针对以上各种苹果样本分别旋转至少6个不同角度拍摄得到的图像，且对应角度所拍摄的苹果在图像中是完整的。本发明不限制苹果的品种和品种数量，也可针对一个品种的苹果进行外观质量分级。

把采集到的图像按照国标或人为进行人工分类，赋予不同的标签号，标签号为0，1，2，3，4或一等、二等、三等和次品。

采集到的图像总数量应不少于1万幅，单个标签类别包含的图像数量应不少于1千幅。

采集图像用的相机需要事先进行标定。

相机采集的图像大小为1920*1200*3。

与现有技术相比，本发明具有的有益效果是：

本发明采用的技术方案相对现有主流的方法，不考虑复杂的特征提取问题，只需要把训练样本按照要求输入深度学习神经网络即可，大大降低了算法本身设计的难度和缩短了开发周期，同时提升了算法的推广能力。本发明采用了迁移学习的深度学习方法，大大降低了初始神经网络训练所需要的样本数量。

附图说明

图1是本发明分级方法示意图；

图2是一组典型测试过程和结果图。

具体实施方式

本发明基于深度学习的苹果外观质量分级方法，不涉及碰伤等苹果内部损伤质量分级。具体步骤为：

1）用机器视觉系统大量采集苹果图像。机器视觉系统相机采用彩色自然光工业相机，彩色自然光工业相机光感较为柔和，不在苹果表面产生强反光。采集到的图像应包括：各种腐烂程度、斑点的苹果图像，各种颜色、色泽度的图像，各种大小的图像，包含有虫噬、划伤、裂纹等各种外伤苹果图像，针对以上各种苹果样本分别旋转至少6个典型角度拍摄得到的图像，且对应角度所拍摄的苹果在图像中应当是完整的。本发明不限制苹果的品种和品种数量，也可针对一个品种的苹果进行外观质量分级。把采集到的图像按照国标或人为进行人工分类，赋予不同的标签号，如0，1，2，3，4或一等、二等、三等和次品等。为保证苹果外观质量分级的正确率，采集到的图像总数量应不少于1万幅，单个标签类别包含的图像数量应不少于1千幅。采集图像用的相机需要事先进行标定。发明人当前使用的工业相机采集的图像大小为1920*1200*3。

2）对图像进行预处理。此步骤算法的主要处理目的是把苹果区域与背景区域分割开来。针对所要求的机器视觉系统背景颜色和材质采集得到的苹果图像，背景和前景在反光性、色调等方面有明显的差异，本发明采用了基于色调（hue）颜色空间的图像阈值分割方法。具体方法是：把待处理图像变换到hsi颜色空间，其中h分量的直方图具有明显的双峰，找到双峰间谷底，作为图像分割阈值，依此阈值把图像分割成前景和背景，针对分割结果前景区域进行进一步处理，包括删除小面积区域、填充小面积孔洞和对锯齿形边沿进行平滑处理等，得到目标区域，即为待分级苹果区域。

3）神经网络训练和测试。为降低样本图像数据数量，本发明采用了迁移学习的深度学习训练方法。本发明旨在使用深度学习方法解决苹果外观质量分级问题，不在网络结构上进行改进，也不考虑和讨论网络结构的调整，采用成熟的halcon里面的cnn网络结构及参数，基于已经训练好的模型，针对第2步得到的有标签数据进行迁移学习和测试，使得微调整的模型能够有效适用于本发明所关注的苹果外观质量分级任务。训练正确率和测试正确率均超过97%。

4）苹果外观质量分级。在实际利用本发明提出的方法进行苹果外观质量分级时，对于目标图像内目标数量不限于如第2步只考虑单个苹果，针对含有多个待检测目标的图像，用第2步的方法进行分割和处理，然后对每个目标基于训练好的网络进行外观质量分级。实际测试表明，在发明人当前实验条件下一幅含有6个苹果的图像分级时间为0.488秒，能满足实时检测的需要。

技术特征：

技术总结
本发明公开了一种基于深度学习的苹果外观质量分级方法，步骤为：用机器视觉系统采集用于神经网络模型训练的苹果图像作为样本；对采集的样本进行处理：对样本苹果进行分类，并赋予不同的标签号；采用有标签数据的样本进行迁移学习训练神经网络模型；通过训练好的神经网络模型对苹果外观质量进行分级。本发明采用的技术方案相对现有主流的方法，不考虑复杂的特征提取问题，只需要把训练样本按照要求输入深度学习神经网络即可，大大降低了算法本身设计的难度和缩短了开发周期，同时提升了算法的推广能力。本发明采用了迁移学习的深度学习方法，大大降低了初始神经网络训练所需要的样本数量。

技术研发人员：费树岷;高如新;黄晓晖
受保护的技术使用者：南京东奇智能制造研究院有限公司
技术研发日：2019.05.17
技术公布日：2019.08.20