一种基于多特征评价模型的螃蟹智能分级方法

本发明属于智能分类，具体涉及一种基于多特征评价模型的螃蟹智能分级方法。

背景技术：

0、技术背景

1、螃蟹因其营养丰富、味道鲜美，深受人们喜爱，螃蟹分级工作是螃蟹市场的重要环节。现阶段，对于螃蟹的分级工作很多是以人工观察、称重来分选的，人工对螃蟹进行分级时，存在很多人为因素，缺少科学性、稳定性，难以保证分级质量；人工长期从事单一重复工作，易产生疲劳，影响分级效率；而且螃蟹的螯足容易造成伤害；普通的人工分级已经无法满足产业与市场的结合，影响了螃蟹养值业大规模的发展。

2、授权公告号cn212883596u的实用新型“螃蟹用重量分选机”是一种利用螃蟹重量对螃蟹进行分级的装置，该装置包括分料传输机构和旋转分选机构，旋转分选机构转盘的外沿有计量斗和称重传感器，可以根据不同重量对螃蟹分级并计数，该发明能够利用螃蟹重量对螃蟹进行分级，但分级级数有限，也没有区分螃蟹公母以及是否残缺功能；申请公布号cn111054655a的发明专利“一种螃蟹分拣装置及其运用方法”主要由相机、光源、电子秤、传送带、挡臂等组成，该发明根据螃蟹的公母和重量对螃蟹进行分级，但仍然仅以重量作为分级标准，且无法区分残缺蟹；申请公布号cn108287010a的发明专利“一种螃蟹多指标分级装置与方法”主要包括上样平台、称重平台、图像采集平台、分级平台以及控制系统，该发明依据螃蟹重量、公母、成熟度对螃蟹进行分级，但未以最重要的蟹膏比重作为分级评价标准，且没有识别残缺蟹功能。

技术实现思路

1、鉴于此，为解决上述背景技术中所提出的问题，本发明的目的在于提供一种分级级数多、分级特征全面的螃蟹分级方法，该方法基于视觉识别和深度神经网络，能够快速识别螃蟹多种个体特征，通过多特征评价模型预测蟹膏重量，计算螃蟹分级系数，并进行分级。

2、为实现上述目的，本发明提供一种基于多特征评价模型的螃蟹智能分级方法，包括以下步骤：

3、s1：通过视觉识别机构采集螃蟹的识别图像，提取识别图像的局部特征，确定螃蟹的性别、蟹壳面积、是否残缺、蟹壳颜色；

4、s2：通过称重传感器采集螃蟹的个体重量；

5、s3：基于深度神经网络构建膏黄评价模型，以个体重量、蟹壳面积和蟹壳颜色为变量输入至膏黄评价模型中，输出得到预测蟹膏或蟹黄重量；

6、s4：通过螃蟹的个体重量、预测蟹膏蟹膏或蟹黄重量计算螃蟹品质指数；

7、s5：通过检测螃蟹的性别、是否残缺及螃蟹品质指数，对螃蟹进行品质分级，将公母螃蟹各分为一、二、三、四级蟹及残缺蟹。

8、进一步地，所述步骤s1中样品螃蟹的识别图像，分别采集螃蟹的背部图像和腹部图像，为后续视觉算法识别螃蟹特征信息提供图像样本。

9、进一步地，所述步骤s1中螃蟹性别识别包括以下步骤：

10、s1.1.1)从样品螃蟹的识别图像中提取腹部蟹脐形状特征；

11、s1.1.2)构建关于公蟹蟹脐和母蟹蟹脐的模板图形；

12、s1.1.3)通过基于形状的模板匹配，匹配检测螃蟹的识别图像中的腹部蟹脐形状特征与模板图形确定样品螃蟹的性别。

13、进一步地，所述步骤s1中螃蟹是否残缺识别包括以下步骤：

14、s1.2.1)从样品螃蟹识别图像的螃蟹背部图像和腹部图像中提取蟹腿指节数量特征；

15、s1.2.2)基于yolov5神经网络构建模型并训练识别图像中提取的蟹腿指节数量特征；

16、s1.2.3)通过蟹腿指节数量特征确定样品螃蟹是否残缺，蟹腿指节数量等于8，样品螃蟹完整，蟹腿指节数量小于8，样品螃蟹不完整。

17、进一步地，所述步骤s1中螃蟹蟹壳面积识别包括以下步骤：

18、s1.3.1)将protonet与yolov5模型相结合得到改进的特征提取模型；

19、s1.3.2)选取样品螃蟹识别图像中的背部图像，分为训练集、验证集和测试集，对训练集和验证集中的蟹壳轮廓进行标注，并利用改进的特征提取模型进行训练，利用测试集对改进的特征提取模型进行验证；

20、s1.3.3)基于改进特征提取模型从螃蟹识别图像的背部图像中提取蟹壳轮廓特征；

21、s1.3.4)通过蟹壳轮廓特征计算样品螃蟹的蟹壳面积。

22、进一步地，所述步骤s1.3.1)中构建改进的特征提取模型包括：

23、在yolov5基础上增加全连接神经网络protonet，为分割模型生成32个原型掩码prototypes mask；yolov5的三个目标检测头在生成原有目标检测框的同时，分别再预测32个掩码系数mask coefficient；每个掩码系数分别与32个原型掩码对应，每个目标检测头输出参数个数由原有的18个增加为114个；对预测的目标检测框执行非极大值抑制nms，用预测的掩码系数与原型掩码分别对应相乘再相加，得到实例掩码mask；通过预测的目标检测框对预测的mask进行裁剪，通过二值化threshold得到最终的掩码mask，将其映射到原图上，将目标特征进行分割。

24、进一步地，所述步骤s1中螃蟹蟹壳颜色识别包括以下步骤：

25、s1.4.1)从样品螃蟹识别图像中选择颜色深浅不同的蟹壳图像，并按颜色由深至浅依次分级并编号，将不同颜色等级的蟹壳图像由rgb颜色空间转为hsv颜色空间，求出每幅图像v分量下的平均灰度值；

26、s1.4.2)从螃蟹识别图像的背部图像中提取蟹壳图像，对蟹壳图像进行高斯滤波预处理，将蟹壳图像由rgb颜色空间转为hsv颜色空间；

27、s1.4.3)通过螃蟹识别图像hsv颜色空间的v分量下平均灰度值，对蟹壳颜色进行对比和区分，得到所对应的颜色等级。

28、进一步地，所述步骤s3中膏黄评价模型包括：

29、s3.1)对样品螃蟹的个体重量、蟹壳面积、蟹壳颜色、蟹黄及蟹膏重量数据进行z-score归一化预处理，形成样本数据集,将数据集随机分为训练集和测试集，训练集用于对预测模型进行训练，测试集用于评估预测模型的泛化能力；

30、s3.2)以样品螃蟹个体重量、蟹壳面积、蟹壳颜色作为输入变量，以蟹膏或蟹黄重量作为输出变量基于dnn神经网络建立评价模型；

31、s3.3)利用样本数据训练集对dnn模型进行训练，利用平均相对误差mre、平均绝对误差mae、均方根误差rmse、决定系数r2、皮尔逊相关系数pearson五个评估指标对模型在训练集和测试集中的预测精度进行对比；

32、s3.4)当测试集的预测精度达到规定阈值后，膏黄评价模型建立成功。

33、进一步地，所述步骤s3.3)中五个评估指标包括：

34、mre将预测值与实测值之间误差的绝对值除以实测值后再求平均值，反映预测值的可信度；mae将预测值和实测值之间的绝对误差取绝对值后再求平均值，反映预测值和实测值的偏离程度；rmse将预测值与实测值偏差平方的平均值再开平方根，当mre、mae、rmse值越接近0时，说明模型预测值和实测值的偏差越小，预测模型的预测精度越高；r2表示回归平方和在总平方和中所占的比例，该值越接近1说明模型对数据的拟合程度越好；pearson用于衡量预测值与实测值之间的相关性，该值范围为[-1，1]，该值越接近1，说明预测值和实测值的相关性越高，预测模型的预测精度越高，各式计算公式如下：

35、

36、

37、

38、

39、

40、式中：m为样本数量；yi为第i项实测值；为第i项预测值；为实测值的均值。

41、进一步地，所述步骤s4中螃蟹品质指数的计算公式表达如下：

42、

43、

44、式中，im为公螃蟹品质指数；if为母螃蟹品质指数；wm为公螃蟹重量；wf为母螃蟹重量；wmmax为样品中公螃蟹最大重量；wfmax为样品中母螃蟹最大重量；ip为蟹膏指数；ir为蟹黄指数。

45、进一步地，所述步骤s5中对螃蟹进行品质分级，具体包括以下步骤：

46、s5.1)将螃蟹区分为公螃蟹和母螃蟹；

47、s5.2)区分螃蟹是否残缺，若残缺，则直接判定为公残缺蟹或母残缺蟹；

48、s5.2)根据螃蟹品质指数im进行分级：im≥0.8，为一级公蟹；0.65≤im＜0.8，为二级公蟹；0.5≤im＜0.65，为三级公蟹；im＜0.5，为四级公蟹。母蟹与之同理。

49、本发明的有益效果如下：

50、1.本发明基于多特征评价模型，对蟹膏重量进行预测，并基于螃蟹重量和蟹黄重量计算出分级系数，进而有效实现了螃蟹的品质分级，分级评价更为全面，分级结果更为合理、客观，更符合螃蟹分级要求，且分级结果更加精确。

51、2.本发明分级方法在考虑螃蟹重量、性别的基础上，还进一步考虑了蟹壳体积、是否残缺及蟹壳颜色等特征，由此有效实现螃蟹多特征分级处理。

52、3.本法明通过视觉识别及算法，识别螃蟹的指节数量，由此实现了分拣残缺蟹的功能，减少螃蟹分级中的人工作业，提高螃蟹分拣效率。