农产品的缺陷检测和缺陷等级划分方法与流程

本技术涉及农产品缺陷检测，特别是涉及一种农产品的缺陷检测和缺陷等级划分方法。

背景技术：

1、一般在水果入库出库分拣时，通过对水果的缺陷区域进行检测，以此识别出有缺陷区域的水果和非缺陷区域的水果，进一步针对有缺陷区域的水果进行缺陷等级划分，以此实现水果的缺陷检测和缺陷等级划分。其中，水果缺陷一般包括微生物侵染、机械性损伤、冻伤等。目前的水果缺陷检测和缺陷分级方法，大都是采用人工目测的检测方式，这种人工检测方法具有一定的主观因素，对于缺陷等级的划分可能出现较大差异，导致缺陷识别和缺陷等级划分的准确性较低；而且，该方法耗时耗力，效率低下。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高缺陷识别和缺陷等级划分准确率的农产品的缺陷检测和缺陷等级划分方法。

2、一种农产品的缺陷检测和缺陷等级划分方法，所述方法包括：

3、获取通过摄像头对所测水果拍摄的多个视角的待测水果图像；

4、将每个所述待测水果图像输入至已训练好的第一缺陷识别模型中进行识别，得到每个所述待测水果图像的水果区域图和缺陷区域图；

5、对每个所述水果区域图进行特征提取，得到对应的水果特征向量；所述水果特征向量包括水果像素坐标和水果灰度值；

6、对每个所述缺陷区域图进行特征提取，得到对应的缺陷特征向量；所述缺陷特征向量包括缺陷像素坐标和缺陷灰度值；

7、根据每个所述缺陷区域图的所述缺陷特征向量计算对应的协方差矩阵，基于所述协方差矩阵确定对应所述缺陷区域图的第一特征向量和第二特征向量；

8、根据每个所述缺陷区域图的所述缺陷特征向量和对应所述水果区域图的所述水果特征向量，更新对应所述缺陷区域图的所述缺陷灰度值，记为更新缺陷灰度值；

9、基于所述缺陷区域图的所述缺陷像素坐标和所述更新缺陷灰度值，确定对应所述缺陷区域图的第三特征向量；

10、将所述第一特征向量、所述第二特征向量和所述第三特征向量作为对应所述缺陷区域图的参考特征向量；

11、基于所述参考特征向量以及预先设置的标准特征向量，确定对应所述缺陷区域图的旋转平移矩阵；

12、将每个所述缺陷区域图的所述缺陷像素坐标按照对应的所述旋转平移矩阵进行坐标转换，得到转换后的校正缺陷区域图；

13、将每个所述校正缺陷区域图输入至已训练好的第二缺陷识别模型中进行识别，得到所述待测水果的缺陷等级。

14、在一个实施例中，所述水果特征向量的表示方法为：

15、

16、其中，为第 i个待测水果图像的水果区域图中第 j个水果特征向量；为像素坐标系下第 i个待测水果图像的水果区域图中第 j个水果像素坐标的 x轴坐标；为像素坐标系下第 i个待测水果图像的水果区域图中第 j个水果像素坐标的 y轴坐标；为第 i个待测水果图像的水果区域图中第 j个水果灰度值；其中水果像素坐标可记为，；

17、所述缺陷特征向量的表示方法为：

18、

19、其中，为第 i个待测水果图像的缺陷区域图中第 j个缺陷特征向量；为像素坐标系下第 i个待测水果图像的缺陷区域图中第 j个缺陷像素坐标的 x轴坐标；为像素坐标系下第 i个待测水果图像的缺陷区域图中第 j个缺陷像素坐标的 y轴坐标；为第 i个待测水果图像的缺陷区域图中第 j个缺陷灰度值；其中缺陷像素坐标可记为，。

20、在一个实施例中，所述根据每个所述缺陷区域图的所述缺陷特征向量计算对应的协方差矩阵，基于所述协方差矩阵确定对应所述缺陷区域图的第一特征向量和第二特征向量，包括：

21、以每个所述缺陷区域图的中心为原点建立缺陷坐标系，得到所述缺陷区域图在对应所述缺陷坐标系下的缺陷像素坐标，记为更新缺陷像素坐标；

22、根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，确定所述缺陷区域图对应的协方差矩阵；

23、基于所述缺陷区域图对应的协方差矩阵，确定对应的第一特征向量和第二特征向量。

24、在一个实施例中，所述以每个所述缺陷区域图的中心为原点建立缺陷坐标系，得到所述缺陷区域图在对应所述缺陷坐标系下的缺陷像素坐标，记为更新缺陷像素坐标包括：

25、计算每个所述缺陷区域图的中心像素坐标；其中，中心像素坐标为：，n为第 i个待测水果图像的缺陷区域图中缺陷特征向量的个数；

26、根据所述中心像素坐标更新对应所述缺陷区域图的每个所述缺陷像素坐标，得到所述缺陷区域图的更新缺陷像素坐标；其中，更新缺陷像素坐标为：；

27、所述根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，确定所述缺陷区域图对应的协方差矩阵包括：

28、根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，通过协方差矩阵公式计算得到所述缺陷区域图的协方差矩阵，所述协方差矩阵公式的表示方法为：

29、

30、其中，为第 i个待测水果图像的缺陷区域图的协方差矩阵，为第 i个待测水果图像的缺陷区域图的第 j个更新缺陷像素坐标，为第 i个待测水果图像的缺陷区域图的第 j个更新缺陷像素坐标的转置，为第 i个待测水果图像的缺陷区域图的第 j个缺陷像素坐标。

31、在一个实施例中，所述基于所述缺陷区域图对应的协方差矩阵，确定对应的第一特征向量和第二特征向量包括：

32、基于所述缺陷区域图对应的协方差矩阵，通过奇异值公式计算位于所述缺陷坐标系下的初始第一特征向量和初始第二特征向量，所述奇异值公式的表示方法为：

33、

34、其中，为所述缺陷坐标系下的初始第一特征向量，为所述缺陷坐标系下的初始第二特征向量，为所述初始第一特征向量的特征值，为所述初始第二特征向量的特征值；

35、将所述初始第一特征向量与所述中心像素坐标相加，得到对应所述缺陷区域图在所述像素坐标系下的第一特征向量；

36、将所述初始第二特征向量与所述中心像素坐标相加，得到对应所述缺陷区域图在所述像素坐标下的第二特征向量。

37、在一个实施例中，所述根据每个所述缺陷区域图的所述缺陷特征向量和对应所述水果区域图的所述水果特征向量，更新对应所述缺陷区域图的所述缺陷灰度值，记为更新缺陷灰度值包括：

38、根据每个所述待测水果图像的所述水果特征向量的个数与对应所述缺陷特征向量的个数，确定所述待测水果图像中非缺陷区域的水果区域图的正常水果特征向量的个数；

39、基于每个所述待测水果图像的所述水果灰度值和对应所述缺陷灰度值，确定所述待测水果图像中非缺陷区域的水果区域图的平均水果灰度值；

40、根据每个所述缺陷区域图的所述缺陷灰度值和对应所述待测水果图像的所述平均水果灰度值，确定对应的缺陷灰度值，记为更新缺陷灰度值。

41、在一个实施例中，所述基于所述缺陷区域图的所述缺陷像素坐标和所述更新缺陷灰度值，确定对应所述缺陷区域图的第三特征向量包括：

42、将所述缺陷区域图的每个所述缺陷像素坐标和对应的所述更新缺陷灰度值相乘，得到对应的子质心像素坐标；

43、将所述缺陷区域图对应的所有所述子质心像素坐标的平均值作为所述缺陷区域图的第三特征向量；所述第三特征向量的表示方法为：

44、

45、

46、

47、其中，为第 i个待测水果图像的缺陷区域图的所述第三特征向量， h为第 i个待测水果图像的所述正常水果特征向量的个数，为第 i个待测水果图像的水果区域图的水果灰度值，为第 i个待测水果图像的缺陷区域图的缺陷灰度值，为第 i个待测水果图像的所述平均水果灰度值，为第 i个待测水果图像的缺陷区域图的第 j个所述更新缺陷灰度值。

48、在一个实施例中，所述标准特征向量的生成方法包括：

49、获取多个样本缺陷区域图以及对应的参考校正缺陷区域图；

50、通过待训练的缺陷校正网络模型对每个所述样本缺陷区域图进行特征提取，得到表征所述样本缺陷区域图的样本第一特征向量、样本第二特征向量和样本第三特征向量；

51、以所述样本第一特征向量、所述样本第二特征向量和所述样本第三特征向量为基准面，将所述样本缺陷区域图进行旋转平移，得到变换后的样本校正缺陷区域图；

52、确定所述样本校正缺陷区域图和所述参考校正缺陷区域图的损失值；

53、按照所述损失值调整所述缺陷校正网络模型的模型参数，直至所确定的损失值达到训练停止条件，输出目标缺陷校正网络模型；

54、通过所述目标缺陷校正网络模型对每个所述样本缺陷区域图进行特征提取，得到表征所述样本缺陷区域图的标准第一特征向量、标准第二特征向量和标准第三特征向量；

55、计算所有所述样本缺陷区域图的所述标准第一特征向量的平均值、所述标准第二特征向量的平均值和所述标准第三特征向量的平均值，作为缺陷区域图的标准特征向量。

56、在一个实施例中，所述将每个所述校正缺陷区域图输入至已训练好的第二缺陷识别模型中进行识别，得到所述待测水果的缺陷等级包括：

57、将每个所述校正缺陷区域图输入至已训练好的第二缺陷识别模型中进行识别，得到每个所述校正缺陷区域图的缺陷类型的置信度和缺陷面积；

58、根据所述缺陷类型和缺陷分数的映射关系，确定每个所述校正缺陷区域图中所述缺陷类型的缺陷分数；

59、计算所述校正缺陷区域图对应的所述水果区域图的水果面积；

60、基于每个所述校正缺陷区域图的所述缺陷类型的置信度、所述缺陷分数、所述缺陷面积和所述水果面积，确定对应所述校正缺陷区域图的缺陷评分；

61、计算所有所述校正缺陷区域图的缺陷评分的平均值；

62、将所述平均值对应的缺陷等级作为所述待测水果的缺陷等级。

63、在一个实施例中，所述缺陷类型包括非缺陷类和缺陷类，所述非缺陷类表明所述校正缺陷区域图对应的待测水果图像没有缺陷区域，所述缺陷类表明所述校正缺陷区域图对应的待测水果图像有缺陷区域；

64、所述基于每个所述校正缺陷区域图的所述缺陷类型的置信度、所述缺陷分数、所述缺陷面积和所述水果面积，确定对应所述校正缺陷区域图的缺陷评分包括：

65、根据每个所述校正缺陷区域图的所述缺陷类型的置信度和对应的所述缺陷分数，确定所述校正缺陷区域图的初始评分；

66、根据每个所述校正缺陷区域图的所述缺陷面积和所述水果面积，确定所述校正缺陷区域图的缺陷面积比；

67、基于所述校正缺陷区域图的所述初始评分和所述缺陷面积比，确定对应所述校正缺陷区域图的缺陷评分。

68、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述农产品的缺陷检测和缺陷等级划分方法的步骤。

69、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述农产品的缺陷检测和缺陷等级划分方法的步骤。

70、上述农产品的缺陷检测和缺陷等级划分方法、装置、计算机设备和存储介质，在水果出入库时，通过设置在出入库的摄像头对待测水果的各个视角拍摄以此得到多个视角的待测水果图像，进而将多个待测水果图像传输给服务器进行缺陷检测和缺陷等级划分。服务器将每个待测水果图像输入至预先训练好的第一缺陷识别模型中进行识别，得到每个待测水果图像 水果区域图和缺陷区域图，此时的缺陷区域图有可能是疑似缺陷区域；为了更进一步的确认缺陷区域图是否有缺陷区域，进而对每个缺陷区域图进行二次缺陷识别。由于每个水果中不同视角的待测图像的缺陷区域在整体水果的位置不同，导致每个待测水果图像中缺陷区域的形状和姿态差异较大，因此，为了更好的识别每个视角下的待测水果图像的缺陷区域，本方案将每个待测水果图像的缺陷区域图进行了图像校正，将所有视角的缺陷区域图对齐到同一基准坐标系，由此可以提高缺陷区域图的识别精度，提升农产品的缺陷检测和缺陷等级划分的准确率；并且，本方案通过神经网络对待测水果的待测水果图像进行缺陷识别和等级划分，相比人为的目测来说，既可以提高缺陷检测和等级划分的准确性、同时还能提高效率。

71、进一步，在对缺陷区域图进行图像校正的过程中，本方案通过确定表征每个缺陷区域图的三个特征向量，进而根据三个特征向量与基准坐标系下的标准特征向量确定旋转平移矩阵，由此将每个缺陷区域图按照对应的旋转平移矩阵进行校正。在确定三个特征向量时，考虑到缺陷区域图的形状、不同缺陷类型所造成的损害、成熟度等因素对缺陷区域图的灰度值会造成影响，比如缺陷区域图中有些区域损伤严重，相应的图像颜色偏深、灰度值偏大；如果直接使用缺陷区域图的灰度值确定特征向量，会导致缺陷区域图在整体水果图像中发生偏移，会朝向灰度值偏大的一侧偏移，因此本方案为了平衡这种偏移所造成的识别影响，对缺陷区域图中的灰度值进行了校正。进一步，提高了缺陷区域图的校正精度，可以得到更为精确的校正缺陷区域图，进而提高了待测水果的缺陷等级的划分准确性。