自动养蚕机智能喂叶方法及其系统与流程

本技术涉及智能喂叶领域，且更为具体地，涉及一种自动养蚕机智能喂叶方法及其系统。

背景技术：

1、蚕宝宝又名桑蚕，以桑叶为食料的吐丝结茧的桑蚕是经济昆虫之一。桑叶是桑科植物桑的干燥叶，是蚕的日常食物。现有的蚕宝宝需要人工去进行喂养，这样的方法会降低蚕宝宝的喂食效率，增加人工成本。

2、对此，专利cn109662065b提供了一种自动喂叶机，其通过固定板和夹板能够使刮板和滚动套之间连接，刮板能够对桑叶进行搅动，便于桑叶从出料口流出，对蚕宝宝进行喂食，通过挡板能避免喂料机在停止工作时桑叶从出料口流出对桑叶造成浪费。

3、在这个过程中，如何精准判断何时停止喂料是一个关键的技术问题。因此，期待一种解决方案。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种自动养蚕机智能喂叶方法及其系统。其首先将多个预定时间点的桑叶出料速度值按照时间维度排列为输入向量后通过多尺度邻域特征提取模块以得到桑叶出料特征向量，接着，将被监控蚕群体的进食监控视频通过进食状态特征提取器以得到进食状态特征图，然后，对所述进食状态特征图沿通道维度的各个特征矩阵进行软池化操作以得到进食状态特征向量；接着，计算所述桑叶出料特征向量相对于所述进食状态特征向量的转移矩阵，然后，将所述转移矩阵通过双向注意力机制模块以得到分类特征矩阵，最后，将所述分类特征矩阵通过分类器以得到用于表示是否停止喂料的分类结果。这样，可以实现智能化喂食。

2、根据本技术的一个方面，提供了一种自动养蚕机智能喂叶方法，其包括：

3、获取养蚕机在预定时间段内多个预定时间点的桑叶出料速度值和所述预定时间段的被监控蚕群体的进食监控视频；

4、将所述多个预定时间点的桑叶出料速度值按照时间维度排列为输入向量后通过多尺度邻域特征提取模块以得到桑叶出料特征向量；

5、将所述被监控蚕群体的进食监控视频通过基于三维卷积神经网络模型的进食状态特征提取器以得到进食状态特征图；

6、对所述进食状态特征图沿通道维度的各个特征矩阵进行软池化操作以得到进食状态特征向量；

7、计算所述桑叶出料特征向量相对于所述进食状态特征向量的转移矩阵；

8、将所述转移矩阵通过双向注意力机制模块以得到分类特征矩阵；以及

9、将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否停止喂料。

10、在上述的自动养蚕机智能喂叶方法中，所述多尺度邻域特征提取模块包括并行的第一卷积层和第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的多尺度特征融合层，其中，所述第一卷积层和所述第二卷积层使用具有不同尺度的一维卷积核。

11、在上述的自动养蚕机智能喂叶方法中，将所述多个预定时间点的桑叶出料速度值按照时间维度排列为输入向量后通过多尺度邻域特征提取模块以得到桑叶出料特征向量，包括：

12、使用所述多尺度邻域特征提取模块的所述第一卷积层以具有第一尺度的一维卷积核对所述输入向量进行一维卷积编码以得到第一尺度桑叶出料特征向量；

13、使用所述多尺度邻域特征提取模块的所述第二卷积层以具有第二尺度的一维卷积核对所述输入向量进行一维卷积编码以得到第二尺度桑叶出料特征向量，其中，所述第一尺度不同于所述第二尺度；以及

14、使用所述多尺度邻域特征提取模块的特征融合层将所述第一尺度桑叶出料特征向量和所述第二尺度桑叶出料特征向量进行融合以得到所述桑叶出料特征向量。

15、在上述的自动养蚕机智能喂叶方法中，将所述被监控蚕群体的进食监控视频通过基于三维卷积神经网络模型的进食状态特征提取器以得到进食状态特征图，包括：

16、使用所述进食状态特征提取器各层在层的正向传递中对输入数据分别进行：

17、基于三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；

18、对所述卷积特征图进行均值池化处理以得到池化特征图；以及

19、对所述池化特征图进行非线性激活以得到激活特征图；

20、其中，所述进食状态特征提取器的最后一层的输出为所述进食状态特征图，所述进食状态特征提取器的第一层的输入为所述被监控蚕群体的进食监控视频。

21、在上述的自动养蚕机智能喂叶方法中，计算所述桑叶出料特征向量相对于所述进食状态特征向量的转移矩阵，包括：

22、以如下转移矩阵计算公式计算所述桑叶出料特征向量相对于所述进食状态特征向量的转移矩阵；

23、其中，所述转移矩阵计算公式为：

24、

25、其中，va表示所述桑叶出料特征向量，vb表示所述进食状态特征向量，m1表示所述转移矩阵，表示向量相乘。

26、在上述的自动养蚕机智能喂叶方法中，将所述转移矩阵通过双向注意力机制模块以得到分类特征矩阵，包括：

27、将所述转移矩阵通过所述双向注意力机制模块以得到注意力特征矩阵；

28、将所述转移矩阵和所述注意力特征矩阵分别展开为转移特征向量和注意力特征向量；

29、采用类转换器空间迁移置换融合来融合所述转移特征向量和所述注意力特征向量以得到分类特征向量；以及

30、将所述分类特征向量重构为所述分类特征矩阵。

31、在上述的自动养蚕机智能喂叶方法中，将所述转移矩阵通过所述双向注意力机制模块以得到注意力特征矩阵，包括：

32、将所述转移矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；

33、对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；以及

34、将所述双向关联矩阵输入sigmoid激活函数以得到所述注意力特征矩阵。

35、在上述的自动养蚕机智能喂叶方法中，采用类转换器空间迁移置换融合来融合所述转移特征向量和所述注意力特征向量以得到分类特征向量，包括：

36、通过采用类转换器空间迁移置换融合的方式，以如下融合公式来融合所述转移特征向量和所述注意力特征向量以得到所述分类特征向量；

37、其中，所述融合公式为：

38、

39、

40、其中，v1是所述转移特征向量，v2是所述注意力特征向量，(·)t是向量的转置向量，d(v1,v2)为所述转移特征向量和所述注意力特征向量之间的距离矩阵，d(v1,v2)表示所述转移特征向量和所述注意力特征向量间的欧式距离，v1i为所述转移特征向量的第i个特征值，v2j为所述注意力特征向量的第j个特征值，t为掩码阈值超参数，且向量均为行向量，⊕、和⊙分别表示特征向量的逐位置相加、相减和相乘，表示矩阵乘法，mask(·)表示mask函数，vc是所述分类特征向量。

41、在上述的自动养蚕机智能喂叶方法中，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否停止喂料，包括：

42、将所述分类特征矩阵按照行向量或列向量展开为展开分类特征向量；

43、使用所述分类器的多个全连接层对所述展开分类特征向量进行全连接编码以得到编码分类特征向量；以及

44、将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。

45、根据本技术的另一个方面，提供了一种自动养蚕机智能喂叶系统，其包括：

46、数据获取模块，用于获取养蚕机在预定时间段内多个预定时间点的桑叶出料速度值和所述预定时间段的被监控蚕群体的进食监控视频；

47、多尺度编码模块，用于将所述多个预定时间点的桑叶出料速度值按照时间维度排列为输入向量后通过多尺度邻域特征提取模块以得到桑叶出料特征向量；

48、进食状态特征提取模块，用于将所述被监控蚕群体的进食监控视频通过基于三维卷积神经网络模型的进食状态特征提取器以得到进食状态特征图；

49、软池化模块，用于对所述进食状态特征图沿通道维度的各个特征矩阵进行软池化操作以得到进食状态特征向量；

50、转移矩阵计算模块，用于计算所述桑叶出料特征向量相对于所述进食状态特征向量的转移矩阵；

51、双向注意力编码模块，用于将所述转移矩阵通过双向注意力机制模块以得到分类特征矩阵；以及

52、分类模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否停止喂料。

53、与现有技术相比，本技术提供的自动养蚕机智能喂叶方法及其系统，其首先将多个预定时间点的桑叶出料速度值按照时间维度排列为输入向量后通过多尺度邻域特征提取模块以得到桑叶出料特征向量，接着，将被监控蚕群体的进食监控视频通过进食状态特征提取器以得到进食状态特征图，然后，对所述进食状态特征图沿通道维度的各个特征矩阵进行软池化操作以得到进食状态特征向量；接着，计算所述桑叶出料特征向量相对于所述进食状态特征向量的转移矩阵，然后，将所述转移矩阵通过双向注意力机制模块以得到分类特征矩阵，最后，将所述分类特征矩阵通过分类器以得到用于表示是否停止喂料的分类结果。这样，可以实现智能化喂食。