一种基于点对点网络和贝叶斯损失的荔枝雌雄花计数方法

本发明涉及深度学习，更具体的说是涉及一种基于点对点网络和贝叶斯损失的荔枝雌雄花计数方法。

背景技术：

1、花期是荔枝生长发育的重要阶段，雄花产生花粉，雌花产生蜜汁，子房经受精之后发育成果实。荔枝开花一般先后经历第一批雄花开放期、雌花开放期、第二批雄花开放期，一些情况可能雌花会先开放，开放次序可能和花的分化次序有关。第一批雄花过多会消耗大量养分，进而导致雌花比例低、花期短，最终造成坐果量少。第二批雄花大量开放会消耗结果母枝的养分，使受精子房在竞争养分中处于劣势，导致花期落果。因此，对两次雄花疏花，可以削弱雄花对营养的竞争，减少花期落果，从而提高荔枝产量。开花强度信息对指导疏花具有重要意义，高效准确的花量计数技术可以有效地帮助果园所有者做出疏花决策，有助于加强花期调控研究，预估产量，实现丰产和稳产。

2、深度学习为花的智能化检测和计数提供了非常有效的技术方法。自然场景中的花一般比较密集，目前主流的计数方法有基于预测框检测的方法和基于密度图估计的方法。基于预测框检测的方法中，针对荔枝花的精准计数问题，ye等设计了基于polyphyletic损失函数的雄花计数方法，该损失函数让预测的框和标注框的位置更接近，目标检测更准确。但是，由于密集、小目标标注时难以准确地标出目标框，造成密集的花在特征提取时相互影响，导致模型优化和预测后处理(非极大值抑制)效果不佳。针对密集目标的检测和计数问题，基于密度图估计的方法不断被提出。lin等在多列卷积神经网络(mcnn)基础上增加了3*3和11*11两个卷积核尺寸的分支，对荔枝雄花进行密度估计，相比原始的网络更加适应了尺度变化。然而，基于密度图估计的方法不仅计算量大、实时计数困难，而且生成的密度图清晰度低，无法对每一个目标进行定位。并且，国内外仅对荔枝雄花计数进行了有益的探索，对体积较小的雌花的计数则几乎没有研究。

3、因此，如何提供一种基于点对点网络和贝叶斯损失的荔枝雌雄花计数方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于点对点网络和贝叶斯损失的荔枝雌雄花计数方法，可以准确的获得图像中雌雄花的数量，本发明是第一个对自然场景下荔枝雌花这一小目标进行检测计数。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于点对点网络和贝叶斯损失的荔枝雌雄花计数方法，包括：

4、s1：获取荔枝花期图像，并进行预处理；

5、s2：对预处理后的荔枝花期图像进行随机裁剪，直至使得裁剪后的区域存在目标；

6、s3：将带有目标的图像输入至荔枝雌雄花计数模型中，通过多尺度注意力主干网络中进行特征提取，并通过特征金字塔网络和轻量级注意力模块进行特征增强和融合后输出特征图；

7、s4：计算特征图初始预测点的置信度以及欧氏距离，并通过初始预测点的置信度以及欧氏距离计算代价矩阵；

8、s5：根据代价矩阵对初始预测点进行匈牙利匹配得到最终预测点和背景，计算交叉熵损失、欧式损失和贝叶斯损失，从而得到总损失；

9、s6：通过总损失对模型参数监督优化，得到训练好的荔枝雌雄花计数模型；

10、s7：将荔枝时间序列数据输入至训练好的荔枝雌雄花计数模型，得到花量统计结果。

11、优选地，s3具体步骤包括：

12、s301：带有目标的图像通过vgg16网络的第4层、第7层、第10层和第13层对应输出第一vgg特征图、第二vgg特征图、第三vgg特征图和第四vgg特征图；

13、s302：第四vgg特征图分别经过轻量级注意力模块、卷积、上采样、轻量级注意力模块、卷积后，得到第三fpn特征图；

14、s303：第三vgg特征图经过轻量级注意力模块、卷积后，和第四vgg特征图上采样后的特征图进行连接，再进行上采样、轻量级注意力模块、卷积后，得到第二fpn特征图；

15、s304：第二vgg特征图经过轻量级注意力模块、卷积后，和第三vgg特征图上采样后的特征图进行连接，再进行上采样、轻量级注意力模块、卷积后，得到第一fpn特征图；

16、s305：选择第一fpn特征图、第二fpn特征图或第三fpn特征图作为输出特征图。

17、优选地，轻量级注意力模块包括通道注意力模块和空间注意力模块；

18、通道注意力模块具体处理过程包括：

19、对输入的特征图分别进行平均池化和最大池化得到平均池化特征图和最大池化特征图；

20、将平均池化特征图和最大池化特征图送入到一个共享的多层感知机网络中产生最终的通道注意力特征图；

21、空间注意力模块具体处理过程包括：

22、对通道注意力特征图分别进行平均池化和最大池化；

23、将平均池化和最大池化产生的两个特征图进行拼接；

24、在拼接后的特征图上，通过卷积操作生成最终的空间注意力特征图。

25、优选地，s1预处理具体包括：

26、s101：将获取的荔枝花期图像进行裁剪，并剔除没有荔枝花的图像；

27、s102：对裁剪后的图像进行数据点标注，保留每个目标的中心点坐标到标注文件中。

28、优选地，代价矩阵c计算公式为：

29、

30、其中，||·||2表示欧式距离，p和为一对匹配点，pi为真值的坐标，为参考点的置信度得分，τ是平衡因子，m表示初始预测点个数，n表示图像中的真值，与最终预测点个数一致。

31、优选地，交叉熵损失计算公式为：

32、

33、其中，lcls为交叉熵损失，m表示初始预测点个数，n表示最终预测点个数，为初始预测点的置信度，β表示平衡消极建议的权重；

34、欧式损失计算公式为：

35、

36、其中，lloc表示欧式损失，pi为真值的坐标，为匹配上pi的最终预测点；

37、贝叶斯损失计算公式为：

38、

39、

40、

41、其中，lbayes表示贝叶斯损失，f表示绝对误差，xm表示图像上的某个像素，yn表示第n个花，zn表示花yn真实所在的坐标，n表示花的总数，与最终预测点个数一致，p(xm)表示xm处出现花的概率，p(yn|xm)表示在xm处存在花yn的概率，dpred表示预测图，σ表示高斯半径；

42、总损失计算公式为：

43、l＝λ1lcls+λ2lloc+λ3lbayes

44、其中，l表示总损失，λ1、λ2和λ3为损失函数系数。

45、优选地，还包括：

46、s8：根据花量统计结果进行相关性分析。

47、一种计算机设备，包括：

48、存储器，用于存储计算机程序；

49、处理器，用于执行所述计算机程序时实现所述一种基于点对点网络和贝叶斯损失的荔枝雌雄花计数方法的步骤。

50、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种基于点对点网络和贝叶斯损失的荔枝雌雄花计数方法的步骤。

51、本发明具有以下效果：

52、1)本发明可以准确的获得图像中雌雄花的数量，而且直接给出每个目标的具体坐标位置，对目标的坐标信息加以利用，可以进行后续更高阶的花期分析任务(例如开花疏密分析、某朵花开花时长分析等)。

53、2)将预测图中某个点是否存在荔枝花的问题转化为贝叶斯估计问题。通过贝叶斯损失对某朵花在每个像素点的计数期望进行监督，让每一朵花的预测位置尽可能的和真实坐标相接近。

54、3)在主干网络引入特征金字塔网络(fpn)和轻量级注意力模块(cbam)，fpn进行多尺度的特征复用，cbam增强网络对于密集区域的关注和相应，这两种改进策略能够有效克服线性透视对自然场景计数精度的影响。