果树花量智能视觉识别方法、装置、系统及存储介质

1.本发明涉及一种果树花量智能视觉识别方法、装置、系统及存储介质，属于农业设备技术领域。


背景技术：

2.随着人工智能的发展，机器视觉技术在农业上的应用越来越重要，为智能作业提供视觉支持。果树果实的产量和质量受其花期开花量影响，果农需要在花期期间观察花量，根据观察结果进行疏花。对于规模化的果园，人工观察和疏花效率低、人工成本大。而目前机器人视觉系统多应用于果实检测和采摘(中国专利申请号为201711015161.8，名称为草莓采摘机器人的视觉系统的发明专利申请)，缺少用于果树花期管理的视觉系统。


技术实现要素：

3.有鉴于此，本发明提供了一种果树花量智能视觉识别方法、装置、系统及存储介质，其可以为疏花设备提供视觉支持，辅助果农花期管理。
4.本发明的第一个目的在于提供一种果树花量智能视觉识别方法。
5.本发明的第二个目的在于提供一种果树花量智能视觉识别装置。
6.本发明的第三个目的在于提供一种果树花量智能视觉识别系统。
7.本发明的第四个目的在于提供一种计算机可读存储介质。
8.本发明的第一个目的可以通过采取如下技术方案达到：
9.一种果树花量智能视觉识别方法，所述方法包括：
10.获取多张果树花图像；
11.对每张果树花图像进行去噪和标准化处理；
12.利用训练好的深度卷积神经网络提取处理后的果树花图像中的果树花叶特征图；
13.根据果树花叶特征图，生成果树花叶预测图，从而获得果树花叶分割图；
14.根据果树花叶分割图，统计属于花的像素数以及属于叶子的像素数；
15.根据花的像素数以及叶子的像素数，计算花的密度；
16.将每张果树花图像中花的密度转换为模拟量。
17.进一步的，所述深度卷积神经网络包括主干网络和金字塔结构，所述主干网络包括过渡特征提取部分和主干特征提取部分，所述过渡特征提取部分、主干特征提取部分和金字塔结构依次相连；
18.所述过渡特征提取部分包括依次相连的第一个卷积层、第二个卷积层和第三个卷积层，所述第一卷积层、第二卷积层和第三卷积层均为3
×
3卷积核的卷积层；
19.所述主干特征提取部分包括四个依次相连的阶段，四个阶段分别为第1阶段、第2阶段、第3阶段和第4阶段，第1阶段到第4阶段分别有6、8、12和6个卷积块，每两个连续的卷积块组成残差模块，每个残差模块线性融合两个卷积块的输出特征和输入特征的恒等映射后作为后续卷积块的输入；相同阶段中卷积块的输出特征数量与阶段最初输入的相同，跨
阶段的特征数量不同，使用1
×
1卷积核的卷积层调整特征数量，每次卷积完成经过激活函数和归一化层处理；每个卷积块中，使用3
×
3卷积核处理特征，每次卷积完成经过激活函数和归一化层处理。
20.进一步的，所述第3阶段和第4阶段的卷积块中加入空洞卷积结构，每两个相邻的阶段之间加入注意力模块。
21.进一步的，所述对果树花图像进行去噪和标准化处理，具体包括：
22.使用中值滤波对果树花图像进行去噪；
23.计算去噪后果树花图像的rgb三个通道分量的均值和标准差；
24.根据均值和标准差，对去噪后果树花图像进行标准化计算。
25.进一步的，所述根据果树花叶特征图，生成果树花叶预测图，从而获得果树花叶分割图，具体包括：
26.通过第一个卷积块融合果树花叶特征图，得到第一特征图；其中，所述第一个卷积块的核大小为3
×
3；
27.将第一特征图输入第二个卷积块，得到第二特征图；其中，所述第二个卷积块的核大小为1
×
1；
28.通过全卷积层将第二特征图映射为三个概率预测图，分别代表果树花、叶子和背景；
29.对三个概率预测图在特征维度上求最大值，得到果树花叶预测图；
30.将果树花叶预测图与果树花叶特征图按预设权重叠加，得到果树花叶分割图。
31.进一步的，所述根据花的像素数以及叶子的像素数，计算花的密度，具体包括：
32.对花的像素数和叶子的像素数进行求和，得到总像素数；
33.将花的像素数除以总像素数，得到花的密度。
34.进一步的，所述将每张果树花图像中花的密度转换为模拟量，具体包括：
35.根据所有果树花图像中花的密度，求出最大值和最小值，作为花的密度与模拟量转换的上限和下限；
36.根据花的密度与模拟量转换的上限和下限，使用最大最小归一法将花的密度范围放缩到0到1之间，并使模拟量范围为4到20毫安；
37.使用线性放缩构建花的密度范围与模拟量范围的映射关系；
38.根据花的密度范围与模拟量范围的映射关系，将每张果树花图像中花的密度转换为模拟量。
39.本发明的第二个目的可以通过采取如下技术方案达到：
40.一种果树花量智能视觉识别装置，所述装置包括：
41.获取单元，用于获取多张果树花图像；
42.处理单元，用于对每张果树花图像进行去噪和标准化处理；
43.提取单元，用于利用训练好的深度卷积神经网络提取处理后的果树花图像中的果树花叶特征图；
44.生成单元，用于根据果树花叶特征图，生成果树花叶预测图，从而获得果树花叶分割图；
45.统计单元，用于根据果树花叶分割图，统计属于花的像素数以及属于叶子的像素
数；
46.计算单元，用于根据花的像素数以及叶子的像素数，计算花的密度；
47.转换单元，用于将每张果树花图像中花的密度转换为模拟量。
48.本发明的第三个目的可以通过采取如下技术方案达到：
49.一种果树花量智能视觉识别系统，所述系统包括摄像头和处理器，所述摄像头与处理器相连，摄像头为水平视角，摄像头的视野包括整个疏花工作范围；
50.所述摄像头，用于拍摄果树花图像；
51.所述处理器，用于执行上述的果树花量智能视觉识别方法。
52.本发明的第四个目的可以通过采取如下技术方案达到：
53.一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的果树花量智能视觉识别方法。
54.本发明相对于现有技术具有如下的有益效果：
55.本发明根据实际疏花装备和野外疏花场景，采用摄像头和处理器组成果树花量智能视觉识别系统，该系统可以搭载在疏花设备上，通过训练好的深度卷积神经网络提取出果树花叶特征图，能够精确实时分割出果树花区域，计算花的密度，并将花的密度转换为模拟量，将模拟量信号传送到疏花设备，为自动疏花提供视觉支持；还可以设置多个维稳部件，使得整个系统的工作更稳定。
附图说明
56.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
57.图1为本发明实施例1的果树花量智能视觉识别系统的结构图。
58.图2为本发明实施例1的果树花量智能视觉识别方法的简易流程图。
59.图3为本发明实施例1的果树花量智能视觉识别方法的详细流程图。
60.图4为本发明实施例1的特征提取流程图。
61.图5为本发明实施例1的花的密度计算和模拟量转换过程。
62.图6为本发明实施例2的果树花量智能视觉识别装置的结构框图。
具体实施方式
63.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
64.实施例1：
65.如图1所示，本实施例提供了一种果树花量智能视觉识别系统，该系统搭载在疏花设备101上，其包括摄像头102和处理器103，摄像头102与处理器103相连，摄像头102的高度与疏花设备101的高度相同，疏花设备101不属于本申请的保护范围，此处使用省略细节，以
表示本实施例的系统具有可搭载性。
66.摄像头102是彩色摄像头，垂直于地面，为水平视角，其视野包括整个疏花工作范围，能够采集完整图像信息，主要用于拍摄果树花图像。
67.进一步地，为了使摄像头102的高度与疏花设备101的高度相同，本实施例的果树花量智能视觉识别系统还包括可调支撑杆104，通过可调支撑杆104能够调整摄像头102的高度，保证拍摄视野。
68.进一步地，为了保持摄像头102的稳定性，本实施例的果树花量智能视觉识别系统还包括稳定器105，稳定器105的上部固定摄像头102，稳定器105的下部与可调支撑杆104相连，即可调支撑杆104是通过调整稳定器105的高度，进而调整摄像头102的高度，稳定器105能够减缓疏花装备101运动的晃动和震动影响。
69.进一步地，为了减轻疏花装备101对处理器103的震动、噪声影响，本实施例的果树花量智能视觉识别系统还包括缓震平台106，缓震平台106安装在疏花设备101上，可调支撑杆104安装在缓震平台106上，处理器103设置在缓震平台106内，缓震平台106能够保证处理器103正常工作。
70.处理器103采用英伟达xavier处理器，具体通过usb数据线与摄像头102相连，主要获取摄像头102拍摄的图像信息，处理摄像头拍摄的图像信息，得到分割图、花的密度和模拟量计算，并传送到疏花装备101作业。
71.如图1～图3所示，本实施例提供了一种果树花量智能视觉识别方法，该方法主要通过处理器103实现，具体包括以下步骤：
72.s201、获取多张果树花图像。
73.本实施例的果树花为荔枝花，在固定摄像头101的视角后，使视野范围能够包含整个疏花工作范围，摄像头101拍摄疏花范围内的rgb彩色荔枝花图像，由于疏花装备101处于运动状态，需要设定固定时间间隔内的自动拍摄，根据疏花装备101的运动速度和疏花速度确定拍摄的间隔时间，然后通过usb数据线传输到处理器103中，使处理器103能够获取到荔枝花图像。
74.s202、对每张果树花图像进行去噪和标准化处理。
75.进一步地，该步骤s202具体包括：
76.s2021、使用中值滤波对果树花图像进行去噪。
77.s2022、计算去噪后果树花图像的rgb三个通道分量的均值和标准差。
78.s2023、根据均值和标准差，对去噪后果树花图像进行标准化计算，计算后图像取值范围为0到1，可有效减少特征提取过程中变换带来的影响。
79.s203、利用训练好的深度卷积神经网络提取处理后的果树花图像中的果树花叶特征图。
80.与本实施例的果树花为荔枝花相对应，本实施例的果树花叶特征图为荔枝花叶特征图；如图4所示，本实施例的深度卷积神经网络包括主干网络和金字塔结构，主干网络包括两个部分，分别为过渡特征提取部分(图中第1部分)和主干特征提取部分(图中第2部分)，过渡特征提取部分、主干特征提取部分和金字塔结构依次相连。
81.过渡特征提取部分为浅层网络，其包括依次相连的第一个卷积层、第二个卷积层和第三个卷积层，主要学习纹理、角点等通用特征，本实施例中第一卷积层、第二卷积层和
第三卷积层均为3
×
3卷积核的卷积层。
82.主干特征提取部分为深层网络，其以32层深度连续堆叠的“卷积
‑
激活
‑
归一”卷积块为主干，分为四个依次相连的阶段，四个阶段分别为第1阶段、第2阶段、第3阶段和第4阶段，第1阶段到第4阶段分别有6、8、12和6个卷积块，每两个连续的卷积块组成残差模块，主要学习任务相关的特定特征，每个残差模块线性融合两个卷积块的输出特征和输入特征的恒等映射后作为后续卷积块的输入。相同阶段中卷积块的输出特征数量与阶段最初输入的相同，跨阶段的特征数量不同，使用1
×
1卷积核的卷积层调整特征数量，每次卷积完成都需要经过激活函数和归一化层处理。每个卷积块中，卷积为使用3
×
3卷积核处理特征，然后输入到激活函数，最后经过归一化层处理。
83.进一步地，第3阶段和第4阶段的卷积块中加入空洞卷积结构，空洞卷积是指在卷积核中插入间隔规律的0值扩大卷积核尺寸，从而扩充深层特征的感受野，但不增加运算量，同时通过调整滤波运算滑动步幅替代最大池化，减少特征信息丢失；经典的空洞卷积使用较大的空洞卷积率实现大物体特征提取，在本实施例中，为了更好地提取荔枝花特征，使用小空洞率卷积结构更为合适。
84.进一步地，每两个相邻的阶段之间加入注意力模块，注意力模块是将尺寸为w
×
h的特征压缩成1
×
1，然后输入可学习的线性连接层，得到不同通道特征的权重向量，每个权重衡量输入特征的重要程度，将权重广播成输入特征尺寸大小后与原输入特征相乘，起到筛选特征的作用。
85.为了增加卷积层学习特征的丰富度，根据深浅卷积层的作用选择性实现稠密特征连接，具体在深层特征实现稠密特征连接，连接方式如图4所示，稠密特征连接是指下一层的输入特征是之前所有层的输出特征，如上所述，浅层网络学习纹理、角点等通用特征，深层网络学习任务相关的特定特征，过浅层与过深层的特征之间差异较大，所以调整稠密连接范围保证特征提取的丰富度和一致性。
86.在提取主干特征后，使用金字塔结构处理主干特征，增强网络多尺度特征的学习能力；在金字塔结构中，使用四个不同空洞率和滤波步幅的卷积层并行处理输入的中间特征，而后在特征维度拼接输入特征和并行处理的特征，最后经过3
×
3卷积层融合和修正，得到多尺度的荔枝花叶特征图，共有1280个荔枝花叶特征图，荔枝花叶特征图尺寸为输入图像的1/16。
87.s204、根据果树花叶特征图，生成果树花叶预测图，从而获得果树花叶分割图。
88.与本实施例的果树花叶特征图荔枝花叶特征图相对应，本实施例的果树花叶预测图为荔枝花叶预测图，果树花叶分割图为荔枝花叶分割图；如图5所示，该步骤s204通过构建一个预测层实现，预测层包括两个卷积块，其中第一个卷积块的核大小为3
×
3，第二个卷积块的核大小为1
×
1；该步骤s204具体包括：
89.s2041、通过第一个卷积块融合果树花叶特征图，得到第一特征图。
90.s2042、将第一特征图输入第二个卷积块，得到第二特征图。
91.在步骤s2041和s2042中，使用一个3
×
3的卷积块融合1280个荔枝花叶特征图，得到第一特征图，然后输入到第二个卷积块得到256个特征图，即第二特征图，第二特征图的特征尺寸不变。
92.s2043、通过全卷积层将第二特征图映射为三个概率预测图，分别代表荔枝花、叶
子和背景。
93.s2044、对三个概率预测图在特征维度上求最大值，得到果树花叶预测图，该果树花叶预测图带有花的标签和叶子标签。
94.s2045、将果树花叶预测图与果树花叶特征图按预设权重叠加，得到果树花叶分割图。
95.s205、根据果树花叶分割图，统计属于花的像素数以及属于叶子的像素数。
96.s206、根据花的像素数以及叶子的像素数，计算花的密度。
97.进一步地，该步骤s206具体包括：
98.s2061、对花的像素数和叶子的像素数进行求和，得到总像素数。
99.s2062、将花的像素数除以总像素数，得到花的密度。
100.s207、将每张果树花图像中花的密度转换为模拟量。
101.进一步地，该步骤s207具体包括：
102.s2071、根据所有果树花图像中花的密度，求出最大值和最小值，作为花的密度与模拟量转换的上限和下限。
103.本实施例可以直接将最大值和最小值分别设定为上限和下限，但为了保证可靠性，也可以将上限设定为最大值的1.1倍，下限设定为0。
104.s2072、根据花的密度与模拟量转换的上限和下限，使用最大最小归一法将花的密度范围放缩到0到1之间，并使模拟量范围为4到20毫安。
105.s2073、使用线性放缩构建花的密度范围与模拟量范围的映射关系。
106.s2074、根据花的密度范围与模拟量范围的映射关系，将每张果树花图像中花的密度转换为模拟量。
107.本实施例的处理器103将转换得到的模拟量信号传送到疏花设备101，以实现自动控制疏花。
108.应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
109.实施例2：
110.如图6所示，本实施例提供了一种果树花量智能视觉识别装置，该装置能够应用于实施例1的处理器中，其包括获取单元601、处理单元602、提取单元603、生成单元604、统计单元605、计算单元606和转换单元607，各个单元的具体功能如下：
111.获取单元601，用于获取多张果树花图像。
112.处理单元602，用于对每张果树花图像进行去噪和标准化处理。
113.提取单元603，用于利用训练好的深度卷积神经网络提取处理后的果树花图像中的果树花叶特征图。
114.生成单元604，用于根据果树花叶特征图，生成果树花叶预测图，从而获得果树花叶分割图。
115.统计单元605，用于根据果树花叶分割图，统计属于花的像素数以及属于叶子的像素数。
116.计算单元606，用于根据花的像素数以及叶子的像素数，计算花的密度。
117.转换单元607，用于将每张果树花图像中花的密度转换为模拟量。
118.本实施例中各个单元的具体实现可以参见上述实施例1的果树花量智能视觉识别方法，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各个功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配给不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
119.实施例3：
120.本实施例提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的果树花量智能视觉识别方法，如下：
121.获取多张果树花图像；
122.对每张果树花图像进行去噪和标准化处理；
123.利用训练好的深度卷积神经网络提取处理后的果树花图像中的果树花叶特征图；
124.根据果树花叶特征图，生成果树花叶预测图，从而获得果树花叶分割图；
125.根据果树花叶分割图，统计属于花的像素数以及属于叶子的像素数；
126.根据花的像素数以及叶子的像素数，计算花的密度；
127.将每张果树花图像中花的密度转换为模拟量。
128.需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
129.综上所述，本发明根据实际疏花装备和野外疏花场景，采用摄像头和处理器组成果树花量智能视觉识别系统，该系统可以搭载在疏花设备上，通过训练好的深度卷积神经网络提取出果树花叶特征图，能够精确实时分割出果树花区域，计算花的密度，并将花的密度转换为模拟量，将模拟量信号传送到疏花设备，为自动疏花提供视觉支持；还可以设置多个维稳部件，使得整个系统的工作更稳定。
130.以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。