基于点云深度学习的平菇生长监测方法
一、技术领域
1.本发明涉及的是一种在食用菌生长中，采集食用菌生长形态变化信息，找出调节最佳生长环境的监测方法；尤其是一种基于点云深度学习的平菇生长监测方法。
二、
背景技术：
2.在食用菌生产中，食用菌生长分析是非常重要的课题，采集食用菌生长形态变化信息，建立食用菌生长数据库，通过数据拟合建立食用菌生长模型，求出食用菌最佳生长环境。在养殖时根据食用菌的形态变化，调节生长环境，使食用菌处在最优生长状态。每种食用菌生长环境各不相同，通过生长分析研究可以更好地驯化和养殖食用菌。
3.近几年，机器视觉技术蓬勃发展，解决了很多生产生活中的问题，机器视觉以分析目标不同分为二维视觉和三维视觉，二维视觉分析物体平面上特征，测量精度受光照和颜色的影响，无法直接获取空间坐标信息。三维视觉分析物体的三维模型，常用的传感器有雷达、结构光相机和声呐等，采集的数据通常使用点云来表示。但三维相机实时性差和造价高昂，发展缓慢。硬件的发展实现了在线处理三维数据，三维视觉开始发展，点云深度学习的出现，增强了复杂场景处理能力。
4.平菇大多生长在暗光环境，生长情况密集，二维图像对比度低，平面特征不分明，无法从背景中分割平菇菌堆区域。在空间信息方面，二维视觉只能通过标定计算三维坐标，精度低。三维视觉中采用主动结构光获取三维模型，测量精度高，能分割平菇菌堆区域并计算每株平菇特征，比如空间坐标变化、空间面积变化和空间体积变化等。
5.现有生长分析多依赖人工或二维视觉，人工测量费时费力，无法对食用菌进行细致分析，二维视觉识别鲁棒性和精度低，在实际工程中难以应用。
三、
技术实现要素：
6.本发明目的在于提供一种基于点云深度学习的平菇生长监测方法，该方法是实现科学种植的基础，建立生长数据库和生长模型，分析计算提供平菇最佳生长环境，提高产量，减少损耗比。
7.为了实现本发明的目的，采用的技术方案是：
8.一种基于点云深度学习的平菇生长监测方法，包括以下步骤：
9.步骤1、利用面结构光相机采集平菇出菇期的点云数据集以及使用环境传感器监测生长环境的变化；
10.步骤2、使用直通滤波和统计滤波对点云预处理；
11.步骤3、使用点云语义分割网络对预处理过后的数据集进行学习训练，获取点云语义分割模型；
12.步骤4、对预处理过后的新点云进行语义分割，提取平菇菌堆的点云；
13.步骤5、使用区域生长算法分割平菇菌堆，得到平菇个体，形成生长轨迹和生长特征；
14.步骤6、建立生长数据库和生长模型，用以监测当前平菇的生长；
15.进一步地，步骤3具体如下：
16.步骤3.1、使用最远点采样法对目标邻域点采样；
17.设输入点云有n个点，目标点为p0，期望采样点数m，采样点集合s＝{p0}，计算所有点到p0的距离d
0j
，从中选择最大值对应的点作为p1，更新采样点集合s＝{p0，p1}，如下所示：
[0018][0019]
式中，d
ij
是第i次采样所有点与p
i-1
的距离，保持d
0j
是每一个点到采样点集合s的最近距离，选取d
0j
中最大值对应的点作为pi，更新采样点集合至s＝{p0，p1，p2，
…
，pm}
[0020]
步骤3.2、将邻域点的坐标值转化为相对坐标值，利用全连接层提取相对坐标的特征值；
[0021]
遍历步骤3.1中获得的新点云数据集s，设s中的点为pi＝[p
ix
， p
iy
，p
iz
]，如下所示：
[0022][0023]
式中是相对坐标值，采用全连接层对相对坐标值进行特征提取，以第k个单元为例，如下所示：
[0024]z(k)
＝f(w
t
x
(k)
+b)
[0025]
式中f为elu激活函数，w为权值，b为偏置项，x为单元的状态；
[0026]
步骤3.3、使用卷积层提取用于特征重新排列的x矩阵，并与步骤3.2中提取的相对位置特征相乘；
[0027]
对步骤3.2中的相对位置特征进行三次卷积，计算出针对相对位置特征输入顺序对应的x矩阵，与相对位置相乘使其规则化，可用如下公式表示：
[0028][0029]
式中，f
x
代表经x矩阵重新排序的特征，f
δ
是相对位置的特征信息，mlp代表多层卷积函数，是点云相对位置值。
[0030]
步骤3.4、对排序后的特征进行卷积，使用sigmoid函数进行分类，完成模型搭建；
[0031]
对步骤3.3中排序后的特征再进行一次可分离卷积，使用两个全连接层对特征进行再次提取，loss函数采用sigmoid函数，如下所示：
[0032][0033]
式中y为样本真实值，为样本预测值，至此完成模型搭建。
[0034]
其更进一步的技术方案为，所述步骤5包括如下内容：
[0035]
步骤5.1、设种子点集合为q，聚类集合为c，设置法线夹角阈值和曲率阈值，计算菌堆点云中所有点的曲率并排序，曲率最小的点为初始种子点；
[0036]
步骤5.2、使用kd-tree算法确定种子点的邻域点集合，清空q 集合和c集合，计算种子点法线与邻域点法线的夹角，小于阈值的邻域点加入到种子点的聚类集合c；
[0037]
步骤5.3、计算步骤5.2中c每个点的曲率值，小于曲率阈值的点加入种子点集合q；
[0038]
步骤5.4、完成5.3后，删除原始点云与种子点集合q的交集，计算剩余点中曲率最小点，以此为种子点，重复5.2-5.4，直至种子点集合q为空。
[0039]
步骤5.5、在分割完成后，得到每株平菇的点云模型，形成每株平菇的生长轨迹，使用delaunay三角剖分对平菇点云模型三维重建，计算表面积。
[0040]
本发明的有益效果是：本发明采用点云卷积神经网络对面结构光相机获取的数据进行分割，在环境复杂的情况下，仍能准确分割菌堆点云模型，分析计算提供平菇生长最优环境，鲁棒性更好，克服了二维视觉在对比度低时，识别准确度低的问题，有助于提高平菇的产量，减少损耗比。本发明采用三维主动视觉，准确度高，实现了平菇生长的智能监测功能
四、附图说明
[0041]
图1为本发明基于点云深度学习的平菇生长监测方法的具体方法步骤流程示意图。
五、具体实施方式
[0042]
一种基于点云深度学习的平菇生长监测方法，其方法步骤如下：
[0043]
步骤1、在出菇期时，将环境传感器和点云相机放置在恰当的位置，每两分钟采集一次平菇的点云模型。
[0044]
随机采样一致性
[0045]
步骤2、使用直通滤波和统计滤波对点云预处理，滤除背景点和离群点；
[0046]
步骤2.1、滤除背景点。统计点云在z轴的密集程度，确定离群点范围，去除背景点。
[0047]
步骤2.2、滤除离群点。计算输入数据中的点与邻域距离，将距离大于预设值的点视为离群点，从点云模型中移除。
[0048]
步骤3、使用点云语义分割网络对预处理过后的数据集进行学习训练，获取点云语义分割模型；
[0049]
训练采用改进pointcnn模型，使用二分类交叉熵作为损失函数，利用反向传播法则求取模型权值，具体为：
[0050]
步骤3.1、使用最远点采样法对目标邻域点采样；
[0051]
设输入点云有n个点，目标点为p0，期望采样点数m，采样点集合s＝{p0}，计算所有点到p0的距离d
0j
，从中选择最大值对应的点作为p1，更新采样点集合s＝{p0，p1}，如下所示：
[0052][0053]
式中，d
ij
是第i次采样所有点与p
i-1
的距离，保持d
0j
是每一个点到采样点集合s的最近距离，选取d
0j
中最大值对应的点作为pi，更新采样点集合至s＝{p0，p1，p2，
…
，pm}
[0054]
步骤3.2、将邻域点的坐标值转化为相对坐标值，利用全连接层提取相对坐标的特征值；
[0055]
遍历步骤3.1中获得的新点云数据集s，设s中的点为pi＝[p
ix
， p
iy
，p
iz
]，如下所示：
[0056][0057]
式中是相对坐标值，采用全连接层对相对坐标值进行特征提取，以第k个单元为例，如下所示：
[0058]z(k)
＝f(w
t
x(k)+b)
[0059]
式中f为elu激活函数，w为权值，b为偏置项，x为单元的状态；
[0060]
步骤3.3、使用卷积层提取用于特征重新排列的x矩阵，并与步骤3.2中提取的相对位置特征相乘；
[0061]
对步骤3.2中的相对位置特征进行三次卷积，其中第一次为正常卷积，第二次、第三次为深度可分离卷积，计算出针对相对位置特征输入顺序对应的x矩阵，与相对位置相乘使其规则化，便于识别分类，可用如下公式表示：
[0062][0063]
式中，fx代表经x矩阵重新排序的特征，f
δ
是相对位置的特征信息，mlp代表多层卷积函数，是点云相对位置值。
[0064]
步骤3.4、对排序后的特征进行卷积，使用二分类交叉熵函数进行分类，完成模型搭建；
[0065]
对步骤3.3中排序后的特征再进行一次可分离卷积，使用两个全连接层对特征进行再次提取，loss函数采用二分类交叉熵函数，如下所示：
[0066][0067]
式中y为样本真实值，为样本预测值，至此完成模型搭建。
[0068]
步骤3.5、利用反向传播法则求取模型的权值，完成模型的训练。
[0069]
步骤4、使用步骤3所得模型对经过步骤1、2预处理过后的新点云进行语义分割，提取平菇菌堆的点云；
[0070]
步骤5、使用区域生长算法分割平菇菌堆，得到平菇个体，追踪平菇在上一帧的位置，形成生长轨迹和生长特征；
[0071]
步骤5.1、设种子点集合为q，聚类集合为c，设置法线夹角阈值和曲率阈值，计算菌堆点云中所有点的曲率并排序，曲率最小的点为初始种子点；
[0072]
步骤5.2、使用kd-tree算法确定种子点的邻域点集合，清空q 集合和c集合，计算种子点法线与邻域点法线的夹角，小于阈值的邻域点加入到种子点的聚类集合c；
[0073]
步骤5.3、计算步骤5.2中c每个点的曲率值，小于曲率阈值的点加入种子点集合q；
[0074]
步骤5.4、完成5.3后，删除原始点云和种子点集合q的交集，计算剩余点中曲率最小点，以此为种子点，重复5.2-5.4，直至种子点集合q为空。
[0075]
步骤5.5、在分割完成后，得到每株平菇的点云模型，计算每株平菇的中心，以中心作为目标追踪的依据，形成每株平菇的生长轨迹，使用delaunay三角剖分对平菇点云模型三维重建，计算表面积。
[0076]
步骤6、建立生长数据库和生长模型，求取最佳生长指标，用以监测平菇生长；
[0077]
重复步骤1到步骤5，直到搜集足够多的数据集，以环境指标为输入，平菇的生长轨迹和表面积为输出，建立bp神经网络，并利用归一化数据集对该网络进行训练，使网络最终能拟合出平菇生长模型，求出最佳生长环境指标，并以此指标监测平菇的生长。
[0078]
综上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权力要求的保护范围
为准。