一种果树三维点云采集方法及装置

1.本发明涉及农业机械设备智能化和图像处理技术领域，尤其涉及一种果树三维点云采集方法及装置。


背景技术：

2.近年来，对果树的精确三维彩色点云获取在智慧农业的发展下应用越来越多，其中主要是为果园生产管理者提供果树的三维可视化基础数据。以搭载点云采集的设备进行划分，果树三维点云采集方法可以分为地面采集和空中采集两种。其中地面采集方法主要依靠地面承托设备，当果树较高时，地面采集方法可以较为完好地获取果树冠层底部的三维点云，但果树冠层顶部点云往往因果树过高的问题而无法完整地获取；空中采集方法主要是依赖无人机，使用这种方式获取果树点云时，可以较为完好地获取果树冠层顶部的三维点云，但无法获取果树冠层底部的点云，当降低飞行高度时，果树容易受到无人机旋翼风场的干扰而无法获取精确的点云数据。
3.目前果树三维点云的获取方法主要有：图像处理、超声波测距和激光测距。其中图像处理和超声波测距由于原理导致精度不高，在果园中使用有一定的缺陷。激光测距现阶段主要有二维激光雷达和三维激光雷达，二维激光雷达只能采集平面点云数据，三维激光雷达测量精度很高，但所获取的点云缺少颜色信息。


技术实现要素：

4.1.要解决的技术问题
5.本发明的目的是为了解决现有技术中果树三维彩色点云难以精准获取的问题，而提出的一种果树三维点云采集方法及装置。
6.2.技术方案
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种果树三维点云采集装置，包括无人机和智能小车，所述智能小车的顶部通过交错设置的多个液压杆和连杆连接有支承平台，所述无人机水平放置于支承平台上，多个所述液压杆和连杆之间转动连接，所述无人机上的顶部固定连接有gps模块，所述无人机的底部固定安装有控制模块b、惯性测量单元imu、kinect相机和三维激光雷达，所述智能小车的顶部固定连接有控制模块a，所述gps模块、惯性测量单元imu、kinect相机和三维激光雷达的输出端与控制模块b的输入端连接，所述控制模块b的输出端与控制模块a的输入端连接。
9.优选地，所述无人机的最大承重应大于控制模块b、gps模块、惯性测量单元imu、kinect相机、三维激光雷达和连接线的质量之和。
10.优选地，所述支承平台的底部固定连接有4个步进电机，所述步进电机的输出端固定连接有多个固定钩，所述控制模块b的输出端与步进电机的输入端连接。
11.优选地，所述智能小车上设有动力系统和高精度rtk定位模块。
12.优选地，所述无人机的一侧设有带刻度弧形导槽，所述kinect相机与带刻度弧形导槽的内壁转动连接。
13.优选地，所述无人机的底部固定连接有对称设置的两个脚架。
14.本发明中，一种果树三维点云采集方法，包括以下步骤：
15.步骤1：对目标果园进行测绘，规划好智能小车的行驶路线和无人机的飞行航线，确定冠层底部点云采集和冠层顶部采集过程中kinect相机的倾斜角度和三维激光雷达的扫描角度，智能小车支承平台的高度，智能小车的规划路线应避开障碍物和坑洼，以保证小车安全平稳地行驶，无人机航线应位于目标果树的侧上方，以有效避免无人机旋翼风场对果树冠层造成扰动。
16.步骤2：智能小车停放至作业起始点，将安装有控制模块b、gps模块、惯性测量单元imu、kinect相机和三维激光雷达的无人机放置在智能小车的支承平台上，控制模块b同时发送夹紧信号给4个步进电机，4个步进电机带动4个固定钩处于紧固状态，使无人机能牢牢固定在支承平台上，启动所有设备。
17.步骤3：先进行方式一作业过程，调整好智能小车支承平台的高度，kinect相机的倾斜角度和三维激光雷达的扫描角度，无人机上的控制模块b将开始作业指令发送给智能小车上的的控制模块a，智能小车开始按照预先规划好的路线行驶，同时，无人机控制模块b开始保存gps、惯性测量单元imu、kinect相机和三维激光雷达数据，进行采集果树冠层底部的点云。
18.步骤4：果树底部点云采集完成后，智能小车回到起点并停下，控制模块a将完成方式一作业指令反馈给控制模块b，控制模块b发送指令关闭数据保存功能，方式一作业完成。
19.步骤5：重新调整kinect相机的倾斜角度和三维激光雷达的扫描角度后，控制模块b同时发送松开信号给4个步进电机，使4个固定钩打开至与支承平台平行，开始进行方式二作业，无人机在智能小车支承平台上起飞，距离平台一定距离后悬停并收起脚架，控制模块b发送指令打开数据保存功能，开始按照预先规划的航线飞行，采集果树冠层顶部的点云，这里采集到的点云与地面作业时采集到的点云存在一圈点云重合，即存在足够数量的同名点点云。
20.步骤6：果树顶部点云采集完成后，无人机悬停在空中，控制模块b发送指令关闭数据保存功能，打开脚架后，自动降落在平坦的空地上。至此，方式二作业完成。
21.步骤7：将所有设备带回室内，开始进行方式三作业，将控制模块b上保存的gps模块数据、惯性测量单元imu数据、kinect相机数据和三维激光雷达数据全部导出到计算机上进行点云拼接、去噪和融合等一系列处理，最终构建完整的果树三维彩色点云模型。
22.优选地，在方式一作业和方式二作业过程中，所记录的gps数据和imu数据均是表示无人机的轨迹数据，简化了方式三作业中的点云坐标转换处理。
23.优选地，所述kinect相机的角度和激光雷达的扫描角度都是根据无人机的运动轨迹所做出的最佳状态，可以更准确、更全面和更快速地完成点云采集工作。
24.优选地，通过对智能小车行驶路线和无人机飞行轨迹的合理安排，能获取到冠层底部和顶部的点云，对整棵果树实现360
°
全方位三维彩色点云的构建。
25.3.有益效果
26.相比于现有技术，本发明的优点在于：
27.(1)本发明中，首次采用智能小车搭载无人机进行果树冠层底部点云采集作业，避免了无人机近地飞行时旋翼风场对果树冠层的扰动。
28.(2)本发明中，首次采用地面智能小车搭载无人机和无人机空中飞行相结合的方式进行果树点云采集，解决了原有单一地面设备或单一空中设备无法获取完整果树三维彩色点云的问题。
29.(3)本发明中，智能小车支承平台的高度能够调整，满足了方式一工作时不同工作高度的需求。
30.(4)本发明中，kinect相机的倾斜角度能够在10
°‑
170
°
范围内进行调整，满足了不同方式作业的角度需求，通过4个固定钩将无人机固定在智能小车支承平台上，步进电机通过接收控制模块的指令，使固定钩处于压紧或打开状态。
31.(5)本发明中，智能小车上的控制模块能够接收来自无人机上的控制模块的开始作业指令，和将方式一作业完成信号发送给无人机上的控制模块，具备不同设备间的协同工作能力，减少使用者的工作量，提高整体作业效率，无人机和智能小车均带有高精度rtk定位模块，能按照预先规划好的轨迹进行自主作业，提高了工作的效率和稳定性。
附图说明
32.图1为本发明立体前视结构示意图；
33.图2为本发明后视结构示意图；
34.图3为本发明处于方式一作业智能小车支承平台最低位置时的状态示意图；
35.图4为本发明处于方式一作业智能小车支承平台最高位置时的状态示意图；
36.图5为本发明处于方式一作业时智能小车与无人机的相对状态示意图；
37.图6为本发明处于方式二作业时智能小车与无人机的相对状态示意图；
38.图7为本发明处于方式二作业完成后无人机降落停在地面时的相对状态示意图；
39.图8为本发明kinect相机处于弧形导槽70
°
时的部分结构放大示意图；
40.图9为本发明kinect相机处于弧形导槽140
°
时的部分结构放大示意图。
41.图中：1
‑
控制模块a，2
‑
支承平台，3
‑
带刻度弧形导槽，4
‑
kinect相机，5
‑
惯性测量单元imu，6
‑
相机和激光雷达安装架，7
‑
控制模块b，8
‑
无人机旋翼，9
‑
gps模块，10
‑
三维激光雷达，11
‑
脚架，12
‑
液压缸，13
‑
连杆，14
‑
步进电机1，15
‑
步进电机2，16
‑
步进电机3，17
‑
步进电机4，18
‑
固定钩1，19
‑
固定钩2，20
‑
固定钩3，21
‑
固定钩4。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
43.实施例1：
44.参照图1
‑
9，一种果树三维点云采集方法及装置，包括无人机和智能小车。通过1
‑
6相机和激光雷达安装架将1
‑
4kinect相机、1
‑
5惯性测量单元imu、1
‑
7控制模块b、1
‑
10三维激光雷达固定在无人机上，1
‑
6相机和激光雷达安装架上加工有1
‑
3带刻度弧形导槽。1
‑
9gps模块安装在无人机的顶部位置。
45.本发明中，智能小车上装有1
‑
1控制模块a、1
‑
2支承平台、1
‑
12液压缸，若干1
‑
13连
杆，通过1
‑
12液压缸和1
‑
13连杆调整1
‑
2支承平台的高度。通过1
‑
14步进电机1带动1
‑
18固定钩1，1
‑
15步进电机2带动1
‑
19固定钩2，1
‑
16步进电机3带动1
‑
20固定钩3，1
‑
17步进电机4带动1
‑
21固定钩4，4个固定钩用于使无人机固定在1
‑
2支承平台上。
46.本发明中，该装置作业方式分为三种，方式一作业，根据果园的测绘结果调整智能小车1
‑
2支承平台的高度、1
‑
4kinect相机的倾斜角度和1
‑
10三维激光雷达的扫描角度。
47.本发明中，调整好高度和角度后，将所有设备放置在作业起始点并启动，此时，无人机1
‑
8旋翼为静止状态，控制模块b同时发送夹紧信号给1
‑
14步进电机1，1
‑
15步进电机2，1
‑
16步进电机3，1
‑
17步进电机4，分别带动1
‑
18固定钩1，1
‑
19固定钩2，1
‑
20固定钩3，1
‑
21固定钩4，使4个固定钩压紧1
‑
11脚架的2根横杆，以固定好无人机。固定好无人机后，1
‑
7控制模块b向1
‑
1控制模块a发送开始作业指令，智能小车按照预先规划好的路线行驶，同时，1
‑
7控制模块b开始保存1
‑
9gps模块、1
‑
5惯性测量单元imu、1
‑
4kinect相机和1
‑
10三维激光雷达数据，采集果树冠层底部的点云；
48.本发明中，底部点云采集完成后，智能小车回到起点并停下，将停止作业指令反馈给1
‑
7控制模块b，1
‑
7控制模块b关闭数据保存功能，方式一作业时无人机和智能小车的状态如图5所示。方式二作业，控制模块b同时发送松开信号给1
‑
14步进电机1，1
‑
15步进电机2，1
‑
16步进电机3，1
‑
17步进电机4，分别带动1
‑
18固定钩1，1
‑
19固定钩2，1
‑
20固定钩3，1
‑
21固定钩4，使4个固定钩打开至与1
‑
2支承平台平行，避免对无人机起飞造成影响。
49.本发明中，无人机在1
‑
2支承平台上起飞，一定高度后悬停收起1
‑
11脚架，按照预先规划好的航线飞行，同时，1
‑
7控制模块b开始保存1
‑
9gps模块、1
‑
5惯性测量单元imu、1
‑
4kinect相机和1
‑
10三维激光雷达数据，采集果树冠层顶部的点云，顶部点云采集完成后悬停在空中，1
‑
7控制模块b关闭数据保存功能，无人机打开1
‑
11脚架，自动降落在平坦的空地上，方式二作业过程中无人机和智能小车的状态如图6所示，降落后无人机的状态如图7所示。
50.方式三作业，将前面作业所采集的数据导出到计算机上进行一系列处理，构建完整的果树三维彩色点云。考虑到三维激光雷达点云与kinect点云数据的各自特性,本发明以icp算法为基础,对非同步异源点云数据进行融合。首先利用手动选择控制点进行初始配准,再通过icp算法进行再次配准以提高配准精度,最后使用近邻搜索算法对点云进行颜色融合。在工作中受设备视角限制,需要对果树进行多次扫描，点云配准的任务就是将各点云转换到同一坐标系下。若要融合非同步采集的异源点云数据并求得其转换关系,需先确定果树所对应的两组坐标对应点集。本发明使用的手动选择控制点方法是利用选择控制点集来确定转换矩阵,减少参与点的数量,简化前期配准过程,使后续配准更精确。具体方法如下:
51.设有点云a、b,令点集a为来自3d激光扫描仪的点云数据集,点集b为kinect数据配准后得到的彩色点云数据集。从a与b中手动选择同一个特征点所对应的坐标值,组成一组点对集合a
i
与b
i
，他们彼此一一对应,且a
i
和b
i
均为n
×
3矩阵(i＝0,a,n)。配准的目的是使两个点集中来自果树同一位置的点对(a
i
,b
i
)满足变换(r,t)。
52.根据点对之间的关系,可表示成如下关系式:
53.a
i
＝lrb
i
+t
ꢀꢀꢀ
(1)
54.式中:r为一个3
×
3旋转正交矩阵,t为平移向量(大小为3
×
l),l为尺度因子。
55.将方程(1)写成矩阵形式为：
[0056][0057]
令转换矩阵为：
[0058]
t＝[lr|t]
ꢀꢀꢀ
(3)
[0059]
则有
[0060]
a
i
＝b
i
·
t
ꢀꢀꢀ
(4)
[0061]
式中:a
i
为n
×
3的矩阵，b
i
为n
×
4的矩阵,t为4
×
3的矩阵。
[0062]
由上式可知,矩阵t中有12个未知数,因此每选择4对控制点就可得到一个t。为保证转换矩阵的可靠性,先手动选择一组分散的且特征明显的空间点作为控制点,通过矩阵t将点云b转换到t所在坐标系下,计算点对之间的距离，逐渐增加候选控制点参与计算,得到t,更新点云b位置，完成初始配准。
[0063]
本发明中，方式一作业过程，1
‑
2支承平台的高度通过1
‑
12液压缸和1
‑
13连杆来调整，1
‑
2支承平台的最低位置和最高位置分别如图3和图4所示，方式一和方式二作业过程中，1
‑
4kinect相机的倾斜角度通过1
‑
3带刻度弧形导槽精准调节，1
‑
4kinect相机的倾斜角度为70
°
和140
°
时分别如图8和图9所示，1
‑
10三维激光雷达的扫描角度的设置范围是0
‑
360
°
。以上设置参数能调节的目的是，满足不同作业环境对设备不同高度和角度的要求。方式一作业过程中，使用了4个步进电机和4个固定钩组合的方法，将无人机固定在1
‑
2支承平台上，目的是避免出现无人机滑动或掉落的情况。
[0064]
本发明中，智能小车的行驶路线、1
‑
2支承平台的高度、1
‑
4kinect相机的倾斜角度、1
‑
10三维激光雷达的扫描角度、无人机的飞行航线和无人机的降落点都需要在正式作业前根据果园的测绘结果与kinect相机的视野开阔度和有效工作距离进行确定，1
‑
3带刻度弧形导槽可调节角度范围为10
°‑
170
°
，已经涵盖了不同作业环境的需求。方式一作业采用智能小车搭载无人机进行，主要是为了避免无人机1
‑
8旋翼风场对果树冠层的影响。
[0065]
本发明中，方式一作业中，为了能获取冠层底部更完整的点云，智能小车的行驶路线可以是不重复轨迹绕目标果树行驶若干圈。方式二作业，无人机航线位于果树的侧上方，可以最大程度地避开1
‑
8旋翼风场的干扰。
[0066]
本发明中，方式一作业和方式二作业所获取到的点云在冠层外部需要存在一圈重合，以满足点云拼接需要足够数量同名点的要求，所以在规划无人机航线是需要确保采集到的点云与先前采集到的底部点云存在一圈重合。
[0067]
本发明中，无人机搭载的1
‑
4kinect相机为深度相机，能获取目标果树的rgb图像和深度图像，能构建出果树的三维彩色点云，但精度一般，1
‑
10三维激光雷达能直接获取目标果树的三维点云，但缺少色彩信息，故后期将这两种设备的点云进行融合处理，构建得到精度高且准确的果树三维彩色点云。
[0068]
本发明中，结合无人机和智能小车的果树三维点云采集装置和方法的工作原理是：
[0069]
本发明中，方式一作业启动时，无人机停放在智能小车1
‑
2支承平台上，并通过1
‑
18固定钩1，1
‑
19固定钩2，1
‑
20固定钩3，1
‑
21固定钩4将无人机固定在1
‑
2支承平台上。通过智能小车运动带动无人机前进，工作状态如图5所示。根据实际情况调整1
‑
2支承平台的高度、1
‑
4kinect相机的倾斜角度和1
‑
10三维激光雷达的扫描角度，使点云采集设备在满足设备工作距离的前提下，获得最大的点云采集视野面。
[0070]
本发明中，在方式一作业过程中，无人机为待机状态，1
‑
8旋翼不转动，不会对果树冠层和果园环境造成影响，同时，智能小车的速度要适中，过快会造成精度不足，过慢会降低工作效率。
[0071]
本发明中，方式二作业启动时，1
‑
18固定钩1，1
‑
19固定钩2，1
‑
20固定钩3，1
‑
21固定钩4同时松开，直至与1
‑
2支承平台平行后，无人机从智能小车1
‑
2支承平台上起飞，起飞后先收起1
‑
11脚架1
‑
7控制模块b才开始保存数据，方式二作业的工作状态如图6所示。方式二工作完成时，无人机自主降落，降落后状态如图7所示。
[0072]
本发明中，在方式二作业过程中，智能小车停在原地待机，不起作用，无人机航线全程位于果树侧上方，避免1
‑
8旋翼风场扰动果树冠层，降低采集数据的准确性。方式二作业过程中采集到的点云和方式一作业过程中所获取到的点云在冠层外部需要存在一圈重合，即存在足够数量的同名点点云，以实现后期的点云拼接。
[0073]
本发明中，方式三工作进行时，将控制模块b上保存1
‑
9gps模块、1
‑
5惯性测量单元imu、1
‑
4kinect相机和1
‑
10三维激光雷达的数据，导出到计算机上进行一系列数据融合解算处理，最终构建完整且准确的果树三维点云模型。
[0074]
本发明中，一种果树三维点云采集方法，包括以下步骤：
[0075]
步骤1：对目标果园进行测绘，规划好智能小车的行驶路线和无人机的飞行轨迹，确定冠层底部点云采集和冠层顶部采集过程中1
‑
4kinect相机的倾斜角度和1
‑
10三维激光雷达的扫描角度，智能小车1
‑
2支承平台的高度。1
‑
4kinect相机的倾斜角度通过1
‑
3带刻度弧形导槽精准调整，1
‑
2支承平台高度通过1
‑
12液压杆伸缩带动1
‑
13连杆运动调整。
[0076]
步骤2：智能小车停放至作业起始点，将安装有1
‑
7控制模块b、1
‑
9gps模块、1
‑
5惯性测量单元imu、1
‑
4kinect相机和1
‑
10三维激光雷达的无人机放置在智能小车的1
‑
2支承平台上，启动所有设备，控制模块b同时发送夹紧信号给1
‑
14步进电机1，1
‑
15步进电机2，1
‑
16步进电机3，1
‑
17步进电机4，分别带动1
‑
18固定钩1，1
‑
19固定钩2，1
‑
20固定钩3，1
‑
21固定钩4，使4个固定钩压紧1
‑
11脚架的2根横杆，以固定好无人机。
[0077]
步骤3：首先进行方式一作业过程，调整好智能小车1
‑
2支承平台的高度，1
‑
4kinect相机的倾斜角度和1
‑
10三维激光雷达的扫描角度，无人机上的1
‑
7控制模块b将开始作业指令发送给智能小车1
‑
1控制模块a，智能小车开始按照预先规划好的路线行驶，同时，无人机1
‑
7控制模块b开始保存1
‑
9gps模块、1
‑
5惯性测量单元imu、1
‑
4kinect相机和1
‑
10三维激光雷达的数据，进行采集果树冠层底部的点云。方式一作业过程中无人机和智能小车的相对状态如图5所示。
[0078]
步骤4：果树底部点云采集完成后，智能小车回到起点并停下，1
‑
1控制模块a将完成方式一作业指令反馈给1
‑
7控制模块b，1
‑
7控制模块b发送指令关闭数据保存功能，方式一作业完成。
[0079]
步骤5：重新调整1
‑
4kinect相机的倾斜角度和1
‑
10三维激光雷达的扫描角度后，开始进行方式二作业，控制模块b同时发送松开信号给1
‑
14步进电机1，1
‑
15步进电机2，1
‑
16步进电机3，1
‑
17步进电机4，分别带动1
‑
18固定钩1，1
‑
19固定钩2，1
‑
20固定钩3，1
‑
21固定钩4，使4个固定钩打开至与1
‑
2支承平台平行，避免对无人机起飞造成影响。此后，无人机在智能小车1
‑
2支承平台上起飞，距离平台一定距离后悬停并收起1
‑
11脚架，1
‑
7控制模块b发送指令打开数据保存功能，无人机开始按照预先规划的航线飞行，采集果树冠层顶部的点云。方式二作业过程中无人机和智能小车的相对状态如图6所示。
[0080]
步骤6：果树顶部点云采集完成后，无人机悬停在空中，1
‑
7控制模块b发送指令关闭数据保存功能，打开1
‑
11脚架后，自动降落在平坦的空地上，降落后无人机的相对状态如图7所示。至此，方式二作业完成。
[0081]
步骤7：将所有设备带回室内，开始进行方式三作业，将1
‑
7控制模块b上保存的gps模块9数据、惯性测量单元imu数据、kinect相机数据和三维激光雷达数据全部导出到计算机上进行一系列数据融合解算处理，最终构建完整的果树三维彩色点云模型。
[0082]
本发明中，为非接触式方法和装置，在工作时不会对果树及其生长环境造成影响，根据不同高度的果树品种可以自动调节智能小车支承平台的高度和传感器的角度。结合无人机和智能小车的点云采集方法能对整棵果树实现360
°
全方位彩色点云的采集，解决了原有单一地面或空中设备无法获取完整果树三维彩色点云的问题，保证了果树三维点云的完整性。
[0083]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。