一种再生稻留茬高度自动调控系统和方法及收割机

1.本发明属于检测技术领域，尤其涉及一种再生稻留茬高度自动调控系统和方法及收割机。


背景技术：

2.再生稻是一种一茬可以收获两次的水稻，相比一般的水稻而言，它的收获方式相比传统的水稻收获有着明显区别。再生稻测量再生稻植株的方法主要利用视觉的方法较多，它们通常将相机安装在收割机顶部，而由于收割机拨禾轮的遮挡，采集到的图像信息无法准确反应植株的高度。
3.在目前而言，收割机割台高度的测量方式有接触式的仿形传感器和非接触式的激光和超声波测距传感器。在一般的水稻收获过程中，对留茬的高度并没有要求，所以仿形传感器能够通过贴地测量出割台距离地面的高度，而由于再生稻属于可以收获两次的作物，因此为了确保再生稻第二次收获产量的正常，在第一次收割时是对留茬的高度是要求的，由于对留茬的高度是有要求的，因此割台的切割高度较高，而这已经超过了仿形传感器的测量范围，因此仿形传感器无法测量再生稻收割机的割台的高度。对于激光传感器虽然能够测出割台距离地面的高度，但是容易受到到留茬的影响，因此也不能用来测量割台距离地面的高度。


技术实现要素：

4.针对上述技术问题，本发明提供一种基于视觉和超声波的再生稻留茬高度自动调控系统，包括图像采集装置、测距装置、图像处理单元、控制器和割台；特别适合丘陵山区的地貌，在面对丘陵山区起伏的地表，通过对图像采集装置中的双目相机进行联合标定，调整收割机的位姿，实现起伏地表下图像采集装置深度信息的准确获取。标定完成后，采集的深度和彩色图像信息，计算出穗层的高度，并将穗层的高度传入控制器作为输入信号。另外，通过测距装置计算出割台距离地面的高度，作为控制系统的反馈信号，根据它们之间的误差，实现对割台高度的精准调控，具有良好的效果，实现对再生稻留茬高度的自动调控。
5.本发明还提供一种所述再生稻留茬高度自动调控系统的控制方法。
6.本发明还提供一种包括所述再生稻留茬高度自动调控系统的收割机。
7.本发明是通过以下技术手段实现上述技术目的的。
8.一种再生稻留茬高度自动调控系统，包括图像采集装置、测距装置、图像处理单元、控制器和割台；
9.所述图像采集装置用于采集再生稻穗层图像，并传递给图像处理单元，图像处理单元用于处理再生稻穗层图像得到再生稻穗层高度h
穗层
，并传递给控制器；
10.所述测距装置用于测量割台距离地面的高度h
割
，并传递给控制器；
11.所述控制器分别与图像处理单元、测距装置和割台连接，再生稻穗层高度h
穗层
作为控制器的输入信号，割台距离地面的高度h
割
作为控制器的反馈，控制器计算出再生稻穗层
高度h
穗层
与割台距离地面的高度h
割
之间的误差e，在控制器中预设误差调节范围区间[m,n]，当误差e大于n时，控制器控制降低割台高度，当误差e小于m时，控制器控制抬升割台高度，使得误差e重新回到区间[m,n]，实时调控割台高度，从而实现再生稻穗层再生稻留茬高度的调控。
[0012]
上述方案中，所述图像采集装置为双目相机；所述双目相机安装在收割机驾驶室外的一侧。
[0013]
进一步的，还包括相机支架、连接支架和连接侧板；
[0014]
所述双目相机与相机支架连接，相机支架底部与连接支架的一端连接，连接支架的另一端与连接侧板相连，连接侧板用于与收割机右侧横梁相连。
[0015]
进一步的，所述相机支架的上部为圆弧结构；连接支架为可伸缩支架。
[0016]
上述方案中，所述测距装置为超声波传感器；所述超声波传感器安装在收割机割台两侧。
[0017]
上述方案中，所述图像处理单元为工控机或车载计算机。
[0018]
一种根据所述再生稻留茬高度自动调控系统的控制方法，包括以下步骤：
[0019]
采集再生稻穗层图像：通过所述图像采集装置采集再生稻穗层图像，并传递给图像处理单元；
[0020]
提取再生稻穗层高度：图像处理单元处理再生稻穗层图像得到再生稻穗层高度h
穗层
，并传递给控制器；
[0021]
采集割台距离地面的高度：所述测距装置测量割台距离地面的高度h
割
，并传递给控制器；
[0022]
割台高度调控：再生稻穗层高度h
穗层
作为控制器的输入信号，割台距离地面的高度h
割
作为控制器的反馈，控制器计算出再生稻穗层高度h
穗层
与割台距离地面的高度h
割
之间的误差e，在控制器中预设误差调节范围区间[m,n]，当误差e大于n时，控制器控制降低割台高度，当误差e小于m时，控制器控制抬升割台高度，使得误差e重新回到区间[m,n]，实时调控割台高度，从而实现再生稻穗层再生稻留茬高度的调控。
[0023]
还包括联合标定步骤：通过图像采集装置双目相机与其自带的imu传感器进行联合标定，得到双目相机和imu传感器之间的变换矩阵，计算得到像素点与相机位置补偿后的直线距离，修正收割机位姿。
[0024]
上述方案中，所述提取再生稻穗层高度的步骤具体为：
[0025]
使用高斯滤波的方法去除掉采集再生稻穗层图像中的噪点；
[0026]
将图像调整缩小；
[0027]
将图像从bgr空间转换至hsv空间，根据水稻的颜色，设置hsv值，提取出水稻的穗层区域；
[0028]
对图像进行高斯滤波操作，去除掉图像中的噪点；
[0029]
对滤波后的图像进行canny边缘检测，得到穗层区域边缘图像；
[0030]
使用hough直线检测寻找出图像中的直线，得到直线数组后，根据直线的斜率和长度，筛选除穗层下边界的直线；
[0031]
根据提取到的穗层下边界直线计算出直线的中点像素坐标x,y，根据深度图像中的对应关系，得到该点的深度值s，即为相机坐标点距离穗层下边界直线中点的直线距离l；
[0032]
根据穗层的高度计算公式：h
穗层
＝h
相机-l
·
cosα计算出穗层的高度，h
相机
为相机距离地面的距离，α为相机坐标点距离穗层下边界直线中点的直线距离l和相机与垂直方向的夹角。
[0033]
上述方案中，所述采集割台距离地面的高度为：
[0034]h割
＝h
超
+b
[0035]
其中，h
超
为超声波传感器测得距离地面的距离，b为超声波传感器与割台在垂直方向上的位移。
[0036]
一种收割机，包括所述再生稻留茬高度自动调控系统，所述再生稻留茬高度自动调控系统根据所述再生稻留茬高度自动调控系统的控制方法控制。
[0037]
与现有技术相比，本发明的有益效果是：
[0038]
1.本发明基于视觉和超声波留茬高度自动调控系统，特别是针对丘陵山区的地貌，在面对丘陵山区起伏的地表，通过图像采集装置进行联合标定，调整收割机的位姿，实现起伏地表下图像采集装置深度信息的准确获取。标定完成后，图像处理单元处理采集的深度和彩色图像信息，计算出穗层的高度，并将穗层的高度传入控制器作为输入信号。另外，通过测距装置计算出割台距离地面的高度，作为控制系统的反馈信号，根据它们之间的误差，实现对割台高度的精准调控，具有良好的效果，实现对再生稻留茬高度的自动调控。
[0039]
2.本发明通过设计的超声波传感器支架，可以通过超声波传感器获取到割台的高度。
[0040]
注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须具有所有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的效果。
附图说明
[0041]
图1是本发明一实施方式的再生稻留茬高度自动调控系统框图。
[0042]
图2是本发明一实施方式的采集设备安装位置示意图。
[0043]
图3是本发明一实施方式的超声波传感器安装位置示意图。
[0044]
图4是本发明一实施方式的采集设备结构图示意图。
[0045]
图5是本发明一实施方式的超声波传感器安装支架示意图。
[0046]
图6是本发明一实施方式的hsv空间穗层区域示意图。
[0047]
图7是本发明一实施方式的穗层高度计算示意图。
[0048]
图8是本发明一实施方式的系统控制流程示意图。
[0049]
图中：1、双目相机；2、相机支架；3、连接支架；4、连接侧板；5、超声波传感器安装支架；6、超声波传感器。
具体实施方式
[0050]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0051]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0052]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0053]
实施例1
[0054]
结合图1所示，一种再生稻留茬高度自动调控系统，包括图像采集装置、测距装置、图像处理单元、控制器和割台；
[0055]
所述图像采集装置用于采集再生稻穗层图像，并传递给图像处理单元，图像处理单元用于处理再生稻穗层图像得到再生稻穗层高度h
穗层
，并传递给控制器；
[0056]
所述测距装置用于测量割台距离地面的高度h
割
，并传递给控制器；
[0057]
所述控制器分别与图像处理单元、测距装置和割台连接，再生稻穗层高度h
穗层
作为控制器的输入信号，割台距离地面的高度h
割
作为控制器的反馈，控制器计算出再生稻穗层高度h
穗层
与割台距离地面的高度h
割
之间的误差e，在控制器中预设误差调节范围区间[m,n]，当误差e大于n时，控制器控制降低割台高度，当误差e小于m时，控制器控制抬升割台高度，使得误差e重新回到区间[m,n]，实时调控割台高度。
[0058]
根据本实施例，优选的，所述图像采集装置为双目相机1；所述双目相机1安装在收割机驾驶室外的一侧。如图2所示为所述双目相机1在收割机上的安装位置示意图，其中，虚线框为图像采集装置的安装位置，ⅰ处为图像采集装置安装位置，为了更好的获得穗层的视野，图像采集装置被安装在了收割机右侧的车辆支架上。
[0059]
结合图4所示，优选的，还包括相机支架2、连接支架3和连接侧板4；所述双目相机1与相机支架2连接，相机支架2底部与连接支架3的一端连接，连接支架3的另一端与连接侧板4相连，连接侧板4用于与收割机右侧横梁相连。
[0060]
根据本实施例，优选的，所述相机支架2的上部为圆弧结构，用于调节相机的俯仰角度，通过这种圆弧结构，调节相机的固定螺栓便可实现俯仰角度的调整。
[0061]
根据本实施例，优选的，所述连接支架3为可伸缩支架，用于方便调节相机的位置。
[0062]
优选的，连接支架3上有数个小孔，通过不同小孔之间的组合，能够实现相机在横杆方向上的位移。
[0063]
根据本实施例，优选的，所述测距装置为超声波传感器6，所述超声波传感器6安装在收割机割台两侧，结合图3所示，为所述超声波传感器在收割机上的安装位置示意图，其中，虚线框为超声波传感器的安装位置，ⅱ处为超声波传感器6安装位置。由于收割机的右侧为未收割区域，左侧为已收割区域，安装在右侧可以避免未收割的水稻对测距的影响，超
声波传感器被安装在了收割机割台的右侧壁上。
[0064]
结合图5所示，超声波传感器6安装在超声波传感器支架5上。优选的，所述超声波传感器支架5通过螺栓分别与超声波传感器5和割台连接。优选的，其中超声波传感器支架5右下角有开口为圆弧形，用于调整超声波传感器6朝向。
[0065]
根据本实施例，优选的，所述图像处理单元为工控机或车载计算机。
[0066]
结合图8所示，一种根据所述再生稻留茬高度自动调控系统的控制方法，包括以下步骤：
[0067]
相机的安装：在收割机的驾驶室右侧通过连接侧板4安装连接支架3，连接支架3一端通过相机支架2安装双目相机1，调整双目相机1的倾角为α。由于拨禾轮工作时对再生稻穗层遮挡较为严重，如果安装在收割机的顶部，其视场范围内大部分区域都被拨禾轮覆盖，很难获取到真实的穗层深度图像，而收割机侧前方的拨禾轮遮挡区域较小并且也不会采集拨禾轮工作时的情。因此实施例将采集图像的相机安装在收割机的右侧前方。在收割机的驾驶室右侧使用螺栓固定一个相机支架2，相机支架2采用一根伸缩的连接支架3，在连接支架3上安装相机支架2，把双目相机1固定在相机支架2上，调整好双目相机1的倾角为α。
[0068]
联合标定：通过图像采集装置双目相机1与其自带的imu传感器进行联合标定，得到双目相机1和imu传感器之间的变换矩阵，计算得到像素点与相机位置补偿后的直线距离，修正收割机位姿。对双目相机1和imu传感器进行联合标定，针对丘陵山区起伏的地表，通过加入imu惯导来修正位姿，由于使用的双目相机1自带imu传感器，因此对双目相机1和imu进行联合标定能够实现收割机位姿的修正。标定可以分为三个部分：双目相机1的标定、imu传感器标定和双目相机1与imu传感器进行联合标定。本发明特别适合丘陵山区的地貌，在面对丘陵山区起伏的地表，首先解决了图像采集装置位姿的补偿问题，获取到准确的深度值。
[0069]
采集再生稻穗层图像：通过所述图像采集装置采集再生稻穗层图像，并传递给图像处理单元。
[0070]
提取再生稻穗层高度：图像处理单元处理再生稻穗层图像得到再生稻穗层高度h
穗层
，并传递给控制器。
[0071]
采集割台距离地面的高度：所述测距装置测量割台距离地面的高度h
割
，并传递给控制器。
[0072]
割台高度调控：再生稻穗层高度h
穗层
作为控制器的输入信号，割台距离地面的高度h
割
作为控制器的反馈，控制器计算出再生稻穗层高度h
穗层
与割台距离地面的高度h
割
之间的误差e，在控制器中预设误差调节范围区间[m,n]，当误差e大于n时，控制器控制降低割台高度，当误差e小于m时，控制器控制抬升割台高度，使得误差e重新回到区间[m,n]，通过来回的调控，使得割台的高度保持在一个可控区间，则可以调节再生稻留茬的高度。
[0073]
优选的，所述联合标定具体包括以下步骤：
[0074]
相机标定：双目相机1的标定的目的主要是为了获取双目相机1的内参矩阵和转换矩阵，具体地，首先安装kalibr工具包，随后制作相机的aprilgrid型标定板，随后运行标定程序，得到双目相机1的内参、畸变参数、基线等信息；
[0075]
imu标定：imu标定的目的是获取高斯白噪声和随机游走误差，其中标定使用的工具包是imu_utils，首先制作相应的标定数据集，运行标定程序，得到imu在各个方向上的高
斯白噪声和随机游走误差；
[0076]
联合标定：双目相机1和imu联合标定是为了得到双目相机1和imu的轴系转换关系，首先录制好数据集，录制时使双目相机1沿着imu三个旋转轴和方向轴进行旋转和平移。随后，利用kalibr中的双目相机1和imu联合标定程序以及相机标定和imu标定的标定结果，得到双目相机1和imu之间的变换矩阵；
[0077]
位姿补偿：通过双目相机1和imu得到的imu到双目相机1的变换矩阵，结合如下双目相机1坐标系与像素坐标系的转换公式，得到像素点与相机位置补偿后的准确直线距离。
[0078][0079]
其中，x,y为像素坐标，xc,yc,zc为相机坐标，f为焦距。
[0080]
结合图6和7所示，所述提取再生稻穗层高度的步骤具体为：
[0081]
使用高斯滤波的方法去除掉采集再生稻穗层图像中的噪点；
[0082]
将图像调整缩小，在本实施例中，将图像调整缩放至原图四分之一，方便于进行下一步操作；
[0083]
将图像从bgr空间转换至hsv空间，根据水稻的颜色，设置hsv值，提取出水稻的穗层区域，如图6(a)所示；
[0084]
对图像进行高斯滤波操作，去除掉图像中的噪点，如图6(b)所示；
[0085]
对滤波后的图像进行canny边缘检测，得到穗层区域边缘图像，如图6(c)所示；
[0086]
使用hough直线检测寻找出图像中的直线，得到直线数组后，根据直线的斜率和长度，筛选除穗层下边界的直线，如图6(d)所示；
[0087]
根据提取到的穗层下边界直线计算出直线的中点像素坐标(x,y)，根据深度图像中的对应关系，得到该点的深度值s，即为相机坐标点距离穗层下边界直线中点的直线距离l；
[0088]
由于相机坐标点与再生稻穗层下边界的中点在垂直方向上构成了直角三角形，并且已知相机坐标点距离穗层下边界直线中点的直线距离l和相机与垂直方向得到夹角α。可以计算出相机坐标点与穗层下边界中点的距离l
·
cosα。而已知相机距离地面的距离h
相机
，结合图7所示，根据穗层的高度计算公式：h
穗层
＝h
相机-l
·
cosα计算出穗层的高度，h
相机
为相机距离地面的距离，α为相机坐标点距离穗层下边界直线中点的直线距离l和相机与垂直方向的夹角。
[0089]
所述采集割台距离地面的高度具体为：
[0090]
首先通过超声波传感器支架5将超声波传感器6安装在收割机割台两侧，超声波传感器支架5通过折弯使得支架能够相对于地面保持水平，使得超声波可以获取到距离地面的实际距离h
超
。
[0091]
由于超声波传感器6测得距离是超声波传感器6距离地面的距离，通过加上超声波传感器6与割台在垂直方向上的偏移b，便可以得到割台距离地面的高度h
割
：
[0092]h割
＝h
超
+b
[0093]
其中，h
超
为超声波传感器测得距离地面的距离，b为超声波传感器与割台在垂直方向上的位移。
[0094]
本发明一实施例中，基于视觉和超声波留茬高度自动调控系统，特别是针对丘陵山区的地貌，通过双目相机1与其自带的imu惯性测量单元进行联合标定，实现起伏地表下双目相机1深度信息的准确获取。标定完成后，利用双目相机1采集的深度和彩色图像，通过图像处理单元计算出穗层的高度，并将该高度传入控制器作为输入信号，另外，通过超声波传感器6计算出割台距离地面的高度，作为控制系统的反馈信号，最后，根据它们之间的误差，调节割台的高度，实现对再生稻留茬高度的自动调控。
[0095]
本发明特别适合丘陵山区的地貌，在面对丘陵山区起伏的地表，首先解决了图像采集装置位姿的补偿问题，获取到准确的深度值，其次，通过设计的超声波传感器支架5，可以通过超声波传感器6获取到割台的高度，最后，通过穗层高度与割台高度之间的误差，实现对割台的精准调控，具有良好的效果。
[0096]
实施例2
[0097]
一种收割机，包括所述再生稻留茬高度自动调控系统，所述再生稻留茬高度自动调控系统根据所述再生稻留茬高度自动调控系统的控制方法控制，具有实施例1的有益效果，此处不再赘述。
[0098]
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0099]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。