一种基于双目视觉避桩控制方法
【专利摘要】本发明涉及一种基于双目视觉避桩控制方法，双目视觉图像获取，图像信息预处理，摄像机校正，稻桩位置测量及收割机路径确定，计算避让信息以及进行避让，通过对行进路线上稻桩的识别定位，并通过控制再生稻收割机被驱动机构对稻桩进行避让。
【专利说明】
一种基于双目视觉避桩控制方法
技术领域
[0001 ]本发明涉及一种基于双目视觉避粧控制方法。
【背景技术】
[0002] 我国是农业大国，水稻是我国三大粮食作物之一。再生稻是水稻的一类品种。通 常，再生稻两季总产值比其一季稻的产量要增加50% (福建省尤溪县近些年的数据是每年 种植再生稻近10万亩，头季平均亩产约600kg，再生季平均亩产约300kg)对粮食增产起到重 要作用。但是目前再生稻收获机械化自动化程度仍然很低，特别是机收头季再生稻，制约了 再生稻的推广与发展。21世纪农业劳动力逐渐向社会其它产业转移，我国面临着人口老龄 化、劳动力资源不足的严峻形势。同时，农业部要求将推进水稻生产机械化自动化摆在重要 位置，大力推进水稻生产全程机械化自动化。这些对于再生稻收获机械化自动化的发展具 有极为重要的意义。
[0003] 再生稻的特点是在一季稻成熟之后，大约只割下植株上2/3的部位，收取稻穗，保 留下面的1/3植株，让其再长出一季稻子，此特点对机收头季再生稻提出严格的技术要求： 收割机作业时行走轮必须尽量减少对再生季稻粧的碾压，以减少对再生季产量的影响。
[0004] 重点研制头季稻收割机械，提高再生稻机械化自动化生产水平，必须将农业机械 装备与现代化信息技术相融合。随着电子技术、计算机技术、传感技术、通讯技术以及图像 识别技术的快速发展，给再生稻收割机的自动化发展提供了强大的技术支撑，有助于发展 收割机避荘技术，减少行走轮对稻荘碾压率，提高再生稻生产水平。通常，农田作物是整齐 地按直线、平行的方式规则育秧。为了使收割机能够在稻田中自主规划路径，环境感知是实 现避障和导航的关键技术。自主导航路径规划技术的发展，为头季再生稻收割机避粧的研 究指明了另一新的方向。
【发明内容】
[0005] 本发明的目的在于提供一种基于双目视觉避粧控制方法，以克服现有技术中存在 的缺陷。
[0006] 为实现上述目的，本发明的技术方案是:一种基于双目视觉避粧控制方法，提供一 搭载于一再生稻收割机上的检测控制驱动系统;所述检测系统包括一对图像获取单元、一 控制单元以及一驱动单元，并按照如下步骤实现：
[0007] 步骤SI:通过所述图像获取单元现场稻粧的左侧视觉图像以及右侧视觉图像，并 上传至所述控制单元；
[0008] 步骤S2:对获取的左侧视觉图像以及右侧视觉图像进行初级预处理；
[0009] 步骤S3:对所述图像获取单元进行标定；
[0010] 步骤S4:分别对左侧视觉图像以及右侧视觉图像进行次级预处理、边缘提取以及 角点识别；
[0011]步骤S5:对所述步骤S4获取的图像进行共辄图像匹配，并获取现场稻粧的深度信 息；
[0012] 步骤S6:所述控制单元根据所述深度信息对现场稻粧进行定位测距，计算距现场 稻粧的距离信息，并根据所述再生稻收割机被驱动机构的预设参数以及运行状态参数，判 断该现场稻粧是否在行进路径上，并确定所述控制单元输出的驱动控制参数，以驱动再生 稻收割机上的被驱动机构避开该现场稻粧；
[0013] 步骤S7:所述驱动单元根据所述驱动控制参数，驱动被驱动机构避开现场稻粧，并 继续行进；
[0014] 步骤S8:判断再生稻收割机收割是否完毕，否则重复步骤Sl~步骤S7,继续收割。
[0015] 在本发明一实施例中，在所述步骤S3中，采用张友正平面标定方法进行标定，并按 照如下方式实现:记在建模过程中，模板平面在世界坐标系Z = O的平面上；
[0016]
[0017] 其中，s为尺度因子，K为摄像机的内参数矩阵，[X Y 1]τ为模板平面上点的齐次坐 标，
[0018] [u V 1]τ为模板平面上点投影到图象平面上对应点的齐次坐标，[n r2 r3]和t分 别是图像获取
[0019] 单元坐标系相对于世界坐标系的旋转矩阵和平移向量;投影矩阵H为：
[0020]
[0021]
[0022]
[0023] λ为常数，根据旋转矩阵的性质，g卩riTr2 = 〇和I |ri| | = | |r2| |=1，每幅图象可以获 得以下两个对内参数矩阵的基本约束：
[0024]
[0025]
[0026]在本发明一实施例中，在所述步骤S4中，所述次级预处理包括灰度处理以及图像 直方图均衡处理；
[0027] 所述灰度处理根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分 量的对应:Y = O. 3R+0.59G+0.1IB，以该亮度值表达图像的灰度值；
[0028]所述直方图均衡处理:记灰度变换s = f(r)为斜率有限的非减连续可微函数，其将 输入图象Ii(x，y)转换为输出图象I〇(x，y);输入图象的直方图为Hi(r)，输出图象的直方图 为Ho (s )，则根据直方图的含义，经过灰度变换后对应的小面积元相等:Ho (s) ds = Hi (r) dr。 [0029]在本发明一实施例中，在所述步骤S4中，所述边缘处理采用Canny边缘检测算法， 包括以下步骤：
[0030]步骤S41:应用高斯滤波来平滑图像，去除噪声；
[0031]步骤S42:获取图像的强度梯度；
[0032]步骤S43:应用非最大抑制来消除边误检；
[0033]步骤S44:应用双阈值的方法来决定潜在的边界；
[0034] 步骤S45:利用滞后技术跟踪边界。
[0035] 在本发明一实施例中，在所述步骤S5中，所述共辄图像匹配采用基于外极线约束 以及灰度相关性的立体匹配算法，并确定被处理图像中对应点之间的视差值，进而确定被 测点深度。
[0036] 在本发明一实施例中，所述再生稻收割机包括一底盘;所述底盘前端设置有收割 稻穗的割台和对稻穗进行脱粒的脱粒装置，所述底盘底部两端设置有位于同一直线上的驱 动轮和导向轮，所述驱动轮位于前端，导向轮位于后端，或驱动轮位于后端，导向轮位于前 端;所述底盘底部两侧分别设置有位于同一直线上的辅助轮;所述底盘底部设置有与辅助 轮数量相等的伸缩机构，所述伸缩机构包括一外套筒，所述外套筒外设置有与所述驱动单 元匹配的电机，所述外套筒内设置有内套筒;所述外套筒内一侧端部的端盖上设置有一用 于与所述内套筒匹配且与所述控制单元相连的红外测距单元;所述内套筒内设置有齿条， 所述电机的输出端设置有与该齿条相啮合的齿轮，所述内套筒一端设置有连杆，所述辅助 轮连接在该连杆的端部;所述辅助轮前端设置有所述图像获取单元中的摄像头，且摄像头 的光心与所述电机的输出轴在同一水平线上;所述摄像头通过所述图像获取单元中的高清 图像采集卡连接至所述控制单元;所述底盘上部还设置有控制导向轮转向的方向盘。
[0037] 在本发明一实施例中，所述预设参数包括所述辅轮轮宽、所述连杆长度、所述内套 筒长度以及所述电机输出轴距所述端盖的距离;所述运行状态参数包括:所述红外测距单 元获取的内套距所述端盖的距离;所述驱动控制参数包括电机驱动脉冲宽度。
[0038] 在本发明一实施例中，所述底盘上部设置有为割台、脱粒装置和驱动轮提供动力 的发动机，所述发动机的输出端连接有变速箱。
[0039] 在本发明一实施例中，所述端盖设置于所述外套筒上远离连杆的端部;所述内套 筒远离连杆的端部上也设置有另一端盖，所述外套筒的另一端设置有橡胶密封圈，所述连 杆从橡胶密封圈穿出。
[0040] 相较于现有技术，本发明具有以下有益效果:本发明所提出的一种基于双目视觉 避粧控制方法，通过对行进路线上稻粧的识别定位，并通过控制再生稻收割机被驱动机构 对再生稻粧进行避让。此外，采用单轮驱动，收割机的两个辅助轮可进行伸缩运动，改善了 以往收割机在进行再生稻收割的过程中会对稻茬进行碾压的弊端，能够提高再生稻的产 量;采用齿轮齿条机构，可以较好地控制两辅助轮的伸缩量，更好地实现避茬功能。
【附图说明】
[0041] 图1为本发明实施例一的构造不意主视图。
[0042] 图2为本发明实施例一的构造不意俯视图。
[0043] 图3为本发明实施例一中伸缩机构的构造示意图。
[0044] 图4为本发明实施例一中横移参数以及方向计算的示意图。
[0045] 图5为本发明实施例二的构造不意主视图。
[0046] 图中：1_底盘，10-红外测距单元，11-发动机，12-变速箱，13-方向盘，14-座椅，15- 液压推杆，2-割台，3-脱粒装置，4-驱动轮，5-导向轮，6-辅助轮，7-外套筒，71-端盖，72-橡 胶密封圈，73-摄像头，8-内套筒，81 -齿条，82-连杆，9-齿轮。
【具体实施方式】
[0047] 下面结合附图，对本发明的技术方案进行具体说明。
[0048] 实施例一:本发明提供一种基于双目视觉避粧控制方法，提供一搭载于一再生稻 收割机上的检测控制驱动系统;所述检测系统包括一对图像获取单元、一控制单元以及一 驱动单元，并按照如下步骤实现：
[0049] 步骤SI:通过所述图像获取单元现场稻粧的左侧视觉图像以及右侧视觉图像，并 上传至所述控制单元；
[0050] 步骤S2:对获取的左侧视觉图像以及右侧视觉图像进行初级预处理；
[0051] 步骤S3:对所述图像获取单元进行标定；
[0052] 步骤S4:分别对左侧视觉图像以及右侧视觉图像进行次级预处理、边缘提取以及 角点识别；
[0053]步骤S5:对所述步骤S4获取的图像进行共辄图像匹配，并获取现场稻粧的深度信 息；
[0054]步骤S6:所述控制单元根据所述深度信息对现场稻粧进行定位测距，计算距现场 稻粧的距离信息，并根据所述再生稻收割机被驱动机构的预设参数以及运行状态参数，判 断该现场稻粧是否在行进路径上，并确定所述控制单元输出的驱动控制参数，以驱动再生 稻收割机上的被驱动机构避开该现场稻粧；
[0055] 步骤S7:所述驱动单元根据所述驱动控制参数，驱动被驱动机构避开现场稻粧，并 继续行进；
[0056] 步骤S8:判断再生稻收割机收割是否完毕，否则重复步骤Sl~步骤S7,继续收割。 [0057]进一步的，在本实施例中，在所述步骤S3中，采用张友正平面标定方法进行标定， 并按照如下方式实现:记在建模过程中，模板平面在世界坐标系Z = O的平面上；
[0058]
[0059] 其中，s为尺度因子，K为摄像机的内参数矩阵，[X Y 1]τ为模板平面上点的齐次坐 标，
[0060] [u V 1]τ为模板平面上点投影到图象平面上对应点的齐次坐标，[n r2 r3]和t分 别是图像获取
[0061] 单元坐标系相对于世界坐标系的旋转矩阵和平移向量;投影矩阵H为：
[0062] ' '
[0063]
[0064]
[0065] λ为常数，根据旋转矩阵的性质，g卩
，每幅图象可以获 得以下两个对内参数矩阵的基本约束：
[0066]
[0067]
[0068]进一步的，在本实施例中，在所述步骤S4中，所述次级预处理包括灰度处理以及图 像直方图均衡处理；
[0069] 所述灰度处理根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分 量的对应:Y = O. 3R+0.59G+0.1IB，以该亮度值表达图像的灰度值；
[0070]所述直方图均衡处理:记灰度变换S = f(r)为斜率有限的非减连续可微函数，其将 输入图象Ii(x，y)转换为输出图象I〇(x，y);输入图象的直方图为Hi(r)，输出图象的直方图 为Ho (s )，则根据直方图的含义，经过灰度变换后对应的小面积元相等:Ho (s) ds = Hi (r) dr。 [0071]进一步的，在本实施例中，在所述步骤S4中，所述边缘处理采用Canny边缘检测算 法，包括以下步骤：
[0072]步骤S41:应用高斯滤波来平滑图像，去除噪声；
[0073]步骤S42:获取图像的强度梯度；
[0074]步骤S43:应用非最大抑制来消除边误检；
[0075]步骤S44:应用双阈值的方法来决定潜在的边界；
[0076] 步骤S45:利用滞后技术跟踪边界。
[0077] 进一步的，在本实施例中，在所述步骤S5中，所述共辄图像匹配采用基于外极线约 束以及灰度相关性的立体匹配算法，并确定被处理图像中对应点之间的视差值，进而确定 被测点深度。
[0078] 进一步的，在本实施例中，如图1至图3所示，所述再生稻收割机包括一底盘1;所述 底盘1前端设置有收割稻穗的割台2和对稻穗进行脱粒的脱粒装置3,所述底盘底1部两端设 置有位于同一直线上的驱动轮4和导向轮5,所述驱动轮4位于前端，导向轮5位于后端;所述 底盘1底部两侧分别设置有位于同一直线上的辅助轮6;所述底盘底部设置有与辅助轮数量 相等的伸缩机构，所述伸缩机构包括一外套筒7,所述外套筒外设置有与驱动单元匹配的电 机，所述外套筒7内设置有内套筒8;所述外套筒7内一侧端部的端盖71上设置有一用于与所 述内套筒8匹配且与所述控制单元相连的红外测距单元10;所述内套筒内设置有齿条81，所 述电机的输出端设置有与该齿条相啮合的齿轮9,所述内套筒一端设置有连杆82,所述辅助 轮连接在该连杆的端部;所述辅助轮6前端设置有所述图像获取单元中的摄像头73，且摄像 头的光心与所述电机的输出轴在同一水平线上;所述摄像头通过所述图像获取单元中的高 清图像采集卡连接至所述控制单元;所述底盘上部还设置有控制导向轮5转向的方向盘13。
[0079] 进一步的，在本实施例中，所述预设参数包括所述辅轮轮宽、所述连杆长度、所述 内套筒长度以及所述电机输出轴距端盖71的距离;所述运行状态参数包括:所述红外测距 单元获取的内套距端盖71的距离;所述驱动控制参数包括电机驱动脉冲宽度。如图4所示， 辅轮轮宽L 4、连杆长度L3、内套筒长度L2、所述电机输出轴距端盖71的距离L5以及红外测距 单元获取的内套距端盖71的距离L 1。通过步骤S3至步骤S5获取的深度信息建模计算现场稻 粧至摄像头光心的距离L6。计算现场稻粧与辅轮的相对位置关系:若[(U+Ls+Ls+U/^-U-L 6]>0，则控制该侧的电机驱动辅轮向内横移nL4的距离，否则，向外侧横移nL4的距离，η为常 数，可根据现场稻粧的根茎宽度以及辅轮宽度确定，横移的距离可根据电机的参数以及齿 轮、齿条参数确定。
[0080] 进一步的，在本实施例中，所述底盘上部设置有为割台2、脱粒装置3和驱动轮4提 供动力的发动机11，所述发动机的输出端连接有变速箱12，所述驱动轮与变速箱输出端通 过带传动进行传动连接。
[0081] 进一步的，本实施例中，所述驱动轮和导向轮均为大直径车轮，使得底盘离地更 尚。
[0082] 本实施例中，所述底盘上部后端设置有座椅14,方便驾驶员坐在上面。
[0083] 本实施例中，所述底盘上还设置有控制割台升降的液压推杆15,使割台能够对不 同高度的水稻进行收割。
[0084] 进一步的，在本实施例中，端盖71设置于所述外套筒远离连杆的端部;外套筒上远 离连杆的端部上也设置有端盖，该些端盖起到限位和防止泥浆进入套筒内的作用。所述外 套筒的另一端设置有橡胶密封圈72,所述连杆82从橡胶密封圈穿出，该橡胶密封圈起到防 止泥浆进入套筒内的作用。
[0085] 实施例二:其结构与实施例一相同，区别在于驱动轮位于后端，导向轮位于前端， 如图5所示。
[0086] 以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作 用未超出本发明技术方案的范围时，均属于本发明的保护范围。
【主权项】
1. 一种基于双目视觉避粧控制方法，其特征在于，提供一搭载于一再生稻收割机上的 检测控制驱动系统;所述检测系统包括一对图像获取单元、一控制单元以及一驱动单元，并 按照如下步骤实现： 步骤S1:通过所述图像获取单元现场稻粧的左侧视觉图像以及右侧视觉图像，并上传 至所述控制单元； 步骤S2:对获取的左侧视觉图像以及右侧视觉图像进行初级预处理； 步骤S3:对所述图像获取单元进行标定； 步骤S4:分别对左侧视觉图像以及右侧视觉图像进行次级预处理、边缘提取以及角点 识别； 步骤S5:对所述步骤S4获取的图像进行共辄图像匹配，并获取现场稻粧的深度信息； 步骤S6:所述控制单元根据所述深度信息对现场稻粧进行定位测距，计算距现场稻粧 的距离信息，并根据所述再生稻收割机被驱动机构的预设参数以及运行状态参数，判断该 现场稻粧是否在行进路径上，并确定所述控制单元输出的驱动控制参数，以驱动再生稻收 割机上的被驱动机构避开该现场稻粧； 步骤S7:所述驱动单元根据所述驱动控制参数，驱动被驱动机构避开现场稻粧，并继续 行进； 步骤S8:判断再生稻收割机收割是否完毕，否则重复步骤S1~步骤S7，继续收割。2. 根据权利要求1所述的一种基于双目视觉避粧控制方法，其特征在于，在所述步骤S3 中，采用张友正平面标定方法进行标定，并按照如下方式实现:记在建模过程中，模板平面 在世界坐标系z=o的平面上；其中，S为尺度因子，K为摄像机的内参数矩阵，[X Y 1]7为模板平面上点的齐次坐标，[u v 1]T为模板平面上点投影到图象平面上对应点的齐次坐标，[n r2 r3]和t分别是图像获 取单元坐标系相对于世界坐标系的旋转矩阵和平移向量;投影矩阵Η为： H=[hi h2 h3]=XK[ri r2 t]；λ为常数，根据旋转矩阵的性质，即nTr2 = 0和I |n| | = | |r2| |=1，每幅图象可以获得以 下两个对内参数矩阵的基本约束： h[ K ! K '/2, = 0 hi K 1Κ = hi K ' K ]h2 〇3. 根据权利要求1所述的一种基于双目视觉避粧控制方法，其特征在于，在所述步骤S4 中，所述次级预处理包括灰度处理以及图像直方图均衡处理； 所述灰度处理根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的 对应:Y = 0.3R+0.59G+0.11B，以该亮度值表达图像的灰度值； 所述直方图均衡处理:记灰度变换s = f(r)为斜率有限的非减连续可微函数，其将输入 图象Ii(x，y)转换为输出图象I〇(x，y);输入图象的直方图为Hi(r)，输出图象的直方图为Ho (s)，则根据直方图的含义，经过灰度变换后对应的小面积元相等:Ho (s) ds = Hi (r) dr。4. 根据权利要求1所述的一种基于双目视觉避粧控制方法，其特征在于，在所述步骤S4 中，所述边缘处理采用Canny边缘检测算法，包括以下步骤： 步骤S41:应用高斯滤波来平滑图像，去除噪声； 步骤S42:获取图像的强度梯度； 步骤S43:应用非最大抑制来消除边误检； 步骤S44:应用双阈值的方法来决定潜在的边界； 步骤S45:利用滞后技术跟踪边界。5. 根据权利要求1所述的一种基于双目视觉避粧控制方法，其特征在于，在所述步骤S5 中，所述共辄图像匹配采用基于外极线约束以及灰度相关性的立体匹配算法，并确定被处 理图像中对应点之间的视差值，进而确定被测点深度。6. 根据权利要求1所述的一种基于双目视觉避粧控制方法，其特征在于，所述再生稻收 割机包括一底盘;所述底盘前端设置有收割稻穗的割台和对稻穗进行脱粒的脱粒装置，所 述底盘底部两端设置有位于同一直线上的驱动轮和导向轮，所述驱动轮位于前端，导向轮 位于后端，或驱动轮位于后端，导向轮位于前端;所述底盘底部两侧分别设置有位于同一直 线上的辅助轮;所述底盘底部设置有与辅助轮数量相等的伸缩机构，所述伸缩机构包括一 外套筒，所述外套筒外设置有与所述驱动单元匹配的电机，所述外套筒内设置有内套筒;所 述外套筒内一侧端部的端盖上设置有一用于与所述内套筒匹配且与所述控制单元相连的 红外测距单元;所述内套筒内设置有齿条，所述电机的输出端设置有与该齿条相啮合的齿 轮，所述内套筒一端设置有连杆，所述辅助轮连接在该连杆的端部;所述辅助轮前端设置有 所述图像获取单元中的摄像头，且摄像头的光心与所述电机的输出轴在同一水平线上;所 述摄像头通过所述图像获取单元中的高清图像采集卡连接至所述控制单元;所述底盘上部 还设置有控制导向轮转向的方向盘。7. 根据权利要求6所述的一种基于双目视觉避粧控制方法，其特征在于，所述预设参数 包括所述辅轮轮宽、所述连杆长度、所述内套筒长度以及所述电机输出轴距所述端盖的距 离;所述运行状态参数包括:所述红外测距单元获取的内套距所述端盖的距离;所述驱动控 制参数包括电机驱动脉冲宽度。8. 根据权利要求6所述的一种基于双目视觉避粧控制方法，其特征在于，所述底盘上部 设置有为割台、脱粒装置和驱动轮提供动力的发动机，所述发动机的输出端连接有变速箱。9. 根据权利要求6所述的一种基于双目视觉避粧控制方法，其特征在于，所述端盖设置 于所述外套筒上远离连杆的端部;所述内套筒远离连杆的端部上也设置有另一端盖，所述 外套筒的另一端设置有橡胶密封圈，所述连杆从橡胶密封圈穿出。
【文档编号】A01D45/04GK106056107SQ201610604454
【公开日】2016年10月26日
【申请日】2016年7月28日
【发明人】林 建, 林伟青, 张志兴
【申请人】福建农林大学