利用基于视觉的调整引导车辆的方法和系统的制作方法

专利名称：利用基于视觉的调整引导车辆的方法和系统的制作方法
技术领域：
本发明涉及使用视觉调整来引导车辆的方法和系统。
背景技术：
全球定位系统(GPS)接收器已经用于为车辆导航应用提供位置数据。然而， 尽管具有差分校正的特定GPS接收器在其大部分工作时间内可具有大约10厘米 (4英寸)的一般位置误差，大于50厘米(20英寸)的绝对位置误差在其5%的 工作时间内普遍存在。此外，GPS信号会被建筑物、树或其它障碍物所阻挡，这 会使得只用GPS导航的系统在特定地点或环境中变得不可靠。相应地，需要使用 一个或多个附加的传感器来补充或加强基于GPS导航的系统，从而提高精确性和 鲁棒性。

发明内容
定位接收器在求值时间窗口过程中采集车辆的初歩位置数据。初歩制导数据 由所述初步位置数据确定。视觉模块在求值时间窗口过程中采集视觉数据。由采 集的视觉数据确定视觉制导数据。视觉质量估计器为所述求值时间窗口的所述视 觉数据和视觉制导数据中的至少一个估计视觉质量数据。所述视觉质量数据基于 互相关和r平方值，其中每一互相关在分段内的所述视觉数据的观察的强度分布与 参考强度分布之间以确定行中心位置。所述r平方值是基于回归路径和一个或多个 行中心位置确定。如果所述视觉质量数据超过最小阈值，则调节器基于所述视觉 制导数据调节所述初步制导数据至修正的制导数据，使得所述修正的制导数据与 所述视觉制导数据一起被记录或大体同延。


图1是根据本发明基于初歩制导数据(如，初歩位置数据)和视觉制导数据(如， 源于视觉的位置数据)引导车辆的系统的方框图。
图2是根据本发明基于初歩制导数据(如，初歩位置数据)和视觉制导数据(如， 源于视觉的位置数据)引导车辆的方法的流程图。
图3是根据本发明基于初步制导数据(如，初步位置数据)和视觉制导数据(如，说明书第2/19页
源于视觉的位置数据)的引导车辆的另一方法的流程图。
图4是表示诸如来自差分全球定位系统(GPS)的制导信号的位置数据的静
态定位误差的图表。
图5是表示通过诸如本发明所述的视觉模块的另一传感器"调谐"后，诸如来 自差分全球定位系统(GPS)信号的制导信号的位置数据的定位误差的图表，。
图6是基于来自视觉数据(如，单目视觉数据)的视觉制导数据引导车辆的方 法的实施例的流程图。
图7是基于视觉制导数据引导车辆的方法的另一实施例的流程图。 图8A是视觉质量估计器的各种组件或逻辑构件的方框图。 图8B是用于确定图像数据或视觉数据的视觉质量数据的方法的流程图。 图9是在组织或分段成作物像素和非作物像素后的行作物的示范性图像。 图10示出了来自图9中作物像素的强度分布。
图11是示范性的费米(Fermi)函数，用作干草列的模板或参考强度分布。 图12是示范性的正弦函数，用做行作物的模板或参考强度分布。 图13是表示在所述参考强度分布和观察的强度分布之间互相关的确定图示。 图14示出了与作物行的近似中心线相关联的回归路径(如，回归线)，以及与
所述回归路径相关联的多个分段或窗口。
图15A是视觉质量估计器的各种组件或逻辑构件的方框图。
图15B是基于来自视觉数据(如，立体视觉数据)的视觉制导数据引导车辆
的方法的一个实施例的流程图。
图16表示作物特征或植被的密度网格点以及与作物行相关联的中心线。
具体实施方案
图1是用来引导车辆的制导系统11的方框图。可以将该制导系统11安装在或 配置于车辆或移动机器人上。该制导系统11包括视觉模块22和与调节器110通 信的定位接收器28。
视觉模块22可与视觉质量估计器(20或120)相关联。定位接收器28可与 位置质量估计器24相关联。调节器110可以与车辆控制器25通信。依次地，该 车辆控制器25被耦合到转向系统27。
定位接收器28可包括带有差分校正的全球定位系统(GPS)接收器(如GPS 接收器以及用于接收由卫星或地面源发射的差分校正信号的接收器)。该定位接收 器28提供车辆的位置数据(如坐标)。该定位接收器28可将下述条件、状态或状 况中的一个或多个(如通过状况信号)指示给至少调节器110或位置质量估计器 24: (1)定位接收器28被禁止的地方，(2)对于一个或多个相应的求值间隔，位 置数据无法获得或被破坏的地方，以及(3)对于一个或多个相应的求值间隔，位置数据被估计的精度或可靠性跌落在最小阈值以下的地方。定位接收器28为车辆 提供非常适合于全球导航或全球路径规划的位置数据。
位置模块26或与该位置模块26相关联的数据处理器由所采集的位置数据确 定制导数据。制导数据指来自一个或多个与该定位接收器28相关联的位置数据的 下列数据航向数据、航向误差数据、偏离轨道数据、偏离轨道误差数据、曲率 数据、曲率误差数据、源于视觉的位置数据以及位置误差数据。制导数据通常指
下述术语中的一个或多个初步制导数据、修正的制导数据和视觉制导数据。
在实施例中，位置模块26可以确定制导数据以引导或转向车辆，使得该车辆
的路线截获一个或多个目标坐标(如，航路点)或与该目标坐标相关的路线。该
位置模块26可以通过路线设计者、数据处理系统、无线通信设备、磁性存储介质、 光学存储介质、电子存储器或其它进行通信或在该目标坐标或路线上接收信息。 例如，可以用路线设计或基于作物行或田地种植图的系列坐标来表示目标坐标或 路线。可以通过定位接收器28或另外的定位设备在种植种子、作物、植物或作物 前体期间采集该田地种植图。
在示范性实施例中，位置模块26或定位接收器28用下式输出制导数据(如， 位置数据)
其中￡(,,是通过定位接收器28 (如，定位接收器
28)估计的偏离轨道误差，以及&^,是通过该定位接收器22估计的航向误差。
视觉模块22可包括图像采集系统31和图像处理系统33。视觉模块22或图 像采集系统31采集图像数据或视觉数据，它们在本文通篇被视为同义的术语。视 觉模块22或图像处理系统33从已采集的图像数据或视觉数据中推导出视觉制导 数据(如，源于视觉的位置数据)。该视觉制导数据意指一个或多个来自与该视觉 模块22相关的视觉数据的下列数据航向数据、航向误差数据、偏离轨道数据、 偏离轨道误差数据、曲率数据、曲率误差数据、源于视觉的位置数据、位置数据 和位置误差数据。
在一个实施例中，该视觉模块22可以确定引导或转向该车辆的视觉制导数据， 使得该车辆的路线截获一个或多个目标坐标(如，航路点)或与该目标坐标相关 的路线。该位置模块22可以通过路线设计者、数据处理系统、无线通信设备、磁 性存储介质、光学存储介质、电子存储器或其它进行通信或在该目标坐标或路线 上接收信息。例如，可以用路线设计或基于采集到的作物行图像或来自该采集图 像再现的系列坐标来表示该目标坐标或路线。在一个例子中，视觉模块22能够辨 识带有与大豆的约1cm和玉米的约2.4cm的一样小的误差的作物行位置。
在一个示范性实施例中，该视觉模块22用下式输出视觉制导数据(如，源于
8视觉的位置数据)-
，其中五 ,。《是ffi过该视觉模块22估计的偏离轨道
误差以及A^一w是通过该视觉模块22估计的航向误差。
图像采集系统31可以包括下列中的一个或多个(1) 一个或多个用来采集一 组图像(如，具有相同场景不同焦距设置或镜头调整的多个图像，或不同视场 (FOV)的多个图像)的单目成像系统；(2)立体视觉系统(如，通过已知距离 和方向分开的两数字成像单元)，用来确定场景中物体上的点相关的深度信息或三
维坐标；(3)测距仪(如激光测距仪)，用来确定在场景中物体上的点相关的测距 或三维坐标；(4)雷达系统或激光雷达系统用来检测场景中物体的速度、海拔、 方向或幅度；(5)激光扫描系统(如，激光测量系统，其发出光脉冲并根据激光
发出和激光发射接收之间的时间来估计激光测量系统和该目标之间的距离)用来
确定场景中物体的距离；以及(6)成像系统，用来通过光学的微机电系统(MEMS)、 自由空间光学MEMS或集成光学MEMS采集图像。
自由空间光学MEMS使用具有一定范围或折射率的复合半导体和材料来控制 可视光、红外、或紫外光，而集成光学MEMS使用多晶硅组件来反射、衍射、调 制或控制可视光、红外、或紫外光，MEMS可以被构造成由各种半导体制造工艺 能制造的开关矩阵、镜头、镜子和光栅。通过视觉模块22或图像采集系统31采 集的图像可以是例如彩色、单色、黑白、或灰度图像。
视觉模块22或源于视觉的位置数据可以对应上述图像内物体特征的位置来支 持位置数据(二维或三维坐标)的采集。该视觉模块22非常适合使用(a)车辆 周围环境的特征或局部特征，(b)位置数据或与上述特征相关的坐标，或同时使 用以便于该车辆的导航。该局部特征可以包括下面的一个或多个植物行位置、 栅栏位置、建筑物位置、ffl地边缘位置、边界位置、巨石位置、岩石位置(如， 大于最小阈值尺寸或体积)、土脊和沟、树位置、作物边缘位置、植被(如草坪) 上的切割边位置，以及参考标记。该视觉制导数据(如，源于视觉的位置数据) 或局部特征的位置数据可以定期(例如周期地)用来调整(如，纠正漂移)来自 定位接收器28的初歩制导数据(如，初歩位置数据)。
在一个例子中，参考标记可与高精度位置坐标相关联。此外，其它局部特征可 与该参考标记位置相关。当前车辆位置可与参考标记位置或局部特征的固定位置 或车辆的位置相关联。在一个实施中，该视觉模块22可以与定位接收器28相似 或大致相当的坐标或数据格式表达车辆位置的源于视觉的位置数据。
视觉模块22可以通过状态或数据命令将下面的一个或多个指示给至少调节器 110或视觉质量估计器20: (1)视觉模块22是否被禁止，(2)是否视觉制导数据(如，源于视觉的位置数据)在一个或多个相应的求值间隔内不可获得，(3)是 否该视觉制导数据(如，源于视觉的位置数据)不稳定或被破坏，以及(4)是否
该图像数据或视觉制导数据达到不符合阈值性能/可靠性水准的精确度水准、性能 水准或可靠性水准。
位置质量估计器24可以包括下列设备中的一个或多个与定位接收器28相 关联的信号强度指示器、与定位接收器28相关联的比特误码率指示器、用来测量 信号质量、误码率、信号强度、或信号性能的另外的设备、信道、或为定位发送 的代码。此外，为了基于卫星定位，位置质量估计器24可包括用来确定是否足够 信号质量的最小数目的卫星信号(如来自GPS的L1频带上的四个或更多卫星的 信号)被定位接收器28接收，以在求值间隔过程中为车辆提供可靠的位置数据。
位置质量估计器24估计初步位置数据的质量或通过定位接收器28输出的定 位质量数据(如，Qgps)的质量。位置质量估计器24可以基于通过定位接收器28 接收的每一信号分量的信号强度指示器(或误码率)估计初歩位置数据的质量。 位置质量估计器24也可以在下列因素的基础上估计质量(1)在一地区可获得的 卫星信号的数目，(2)通过定位接收器获得或接收到的具有足够信号质量(如， 信号强度分布)的卫星数目，和(3)是否每一个卫星信号都具有可接受的信号水 准或可接受的误码率(BER)或误帧率(FER)。
在一个实施例中，不同信号强度幅度与不同相应质量水准相关联。例如，最低 信号强度幅度与最低质量相关联，中级信号质量幅度与中等质量相关联，最高信 号强度幅度与最高质量相关联。相反地，最低误码率幅度与最高质量相关联，中 级误码率幅度与中等质量相关联，最高误码率幅度与最低质量水准相关联。
视觉质量估计器20估计由视觉模块22输出的视觉制导数据(如，源于视觉 的位置数据)的质量。该视觉制导数据的质量可以通过视觉质量数据(如，QWs,。n) 进行表达。该视觉质量估计器20可考虑在一系列时间间隔内该视觉模块操作和获 取相应图像所呈现的照度。该视觉质量估计器20可包括光探测器、具有频率可选 镜头的光探测器、 一组带有相应频率可选镜头的光探测器、电荷偶合器件(CCD)、 光度计、硫化镉电池等等。进一步地，该视觉质量估计器30包括时钟或计时器， 用来为图像用采集时间打时间戳以及相应照度测量(如，图像所用的照度值)。在 示范性实施例中，如果该照度在低强度范围内，则该时间间隔内具有低视觉质量； 如果该照度在中强度范围内，则该时间间隔内具有高视觉质量；以及如果该照度 在高强度范围内，该时间间隔内具有一般的视觉质量，该时间间隔内的低或高基 于在高强度范围内的已定义的子范围。在一个例子中，前面的强度范围相对质量 可应用于光频率对光频率或光色基。在另一例子中，该强度范围相对质量的对比 可用于红外线范围频率和紫外线范围频率而不同于用于可见光。视觉质量估计可与图像处理中的置信度测量有关。如果所需特征(如，植物行) 明显在一个或多个图像中，则视觉质量估计器20可给相应图像设置高图像质量或 高置信度水准。相反地，如果所需特征(如，由于缺失作物行)在一个或多个图
像中不明显，则视觉质量估计器20可设置低图像质量或低置信度水准。在一个例 子中，基于每一个列分量(如，用于该视觉模块22的速度分量)的中级强度的绝 对差(SAD)为假定的偏航/俯仰对确定置信度水准。偏航被定义为在x-y平面中 视觉模块22的方向，以及俯仰被定义为在通常垂直于x-y平面的x-z平面中的视 觉模块22的方向。
如果视觉模块不能定位或标注在图像中参考特征或参考标记，或尚未在最大阈 值时间内标注参考标记，则视觉模块22会警示视觉质量估计器20，其可以通过 质量劣化指示器劣化该源于视觉位置数据的质量。
通常，调节器110包括数据处理器、微控制器、微处理器、数字信号处理器、 嵌入式处理器或其它任意使用软件指令进行编程的可编程(如，现场可编程)设 备。调节器110可与车辆控制器25相关联。在实施例中，调节器110包括规则管 理器。调节器110的规则管理器可以将该初步制导数据(如，初步位置数据)或 其衍生作为相应时间间隔的误差控制信号，除非该视觉质量数据超出最小阈值水 准。如果该初歩制导数据(如，初歩位置数据)和该视觉制导数据(如，源于视 觉的位置数据)差没有超出最大容忍值，不需要任何调节。视觉加权决定来自该 视觉模块22的视觉制导数据(如，yws,OT)的作用幅度。位置加权决定来自该视觉 模块22管理的制导数据(如，位置数据)的作用幅度。混频器14决定制导数据 (如，ygps)和视觉制导数据(如，yws,加)对基于视觉加权和定位加权两者的误差 控制信号(如，y)的相应作用。在实施例中，该混频器14可包括数字滤波器、 数字信号处理器、或布置为使用下列中一个或多个的其它数据处理器(1)视觉 制导数据加权(如，源于视觉的位置数据加权)，(2)位置数据加权，和(3)在 求值时间间隔内该位置数据和源于视觉位置数据相应作用的混合比表示。
误差控制信号表示已估计的制导数据与实际制导数据之间的差(或误差)，以 使该车辆对准轨道、目标坐标或目标路径。例如，该误差控制信号可以表示位置 数据(通过该视觉模块22和通过该位置模块26测量的)与该车辆的实际位置之 间的差(或误差)。输出这样的误差控制信号到该车辆控制器25以得到补偿的控 制信号。该补偿控制信号基于该误差控制信号纠正转向系统27的管理和控制。该 转向系统27可以包括电接口用以与车辆控制器25通信。在实施例中，该电接口 包括电磁控制液压转向系统或其它控制液压流体的机电设备。
在另外的实施例中，该转向系统27包括转向系统单元(SSU)。该SSU与航 向对时间要求相关联，以顺着期望路线或按照期望或目标路径规划或目标坐标转向或制导该车辆该航向与航向误差(如，表示为该实际航向角度和期望航向角度之间的差)相关联。
可以通过该视觉模块22或定位接收器28控制该SSU以补偿在该车辆估计位置的误差。例如，偏离轨道误差指示或代表该车辆的实际位置(如，用GPS坐标表示)对该车辆的期望位置(如，用GPS坐标)。该偏离轨道误差可以用补偿航向修改该车辆的移动。但是，如果在时间或时间间隔内任意点上都没有偏离轨道误差，则未补偿的航向就足够。该航向误差是在实际车辆航向和通过该视觉模块22和定位接收器28的估计车辆航向之间的差。
图2是使用视觉制导数据(如，源于视觉的位置数据)和位置数据用来引导车辆的方法流程图。图2的方法在步骤S200开始。
在步骤S200，定位接收器28为与其相关的车辆采集初歩位置数据。例如，该定位接收器28 (如，带有差分校正的GPS接收器)可以用来确定一个或多个时间间隔或相应时间内的车辆坐标。
在歩骤S201 ，位置模块26或定位接收器28确定与该初歩位置数据相关的相应的制导数据。制导数据包括来自采集的初步位置数据的下列项中的一个或多个航向数据、航向误差数据、偏离轨道数据、偏离轨道误差数据、曲率数据、曲率误差数据、和位置误差数据。该航向数据指相对于参考方向(如磁北)的车辆的方向(如，角取向)(如，车辆的纵向轴)。该航向误差是实际车辆航向和目标车辆航向之间的差。该航向误差可与视觉模块22、位置模块26、车辆控制器25、或转向系统27中至少一个内的误差(如，测量误差、系统误差、或二者都有)相关。偏离轨道数据指示该车辆路径位置从期望车辆路径位置的偏移。偏离轨道误差指示或代表该车辆的实际位置(如，用GPS坐标表示)和该车辆的期望位置(如，用GPS坐标表示)之间的差。该曲率是在所期望路径上航向的改变。例如，曲率是沿着该路径的任意两个参考点(如，调整点)之间到该车辆路线的正切角的变化率。
该制导误差信号或该位置误差信号(如，ygps)可以表现为(1)在期望时间内实际车辆位置和期望车辆位置之间的差，(2)在期望时间或位置上实际车辆航向和期望车辆航向之间的差，(3)或与位置数据或制导数据相关的误差的另一种表达。该位置误差信号可以被定义但不必定义为向量数据。
在歩骤S202，视觉模块22在求值时间窗口中为该车辆采集视觉数据。例如，该视觉模块22可以在车辆在田地中移动时以大体行进方向采集一个或多个作物行图像。每一个采集的图像可与相应求值时间间隔有关。
在步骤S203，该视觉模块22在一个或多个求值时间间隔或对应时间内确定视觉制导数据(如，源于视觉的位置数据或视觉误差信号)。例如，该视觉模块22可以采集图像并处理采集到的图像来确定源于视觉的位置数据。在一个例子中，该源于视觉的位置数据包括车辆的源于视觉的位置数据，其通过参考一个或多个可视参考标记或带有相应己知位置的特征来获得以确定车辆的坐标。该车辆坐标可以根据全球坐标系统或局部坐标系统进行确定。
视觉制导误差信号或视觉误差信号(如，yws,。 )表现为(1)在期望时间内实际车辆位置和期望车辆位置之间的差，(2)在期望时间或位置上实际车辆航向和
期望车辆航向之间的差，(3)或与源于视觉的位置数据或视觉制导数据相关的误
差的另一种表达。
在步骤S204,视觉质量估计器20在求值时间间隔期间估计视觉质量。该视觉质量估计器20可以包括照度或光探测器以及用于时间戳照度测量的计时器或时钟以基于周围照明条件来确定质量水准。视觉质量估计器20也可包括在处理图像以获得期望特征时置信度或可靠性的测量。在处理图像时的置信度或可靠性的测量可以根据下列因素中的任意一个视觉模块22的技术规范(如，分辨率)、确认目标(如，图像中的地标)的可靠性、估计确认目标或其中的点的位置的可靠性、将图像坐标或局部坐标转换成全球坐标或源于视觉的位置数据的可靠性，该源于视觉的位置数据在空间上和时间上与来自该定位接收器28的位置数据一致。
可以通过多种可能切换或重复使用的技术来执行歩骤S204。在第一种技术中，该视觉质量估计器20可以估计源于视觉位置数据精度的置信度和可靠性。在第二种技术中，该视觉质量估计器20首先估计源于视觉位置数据精度的置信度水准、可靠性水准或其它质量水准；然后，第二步，该视觉质量估计器20将该质量水准转换成相应的语言值。
在步骤S206，如果该视觉质量数据超过最小阈值水准，调节器110或车辆控制器25基于该视觉制导数据(如，源于视觉的位置数据)将初歩制导数据(如，初步位置数据)调节到修正的制导数据(如，修正位置数据)，使得该修正的制导数据(如，修正位置数据)与该视觉制导数据(如，源于视觉的位置数据) 一起被记录或大体同延。例如，该调节器110或车辆控制器25可以在任意时隙或求值时间窗口内调节初歩位置数据，其中该视觉质量数据超出最小阈值水准，如果在该视觉制导数据和初歩制导数据之间的任意不等或差是实质性的。 一起被记录或大体同延意思是相同时间间隔的源于视觉位置数据和初歩位置数据大体同延或通过最大容忍量(如，其可以被表示为在地理坐标之间的距离、向量或以秒(或其它单位)的分离)区分。例如，该最大容忍量可设置为从1cm到10cm范围内的特定距离(如，2.54厘米)。
在实施例中，调节器110基于该初步位置数据或修正位置数据发送给该车辆控制器25误差控制信号或使误差控制信号可被该车辆控制器25所获得。由此获得的修正位置数据或误差控制信号可以时隙基(如，在应用时间窗期间)为单位进行更新。每一个时隙可在大小上与求值时间间隔相当。
调节器206可以加强修正位置数据或定位信息的可靠性和精度，定位信息通过使用具有已校正质量作为该初步位置数据质量基准的源于视觉位置数据提供以用作车辆导航或控制。虽然在求值时间间隔内采集该初步位置数据和源于视觉质量数据；步骤S206到修正位置数据的调整可以用在落后该求值时间间隔或与该求值时间间隔大致同延的应用时间间隔内。不管该求值时间间隔和该应用时间间隔在本例中是如何定义的，在其它例子中，调节器110可以提供预测控制数据、前馈控制数据或反馈控制数据给该车辆控制器25。
图3的方法与图2的方法类似，除了图3的方法包括附加歩骤S205以及将步骤S206替换为步骤S208。相同参考号指示相同程序或步骤。
在步骤S205中，位置质量估计器24在求值时间窗口过程为该位置数据或制导数据进行定位质量数据估计。可以通过多种可能切换或重复使用的技术来执行歩骤S205。在第一种技术中，该位置质量估计器24可以估计或测量信号的质量、误码率(如，比特误码率或误帧率)、信号强度水准(如，使用dBm)、或其它质量水准。在第二种技术中，该位置质量估计器24首先估计或测量信号质量、误码率(如，比特误码率或误帧率)、信号强度水准(如，使用dBm)、或其它质量水准；第二歩，该位置质量估计器24将上述信号质量数据分类成范围、语言描述、语言值或其它。
在步骤S208中，如果该视觉质量数据超过最小阈值水准以及如果该定位质量数据或制导数据小于或等于触发阈值水准调节器110或视觉控制器25基于该视觉制导数据(如，源于视觉的位置数据)将该初步制导数据(如，初步位置数据)调节为修正的制导数据(如，修正位置数据)，使得该修正的制导数据与该视觉制导数据一起被记录或大体同延。例如该调节器110或车辆控制器25可以调节该初歩位置数据在任意时隙或求值时间窗口内，(a)该视觉质量数据超过最小阈值的地方，和(b)该定位质量数据小于或等于触发阈值水准的地方或任意在该视觉制导数据和初步制导数据之间的任意不等或差是实质性的地方。例如，该触发阈值水准可能是该初步位置数据的可靠性或精度小于所需的地方，由于卫星可利用率的缺失，或接收到的卫星信号或用来确定精确性初步位置数据的辅助播送(如，地面参考)的低的信号质量(如低的信号强度)。该调节器206可以加强修正位置数据或定位信息的可靠性和精度，该定位信息是通过使用具有已校正质量的该视觉制导数据(如，源于视觉的位置数据)作为该初步制导数据(如，初歩位置数据)质量基准来提供以用作车辆导航或控制。图3的方法使得比图2更多选择性的方式来调节到该修正位置数据，通过利用比标准(如，触发阈值水准)更低的位置数据质量的附加条件。
图4是位置数据的静态定位误差示意表，例如差分GPS信号。垂直轴表示距
离(如，米)误差，其中水平轴表示时间(如，秒)。
图5是位置数据的动态定位误差示意表，例如在期望更新的频率或速率"调谐" 后的差分GPS信号(如，位置数据)。垂直轴表示距离(如，米)误差，其中水 平轴表示时间(如，秒)。图5将最初没有"调谐"的误差显示为实体圆点以及"调 谐"后的误差显示为圆圈。通过使用该源于视觉的位置数据有规律间隔(如，在 图5所示的以5秒间隔或.2Hz)来调节该位置数据的方式实现调谐。
图6表示基于视觉数据来调节位置或引导车辆的方法。图6的方法开始于步骤 S600。
在歩骤S600，定位接收器28在求值时间间隔内为车辆采集位置数据(如， 航向数据)。
在步骤S601 ，该位置模块26或定位接收器28根据所采集的位置数据确定该 制导数据(如，航向数据)。例如，该位置模块26可以由在求值时间间隔期间在 第一时间和第二时间采集到的两组坐标来确定制导数据。制导数据包括来自采集 位置数据的下列中的一个或多个航向数据，航向误差数据，偏离轨道数据，偏 离轨道误差数据，曲率数据，曲率误差数据，和位置误差信号。
该航向数据指相对于参考方向(如磁北)的车辆的方向(如，角取向)(如， 车辆的纵向轴)。该航向误差是在实际车辆航向和目标车辆航向之间的差。该航向 误差可能与在视觉模块22和该位置模块26中至少一个内的误差(如，测量误差) 有关。
偏离轨道数据指示该车辆路径位置从期望车辆路径位置的偏移。偏离轨道误差 指示或代表该车辆的实际位置(如，用GPS坐标表示)和该车辆的期望位置(如， 用GPS坐标表示)之间的差。
该曲率是在所期望路径上航向的改变。例如，曲率是沿着该路径的任意两个参 考点(如，调整点)之间到该车辆路线的正切角的变化率。
在步骤S602，视觉模块22或图像采集系统31在求值时间间隔期间为车辆采 集视觉数据或图像数据。该采集的视觉数据可包括例如单目视觉数据或立体视觉 数据。
在步骤S603，视觉模块22或图像处理系统33根据采集到的视觉数据确定视 觉制导数据(如，视觉航向数据)。
在步骤S604，视觉质量估计器(20、 120或220)在该求值时间间隔期间为 该视觉数据和该视觉制导数据中的至少一个估计视觉质量数据，其中该视觉质量 数据基于互相关和r平方值。该互相关是在分段中该视觉数据的观察到强度分布和参考强度分布之间以确定行中心位置。r平方值是在回归路径和该行中心位置之
间。在步骤S604的视觉质量估计很适合应用于单目视觉数据(如，在步骤S602 处采集)。
在步骤S606，如果该视觉质量数据超过最小阈值水准，调节器110或控制器 基于该视觉制导数据(如，视觉导航数据)将该初步制导数据(如，预先航向数 据)调节到修正的制导数据(如，修正的导航数据)使得该修正的制导数据(如， 修正导航数据)与该视觉制导数据一起被记录或大体同延。例如，如果该视觉质 量数据超过最小阈值以及如果在该视觉制导数据和初步制导数据之间的任意不等 或差是实质性的，则调节器110或控制器基于该视觉制导数据将该初步制导数据 调节到已修正的制导数据。
图7的方法类似于图6的方法，除了步骤S605替换了歩骤S604。在图6和 图7中的相同参考数指示相同的步骤或程序。
在歩骤S605中，该视觉质量估计器(20、 120或220)在该求值时间间隔内 为该视觉数据和视觉制导数据中的至少一个估计视觉质量数据，其中该视觉质量 数据基于回归路径和密度网格点。歩骤S605的视觉质量估计也很适合立体视觉数 据(如，在步骤S602采集的)。
图8A是视觉质量估计器120的示范配置的方框图。图8A中在组件(如，70， 72， 74， 76， 78， 80， 82， 84和86)之间的互连可以表现逻辑数据路线、物理 数据路线、或二者兼有。
组织器70与强度分布模块72通信。互相关模块76可以接收来自再分器74、 数据存储设备86以及强度分布模块72的输入数据。数据存储设备86存储参考强 度分布88以由互相关模块76检索或访问。互相关模块76输出数据给估计器84。 再分器74与行中心估计器78通信。行中心估计器78和排列器80为变量求值器 82提供输入数据。依次地，该变量求值器82输出数据给估计器84。
视觉模块22提供下列中的一个或多个给视觉质量估计器120:视觉数据、图 像数据、和视觉制导数据。如这里所使用的，图像数据和视觉数据应被认为同义 的术语。该视觉模块22可以由采集的视觉或图像数据来确定视觉制导数据。
在图8A中，视觉质量估计器120被布置以估计至少一个视觉数据(或图像数 据)的视觉质量数据以及该求值时间间隔期间的视觉制导数据。该视觉质量估计 器120可以基于互相关和r平方值来确定视觉质量数据。每一个互相关在分段中 该视觉数据的观察到强度分布和参考强度分布之间以确定行中心位置。r平方值是 在回归路径和该行中心位置之间。
组织器70将采集的图像组织成作物像素和非作物像素。强度分布模块72基 于该作物像素的像素强度值来确定强度分布。数据存储设备86存储与一组作物行
16或单个作物行相关联的参考强度分布。再分配74将采集图像再分成多个分段或重 叠窗口。
通常，互相关模块76为每一个上述分段在该强度分布(由强度分布模块72 提供)和参考强度分布88之间确定互相关。在一个实施例中，互相关模块76被 布置以将归一化互相关确定为互相关。该归一化互相关基于图像数据中各个分段 的平均互相关。每一个分段与通过行中心估计器78确定的相应行中心位置相关联。
再分器74与行中心估计器78通信或使得该行中心估计器78能够获得分段或 重叠窗口 。该行中心估计器78被配置用以估计与该图像数据的相应分段或分区有 关的行中心位置。排列器80被配置用以确定与该行中心位置有关的回归路径。例 如，排列器80将估计的行中心位置布置成定义作物行的位置和方向表示的回归路 径(如，回归线)。
变量求值器82在回归路径(如，回归线)和行中心位置之间确定r平方值。 估计器84基于确定的互相关和r平方值来确定视觉质量数据以应用于车辆控制器 25或调节器110用于车辆的转向。该制导数据包括例如航向数据、偏离轨道数据、 和曲率数据中的至少一个。
图8B是估计视觉数据或视觉制导数据的质量的方法。图8B的方法开始于歩 骤S800。
在步骤S800中，视觉模块22或图像处理系统33将采集到的图像划组织成作 物像素和非作物像素。视觉模块22或图像处理系统33可以使用颜色识别将采集 图像组织或分段成作物像素和非作物像素。可以将作物像素定义为参考植物颜色 (如，绿色调)，等等。图9提供了采集图像到作物像素和非作物像素的组织图示， 与歩骤S800—致。
在歩骤S802中，视觉模块22或图像处理系统33基于该作物像素的观察的像 素强度值来确定观察的强度分布。例如，该视觉模块22或该图像处理系统33为 在作物像素和非作物像素之间的边界确定了观察的强度分布。在一个实施例中， 观察的强度分布可以示出一个或多个作物边缘或在该作物像素和非作物像素之间 的大体线性边界。
视觉模块22或该图像处理系统33通过确定在观察像素强度轮廓中的像素符 合强度标准或要求(如，植物的最小像素强度或那里相应的光频率范围)的方式 来确定像素属于观察的强度分布。像素强度可以定义为例如在单色颜色空间(如， 与植物有关的特定绿色、暗影或色调)中的像素亮度，或在RGB颜色空间内的红、 绿和蓝分量的亮度。作物像素强度通常与或被采集图像中作物部分(如，作物表 面区域的部分)上的事件进行反射的辐照度或电磁辐射(如可见光频带中的一个 或多个)成比例。该作物像素的像素强度值可能符合或超出作物行植物冠层的最小阈值强度，包括作物行的边界，其中作物象素相邻非作物像素。相似地，该作 物像素的像素强度值可能符合或超出平放在地面或窗口上的已收获作物材料的最 小阈值强度，包括该窗口的边界。
在步骤S804，视觉模块22或图像处理系统33建立了与一组作物行或单个作 物行(如，干草列)相关的参考强度轮廓。该参考强度轮廓包括可以基于该植物 材料是否安置在一组行中或作为一个或多个窗口来进行变化的模板。图11示出了 与窗口有关的参考强度轮廓，而图12示出了与多个并行植物行相关的参考强度来 轮廓。
在步骤S806中，视觉模块22或视觉质量估计器(20、 120或220)将采集
的图像再分成多个分段(如，重叠的窗口)。图14提供了与步骤S806 —致的分 段分割的图示。
在歩骤S808中，视觉质量估计器(20、 120或220)为上述分段中的每一个 确定在该强度分布和参考强度分布之间的互相关。图13提供了与歩骤S808 —致 的确定互相关的图示。
在步骤S810中，视觉质量估计器估计与上述分段中每--个相关的行中心位置。 图14示出了与步骤S808 —致的每一个分段相应的行中心位置。
在歩骤S812中，视觉质量估计器(20、 120或220)将估计的行中心位置布 置为定义作物行位置和方向表示的回归路径。回归路径可以包括基于行中心位置 的分布和位置来定义的常用线性回归路径。例如，视觉质量估计器(20、 120或 220)可以将回归路径设定为基于最小二乘法、加权最小二乘法、多项式拟合法、 多元回归、统计回归技术、数学回归技术或其它常见最小化回归路径和行中心位 置之间距离或误差的技术的线性方程。
在歩骤S814中，视觉质量估计器(20、 120或220)确定回归路径和行中心 位置之间的「平方值。
在歩骤S816中，视觉质量估计器(20、 120或220)基于确定的互相关和r 平方值为车辆控制器或调节器转向车辆来确定视觉质量数据。r平方值可以用来确 定观察视觉数据或观察视觉制导数据(如，观察的作物行位置或干草列位置)符 合视觉数据或数据制导数据相应的预测模型(如，作物行位置回归路径)的程度。
可以通过多种可交替或累积使用的技术来执行歩骤S816。在第一种技术中， 该视觉质量估计器(20、 120或220)基于下列方程来确定该r平方值r平方=
1 一 Vmodel/Vtotal，其中Vt。ta!是与回归路径(如，常用线性回归路径)有关的不同分 段相关的中心点变化或误差指示，以及Vt。tai是作物行关于其平均中心位置的变化
或误差指示。r平方值可以在从1到零的范围内进行归一化，使得r平方值在接近 1时普遍被认为好过r平方值接近零。在第二种技术中，置信度水准，C，或用于该视觉处理的视觉质量数据依据两
个因素该回归路径的r平方值和来自模板匹配的归一化的互相关。<formula>formula see original document page 19</formula>其中，r,，，是来自一组分段的中间或平均互相关，^是参考互相关，以 及r。是最小互相关。该参考互相关通常从初始参考图像种获取，而该最小互相关通
常由用户确定。为了获得高的置信度水准，需要设置两种条件首先，在该处理
中的分段(如窗口)内的作物中心必须来自大体直线或符合已知用作种植的轮廓， 以及第二歩，在该处理中分段的强度分布必须符合所选中的参考强度分布(如，
类似于图11或图12中的模板)。该模板或参考分布轮廓可以适用于作物或环境中 的变化。由于作物行的宽度可能随时间改变，该模板会更新以适应该作物行。在 一个实施中，可以使用该作物行空间的已用过的平均或中间值。
图9是在组织或划分成作物像素900和非作物像素902后的数个作物行的示 范性图像。图9是例如图8B的歩骤S800执行结果的展示图。通过图像采集系统 31或视觉模块22采集到的采集图像首先划分成作物像素900和非作物像素902， 以及随后被修正以去掉失真。白色或亮像素表示作物像素900，而带点区域表示非 作物像素902。如图所示， 一个作物行被组织成处于来自图像采集系统31或视觉 模块22的最小深度和最大深度之间的行分段904。该作物行的每一端与作物边缘 906有关。
图10是源于图9中作物像素900的示范性观察强度分布。在一个例子中，每 一个像素强度点910表示感兴趣区域(如，接近或在作物边缘906)内垂直线段 上的作物像素的像素强度总和。在另一例中，每一个像素强度点910表示感兴趣 区域(如，接近作物边缘)内单个相应作物像素的强度。在又一例中，每一个像 素强度点910表示与感兴趣区域(如，接近或在作物边缘)相关的一簇作物像素 的中间、平均或众数强度。观察的强度分布(如，图10中)与被称作模板(如， 图11或图12)的参考强度分布进行比较以决定相对于参考行位置的该作物行的偏 移。该参考行位置可以在例如该作物、种子、或前体被种植时建立。图11是用作窗口的模板或参考强度分布的示范性费米(Fermi)函数。水平轴 可以被指作横轴，而垂直轴可以被指作前轴。该横轴通常垂直于该前轴。该前轴 可以已知角度倾斜于地面或水平。该橫轴和该前轴来自图像采集系统31面向作物 行的视角，其中该作物行的纵向尺寸通常与该车辆行进的方向相平行。
参考强度分布可能基于特定应用发生改变，例如该田地是否包括横卧在地面上 的作物行、窗口或切割的植物(如，干草)。对于窗口，费米函数或其它步骤或脉 冲函数可以用来表示理想的窗口强度分布如图11所示。对于图11中的费米函数， g表示峰值幅度，g/2表示该峰值幅度的一半以及k值表示该窗口在峰值幅度一半 处的宽度。在实施例中，图11中的峰值幅度可能与来自图像采集系统31的干草 列的最大计算深度相关。
图12是用做作物行的模板或参考的强度分布的示范性正弦函数。水平轴可以 被指作横轴，而垂直轴可以被指作前轴。该横轴通常垂直于该前轴。该前轴可以 已知角度倾斜于地面或水平。该横轴和该前轴来自图像采集系统31面向作物行的 视角，其中该作物行的纵向尺寸通常与该车辆行动的方向相平行。
该正弦函数的峰值幅度用a表示，其中w表示一个波长的周期。在实施例中， 图12中的峰值幅度可能与来自图像采集系统31的作物行的最大计算深度相关， 其中该周期，w，可与作物行宽度或相邻作物行之间的间隔成比例。
虽然正弦函数被用作图12的参考强度分布，在替代实施例中，脉冲串、方波、 一系列脉冲函数或其它合适的函数可以用作该参考强度分布来模型化该植物作物 行。进一歩地，该参考强度分布在例如作物成熟的整个成长季节中可发生改变。
图13是确定的在所述参考强度分布(如，模板T(k))和观察的强度分布(如， 强度分布l(k))之间互相关的图示。互相关函数，r(d)，在观察的强度分布(如， 图10)和该参考强度分布(如，图11)之间进行计算如下
其中r(d)是在观察的强度分布1(K)和参考强度分布T(/c+d)之间的广义图像互相 关函数，c/定义为参考强度分布的位置，/是观察的强度分布的中间强度。T是参 考强度分布的中间强度，以及r(o^ax)是图像中任意作物行的近似中心位置。延迟
Cfmax对应最大相关，r(Cfmax)是该作物行的中心位置。在实施例中，互相关表现为
置信度指数或视觉质量数据的值的因子或分量。
图14示出了与作物行的近似中心线相关的回归路径924和与回归路径924相关的多个分段920或窗口。该回归路径924可以包括常用线性回归线、或通过线 性或二次方程定义的直形或曲形路线。每一个分段920与相应行中心位置922相 关。如果该回归路径924是常用线性，其可以按相对参考轴926 (如磁北或另外 的参考方向)的角度928 W)进行定义。
在图14中，视觉模块22、图像处理系统33或视觉质量估计器(20、 120、 或220)将视觉数据(如，采集的图像或作物像素)分成多个分段920 (如，重叠 的窗口)。分段920出现在感兴趣区域(如，接近作物行)内。视觉模块22、图 像处理系统33或该视觉质量估计器(20、 120、或220)通过回归分析对一个或 多个作物行进行检测。
特别地，对于回归分析，视觉质量估计器(20、 120或220)形成或估计与该 行中心位置922或每一个分段920 (如，重叠的窗口)中作物行的中心相关的回 归路径924 (如，回归线段)以加强行探测的鲁棒性。该行中心位置922 (如，点) 放入回归路径924 (如，回归线段)中。回归路径924表现作物行的位置和方向。
回归路径924与车辆的初始航向或观察的路线进行比较用来为车辆控制确定 制导数据(如，來计算该轨道偏离、曲率和/或航向误差)。虽然该视觉质量估计器 (20、 120或220)通常使用每作物行的至少五个分段，实质上可以使用任意数 目的分段来检测每一个采集图像中的作物行。该视觉质量估计器(20、 120或220) 可以确定r平方值、置信度水准或其它对于与回归路径924相关的行中心位置922 有价值的数字。
图15A是视觉质量估计器220示范性配置的方框图。图15A中组件(70， 90， 92， 94和96)之间的互连可以变现为逻辑数据路线、物理数据路线或二者兼有。
视觉质量估计器220包括与密度网格定义器90通信的组织器70，该密度网格 定义器90输出数据给滤波器92，其为排列器94进行数据滤波。依次地，排列器 94输出数据到估计器96。
对于图15A中的视觉质量估计器220，视觉模块22可以包括用于采集图像数 据(如，立体图像数据)或可视数据的立体视觉成像系统。组织器70将采集图像 数据组织成作物像素和非作物像素。密度网格定义器90基于每个网格单元或一组 网格单元内的作物像素的数目来定义密度网格。例如，每一个网格单元可以用X 像素xY像素的矩阵进行定义，其中X和丫是任意正整数。虽然网格单元的密度 可以被定义为在该密度网格内作物像素对全部像素的比率、分数或百分比，也存 在该密度的其它定义方式。滤波器92将密度网格点定义为具有每个网格单元其值 大于阈值或作物像素的最小数目的那些网格单元。排列器94基于该密度网格点配 置回归路径。该回归路径表示了作物行或干草列的可能位置和可能方向(如，中 心)。估计器96基于巳定义的密度网格点和回归路径将置信度指数确定为视觉质量数据。该置信度指数应用于车辆控制器或调节器110来转向车辆。该视觉质量
估计器220可以根据多种可替换或累积使用的技术来定义该置信度指数。
在第一种技术中，估计器96被设置用来确定关于该回归路径密度网格点的矩 指数以及用来基于该密度网格点的标准差的反函数确定簇指数。矩指数和簇指数 是评估密度网格点紧密度的两种测量方式并被分布在该回归路径(如，回归线) 周围。在第二种技术中，矩指数和簇指数是根据第一种技术进行确定的，其中该 图像数据或视觉数据包括立体图像数据或已滤波的立体图像数据。矩指数和簇指 数很适合于评估立体图像数据，特别是在该立体图像数据已经滤波为超出最小作 物高度(如，1米)后。在第三种技术中，该估计器96估计或确定置信度指数为 该矩指数和簇指数的积。例如，根据下列方程来确定置信度指数
其中C^是通过cM=i_!给出的矩指数，M是围绕该回归线的密度网格点
0 2
的矩，以及Mmax是最大矩，Cc是通过Cc=0.8 +——给出的簇指数，其中
《—^ ， di是从回归路径(如，回归线)到密度网格点的正交距离，
以及d是密度网格点到回归路径的中间距离，n是密度网格点的总数目，以及c^,表 示该密度网格点的方差。在替换实施例中，偏差来自该方差的平方根；该偏差可
以用来取代在上述方程中的方差。
图15B是基于来自视觉数据(如，立体视觉数据)的源于视觉位置数据用来 引导车辆方法的实施例的流程图。图15中的方法开始于歩骤S800。
在步骤S800中，视觉模块22、图像处理系统33或组织器70将采集到的图 像组织成作物像素和非作物像素。例如，该视觉模块22、图像处理系统33或组 织器70可以使用颜色识别来将像素分类或组织成作物像素和非作物像素。如上所 述，图9提供了采集图像组织成作物像素和非作物像素的示范性例子。
在步骤S820中，视觉质量估计器220或密度网格定义器90基于每个网格单 元内作物像素的数目来定义密度网格。例如，该视觉质量估计器220可以将该作 物像素分成网格单元(如相同尺寸的矩形或六边形单元)并计算或估计每一个网 格单元内作物像素的数目。在实施例中，滤波器92标记、标志或其它方式存储或 指示出那些内部像素数目达到或超过特定最小数或阈值的网格单元。
在步骤S824中，视觉质量估计器220或排列器94基于该密度网格点布置回 归路径，其中该回归路径表示作物行的可能位置和可能方向(如，中心或中心线)。
在步骤S826中，视觉质量估计器220或估计器96将置信度指数确定为基于已定义的密度网格点和该回归路径的视觉质量数据。该置信度指数应用于车辆控
制器25或调节器110上用于车辆转向。图15的方法很适合为立体视觉数据或立
体视觉图像确定置信度指数或视觉质量数据。
视觉质量模块220可以通过使用矩指数(CM)和簇指数(Cc)的组合来确定或估 计置信度指数。回归路径或中心线周围的密度网格点的矩的计算如下-<formula>formula see original document page 23</formula>以及矩指数通过下式给出:<formula>formula see original document page 23</formula>通过该密度网格点的标准差反函数计算簇指数:<formula>formula see original document page 23</formula>
图16是具有表示作物特征或植物的作物特征点954和与作物行有关的回归路 径(如，中心线)的密度网格950。每一个作物特征点954可以表示一个或多个 作物像素(如，作物像素簇)。图16的密度网格950表示与图15A中视觉质量估 计器220和图15B中方法相关的密度网格950的示范性例子。图16的密度网格 950可来自于例如立体图像。
在图16中，每一个作物特征点954表示符合或超出最小数目、密度或阈值的 作物像素的数目。如图所示，作物特征点D^ D2和Dj分别用Xl,yi ; x2，y2 ;和 Xi，yi进行识别和定位。该密度网格950的回归路径952， L，(如，中心线或回归 线)用来估计该作物行或作物特征的位置和方向(如，中心线或轴)。在替换实施 例中，该回归路径是估计的切割/非切割边缘。
如果该密度网格点或作物特征点954非常接近于该回归路径952或在最大总 计间隔值内，该置信度指数或该视觉质量数据通常可以被接收或为高。但是，如 果该密度网格点或作物特征点954较远地(超过最大总计间隔值)偏离该回归路 径952，该置信度指数或视觉质量数据为低或通常不能被接收。该最大总计间隔值 可以建立在该作物特征点954到该回归路径952的与正轴投影(如，正交投影) 相关距离的统计学或数学表示(例如，和、平均值、中间值、或加权平均值)基础上。如所示，作物特征点D!与回归路径之间的第一距离为d1;作物特征点D2 与回归路径之间的第二距离为d2;作物特征点Di与回归路径之间的第i距离为di。
已经对优选实施例进行描述，很明显可以作出各种修改并不背离定义在附属权 利要求中本发明的保护范围。
权利要求
1、一种引导车辆的方法，该方法包括在一求值时间窗口过程中基于与所述车辆相关联的定位接收器确定所述车辆的初步制导数据；在所述求值时间窗口过程中采集来自与所述车辆相关联的视觉模块的视觉数据；由所述采集的视觉数据确定视觉制导数据；在所述求值时间窗口过程中估计所述视觉数据和所述视觉制导数据中至少一个的视觉质量数据，所述视觉质量数据基于一互相关和一r平方值，所述互相关在一分段内的所述视觉数据的一观察的强度分布与一参考强度分布之间以确定行中心位置，以及r平方值在一回归路径和所述行中心位置之间；和如果所述视觉质量数据超过一最小阈值，则基于所述视觉制导数据调节所述初步制导数据至一修正的制导数据，使得所述修正的制导数据与所述视觉制导数据一起被记录或大体同延。
2、 如权利要求1所述的方法，其中所述互相关包括一基于所述视觉数据的一 组分段的一平均互相关的归一化互相关，每一个分段与一相应的行中心位置相关 联。
3、 如权利要求2所述的方法，其中所述视觉质量数据的所述估计包括 估计与所述视觉数据的相应的分段或分区相关联的所述行中心位置；和 确定与所述行中心位置一致的所述回归路径。
4、 如权利要求2所述的方法，其中所述视觉质量数据的所述估计包括 将一采集的图像或视觉数据组织成作物像素和非作物像素； 基于所述作物像素的像素强度确定一强度分布；建立与- 组作物行或一单个作物行相关联的一参考强度分布； 将所述采集的图像划分成多个分段或重叠的窗口 ；为所述分段的每-一个确定一在所述强度分布与一参考强度分布之间互相关。
5、 如权利要求4所述的方法，进一歩包括 估计与所述分段的每一个相关联的一行中心位置；和将估计的行中心位置布置成定义一表示一作物行的一位置和方向的回归路径。
6、 如权利要求5所述的方法，进一歩包括 确定一在所述回归路径与所述行中心位置之间的r平方值；和 基于所述确定的互相关和所述r平方值确定视觉质量数据，以应用于一车辆控制器或调节器用于车辆的转向。
7、 如权利要求1所述的方法，其中所述初步制导数据和所述修正的制导数据 各包括航向数据、偏离轨道数据和曲率数据中的至少一个。
8、 一种用于估计车辆制导的视觉质量数据的方法，该方法包括 将一采集的图像的图像数据组织成作物像素和非作物像素； 基于所述作物像素的像素强度确定一强度分布； 建立与一组作物行或一单个作物行相关联的一参考强度分布； 将所述采集的图像划分成多个分段或重叠的窗口；为所述分段的每一个确定一在所述强度分布和一参考强度分布之间的互相关；估计与所述分段的每一个相关联的一行中心位置；将估计的行中心位置布置成定义一表示一作物行的一位置和方向的回归路径；确定一在所述回归路径与所述行中心位置之间的r平方值；和 基于所述确定的互相关和所述r平方值确定视觉质量数据，以应用于一车辆控 制器或调节器用于车辆的转向。
9、 如权利要求8所述的方法，其中所述回归路径包括选自以下组成的群组中 路径大体线性路径、大体曲线路径和周线路径。
10、 如权利要求8所述的方法，其中所述回归路径包括一大体线性路径，以 及其中所述r平方值指示所述行中心位置相对于所述回归路径的线性度。
11、 如权利要求8所述的方法，其中所述参考强度分布包括一正弦曲线的参 考强度分布。
12、 如权利要求ll所述的方法，其中所述峰值互相关对应相应的作物行分段 的所述行中心位置。
13、 如权利要求8所述的方法，其中所述作物行包括一干草列。
14、 如权利要求8所述的方法，其中所述参考强度分布包括一费米函数或一 阶跃函数。
15、 如权利要求14所述的方法，其中费米函数的所述宽度与一干草列的宽度 成比例。
16、 如权利要求8所述的方法，其中如果所述互相关符合或超过第一最小阈 值和如果所述r平方值符合或超过第二最小阈值，则所述视觉质量数据被认为高 或足够用于所述车辆的制导。
17、 如权利要求8所述的方法，其中如果所述互相关小于第一最小相关阈值 或者如果所述r平方值小于第二最小阈值，则所述视觉质量数据被认为低或不足 以用于所述车辆的制导
18、如权利要求8所述的方法，其中所述互相关包括根据下面的方程确定的 广义图像互相关<formula>formula see original document page 4</formula>其中r(d)是在所述观察的强度分布l(K)和所述参考强度分布T(/c+d)之间的所述广义图像互相关函数，d定义为所述参考强度分布的位置，/是所述观察的强度分布 的平均强度，r是所述参考强度分布的平均强度，以及r(dma》是所述图像中任意 作物行的近似中心位置。
19、如权利要求8所述的方法，其中所述互相关包括根据下面的方程确定的 归一化的互相关<formula>formula see original document page 4</formula>其中，r^,、,是來自一组分段的平均互相关，^是所述参考互相关，以及r。是 最小互相关。
20、 如权利要求8所述的方法，进一步包括 通过一单目视觉成像单元采集所述图像数据。
21、 如权利要求8所述的方法，其中所述分段包括所述图像数据的重叠的窗 口或分区。
22、 一种引导车辆的系统，所述系统包括一定位接收器，用于在一求值时间窗口过程中为所述车辆采集初歩制导数据；一视觉模块，用于在所述求值时间窗口过程中采集视觉数据和用于从所述采集的视觉数据确定视觉制导数据；一视觉质量估计器，用于在所述求值时间窗口过程中估计所述视觉数据和所 述视觉制导数据中至少一个的视觉质量数据，所述视觉质量数据基于一互相关和 一 r平方值，所述互相关在一分段内的所述视觉数据的一观察的强度分布与一参 考强度分布之间以确定行中心位置，以及r平方值在所述回归路径和所述行中心位 置之间；和一调节器，用于当所述视觉质量数据超过一最小阈值时基于所述视觉制导数据调节所述初步制导数据至一修正的制导数据，使得所述修正的制导数据与所述 视觉制导数据一起被记录或大体同延。
23、 如权利要求22所述的系统，进一步包括一互相关模块，用于确定一归一 化的互相关作为所述互相关，所述归一化的互相关基于所述图像数据的一组分段 的一平均互相关，每一个分段与一相应的行中心位置相关联。
24、 如权利要求23所述的系统，其中所述视觉质量估计器进一步包括 一行中心估计器，用于估计与所述图像的相应的分段或分区相关联的所述行中心位置；和一排列器，用于确定与所述行中心位置一致的所述回归路径。
25、 如权利要求23所述的系统，其中所述视觉质量估计器包括 一组织器，用于将一采集的图像组织成作物像素和非作物像素； 一强度分布模块，用于基于所述作物像素的像素强度值确定一强度分布； 一数据存储设备，用于存储与一组作物行或一单个作物行相关联的参考强度分布；一再分器，用于将所述采集的图像划分成多个分段或重叠的窗口； 一互相关模块，用于为所述分段中的每一个确定所述强度分布与一参考强度 分布之间的一互相关。
26、 如权利要求25所述的系统，进一歩包括一行中心估计器，用于估计与所述分段中的每一个相关联的一行中心位置；和一排列器，用于将估计的行中心位置布置成定义一表示一作物行的一位置和 方向的回归路径。
27、 如权利要求26所述的系统，进一步包括一变量估计器，用于确定所述回归路径与所述行中心位置之间的一 r平方值；和一估计器，用于基于所述确定的互相关和所述r平方值确定视觉质量数据，以 应用于一车辆控制器或调节器用于车辆的转向。
28、 如权利要求22所述的系统，其中所述初歩制导数据和所述修正的制导数 据各包括航向数据、偏离轨道数据和曲率数据中的至少一个。
全文摘要
在求值时间窗口过程中确定车辆的初步制导数据。视觉模块(22)采集所述求值时间窗口过程中来自视觉模块(22)的视觉数据。由采集的视觉数据确定视觉制导数据。视觉质量估计器(20、120或220)为所述求值时间窗口过程中的所述视觉数据和视觉制导数据中的至少一个估计视觉质量数据。所述视觉质量数据基于互相关和r平方值。如果所述视觉质量数据超过最小阈值，则调节器(110)基于所述视觉制导数据将所述初步制导数据调节为修正的制导数据，使得所述修正的制导数据与所述视觉制导数据一起被记录或大体同延。
文档编号G05D1/00GK101681168SQ200880017646
公开日2010年3月24日 申请日期2008年4月8日 优先权日2007年5月31日
发明者特伦斯·丹尼尔·皮克特, 约翰·富兰克林·里德, 韩·书峰 申请人:迪尔公司