专利名称：基于视觉的导航和制导系统的制作方法
技术领域：
本发明涉及基于视觉的导航和制导系统。 背景駄自动糊是有好处的，因为它们不需要操作者来手动操作车辆。自动车辆有利的一^H页域是在那些日常工作需要，的领域。例如日常工作中的割草。 拥有能自动割草的自动车辆是人们所期望的。对于具有大量需要维护的草的场 地如高尔夫^^来说尤其如此。但是，g按照预定方式驾驶的自动车辆是一个挑战。例如，〗顿高尔夫嫩汤这个例子，在嫩汤中有球道和障碍区，它们在 所要维护的草的高度上不同。在球道中草需要剪得比较低，以至于可以很容易 地打大多数的高尔夫球，但是在障碍区草需要保持很长或者甚至不需要修剪。 自动草坪修剪 5必须设计成育,检测和保持不同类型的区域。育滩成功检测 球道和障碍区之间的边缘是建皿功的自动草坪割草til^f需的一个要求。目前，舰AI操作的草坪割對鹏對户球道。由于上述原因和下述的其它原因，在阅读和理解本说明书的基础上所述原 因对本领域技术人员来说是很明显的，在本领域中需要具有有效视觉边缘检测 系统的自动车辆。发明内容，提到的当前系统的问题可以ffia^发明的实施例解决，并且通过阅读 和研究下面的说明书来理解。下面的概述是借助实例而不是借助限库i，行的。 其是一种仅仅提供用来帮助读者 本发明的一些方面的方法权利要求。在一个实施例中提供了控制自动车辆的方法。该方法包括以预定的帧速率(frame rate)捕获图像帧。检测在每个图像帧中限定边缘的像点。4OT在每个 图像帧中的像点来定位确定的边缘。动态预测在随后的图像帧中限定边缘的像 点的位置。使用限定边缘的像点的位置预测来縮窄在随后的图像帧中边缘的搜 索区域。确定在随后的图像帧中确定的边缘之间的偏移距离并且至少部分地基 于在随后的图像帧中确定的边缘之间的确定的偏移距离，制 。
当考虑本发明的详细描述并结合附图，本发明可更加容易的理解并且其优 点和用处更加显而易见，其中图1是本发明的一个实施例的自动糊系统100的框亂图2是本发明的一个实施例的纖确定电路的框亂图3是本发明的另一个实施例的ii^确定电路的框图；图4A示出了在本发明的一个实施例的连续帧中的两个确定的边缘的融合图；图4B示出了在本发明的一个实施例的连续喊中的两个确定的，的另一 融合图；以及图5是本发明的一个实施例的自动控制繊图。与常规惯例一致，各种描述的特征没有按比例绘制，而是被绘制成用来强 调与本发明相关的特定特征。附图和文本中的参考标te^相似的元件。
具体实施方式
在下面详细的描述中，参考附图，这些附图构成了说明书的一部分，在这 些图中借助图示示出了可以实施本发明的特定实施例。这些实施例描述的足够 详细以使本领域的技术人员能实践本发^^，并且应当理解，在不脱离本发明的 精神和范围的情况下，可以j顿其它实施例以及可以謝说辑的、机械的和电 气的改变。因此下面的详细描述不应当看舰本发明柳艮制，并且本发明的范 围仅由权利要求及其等同物所限定。本发明的实施例提供了部分地j顿边缘检观係统来导航的自动车辆。在本 发明的实施例中，捕获图像并将图像处理成关于接下来的边缘的信息。本发明 的实施例使用空间和时间信息来确定i^。参考图l，提供了本发明的一个实施例的自动糊系统100的框图。如图所 示，自动糊系统100包括照相机102,纖确定电路104,控鬼幡106，导航 电路108和糊110。照相机102用娜获图像。将图像传输到纖检测电路 104。，检测电路104使用空间和时间技术来确定距离AX。 AX是到由边缘确 定电路104确定的边缘的距离(或偏移距离)。将AX信号提供到控制器106。 控律螺106 {顿该AX信号以及由导航电路108鄉的其它导航信号来生成用 于糊110的控制言号。传逛IJ糊110的控带腊号的实例^I^控制(Vc)和转向控库妙c)。 ，110执行接收到的控带腊号。从导航电路108提供至啦制 器106的导航信息的实例包括但不限于惯14ig动单元信息，多普勒雷达信息， ，定位系统信息，立淋见觉信息，雷达信息，测绘信息等等。图2提供了在皿确定电路104中进行的步骤的例子。如图所示，，确 定电路104包括图像处理202和信号舰204。在图像鹏202处，来自照相机的^lr入图像经过空间处理来确定職。然后将确定的边缘传想瞻号处理204。在信号处理204处，为随后的图像来预测关于确定的職的方位信息的估 计。然后将该信息用于缩窄在下一图像帧中的纖的，麟范围。图3麟了纖确定电路104的框图。在这舊仔中，图像舰202包括 i^^检测电路302。纖检测电路302在齡图像上执行多倾骤。这些步骤可 包括但不限于图5所示的系统流程图500中的步骤502， 504, 506和508。这些 步骤将在下面提供的关于图5的介绍中进一步描述。在图3的实施例中，鹏 检测电路302从照相机接收图像并且首先将该图像分段以缩窄将要进行分析的 图像的区域。然后，确定电路104将定向预滤波步骤施加到分段的图像上。 该定向预滤波步骤使分段后的图像中的边缘模糊，所述边缘在与目标;ii^行进 的方向不同的方向上。例如，如果在分段后的图像上目标边缘从南到北行进， 那么就将从东到西行进的边缘模糊。换句话说，当车辆沿通常平行于目标边缘 的方向行进时，将通常不与目标边缘平行的边缘模糊。在分段后的图像模糊掉 不想要的纖之后，开始执微缘检测。可以i顿的边缘检观暇序(顯莫块) 的例子是Canny边缘检测。尽管蹈'j了 Canny纖检测，但是在本发明中可以 ^ffi倒可类型的皿检测程序。边缘检测模块识别限定边缘的图像像素(或像 点)。 一旦检观倒了纖，ii^检测电路302就识别并去除阴影。图3中的 确定电路104也包括信号MI电路204。该实施例的信号处理 电路204包,态预测窗304和测量融合306。在一个实施例中，动态预测窗 304解决约束最小二乘问题。动态预测窗304估计下一图像帧中纖艘出现的 位置。4柳这一预测方式，只需要分析下一帧中的狭窄区域。因此針分段后 的图微一步縮小到鹏进行分析的已预测的窗口图像。该预测窗口图像是动 态的，因为边缘可以从图像帧到图像帧移动，并且因此预测窗口将相应移动。 图3也示出了，信号处理电路也包括测量融合函数306。该测量融合函数306 融合边缘点以获得确定的边缘位置。边缘点是图像中具有边缘特性的像素。边缘特性包括从亮到暗m暗到亮急剧转变的相邻像素。在一个实施例中，使用卡尔曼(Kalman)滤波器，^ii缘点。然后测量融合函数306确g确定的 ，的偏移距离AX。然后将AX以AX信号的方式输出到控制器106。图4A的融合图400中示出了在两个纖帧中的确定的纖的例子。融合图 400示出了用于标注为帧K的第一帧的确定的第一边缘404，和用于标注为帧K +1的第二帧的确定的第二边缘402。如上所述，图像帧中的确定的边^131使 用滤波器如卡尔曼滤波器由限定边缘的多个图像像素(或边缘点)确定。确定 的，的图示是^ffl卡尔曼滤波器从图像点408-1、 408>2和408-3确定的第一 确定的边缘404。类似地，由图像点406-1、 406-2和406^3确定第二确定的， 402。应当理解每帧图像像素(或点)的数量将根据预期^ff率而变化，图4A 中示出的点的数量仅仅为了说明该过程而提供。图4A中也示出了 AEP1、AEP2、 AEP3 ，其示出了当穿过卡尔曼滤波器以确定第二边缘402时相应边缘点406^1 、 406-2和40&3移动的距离。沿图4A的X轴的距离XC标刀具^S420。刀具位置在X轴的距离是AX。 在这个例子中，确定的边缘404和402之间的距离在XC处为0。因此AX等于 0。所以，此时^lf沿边缘的导航被正确的定位。但是，如果第一确定的纖402 和第二确定的边缘404之间在XC处存鄉巨离，那么将W1E巨离XC420的^ifi 为AX的距离。将AX输出到控律幡106,舰例中AX为O。然后控带滕106 顿AX来调離置。因为舰例中AX为0，因雌时无需在方向上进糊节。 参考图4B,示出了另一融合图430的实例。在 合图430中，AX不等于O。 特别地，融合图430示出了与第一帧中的边缘点相关联的第一确定的边缘432 和与第二帧中的边缘点相关联的第二确定的皿434 。沿X轴的XC表示为436。 如图所示，第二确定的边缘434在离XC436距离AX (或偏移距离)处与X轴 相交。其是被输出到控制器106的AX。在本发明的实施例中，本发明中的釆样 (或获得图像帧的速率)与车辆的运动速度相比相对比较决。在时间上这允许 M每一帧来确定自确定的ii^和输出的AX。在一个实施例中，釆样频率大 于10赫兹。图5示出了本发明的一个实施例的自动控制流程图500。如图所示，该， 始于捕获初始图像(501)。然后将初始图像分段(502)。该分段在检测的边缘 周围限定了相对较小区域的视野，例如方形(box)。在一个实施例中分段的确定是先验固定的，其中用户确保在初始化期间检测的边缘在方形之内。在另一 个实施例中，使用自动化处理来用初始帧产生关于明显的边缘为中心的固定大小的方形的位置。步骤(502) ^>在确定边缘的过程中需要估计的点(或像素) 的数量。接下来将定向预滤波运用到图像帧(504)。如上所述，定向预滤波在 不与车辆的行进方向相对平行的方向上使边缘模糊。然后运用边缘检测算法 (506)。在一个实施例中，该纖检测算法是Canny纖检测算法。边缘检测 算法实时地提供边缘。然后应用阴影边缘去除算法(508)。该阴影边缘去除算 法除去图像帧中的阴影，所述阴影不是检测的边缘。在一个实施例中，^M; 观察黑像素和周围像素来完成。如果在亮像素附近有太多的像素(用户限定的) 为黑色的，那么就存在阴影并将其除去。确定黑像素所用的一个^是基于阈 值化的 图。除去阴影纖(508)之后，开始i顿动态预测窗(510)。这是约束最小二 乘问题。动态预测窗用来预测在下一图像帧中边缘将出现在哪。如上所述，其 是动态的因为边缘可关于图像帧弯曲，并且因此确定的AX值将改变。然后这 用于縮窄随后的图像帧中，的搜索范围。将动态预测窗(510)的结果运用在 纖检测步骤(506)中。财卜，除去阴影边缘(508)之后，应用测量融合(512)。 测量融合包括滤波器，如本领域公知的卡尔曼滤波器但不限于此。使用卡尔曼 滤波驗图像帧中基于检测点(或像素)来发现确定的纖，并且如图4B中所 示那M定AX。然后将AX输出到控带藤(514)。然后控伟幡至少部分:fctt于 AX来调整车辆的路线(516)。也可以确定 是否仍在移动(518)。如果车辆 没有移动(518)，那么该过程结束。如果车辆仍然在移动(518),那么该过程 在图像分段步骤(502)继续。图5的^f呈图，仅仅描述了执行本发明的功能的 一个可能的方法。其它可能的执行方法是可以的并且是预期的。因此，本发明 不限于图5的控制漸呈图中列举的方法。这里描述的方法和^:可在数字电子电路中，或者用可编程处理器(例如， 专用M器皿用处理器，如计算机)固件，软件，或通常限定为模块的它们 的组合来执行。具体实施这些技术的^fi可包括M的输入和输出设备，可编 程处理器，以及明确实施由可编程处理 行的程序指令的存储介质。具体实 施这些技术的过程可M可编程处理器来执行，该可编程处理^^ff呈序指令 以S5i^输入数据进行操作并产生洽当的输出来实现预期的功能。这些技术可以一个或多个禾聘有利地实施，所述禾聘可在包括至少一个可编程处理器，至 少一，入设备以及至少一个输出设备的可编程系统上执行，该至少一个可编 程处理器被耦合用于，据存储系统接收数据和指令以及将数据和指令传送到 存储系统。通常，艘鹏^R读存储器和域随机存取存储鹏收指令和数据。适于确实实施计mnji序指令和数据的存^^置包括所有形式的非易失性存储器，包括作为例子的半导，储器设备，如EPROM， EEPROM，和闪 存设备；磁盘，如内部石鹏和可移动石鹏；磁 ;和DVD盘。前述的樹可一 种可由专门设计的专用集成电路(ASIC)补充，或并入专门设计的专用集成电 路中。尽管在此已经示出和描述了特定实施例，但是本领域的普通技术人员将意 识到用于达到相同目的的任何布置可替代示出的特定实施例。本申请意图覆盖 本发明的<勤可修改或 。因此，很显然地本发明只由权利要求及其等同物来
权利要求
1. 一种控制自动车辆的方法(500)，该方法包含以预定帧速率捕获图像帧(501，520)；检测在每个图像帧中限定边缘的像点(506)；在每一图像帧中融合像点以定位确定的边缘(512)；动态地预测在随后图像帧中限定边缘的像点的位置(510)；使用限定边缘的像点的位置的预测来在随后图像帧中缩窄边缘的搜索区域(506)；确定在随后图像帧中的确定的边缘之间的偏移距离(514)；以及至少部分地基于在随后的图像帧中的确定的边缘之间的确定的偏移距离来控制车辆(516)。
2、 如I51利要求1所述的方法，进一步包含.-在每个图像帧中模糊通常不在 行进方向上的边缘(504)。
3、 如权利要求1所述的方法，进~^包含 去l^个图像帧中的阴影(508)。
4、 如权利要求1所述的方法，其中检测限定纖的像点进一步包含舰C咖y纖检测算法(506)。
5、 如权利要求l所述的方法，其中融合像点进一步包含在限定边缘的像点上使用卡尔曼滤波器(512)。
6、 如权利要求1所述的方法，进一步包含分段旨图像帧以减小对于限定ii^的像点需要被搜索的区域(502)。
全文摘要
本发明涉及基于视觉的导航和制导系统。一种利用基于视觉的导航和制导系统来控制自动车辆的方法。该方法包括以预定的帧速率捕获图像帧。检测在每个图像帧中限定边缘的像点。在每一图像帧中使用像点来定位确定的边缘。动态地预测在随后图像帧中限定边缘的像点的位置。使用限定边缘的像点的位置的预测在随后图像帧中缩小边缘的搜索区域。确定在随后图像帧中的确定的边缘之间的偏移距离，以及至少部分地基于在随后的图像帧中的确定的边缘之间的确定的偏移距离来控制车辆。
文档编号G05D1/02GK101281644SQ20081009519
公开日2008年10月8日 申请日期2008年3月7日 优先权日2007年3月8日
发明者K·克里什纳斯瓦米, S·甘古利 申请人:霍尼韦尔国际公司