用于夜间探测道路的方法和系统的制作方法

专利名称：用于夜间探测道路的方法和系统的制作方法
技术领域：
本发明涉及基于红外摄像机生成的信号探测夜间或者较差视觉 条件下的道路的夜视系统。本发明还涉及通过从红外摄像机获得的 图像探测夜间或者较差视觉条件下的道路的方法。本发明还涉及存 储数据处理器的指令的数据载体，在被装载到计算机系统内之后， 所述数据处理器执行探测夜间或较差视觉条件下的道路的方法。
背景技术：
几乎70%的事故涉及夜间的行人。这样的事故的主要原因之一 在于夜间能见度的降低。此外，有些人还会因为特殊的视力问题而 造成夜间视敏度的下降，从而受到阻碍。因此，汽车公司非常关心 为司机提供能够在夜间对道路进行自动障碍物/物体探测或计算机 增强成像的车载系统。这需要有效的道路探测系统。
由于夜间道路照明不充分或者没有照明，因此，感测物体温度 的红外(IR)摄像机有可能替代或补充基于视觉的系统。夜视系统 的主要应用在于对道路上的物体的鲁棒探测，从而警告司机或者增 强司机可以获得的观察。
前面已经联系行人探测描述了采用单个红外摄像机的夜间道路 探测。最近，国际PCT专利申请No. WO2004/029659公开了一种有 助于识别可能的行人的道路探测算法。该专利申请描述了一种基于 某种特征的道路探测算法，该特征是说，在将图像区的温度值变换 为灰度级代码之后，道路将呈现为具有恒定强度的光滑表面。在这 样的假设下，诸如Sobel边缘探测算法的边缘探测技术能够识别出 道路图案。但是，前述技术存在几种缺点。将会把道路标记识别为 将道路划分为几个表面的边缘。道路可能在其表面上呈现纹理图案 而不是恒定强度，其降低了边缘探测技术的有效性。天空也将呈现
为光滑表面，并且可能具有与道路相同的边缘和纹理特性。此外， 没有说明将道路与天空区分开的明确方法。
因而，用于夜间或较差视觉条件下的改进的或者更为鲁棒的道 路探测方法将是有利的，具体而言，用于探测夜间或较差视觉条件 下的道路的视觉系统将是有利的。
本发明基于这样的观察，即，道路在夜间具有低温；因而，与 在红外摄像机图像帧内观察到的其余景物相比，其在该图像帧内将 导致低强度像素值。本发明还基于这样的观察，车辆司机遇到不良 视觉条件的绝大多数情况发生在冬季的月份，这时，平均温度低， 并且红外摄像机也能够在白天提供有用的信息。本发明还基于这样 的事实，即，如果道路和天空在从红外摄像机获得的图像中呈现为 单个表面，那么它们通常在与地平面一致的线处相连。
本发明的目的在于提供克服现有技术的问题的探测夜间道路的 方法和系统。本发明的另一目的在于提供鲁棒并且经济有效的探测 夜间道路的方法和系统。

发明内容
本发明的目的是通过一种用于探测夜间或不良视觉条件下的道 路的方法实现的，所述方法以图像帧为基础，并通过计算机执行， 将所述图像帧划分为像素，每一像素具有被赋予的强度值，该强度 值对应于所述图像帧代表的环境的点的温度，所述方法包括的步骤 有
通过在所述图像帧内探测作为显示道路的候选的像素计算掩
码；
从所述候选道路像素中选择候选道路像素的初始群作为对所述 道路的估算，其具有与所述图像帧的下部一致的或者处于其附近的 下边界；
确定初始地平线估算，作为以候选道路像素的不同强度为特征 的水平区域之间的第一条水平取向边界；
通过校正所选择的具有上边界的候选道路像素的初始群界定最 终的道路群，所述校正是以所述上边界相对于所述初始估算地平线 和地平线位置的预定上限的位置为基础的。
所述的候选道路像素的探测可以以由所述图像帧的像素强度值 计算第一阈值为基础，其中，通过将每一像素强度值与所述第一阈 值比较探测所述候选道路像素。
就本发明的一个方面而言，可以将所述第一阈值作为所述图像 帧中的像素值的平均值计算。由此令人吃惊地获得了有用的第一阈 值。由此通过提供降低的计算机处理需求简化了所述阈值的计算。 但是，就本发明的另一方面而言，可以采用所述图像帧中的像素强 度值的标准偏差对所述第一阈值加权。
可以由所述掩码的候选道路像素的垂直投影和所述投影的导数 计算所述初始地平线估算。由此获得了确定地平线的有效计算方法。
所述初始地平线估算基于
第二地平线估算，其被确定为导数的绝对值大于预定常数的掩 码R的最上面的一行；或者
所述第二地平线估算和第一地平线估算的平均值，其中，将所 述第一地平线估算确定为垂直投影大于所述掩码的预定行的垂直投 影和所述预定常数之和的掩码的最上面一行。
候选道路像素的选择包括识别掩码中具有相同候选像素值的连 通群(connected cluster),并选择最大的连贯群(coherent cluster), 其大于所有像素的预定百分比，并且具有位于掩码的某一行之下的 下边界。
就本发明的一方面而言，通过将连通分支标识算法应用于所述 掩码执行对掩码中具有相等像素值的连通群的识别。
所述最终道路群的选择包括
如果初始道路群的上边界处于预定第二阈值之上，那么通过以 初始地平线估算重新界定初始道路群的上边界来校正所述初始道路 群；以及
如果所述初始道路群的上边界位于所述第二阈值之下或处于所 述预定第二阈值上，那么选择所述初始道路群，并调整所述地平线
估算，使之与所述初始道路群的上边界一致。
由此实现了使最终道路估算变得更为精确，因为采用图像中最 可能与道路估算相关的信息对该方法进行了加权。
本发明的目的还通过一种用于探测夜间或不良视觉条件下的道 路的系统实现，所述系统包括一个或多个数据处理器以及一个或多 个数据存储器，所述系统将数据存储到所述一个或多个存储器内， 其表示被划分为像素的图像帧，每一像素具有被赋予的强度值，所 述强度值对应于所述图像帧代表的环境点的温度，为所述系统提供 指令，所述指令通过一个或多个处理器执行后使该系统适于
通过在所述图像帧内探测作为显示道路的候选的像素计算掩
码；
从所述候选道路像素中选择候选道路像素的初始群作为对所述 道路的估算，其具有与所述图像帧的下部一致的或者处于其附近的 下边界；
确定初始地平线估算，作为以候选道路像素的不同强度为特征 的水平区域之间的第一条水平取向边界；
通过校正所选择的具有上边界的候选道路像素的初始群界定最 终的道路群，所述校正是以所述上边界相对于所述初始估算地平线 和地平线位置的预定上限的位置为基础的。
就本发明的一个方面而言，所述系统还包括用于获得图像帧的 单个红外摄像机。由此能够获得经济有效且鲁棒的系统。
但是，就本发明的另一个方面而言，所述系统可以包括用于获 得图像帧的多个红外摄像机。由此，能够将根据本发明的方法和系 统应用到用于校准多个摄像机的更为传统的系统当中。
就本发明的另一方面而言，所述系统还适于将最终道路群的图 像显示给用户。由此，应用了该系统的车辆的用户，即司机可以对 所显示的道路的图像做出反应，由此在视觉条件差时，例如，在夜 间改善其驾驶。
本发明的目的还通过一种存储数据处理器的指令的数据载体实 现，在指令装载到计算机系统内之后，其执行上述方法。
在当前语境中，"导数" 一词用于表示两个数或矢量之间的数值差。
在当前语境中，"上"、"下"以及"上部"和"下部"是指对图 像的观察中通常感受到的图像帧的取向，除非另行说明。
在当前语境中，"群(cluster)"是指具有类似的像素值的像素的 连贯组(coherent group )。


现在将参考附图，仅通过举例的方式说明本发明，在附图中 图1是示出了根据本发明的第一方面的、用于探测夜间或者不 良视觉条件下的道路的系统的方框图2是示出了根据本发明的第一方面的道路探测模块的方框图3是示出了根据本发明的第二方面的通过由单个红外摄像机 获得的图像帧探测夜间或不良视觉条件下的道路的方法的流程图4是示出了根据本发明的第二方面的、用于探测道路候选像 素和提供初始红外影像的二进制掩码(mask)的算法的流程图5是示出了根据本发明的第二方面的、估计地平线的算法的 流程图6是示出了根据本发明的第二方面的、根据候选道路像素的 二进制掩码识别和探测道路的算法的流程图7是示出了根据本发明的第二方面的、基于天空显示和地平 线情况校正道路界定的算法的流程图8是示出了根据本发明的实施例的、显示叠加在对应的初始 红外图像上的道路的算法的流程图；以及
图9示意性地示出了用于探测夜间或不良视觉条件下的道路的 方法的操作的例子。所述例子包括景物的图像(就像其在白天呈现 的一样)、对图像的算法操作的中间歩骤以及综合图像(resulting image),在综合图像中，将计算出的道路、地平线估算和天空区域 叠加到初始图像上。
具体实施例方式
在图1中示出了用于探测夜间或不良视觉条件下的道路的系统
IO的示意图，其包括计算机系统20、红外摄像机60、显示器70、 视听报警器80和一系列控制键90。计算机系统10包括存储器25、 输入/输出控制器35、通信总线45和处理器55。存储器25包括图 像帧存储模块30、警报模块40和道路探测模块50。将红外摄像机 60、显示器70和视听报警器80通过(例如)同轴电缆、双绞线电 缆或者利用射频连接连接至计算机系统20。输入/输出控制器35、 存储器25和处理器55通过通信总线45相互连接。将帧存储模块30、 警报模块40和道路探测模块50置于存储器25内。例如，控制键90 可以(例如)实现系统的启动和停机，当然还存在其他可能的应用。
在本发明的一个应用中，可以将用于探测夜间或不良视觉条件 下的道路的系统10放到车辆当中，例如，小汽车、摩托车或卡车， 其能够帮助司机、用户在驾驶过程中识别前方道路。
现在将描述用于探测夜间或不良视觉条件下的道路的系统10的 操作。处理器55通过输入/输出控制器35和通信总线45从红外摄 像机60接收图像。将帧存储在存储器25内，更具体地说，存储在 帧存储模块30内。处理器55从道路探测模块50接收操作指令，并 提供对路面的估算，所述估算是从接收自红外摄像机60并存储在帧 存储模块30内的图像帧观察到的。此外，在本发明的一个实施例中， 处理器55将估算的路面叠加到从摄像机60接收的图像帧上，并在 显示器70上显示对应的综合图像。在第二实施例中，处理器55可 以择一 (alternatively)或者额外接收来自警报模块40的操作指令， 并(例如)当在从摄像机60接收的红外图像中识别不到道路时，通 过视听报警器80提醒汽车司机。警报模块40可以择一或者额外向 伺服控制系统提供反馈信息，从而使汽车保持在道路界限内。
在图2中更为详细地示出了道路探测模块50，其中，模块50 包括候选道路像素探测模块100、初始地平线估算模块IIO、道路界 定模块120和道路/地平线校正模块130。在本发明的一个实施例中， 显示器显示模块140可以补充所述方法。处理器55接收来自道路探
测模块50的指令，并通过候选道路像素探测模块100、初始地平线 估算模块110、道路界定模块120和道路/地平线校正模块130依次 执行指令。在本发明的一个实施例中，所述模块将最终执行包含在 显示器显示模块140内的指令。
在图3中通过200总体标示体现了通过从单个红外摄像机获得 的图像探测夜间或者不良视觉条件下的道路的方法的步骤的流程 图。优选通过图1所示的系统10中的道路探测模块50将该方法作 为算法执行。所述方法包括的步骤有按下探测系统启动210，在可 以获得下一图像帧时，访问下一图像帧220，探测候选道路像素230， 提供二进制掩码，估算地平线240，通过二进制掩模界定道路250， 校正道路和地平线260，如有必要，任选地在显示器上显示图像270， 如果用户已经指示了停止，以处理额外的帧，那么进行检验280。
在通过控制键90按下系统启动210，并且可以在帧存储模块30 内获得新的图像帧时，访问图像帧220，并执行探测候选道路像素的 算法步骤230。基于从候选像素获得的二进制掩码230，执行初始地 平线估算240和道路界定250算法。在道路和/或地平线的校正260 算法中获得对道路识别和地平线放置的最终判决。之后，优选在显 示器上70上连同道路和地平线估算一起显示初始红外图像帧270。 最后，算法200检验是否能够确认(例如)用户采用控制键90输入 了系统停止信号280;如果没有观察到停止信号，算法200访问新图 像帧，之后再次执行前述步骤。如果观察到系统停止信号，那么算 法200将其自身设置到等待状态290，等待重新按下系统启动210。
从红外摄像机获得的图像帧通常由像素矩阵构成(Xma/ymax)，其 中，Xn^表示水平方向可用的像素数量，即列数，ymax表示垂直方向 可用的像素的数量，即行数。每一像素被赋予一个表示该像素所涉 及的图像的区域的温度的具体值。通常，像素值将随着每一图像帧 而改变其强度。在下述说明中，为图像的最上面的一行赋予行值i=l ， 为图像的最下面的一行赋予行值i=Ymax。
在图4中示出了涉及探测候选道路像素的算法230的流程图。 在处理器55接收到构成图2所示的候选道路像素探测模块100的指
令时，执行所述算法。算法230包括的步骤有通过复制一份有待
分析的图像帧开始310，估算阈值320，访问来自所述图像帧的第一 像素330，评估像素强度是否处于在步骤320中估算的阈值之上340， 为像素赋予零值350， P=0，或者为其赋予一值360, P=l，检验估算 的像素是否是图像中的最后一个像素370，访问下一像素图像380， 创建并存储候选道路像素的二进制掩码390，并结束395。
一旦使第一帧/下一帧处于可用状态220，候选道路像素算法230 就通过在存储图像帧存储模块30内复制一份有待分析的图像帧而开 始运行。通常，将阈值772作为图像帧像素值的强度的平均值/及其 标准偏差Q的函数进行估算320。方程(1)示出了这一函数，其中 ^和^是确定两统计项，即/—和^的贡献的参数。根据具体的应用， 可以找到这些参数^和^的最佳值。在本发明的一个实施例中，将 阈值T72直接作为红外图像像素值的强度的平均值/计算，其表示将 k,视为l，将k2视为零。这一实施例的优点在于，避免了用于计算 标准偏差cn的密集计算处理，从而确保了低成本。上述实施例的性 能已经得到了仔细的检验，并且与包括标准偏差的最佳阈值进行了 比较。结果表明，在应用于道路探测应用中时，本发明的这一方法 在降低了处理要求的同时提供了伪最佳状况(pseudo-optimum situation)。
77z=^X/+^Xw (1) 在与本发明没有直接关系的情况下，如果需要计算标准偏差ff/，
使用^和^二者。在宽条件范围内获得的涉及图像的详细试验研究 表明在为^和^二者都赋予值0.5时实现了最佳性能。
在算法230的下一步骤中，从帧存储模块30访问红外图像的第 一像素，并将其强度值与估算的阈值相比较340。如果像素强度处于 阈值772之上350，那么为像素P赋予值0。如果像素的强度小于等 于阈值77z，那么为像素赋予值l。这一程序尝试提取具有较低温度 的像素作为候选道路像素。在所述方法的步骤370，检验所访问的像 素是否是来自所述图像帧的最后一个像素。如果其是最后一个像素， 那么将包括所有候选道路像素的二进制掩码存储在帧存储模块30
内。如果不是最后一个像素，将访问下一像素P380，并执行与阈值 Th的新的比较340，直到抵达最后一个像素为止，从而结束了对道 路候选像素的执行395。在方程(2)中示出了步骤360，其中，将 二进制掩码i ^"定义为红外图像的像素的强度/(^y,和阈值277的函数。
图5示出了给出最初估算地平线的算法240的步骤的流程图。 在处理器55接收到构成图2所示的初始地平线估算模块110的指令 时，执行所述算法。所述算法包括的步骤有访问候选道路像素的 二进制掩码410，计算像素的垂直投影(vertical projection) 420，计 算所述垂直投影的导数430，计算第一地平线估算440，计算第二地 平线估算450，确定最终地平线估算并存储其位置460。
垂直投影计算420负责针对从候选道路像素的二进制掩码访问 410的像素数据的每一行计算所有像素值的和，并将该和存储在存储 器的矢量尸/力内。如方程(3)中所示，可以在数学上将这一步骤 表示为对Pv(y)的计算。该算法中的下一步骤是对垂直投影的导数 P"y)的计算430;其计算如方程(4)所示，其中，N是在微分过程 中所要减去的元(element)之间的行差。涉及在宽条件范围内生成 的图像的详细试验研究得出的结论为，N=3提供了最佳的算法性能。 但是，从这一最佳值N=3产生的小变化，例如，N=2， N=4， N=5 对算法的精确度没有显著的影响。主要针对包括(320X240)像素 的图像帧执行测试。如果就像素(xmaxXymax)而言，红外图像具有 其他尺寸，那么N值通常将縮放至处于方程(5)中表示的裕量内的 值。<formula>formula see original document page 14</formula> ( 5 )
通过计算方程(6)来计算第一地平线估算440。从最上面的图 像行i—启动比较，继续进行检验，直到找到与方程(6)中表示的 不等式匹配的行为止，其中，/^表示估算到地平线的行编号。
<formula>formula see original document page 14</formula> (6)
在方程(6)中，/^表示在其上具有找到天空区域的高概率的行， 将7!。^定义为包括来自处于地平线处的道路的预期宽度(根据其包 括的像素的数量定义的宽度)和由噪声生成的候选道路像素的影响 的常数。图像帧内的噪声可能源自于具有与道路类似的温度特性的 物体，或者只是简单地源自于图像的记录过程。
在天空温度通常高于阈值Th，并且通常不将其像素考虑为候选 道路像素的情况下，对第一地平线估算的计算440尤为贴切。
在已经抵达了二进制掩码的最低行i=Ymax，但却没有与所述不 等式匹配的行的情况下，退出第一地平线估算440，算法240将在决 定生成最终的地平线估算460的过程中仅考虑第二地平线估算450。 例如，在所有的天空像素的温度均低于平均温度的情况下，将会产 生后面描述的情况。
在本发明的一个实施例中，其中，所获得的红外图像帧包括由 分别处于水平方向和垂直方向的320*240像素构成的矩阵，认为4P 处于30和70之间，T^，处于20和80之间。这些值是从涉及在宽 条件范围内获得的图像的详细试验研究中获得的。如果就像素(xmax
Xym^)而言，红外图像具有其他尺寸，那么iup和T^ge的值通常将
缩放至处于方程(7)和(8)表示的裕量内的值。
<formula>formula see original document page 14</formula> ( 7 )
<formula>formula see original document page 15</formula>
第二地平线估算450基于这样的观察，即，在地平线处垂直投 影/V力应当存在大局部导数。通过估算方程(9)计算这一估算450。 从最上面的图像行i-l启动比较，接下来进行检验，直到找到与方 程(9)中表示的不等式匹配的行为止，其中，//2表示估算到地平线 的行编号。
^a—n(liU/)l〉71哮') (9)
在已经抵达二进制掩码的最低行&4ax，却没有与方程(9)中
的不等式匹配的行，即没有识别出地平线的情况下，认为第二地平 线估算450处于二进制掩码之外，即，地平线必然处于图像帧所显 示的内容之上。将第二地平线估算赋予值零，//2=0，从而避免在该 算法的其他步骤中出现不确定性。
初始地平线估算460的确定和存储是以第一地平线估算440和 第二地平线估算450为基础的。如果没有找到第一地平线估算 那么初始地平线估算H 460将等于第二地平线估算//2。如果将第一 和第二地平线估算二者都计算了出来，那么将根据方程(10)计算 初始地平线估算H，即，将其作为两个估算的平均值计算，其在所 分析的例子中提供了最为精确的估算。
/j^巧+仏 (10) 2
在图6中示出了涉及允许在图像帧中界定道路的算法250的流 程图。在处理器55接收到构成图2所示的道路界定模块120的指令 时，执行所述算法。所述算法包括的歩骤有访问候选道路像素的 二进帝U掩码410，将连通分支标i只算法(connected component labeling algorithm)应用于所述二进制掩码520，识别道路候选者530，从所 述候选者中选择道路540，以及计算并存储所选道路的最小边界框 (minimum-bounding box) 550。
连通分支标识算法520包括的步骤有从掩码的上部到下部， 左侧到右侧逐像素扫描所述二进制掩码，以识别具有相互类似的强 度值的相邻像素的区域；在这种情况下，以1标记具有相互类似的 值的相邻像素。在所述分支标记算法的实现中，有可能采用不同的 连通度(connectivity)的测量。在本发明的一个实施例中，采用8 连通度。采用4连通度也有可能，但是其将在道路估算方面影响算 法的准确性。所述算法提供了在x-y平面内表示的候选道路区域530 的列表，基于下述说明中的三个原则从该列表中选择道路540，其中， 图像的最低y坐标y=l对应于图像的顶部，图像的最高y坐标y=Ymax 对应于图像的底部。第一个原则是有效道路区域必须至少覆盖像素 总量的一定百分比。第二个原则是，应当将候选道路区域放到屏幕 的特定区域内，并且其最大y坐标/^ ^应当高于某一预定常数 i C油。第三个原则是，将道路看作是符合第一和第二原则的最大候 选道路区域。最后，计算道路的最小边界框，并将其存储在存储器 550内。涉及在宽条件范围内获得的图像的详细试验研究表明，如果 道路候选者覆盖了像素总量的至少10%，应当将其视为有效。在本 发明的一个实施例中，其中，所获得的红外图像由320X240个像素 的矩阵构成，RC^被认为等于120，其表明预计道路的最低部分， 即其最高的y坐标处于下半部分，即图像的底部。如果就像素(xmax
Xymax)而言，红外图像具有其他尺寸，那么值RCmin通常将縮放至 方程(11)中表示的值。<formula>formula see original document page 16</formula> (11)
在图7中示出了表示用于校正道路和/或地平线的算法260的歩 骤的流程图。在处理器55接收到构成图2所示的道路/地平线校正 模块130的指令时，执行所述算法。在下述说明中，图像的最低y 坐标y=l对应于图像的顶部，图像的最高y坐标y二Ym狀对应于图像 的底部。算法260包括的步骤有
访问初始地平线估算和道路的最小边界框610;
将道路最小边界框的最小垂直y坐标值与预定第二阈值AW比 较620;
如有必要校正地平线630;
如有必要校正道路的最大垂直坐标(y) 640;以及
最后存储更新的地平线和道路边界框660。
前面已经结合图5描述了地平线估算240，并且前面己经结合图 6描述了最小边界框道路界定250。
通过将道路最小边界框的最小垂直y坐标值《y_与预定第二阈 值iV—比较启动校正道路和/或地平线的算法260。作为所述比较的 第一选择，如果i^曲小于A^，那么分析地平线估算//。如果地平 线估算/Z等于零，那么不修改道路最小边界框。如果地平线估算H 不同于零，那么修改道路最小边界框，使之仅包括处于地平线//下 的部分，即，从垂直分量低于地平线值i/的候选道路区域中擦除所 有像素。作为所述比较的第二个选择，如果^y大于等于A^v，那 么修改地平线估算，并将其值重新定义为等于道路最小边界框的最 小垂直y坐标值i^^。最后，将新的道路最小边界框(如果受到了 修改)和新的地平线(如果受到了修改)存储在存储器660内。在 本发明的一个实施例中，其中，所获得的红外图像由320X240像素 的矩阵构成，N^被认为处于30和70之间。这些值是从涉及在宽 条件范围内获得的图像的详细试验研究中获得的。如果就像素(xmax Xymax)而言，红外图像具有其他尺寸，那么W—值通常将縮放至处 于方程(12)中表示的裕量内的值。
在(例如)驾车穿过景观或城市的过程中，在能够设想到的大 多数情况下，当前描述的校正初始道路群的标准均适用于所述方法。 但是，可能发生特殊的情况，对于所述情况而言，可能要在校正算 法260内实施额外的标准。
在图8中示出了有关显示叠加在对应的红外图像上的相关信息
的算法270的流程图，所述相关信息是由在夜间或不良视觉条件下 探测道路的方法200获得的。所述算法270包括的步骤有访问初 始红外图像帧710，如果用户指定则叠加道路边界框720，如果用户 指定则叠加估算地平线730，如果用户指定则叠加天空边界框740， 以及将最终的图像通过显示器70呈现给用户750。除了从帧存储模块30获得的对应的初始红外图像之外，用户可 以通过(例如)控制键90决定使哪些特征在显示器70中显示。可 以通过不同的颜色代码在显示器中显示天空和道路特征，从而使用 户容易地进行视觉识别。所述选择包括下述选择中的零项到全部 -道路边界框720 -地平线估算730 -天空边界框740
在可以获得天空估算时，将天空的边界框740作为处于地平线 估算以上的区域计算。在所指定的元素中的一个或多个无法得到的 情况下，可以通过(例如)视听报警器80，例如，在显示器70上显 示的消息提醒用户该情况。
在图9中示出了说明探测夜间或不良视觉条件下的道路的方法 的操作的例子。所述例子包括景物810 (就像白天所呈现的一样)、 从红外图像帧生成的包含在二进制掩码中的候选道路像素S20、从应 用到红外图像帧上的算法获得的地平线估算和道路边界框830以及 提供给屏幕的最终图像840，其中，道路、地平线估算(horizon estimate)和天空区域被叠加到了初始图像帧上。
图9所示的例子代表以具有16X 12的降低分辨率的图像为基础 的算法200的应用。图示的例子的特征在于具有天空区域，其中， 天空的温度处于图像帧的平均温度之下。天空的低温在天空区域内 提供了候选道路像素，这一点可以在二进制掩码820中观察到。尽 管天空边界框构成了最大边界框，但是排除将其作为道路候选者， 因为其最高y坐标处于某一位置i C^之上，在所给出的例子中，认 为i C一为6。所述算法提供了地平线估算和道路边界框830作为结 果，在本发明的一个实施例中，除了天空区域之外，所述地平线估
18
算和道路边界框830均被叠加到初始红外图像帧840上，从而在显 示器70上为用户提供导航信息。
应当认识到，在不背离后附权利要求界定的本发明的范围的情 况下，可以对上文中描述的本发明的实施例进行修改。
在权利要求中，结合包含在括号内的附图标记和其他符号的目 的在于促进对权利要求的理解，而不是以任何方式限制权利要求的 范围。
在解释说明书及其相关权利要求时，不应以排他的方式解释诸 如"包括"、"包含"、"结合"、"是"、"具有"的表达方式，即，应 当将其解释为同样允许未明确定义的其他项目或部分存在。对单数 的引用还可以被解释为对复数的引用，反之亦然。
总之，本发明涉及通过源自于红外敏感摄像机的图像信号探测 道路特征的方法。总体来讲，所述方法包括，通过响应于其代表性 温度为帧内的像素赋予二进制值来处理图像帧，之后对所述二进制 掩码进行空间分析，以识别被赋予的二进制值相互类似的像素的区 域。接下来，通过对所识别的具有相互类似的二进制值的区域的分 析找到道路特征，并将与图像帧相关的道路特征的视觉指示提供给 用户。
权利要求
1、一种用于在夜间或不良视觉条件下探测道路的方法，所述方法以图像帧为基础，并通过计算机执行，将所述图像帧I划分为像素，每一像素具有被赋予的强度值，该强度值对应于所述图像帧代表的环境点的温度，所述方法包括的步骤有通过在所述图像帧内探测作为显示道路的候选的像素计算掩码R(230)；从所述候选道路像素中选择(250)候选道路像素的初始群作为对所述道路的估算，所述初始群具有与所述图像帧的下部一致的或者处于其附近的下边界；确定初始地平线估算(240)作为以候选道路像素的不同强度为特征的水平区域之间的第一条水平取向边界；通过校正所选择的具有上边界的候选道路像素的初始群(250)界定最终道路群(260)，所述校正是以所述上边界相对于所述初始估算地平线和地平线位置的预定上限的位置为基础的。
2、 根据权利要求1所述的方法，其中，所述候选道路像素的探 测(230)是以从所述图像帧的像素强度值计算第一阈值Th为基础 的，并且其中，通过将每一像素强度值与所述第一阈值Th进行比较 来探测所述候选道路像素(230)。
3、 根据权利要求2所述的方法，其中，将所述第一阈值Th作 为所述图像帧中的像素值的平均值I计算。
4、 根据权利要求3所述的方法，其中，用所述图像帧中的像素 强度值的标准偏差o !为所述第一阈值Th加权。
5、 根据权利要求l-4中的任何一项所述的方法，其中，由所述 掩码R的候选道路像素的垂直投影Pv和所述投影Pv的导数Pov计算所述初始地平线估算(240)。
6、 根据权利要求5所述的方法，其中，所述初始地平线估算(240) 基于-第二地平线估算H2，其被确定为导数PDv的绝对值大于预定常数Tl，的掩码R的最上面的一行；或者所述第二地平线估算H2和第一地平线估算H,的平均值，其中， 所述第一地平线估算H,被确定为垂直投影Pv大于掩码R的预定行的垂直投影Pv(iup)和所述预定常数T^ge之和的掩码R的最上面一行。
7、 根据权利要求l-6中的任何一项所述的方法，其中，所述的 候选道路像素的选择(250)包括识别掩码R中具有相等候选像素值 的连通群，并选择最大的连贯群，其大于所有像素的预定百分比， 并且具有位于掩码R的某一行RC,之下的下边界。
8、 根据权利要求7所述的方法，其中，所述的在掩码R中具有 相等像素值的连通群的识别是通过将连通分支标识算法应用于掩码 R执行的。
9、 根据权利要求l-8中的任何一项所述的方法，其中，所述的 最终道路群的选择(260)包括如果所述初始道路群的上边界处于预定第二阈值(Nsky)之上， 那么通过以所述初始地平线估算重新界定所述初始道路群的上边界 来校正(640)所述初始道路群(250);以及如果所述初始道路群的上边界位于所述预定第二阈值Nsky之下 或处于所述预定第二阈值N勿上，那么选择(630)所述初始道路群 (250)，并调整所述地平线估算，使之与所述初始道路群的所述上 边界一致。
10、 一种用于在夜间或不良视觉条件下探测道路的系统，所述 系统包括一个或多个数据处理器以及一个或多个数据存储器，所述 系统将数据存储在所述一个或多个存储器内，其表示被划分为像素 的图像帧I，每一像素具有被赋予的强度值，所述强度值对应于所述 图像帧代表的环境点的温度，为所述系统提供指令，所述指令通过 所述一个或多个处理器执行后使该系统适于通过在所述图像帧内探测作为显示道路的候选的像素计算掩码R (230);从所述候选道路像素中选择(250)候选道路像素的初始群作为 对所述道路的估算，所述初始群具有与所述图像帧的下部一致的或 者处于其附近的下边界；确定初始地平线估算(240)作为以候选道路像素的不同强度为 特征的水平区域之间的第一条水平取向边界；通过校正所选择的具有上边界的候选道路像素的初始群(250) 界定最终道路群(260)，所述校正是以所述上边界相对于所述初始 估算地平线和地平线位置的预定上限的位置为基础的。
11、 根据权利要求10所述的系统，还包括用于获得图像帧I的 单个红外摄像机。
12、 根据权利要求10所述的系统，包括用于获得图像帧I的多 个红外摄像机。
13、 根据权利要求10-12中的任何一项所述的系统，其中，所 述系统还适于向用户显示最终道路群(260)的图像。
14、 采用根据权利要求12所述的系统校正所述多个摄像机。
15、 一种存储用于数据处理器的指令的数据载体，在装载到计 算机系统中时，其执行根据权利要求1-9中的任何一项所述的方法。
全文摘要
一种在源自于红外敏感摄像机的图像信号中探测道路特征的方法。总体来讲，所述方法包括，通过响应于其代表性温度为帧内的像素赋予二进制值来处理图像帧，之后对所述二进制掩码进行空间分析，以识别被赋予的二进制值相互类似的像素的区域。接下来，通过对所识别的具有相互类似的二进制值的区域的分析找到道路特征，并将与图像帧相关的道路特征的视觉指示提供给用户。
文档编号G06K9/46GK101185084SQ200680018883
公开日2008年5月21日 申请日期2006年5月16日 优先权日2005年5月31日
发明者A·伊金 申请人:皇家飞利浦电子股份有限公司