处理图像的方法和设备的制作方法

处理图像的方法和设备的制作方法
【专利摘要】处理图像的方法和设备。一种处理图像的方法包括使用具有图像捕获像素的二维阵列的成像器捕获车辆前方的公路区域，所述阵列包括实质上独立于色调的第一像素集，以及取决于有限色调范围的第二像素集，产生第一图像，其中每个像素被分配从第一像素集导出的值，产生第二图像，其中每个像素被分配从所述第一像素集和所述第二像素集导出的值，为所述第一图像中的至少一个像素识别第一强度变化值，第一强度变化值指示该像素和至少一个相邻像素之间的差异，为所述第二图像中的对应像素识别第二强度变化值，第二强度变化值表示该像素和至少一个相邻像素之间的差异，以及使用组合规则的定义集形成组合图像以分配值到组合图像中的对应像素，其取决于用于该对应像素的第一和第二识别强度变化值。
【专利说明】处理图像的方法和设备
【技术领域】
[0001]本发明涉及图像处理方法的改进，特别是作为车道检测设备或道路轮廓预测方法和设备的一部分的图像处理。
【背景技术】
[0002]已知使用简单的视频摄像机捕获车辆前方公路的区域图像。摄像机包括检测器像素的二维网格，其中每个检测器像素产生输出信号，在采样周期期间其值取决于落在像素上的光强度。因此，从阵列输出的图像是灰度图像。然后已知处理图像以识别车道边界标记，并据此确定公路的路径。在EP1057141B1中教导了一种识别标记的合适方法。
[0003] 申请人:已经意识到该技术在许多国家运行良好，诸如英国，其中通过深色路面上的高对比度白线标记车道边界。白线比路面颜色浅得多，并在灰度图像中显示良好，使得比较简单地检测车道边界。不过， 申请人:已经意识到，当车道边界标记不是白色时并不好用。例如，在韩国，普遍使用黄色和蓝色的标记用于车道边界。当使用灰度成像器成像时，车道边界往往难以区别于路面。当考虑灰度时，符号和道路典型地具有相同或非常相似的亮度。

【发明内容】

[0004]根据第一方面，本发明提供了一种处理道路检测设备中使用的图像的方法，所述道路检测设备适合于装配车辆，所述方法包括:
[0005]使用具有图像捕获像素的二维阵列的成像器，捕获车辆前方公路区域的初始图像，所述阵列包括位于空间坐标(XY)的第一像素集，每个产生输出信号，其值实质上独立于图像中捕获场景的对应部分的色调，以及位于空间位置的第二像素集，每个产生输出信号，其具有取决于图像中捕获场景的对应部分的有限色调范围，并部分取决于图像中捕获场景的对应部分的亮度，
[0006]从初始捕获图像产生第一图像，其中向所述第一图像中的每个像素分配仅仅使用来自第一像素集的至少一个像素中的值导出的值，
[0007]从初始图像产生第二图像，其中向所述第二图像中的每个像素分配使用来自所述第一像素集的至少一个像素和所述第二像素集的至少一个像素中的值导出的值；
[0008]为所述第一图像的至少一个像素识别第一强度变化值，第一强度变化值指示分配给该像素的值和分配给至少一个相邻的像素的值之间的差异，
[0009]为所述第二像素中的对应像素识别第二强度变化值，第二强度变化值指示分配给该像素的值和分配给至少一个相邻的像素的值之间的差异，
[0010]以及
[0011]通过使用组合规则的定义集，形成组合图像以分配值到组合图像中的对应像素，其取决于用于第一和第二图像中对应像素的第一和第二识别强度变化值中每一个的幅度和/或正负号，所述组合图像适用于车道检测设备。
[0012]第二像素集可产生输出，其值取决于限制到场景对应部分中出现的单一主色调的有限色调范围的量。其最优选地是主红色色调，并可以通过在这些像素上放置红色滤光器或以任何其他方式实现。
[0013]当然，第二像素集的像素可优先响应于其他主色调，例如红色或蓝色或绿色或黄色，或者响应于包括诸如红色和绿色的色调的集的有限范围，或者甚至响应于可见光谱以外的“色调”，例如在红外线区域。
[0014]其中独立于主色调产生值的第一像素集将最优选地具有值，该值取决于图像的对应部分的亮度，而不是色调范围。例如，如果场景的对应部分亮，该值可以为高，如果暗则低。这些像素将产生理想的灰度图像。仅使用来自这些第一像素集的值，可以形成第一图像。灰度图像可以跨过整个(不限)范围，其包括由第二像素看到的色调，例如穿过宽阔的可见光或红外线波段。
[0015]每个像素集可包括许多像素，但在一些实施例中集可包括少至一个像素。像素越多，图像用其产生的分辨率就越高，相应地场景内可分析的细节就更精细。在本发明的范围内可提供只具有一个像素的集，其依次暴露于场景的不同部分，以建立整个场景的图像，可能使用像素与场景之间的移动镜头或快门以改变在任何给定的时间处成像的场景部分。
[0016]产生第二图像的步骤可以包括如下步骤:
[0017]生成中间图像，其中使用来自第二像素集的至少一个像素的输出获得分配给每个像素的值，该值独立于第一像素集的像素值，并从分配给中间图像的值减去分配给第一图像的对应值，以形成第二图像的值。
[0018]当使用红色滤光器时，中间图像可以被认为是红色图像。第一图像可以被认为是灰度图像，而第二图像可以被认为是伪色调图像，通过从红色图像中减去灰度而形成。
[0019]该方法可以包括步骤:在组合它们之前缩放分配给第一(灰度)图像和中间(红色或其他色调或色调范围)图像中每一个的像素的值以产生第二(色调)图像。缩放步骤可以包括增加对应于中间图像中每个像素的值。这识别到达像素的光的减少，所述像素由于滤光只对有限的色调(如红色)范围敏感，可需要该过滤以优先地应用仅仅通过该色调或有限的色调范围。
[0020]该缩放步骤用于确保当用于产生色调图像时图像被给予正确的权重。缩放经设置以至于:第一灰度图像具有在O和N(其中N可以是255或某些其他值)处划界的值，在O和N处划界的红色图像，以及在-N和+N处划界的色调图像。在红色图像的情况下，+255可对应存在红色到黄色作为主色调，很少或没有蓝色，而-255为存在青色到蓝色且很少或没有红色作为主色调。
[0021]该方法可包括使用成像器，可包括成像像素的单一二维阵列。
[0022]使用规则集组合图像允许作为灰度的场景的第一图像的主边缘特征以及相同场景的色调的第二图像的主边缘特征，以及其可以用来确保两个白色的车道边界和非白色的车道边界(诸如黄色)在组合图像中高亮。这增加组合图像的后续图像处理期间检测边界的可能性，用以检测车道界限。对色调不敏感的第一图像检测图像的亮度部分的变化，因此善于识别暗背景中的光线，即使他们在其中有相同的色调。第二图像可以检测公路相邻部分不同色调的线，即使它们具有相同亮度，诸如灰色道路上的黄线。如果不在灰度图像中检测边缘，而是在伪色调图像中检测，它将出现在组合图像中，反之亦然。
[0023]该方法包括通过使用标准边缘检测技术识别第一和第二图像的每一个中存在的强度变化，例如使用Sobel边缘检测算法。它可包括比较图像中像素值与相同图像中至少一个直接相邻像素的值。它可以是在水平(X)或垂直(Y)平面上相邻的像素。
[0024]最优选地，该方法可使用边缘检测，包括跨过阵列中对应于像素行的值的水平行扫描，并比较分配给每个像素的值或该行中之前或之后像素的值。可形成中间图像，其中每个像素被分配取决于差异的值。
[0025]本领域技术人员将理解:第一、中间、第二和组合图像将当然不是物理图像，只是其他任何“图像”，诸如如存储在电子存储器中的数码照片是物理图像。他们通常只包括数值或字母数字值的存储阵列，其中每个值被分配到各自的第一和第二图像的像素，并因此对应在初始图像中捕获的场景的部分。这些图像可被非常短暂地存储，而且在任何一个时间只有中间图像的一个值或一行值可被存储。只要他们与其他图像的对应值在相同时间被存储，对于它们来说时间足够长以根据需要由该方法组合以形成最终的组合图像，该方法将仍然起作用。
[0026]形成组合图像的步骤中使用的规则的定义集可包括比较为每个像素从第一和第二图像获取的两种强度变化值，选择具有最大幅度的值，以及分配该像素值(保持其正负号)到组合图像的对应像素。可以使用其他规则。例如，每个强度变化值可以被平方并添加到其他以形成组合图像的值的幅值，并应用正负号，其取决于这两种强度变化值中的哪种具有最闻幅度。
[0027]从这个组合图像中，可应用边缘增强组合图像的标准图像处理。该方法可包括处理组合图像以识别公路边界。这可以使用在EP1057141B1所描述的方法，通过引用将其并入本文。
[0028]该方法可以产生包含初始图形中的每个像素的值的组合图像。
[0029]形成第一图像的步骤可以包括:将值分配给对应于初始图像中值的每个像素，其中它是第一像素集的像素，并为第二像素集中的像素分配值，该值通过从第一像素集的一个或多个相邻像素的值插值而获取。该方法因此从第一像素集挑选出所有值，并使用插值填充在间隙中。
[0030]相同或类似的插值步骤可用于生成中间(红色)图像，仅挑选用于第二像素集的值，并插值以填充任意间隙。
[0031]根据第二方面，本发明提供了一种用于车辆的图像处理设备，包括:
[0032]经设置以捕获车辆前面公路区域的初始图像的成像器，所述成像器包括图像捕获像素的二维阵列，所述阵列包括位于空间坐标(XY)的第一像素集，每个产生输出信号，其值实质上独立于图像中捕获场景的对应部分的色调，用第二像素集穿插所述图像，其每个产生具有值的输出信号，所述值取决于图像中捕获场景对应部分的有限色调范围并部分取决于图像中捕获场景的对应部分的亮度，以及
[0033]处理装置，其包括:
[0034]适于从初始捕获的图像产生第一图像的第一处理装置，所述第一图像实质上独立于场景的色调，其中第一图像中的每个像素被分配使用来自第一像素集的至少一个像素中的值导出的值，
[0035]适于从初始图像产生第二图像的第二处理装置，其中第二图像中的每个像素被分配使用来自第一和第二像素集中至少一个像素中的值导出的值，[0036]第一识别装置，为第一图像中的至少一个像素识别第一强度变化值，第一强度变化值指示分配给该像素的值和分配给至少一个相邻像素的值之间的差别，
[0037]第二识别装置，为第二图像中的对应像素识别第二强度变化值，第二强度变化值指示分配给该像素的值和分配给至少一个相邻像素的值之间的差别，以及
[0038]组合装置，通过使用组合规则的定义集，形成组合图像以分配值到组合图像中的对应像素，其取决于第一和第二图像中该对应像素的第一和第二识别强度变化值的幅度和/或正负号，所述组合图像适用于车道检测设备。
[0039]成像器可安装到车辆并经设置以捕获一系列图像，每个经处理以产生组合图像的各个系列。
[0040]该设备可包括存储装置，典型地包括电子存储器的区域，图像或其部分在其中被临时存储。
[0041]处理装置可经设置以执行本发明第一方面的任何方法步骤。
[0042]成像器可以包括视频摄像机，其可产生初始图像流，其中的每个经处理以形成组合图像各自的流。
[0043]视频摄像机可包括CXD阵列。该阵列可以包括检测元件阵列，第二像素集的像素由滤光器覆盖以给予他们所需的色调灵敏度。该滤光器可以是红色滤光片。第一像素集的像素可以由清晰滤光器覆盖。
[0044]第一像素与第二像素集可以被设置在格子图案中，包括水平和垂直的行，每行包括第一和第二像素集的交替像素。可替换地，一个集比另一个集中有更少的像素。例如，第二像素或第一像素可以与相邻像素(第一像素或第二像素)相隔一个以上的像素。
[0045]根据第三方面，本发明提供了一种用于车辆的道路轮廓预测设备，包括根据第二方面的设备，以及进一步的处理装置，其经设置以从设备输出的组合图像识别车道边界，并从车道边界预测车辆前方的道路轮廓。
[0046]根据第四方面，本发明提供了一种车道检测方法，包括本发明的第一个方面的步骤和处理组合图像以检测图像内车道边界的进一步的步骤。该步骤可以包括:根据组合图像中相邻像素之间的强度变化检测车道边界的步骤。边缘检测算法可以用来处理组合图像。
[0047]第二和第三方面的处理装置可包括数字信号处理器。可以提供程序，其存储在存储器区域中，当在处理器上运行时，使得执行本发明第一方面的方法步骤。
【专利附图】

【附图说明】
[0048]现在仅通过本发明一个实施例的例子描述，参见并如附图所示，其中:
[0049]图1是根据本发明的方面装配道路轮廓预测设备的实施例的车辆的视图；
[0050]图2是由设备的CXD阵列的清晰和红色滤光器定义的第一和第二像素的模式表示，
[0051]图3是显示预测路面轮廓之前由该设备执行的步骤以产生第一和第二图像的流程图；
[0052]图4(a)是显示形成第一图像中使用的间隙插值的示意图，而图4(b)是显示第二图像中间隙的示意图；[0053]图5是显示用于产生用于预测道路轮廓的组合边缘图像的步骤的示意图；
[0054]图6是可用于产生组合图像的一组可替换步骤的示意图；
[0055]图7是使用图1的设备捕获的车辆前方场景的代表性初始图像；
[0056]图8(a)是对应于图7的初始图像的代表性第一(灰度)图像而图8(b)是代表性中间(红色)图像；
[0057]图9是从第一图像和中间图像产生的第二色调图像；
[0058]图10是从灰度和色调图像产生的组合图像边缘；以及
[0059]图11显示应用于组合图像的车道检测的结果。
【具体实施方式】
[0060]如图1所示，根据本发明的方面，车辆100装配有示例性的道路轮廓预测设备10。这包括成像器，典型地包括视频摄像机，其向处理器连续输出帧图像。摄像机位于道路上方的高度H处，并且捕获车辆前方场景。处理器执行使得能够检测边缘的图像以及来自预测道路轮廓的那些图像的处理方法。具体而言，基于图像中的道路标识的检测预测车道边界。本领域技术人员根据EP1057141B1的教导很容易了解其如何实现。因此本文不会重复如何从合适图像检测边缘的详细解释，将理解的是:假如为技术人员提供待处理的初始图像，则可识别边缘并预测车道边界。
[0061]摄像机可具有许多形式，但在本实施例中，它包括互补金属氧化物半导体(CMOS)成像电路，该成像电路具有安装在水平和垂直行的二维像素阵列200。如图2所示，这覆盖有滤光层。阵列是6乘6阵列，但实际中将使用更大的阵列，例如500乘500或者更大。CMOS阵列操作是众所周知的，将不会在此处再次重复。一般从帧中每个像素输出的值对应于采样周期期间落在反应灵敏的像素部分的整体光强度。落在其上的光越多，建立的电荷越多，且用于该像素的输出值更高。
[0062]实施例中的成像阵列包括第一像素集，其直接从场景接收光，并因此产生输出，该输出表示捕获场景的对应部分的强度。这些覆盖有在图2中标记为C的清晰滤光器210。场景部分越亮，值越高，范围从完全黑暗部分的0到足够亮以饱和像素的部分的N，其中N在这个例子中是255。
[0063]混合在第一像素集中，第二像素集以方格形式，其对主色调或有限色调范围敏感。在本申请的上下文中述说以产生表示存在场景部分有限色调范围的输出值，如图2所示，这些都是设置在网格中，在所有方向上由第一像素集中的一个像素将其与对主色调敏感的类似像素分离。为了使得像素对主色调敏感，它们由红色滤光器220覆盖，在图2中标记为R，其优先允许具有红色色调的光通过像素。如果场景部分根本没有红色色调，将输出0值，如果色调上全部是红色且足够亮，将产生约255的值。
[0064]对于每个初始图像或帧，每个像素产生的值存储在电子存储器的区域用于处理。在本文的上下文中，此值阵列被称为初始图像，但将理解的是，这仅仅是值的阵列，并且不能由人眼看见，除非用于在显示器上创建图像。事实上，在实践中，在任何时间，只有部分图像可以被存储在存储器中，同时被处理的任何部分被覆盖。
[0065]图7显示了初始图像300，其具有对应于红色滤光像素的散斑图。
[0066]和EP1057141B1中教导的设备不同，其中接下来处理初始图像以识别车道边界，所示的实施例执行初始图像的其他处理，其提高系统检测车道边界的能力，该车道边界和相邻道路具有相同亮度。情况是，特别是具有黄色车道标记时，这对于肉眼很容易辨认，因为司机有充分的颜色视觉，但在灰度摄像机捕获的图像中不可见。
[0067]在第一步中，如图3所示，只使用对亮度敏感的像素值而不是对色调敏感的值，初始图像300由处理器处理以形成第一灰度图像400。实际值出现在初始图像中时，这被简单地拷贝到第一图像中的对应像素。有间隙时，因为初始图像中的像素被红色过滤，然后复制的相邻值经插值以提供填补间隙的估计值。这在图4(a)中由箭头显示，其表示插值过程中使用哪些周围像素。当然，可以使用更多或更少的周围像素。如果CCD阵列仅具有对亮度而非色调敏感的像素，则结果是产生的图像估计的第一图像400。该第一图像是有效的场景的灰度图像。这显示在图8(a)中，其中可以看到图7的散斑不再存在，因为用估计值代替了红色像素。也可使用其他更复杂的插值方案(例如使用红色像素上方和下方的像素)，或以某些方式包括红色像素以估计图像亮度。
[0068]在第二步中，产生第二图像500，这取决于使用第一和第二像素集的值的色调。为此，仅使用对应于具有应用的红色滤光器像素的初始图像中的值产生中间红色图像600。此夕卜，值出现在原始图像中时，他们被复制到第二图像。有间隙时，通过插值相邻值而填充间隙以提供对应于间隙的场景部分色调的估计。这显示在图4(b)中。红色图像是有效的许多主色调的图像，在这种情况下的红色，出现在场景中的每个部分。这显示在附图的图8(b)中。此外可使用更复杂的插值。
[0069]中间红色图像500然后与第一图像组合以产生色调图像600。这显示在附图中的图9中。为此，值被分配给色调图像中每个像素，对应于从第一(亮度)图像的值减去红色图像的值。从图9中可以看到，该值的范围从最大的+255到低的-255。有许多红色且场景相对深时，高值将被分配，因为这表明很少有除了红色的其他任何颜色。如果有许多红色但全部值的更多亮度将接近0，因为这表明存在除了红色的其他色调。如果场景部分非常亮，在红色图像中有很少红色，该值将很低，比如说-255。因此，图像中的值给出了伪色调的估计，255是红/黄，O黑暗和中间以及255是蓝色/青色。
[0070]在下一步中，第一(灰度)和第二(伪色调)图像400、600被组合以产生图像700，其可以被传送到道路轮廓预测阶段。为了产生该组合图像700，通过边缘检测器传递图像400,500中的每一个，该边缘检测器检测图像中边缘的存在。对于每个像素，该处理器应用算法或一些逻辑过程，以从每个图像的边缘检测器的各个输出确定组合图像的值。
[0071]具体而言，如图5所示，依次处理第一和第二图像中的每个像素，以通过将它们穿过各自的边缘检测器401、601而识别相对于至少一个相邻像素的像素值的变化。值的大变化(较大差异)暗示图像中边缘部分的存在。在每种情况下确定绝对值402、602，两个最大的绝对变化值然后用于向组合图像中的对应像素分配值。为所有像素重复以构建场景的完整组合图像，用以产生图10所示的图像。
[0072]在可替换实施例中，如附图中的图6所示，使用边缘检测器401、601类似地确定第一和第三图像中每个像素值的变化，并以类似方式源自每个变化的该绝对值402、602。来自每个图像的组合值的平方然后被计算并通过相加进行组合，以产生用于组合图像的值，该计算值具有应用它的正负号，其取决于哪个绝对值具有较大幅度。例如，如果来自第一图像的变化值较大，则分配到组合图像中该像素的值具有正号，如果较小则其具有负号。从加法输出中提供绝对值。该技术将图像视为正交分量，并计算“边缘响应幅度”。
[0073] 最后，可处理如图10所示的组合图像以使用诸如EP1057141B1所教导的标准技术识别车道边界。结果可以是图11所示的图像800。在这里可以清楚地看到，已识别涂成黄色的最左边的车道边界810。识别初始图像几乎是不可能的，但已在如线610的色调图像中被挑选出来。
【权利要求】
1.一种处理图像的方法，用于适于安装到车辆的车道检测设备，所述方法包括: 使用具有图像捕获像素的二维阵列的成像器，捕获车辆前方公路区域的初始图像，所述阵列包括位于空间坐标(XY)的第一像素集，每个产生输出信号，其值实质上独立于图像中捕获场景的对应部分的色调，以及位于空间位置的第二像素集，每个产生输出信号，该输出信号的值取决于图像中捕获场景的对应部分的有限色调范围，并部分取决于图像中捕获场景的对应部分的亮度， 从初始捕获图像产生第一图像，其中向第一图像中的每个像素分配使用来自第一像素集的至少一个像素中的值导出的值， 从初始图像产生第二图像，其中向第二图像中的每个像素分配使用来自第一像素的至少一个像素和第二像素集的至少一个像素中的值导出的值； 为所述第一图像的至少一个像素识别第一强度变化值，第一强度变化值指示分配给该像素的值和分配给至少一个相邻像素的值之间的差异， 为所述第二图像中的对应像素识别第二强度变化值，第二强度变化值指示分配给该像素的值和分配给至少一个相邻像素的值之间的差异， 以及 通过使用组合规则的定义集，形成组合图像以分配值到组合图像中的对应像素，其取决于用于第一和第二图像中该对应像素的第一和第二识别强度变化值中每一个的幅度和/或正负号，所述组合图像适用于车道检测设备。
2.根据权利要求1的方法，其中所述第二像素集的每个像素产生输出，其值取决于场景对应部分中出现的单一主色调的数量。
3.根据权利要求2的方法，其中所述主色调是红色。`
4.根据之前任何权利要求的方法，其中产生所述第二图像的步骤包括步骤: 生成中间图像，其中使用来自第二像素集的至少一个像素的输出获取分配给每个像素的值，该值独立于第一像素集的像素值，并从分配给中间图像的值减去分配给第一图像的对应值，以形成第二图像的值。
5.根据权利要求4的方法，其包括步骤:在组合第一(灰度)图像和中间(红色或其他色调或色调范围)图像以产生第二(色调)图像之前，缩放分配给第一(灰度)图像和中间(红色或其他色调或色调范围)图像的每个的像素的值。
6.根据之前任何权利要求的方法，还包括使用成像器，所述成像器包括成像像素的单一的二维阵列。
7.根据之前任何权利要求的方法，其通过比较图像中像素的值和相同图像中至少一个直接相邻像素的值而识别第一和第二图像的每个中出现的强度变化。它可以是在水平(X)或垂直(Y)平面上相邻的像素。
8.根据权利要求7的方法，其包括跨过对应于像素行的阵列中值的水平行而扫描，并比较分配给每个像素的值和该行中之前或之后像素的值。
9.根据权利要求7或权利要求8的方法，其中在形成组合图像步骤中所使用规则的定义集包括:为每个像素比较从所述第一图像和第二图像获取的两个强度变化值，并选择具有最高正负号的值，以及分配该值到最终图像的对应像素。
10.根据权利要求7或权利要求8的方法，其中规则包括:将像素的每个强度变化值取平方，并将它们加到一起形成组合图像的值的幅度，并应用正负号，该正负号取决于这两个强度变化值中的哪个具有最高幅度。
11.根据之前任何权利要求的方法，其进一步包括:处理组合图像以识别公路的边界。
12.根据之前任何权利要求的方法，其包括产生组合图像，所述组合图像包含用于初始图像中每个像素的值。
13.根据之前任何权利要求的方法，其中形成第一图像的步骤包括:向对应于初始图像中的值的每个像素分配值，其中它是第一像素集的像素，并且对于第二像素集中的像素，分配从第一像素集的一个或多个相邻像素值中通过插值获取的值。
14.根据取决于权利要求4v的之前任何权利要求的方法，其中形成中间图像的步骤包括:仅仅挑选第二像素集的值并插值以填充任意间隙。
15.一种用于车辆的图像处理设备，包括: 设置以捕获车辆前面公路区域的初始图像的成像器，所述成像器包括图像捕获像素的二维阵列，所述阵列包括位于空间坐标(XY)的第一像素集，每个产生输出信号，其值实质上独立于图像中捕获场景的对应部分的色调，所述图像穿插有第二像素集，其每个产生具有值的输出信号，所述值取决于图像中捕获场景对应部分的有限色调范围并部分取决于图像中捕获场景的对应部分的亮度，以及 处理装置，其包括: 适于从初始捕获的图像产生第一图像的第一处理装置，所述第一图像实质上独立于场景的色调，其中向第一图像中的每个像素分配使用来自第一像素集的至少一个像素中的值导出的值， 适于从初始图像产生第二图像的第二处理装置，其中向第二图像中的每个像素分配使用来自第一和第二像素集中至少一个像素中的值导出的值， 第一识别装置，为第一图像中的至少一个像素识别第一强度变化值，第一强度变化值表示分配给该像素的值和分配给至少一个相邻像素的值之间的差别， 第二识别装置，为第二图像中的对应像素识别第二强度变化值，第二强度变化值表示分配给该像素的值和分配给至少一个相邻像素的值之间的差别，以及 组合装置，通过使用组合规则的定义集，形成组合图像以分配值到组合图像中的对应像素，其取决于用于第一和第二图像中该对应像素的第一和第二识别强度变化值中每一个的幅度和/或正负号，所述组合图像适用于车道检测设备。
16. 原文缺失权利要求16
17.根据权利要求16的图像处理设备，其中成像器可被安装到车辆并被设置为捕获一系列的初始图像，其中每个被处理以产生各个系列的合成图像。
18.根据权利要求16或17的图像处理设备，其包括存储装置，典型地包括电子存储器的区域，其中图像被临时储存。
19.根据权利要求16、17或18的图像处理设备，其中所述处理装置经设置以执行权利要求I到15的任何方法步骤。
20.根据权利要求16至19中任何一个的图像处理设备，其中成像器包括视频摄像机，其产生初始图像流，每个经处理以形成组合图像的各个流。
21.根据权利要求20的图像处理设备，其中视频摄像机包括检测元件的C⑶阵列，第二像素集的像素被滤光器覆盖，用以给他们所需的色调灵敏度。
22.根据权利要求21的图像处理设备，其中所述滤光器是红色滤光器。
23.根据权利要求16至22中任何一个的图像处理设备，其中所述第一像素与第二像素集被设置在格子图案中，包括水平和垂直行，每行包括交替的第一和第二像素集。
24.一种用于车辆的道路轮廓预测设备，包括根据权利要求16至23中任何一个的设备和进一步的处理装置，所述处理装置经设置以从设备输出的组合图像识别车道边界，并从车道边界预测车辆前方的道路轮廓。
25.—种车道检测方法，包括权利要求1至15中任何一个的步骤，和处理组合图像以检测图像内车道边界的进一步的步骤。该步骤可以包括基于组合图像中相邻像素间强度的变化而检测车道边界。边缘 检测算法可以用来处理组合图像。
【文档编号】G06K9/20GK103562933SQ201280006404
【公开日】2014年2月5日 申请日期:2012年1月24日 优先权日:2011年1月25日
【发明者】M·J·汤普森 申请人:Trw有限公司