专利名称：使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影的制作方法
技术领域：
实施例总地涉及基于视觉的目标检测系统。
背景技术：
光照情形如阴影会引起基于视觉的目标检测系统的误差。阴影会扭曲被捕获对象的颜色，导致(1)由于阴影生产的边缘与(2)不同实体(例如道路与风景)间的边缘之间的模糊不清。已经使用一些应用来过滤掉阴影，但是现有技术的系统假定使用具有高质量成像器的相机。具有高质量成像器的相机昂贵且包装尺寸大，因此，特别是在基于批量生产的车辆的视觉系统中并不实用。使用高质量成像器，相机传感器被假定为窄频带并且如同狄拉克δ函数那样工作，因为它们仅在一个波长具有非空响应。然而，通常用在基于车辆视觉的目标检测系统内的低成本成像器与窄频带传感器假定并不相符。因此，用于去除阴影的现有技术不适于使用低成本生产的成像器。传统的用于阴影去除的方法，例如《国际计算机视觉杂志》(hternational Journal of Computer Vision, IJVC)中公开的题为"Entropy Minimization for Shadow Removal”描述了使用恒定成像去除阴影。其概念是选择最小化熵的光照方向。最小化熵试图最小化不同色调变化的分散的混乱无序；然而，当熵被最小化时，各颜色集内的所有或部分颜色值可能会试图投射到单一的组合或族上。结果，IJCV中描述的技术仅最小化了一个颜色集或多个颜色集中的变化。在该描述的方法下，特别是当使用多个颜色集时，最大化颜色集之间的集间变化不是行得通的结果。在IJVC公开中，仅使用三个不同的颜色集。如果使用超过所示三个颜色集，更具体地，颜色集具有类似的颜色变化，那么颜色集之间的差别可能很小，最终阻止识别恒定图像中的阴影边缘。
发明内容
实施例的优点在于从将要被车用视觉感测系统分析的、由图像捕获装置捕获的图像减少阴影。该阴影减少技术最优化了线性轴线的斜率，使得最小化了颜色值中的内部变化，并且最大化了颜色集之间的集间变化，从而区分和维持了各颜色集的色度，同时去除施加在相应颜色集上的所有光照影响。实施例设想了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获场景的输入图像。将所捕获输入图像的每个像素都绘在两维对数图上。每个像素为所述对数图中多个颜色集之一的色调变化。确定对于所述多个颜色集的一线性轴线。所述线性轴线基本上正交于各相应颜色集的相应光照方向。将各所绘像素的色度对数值投射在所述轴线上。所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值。所述线性轴线的定向选择成最小化所述图像中的光照效应，并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在，确定是否存在阴影边缘。产生减少了阴影的图像，用于基于车辆视觉的系统的场景分析。本发明提供了如下技术方案
方案1. 一种用于去除捕获图像中光照产生的阴影的方法，所述方法包括如下步骤
(a)通过图像捕获装置捕获场景的输入图像；
(b)将所捕获输入图像的每个像素都绘在两维对数图上，每个像素为所述对数图中多个颜色集之一的色调变化；
(c)确定所述多个颜色集的线性轴线，所述线性轴线基本上正交于各相应颜色集的相应光照方向；
(e)将各所绘像素的色度对数值投射在所述轴线上，其中所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值，其中所述线性轴线的定向选择成最小化所述图像中的光照效应，并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔；
(f)识别所述输入图像中的边缘；
(g)识别所述光照恒定图像域中的边缘；
(h)将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘作比较；
(i)响应于所述输入图像中识别的边缘及所述光照恒定图像域中相关边缘的不存在， 确定是否存在阴影边缘；以及
(j)产生减少了阴影的图像，用于基于车辆视觉的系统的场景分析。方案2.如方案1的方法，其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括，定位所述线性轴线，直到在各颜色集之间获得最大分隔距离为止。方案3.如方案2的方法，其中选择所述线性轴线的定向以提供最佳分隔包括，维持各颜色集内的色调变化的分隔。方案4.如方案1的方法，其中选择所述线性轴线的定向以提供最佳分隔包括，最小化颜色集的内部变化，同时最大化颜色集之间的集间变化。方案5.如方案1的方法，其中选择所述线性轴线的定向以提供最佳分隔是利用机器学习技术来获得。方案6.如方案5的方法，其中所述机器学习技术包括多类别线性判别分析。方案7.如方案6的方法，其中所述多类别线性判别分析包括至少两个颜色集，其中最大化所述颜色集之间的平方和，并最小化颜色集内的和。方案8.如方案1的方法，其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴ο方案9.如方案1的方法，其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤
确定所述输入图像的方向梯度； 确定所述光照恒定图像域的方向梯度；
将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较，以确定是否存在阴影边缘。
方案10.如方案9的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括
确定所述输入图像的方向梯度是否大于第一阈值；以及确定所述光照恒定图像域的方向梯度是否小于第二阈值。方案11.如方案9的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括
计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差； 将所述梯度差与所述至少一个阈值作比较。方案12.如方案11的方法，其中计算梯度差包括下列步骤 确定所述输入图像的梯度范数；
确定所述光照恒定图像域的梯度范数；以及
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
图1为捕获道路图像的基于车辆的相机的平面图。图2为由车辆内图像捕获装置捕获的图像。图3为阴影减少过程的框图。图4为示出线性光照恒定轴线的光照恒定线图的图表。图5为使用熵最小化的示例性光照恒定线图。图6为利用线性光照恒定轴线最优化技术的光照恒定线图的图表。图7为用于从捕获的图像减少阴影的方法的流程图。
具体实施例方式图1中示出了沿着道路12行驶的车辆10。基于视觉的成像装置14捕获车辆10 前方的道路的图像，用以检测行驶可行区域(下文称畅通路径)内的图像。基于视觉的成像装置14用于检测目标。在优选实施例中，基于视觉的成像装置14用于为系统(例如，但不限于，车道偏离警告系统)识别畅通路径或道路中的车道标记。基于视觉的成像装置14优选安装在车辆的内部，恰在挡风玻璃的后方，用于捕获车辆外面和前方发生的事件。尽管基于视觉的成像装置14可用于多种功用(例如，增强驾驶员夜视)，但是本文所述的主要目的是用于需要识别道路标记、车道标记、道路标志或其它道路目标的系统。这种系统的例子包括，但不限于，必要要求系统能够识别车辆处于道路中何处的车道偏离警告系统，用以警告驾驶员无意识的车道变化。图2示出了由车辆上基于视觉的成像装置捕获的图像。依赖于光源的亮度和角度，可能会在车辆行驶路径中的物体上投射阴影，从而增加了系统区分道路上的物体与投射在道路上的阴影的难度。如图2中所示，行驶在被驾驶车辆前方的车辆16以及路灯18 和20可在车行道中投射阴影22J4和沈，使得难以识别道路上的车道标记观。图3中示出了用于去除阴影的示例性图形化流程方法。在框30中，含有阴影的图像被图像捕获装置捕获。阴影为操作图像捕集装置的人的自己的阴影。
在框31中，执行后面描述的光照恒定分析，以检测图像中的所有阴影。在框32中， 在光照恒定图像域中表现输入图像。为图形目的在光照恒定图像域中示出的图像为灰度图像，其中颜色集是复现的，不管输入图像中存在的光照条件或阴影。应当理解，为在车辆中实施该技术的目的，不需要产生实际恒定图像；而是，可使用数学分析、建模或其它表现方式来模拟光照恒定图像域中的图像。如图所示，作为光照恒定分析的结果，从光照恒定图像域中去除了阴影。在框33中，比较输入图像和光照恒定图像域，用于确定原始输入图像中哪儿存在阴影以构造减少了阴影的图像。在框34中，作为原始输入图像的梯度与光照恒定图像域的梯度之间的比较的结果，从捕获的输入图像去除了阴影。图4描述了去除阴影的数学方法，如下所述。在用于路上车辆的目标检测和分类中，捕获图像的背景和前景是不断变化的。对于单一的RGB (红、绿、蓝)图像，可基于光照恒定分析去除投射的阴影。如果照明大致为三S函数型传感器成像的具有朗伯面的普朗克源，那么可形成色度波段比(例如，3波段RGB彩色图像的R/G、B/G)。另外，对于在不同照明条件下的任意颜色集，对于两维{log(R/G)，log(B/G) }值的对数图形成直线。此外，各不同颜色集的每条这种线具有相同的斜率。因此，可使用该物理概念得到光照恒定图像域，其中不管照明条件如何(即，是否存在阴影)，一个颜色集的颜色值都映射至光照恒定图像中的相同值。另外，图像中形成的物体边缘对应于材料反射率的变化。阴影边缘为在原始图像中有但是恒定图像中没有的边缘。在图像的梯度表示上定义阈值处理操作，以确定阴影边缘。由于阈值阴影边缘是噪声，所以应用形态学运算，以扩展边缘并填充阴影边缘中的一些空隙。此外，识别的阴影边缘被设定为零，用以去除光照变化的影响。各处理通道的梯度图像的积分步骤用于放弃乘法常数而恢复减少了阴影的图像，然后估计乘法常数，以便获得最终减少了阴影的彩色图像。这里描述减少了阴影的恒定图像的构造。利用了使用灰度成像的图形表示。该技术使用标准彩色图像作为输入，而输入为图像的光照恒定表示。光照恒定图像域通过将其色度对数值投影在光照恒定方向上来获得。为执行该投影，使用朗伯模型用于图像形成。假定，如果表面外观相同，并且独立于取景方向(即，理想漫反射面)，那么照射在该表面上并入射在相机传感器上的具有光谱功率分布(SPD) :Ε(λ)的光源导致如下响应
其中表示表面反射率，其定义为在每波长基础上反射的入射光的分数,iCA)(发光体的SPD)将发光体发出的功率定义为波长的函数,A(I)为成像装置的PM专感器(其中 )的光谱灵敏度，明确指明了传感器在各波长处吸收的光的比例。如果上面的各项相乘并在μ〔传感器具有非零响应的波长范围)上积分，那么它给出Rk，图像中各像素处的色值。 为了简化公式(1)和导出恒定表示，除朗伯表面假定之外，还利用其它两个假定。 第一，假定光照源遵守普朗克黑体辐射体定律。普朗克黑体辐射体定律指出，当在温度T加热时的理想球形辐射体以特定的波长发出电磁辐射(例如，发光、闪光)。普朗克光源的例子包括太阳和天空，其为在我们的目标检测和分类应用中最感兴趣的光照源。这样，该光照可通过其色温T参数化为
权利要求
1.一种用于去除捕获图像中光照产生的阴影的方法，所述方法包括如下步骤(a)通过图像捕获装置捕获场景的输入图像；(b)将所捕获输入图像的每个像素都绘在两维对数图上，每个像素为所述对数图中多个颜色集之一的色调变化；(c)确定所述多个颜色集的线性轴线，所述线性轴线基本上正交于各相应颜色集的相应光照方向；(e)将各所绘像素的色度对数值投射在所述轴线上，其中所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值，其中所述线性轴线的定向选择成最小化所述图像中的光照效应，并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔；(f)识别所述输入图像中的边缘；(g)识别所述光照恒定图像域中的边缘；(h)将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘作比较；(i)响应于所述输入图像中识别的边缘及所述光照恒定图像域中相关边缘的不存在， 确定是否存在阴影边缘；以及(j)产生减少了阴影的图像，用于基于车辆视觉的系统的场景分析。
2.如权利要求1的方法，其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括，定位所述线性轴线，直到在各颜色集之间获得最大分隔距离为止。
3.如权利要求2的方法，其中选择所述线性轴线的定向以提供最佳分隔包括，维持各颜色集内的色调变化的分隔。
4.如权利要求1的方法，其中选择所述线性轴线的定向以提供最佳分隔包括，最小化颜色集的内部变化，同时最大化颜色集之间的集间变化。
5.如权利要求1的方法，其中选择所述线性轴线的定向以提供最佳分隔是利用机器学习技术来获得。
6.如权利要求1的方法，其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。
7.如权利要求1的方法，其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤确定所述输入图像的方向梯度；确定所述光照恒定图像域的方向梯度；将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较，以确定是否存在阴影边缘。
8.如权利要求7的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括确定所述输入图像的方向梯度是否大于第一阈值；以及确定所述光照恒定图像域的方向梯度是否小于第二阈值。
9.如权利要求7的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差；将所述梯度差与所述至少一个阈值作比较。
10.如权利要求9的方法，其中计算梯度差包括下列步骤 确定所述输入图像的梯度范数； 确定所述光照恒定图像域的梯度范数；以及通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
全文摘要
本发明涉及使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影。提供了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获图像。将所捕获输入图像的每个像素都绘在两维对数图上。确定对于所述多个颜色集的一个线性轴线，所述线性轴线基本上正交于各相应颜色集的相应光照方向。将各所绘像素的色度对数值投射在所述轴线上。所述线性轴线的定向选择成最小化光照效应，并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔。识别所述输入图像和所述光照恒定图像域中的边缘。将所述输入图像的识别边缘与所述光照恒定图像域的识别边缘作比较。响应于所述比较确定是否存在阴影边缘。产生减少了阴影的图像，用于车辆的基于视觉的系统的场景分析。
文档编号G06K9/40GK102314602SQ20111018808
公开日2012年1月11日 申请日期2011年7月6日 优先权日2010年7月6日
发明者吴 Q., 巴加瓦图拉 V., 张 W. 申请人:通用汽车环球科技运作有限责任公司