专利名称：可分离雾和消除雾的滤波器的制作方法
技术领域：
本发明的一个或多个实施例总体上涉及用于车辆安全系统中的图像处理系统。
技术背景根据美国高速公路运输安全管理局(NHTSA) 2004年公布的报告，大约有23, 000 人在极端天气条件下驾驶时在车辆碰撞中伤亡。许多这些伤亡事故是在有雾的情况下 驾驶时发生的。在有雾天气条件下发生事故的主要原因是驾驶人员的路面可见度降 低。当今的新型车载安全系统利用基于视觉的系统检测在道路上可能对车辆构成碰撞 威胁的物体，并警告驾驶人员迫近的碰撞。因为安全系统依赖各种基于视觉的系统来 检测物体，因此特别是当车辆在极端天气条件下运行时，这样的系统应该能基于视觉 系统釆集的图像快速判别物体是否能够对驾驶人员构成威胁。现有的方法仅能通过减 少图像对比度来去除在采集的图像中的失真。由于图像是在极端天气条件下采集的， 这种方法会产生较暗的图像且不能完全去除在采集的图像中产生的失真和噪声。因此，希望能够提供一种能去除由于雨、雾、冻雨> 或在釆集原始图像时，由于 极端天气条件造成的任何其它因素而使采集的图像产生的失真和噪声的图像处理装 置。发明内容根据本发明的一个实施例，提供适用于使用在车辆上的图像处理系统。该系统总 体上包括图像采集(capturing)装置和图像处理装置。该图像釆集装置可用于采集车 辆外的场景的原始图像。采集的原始图像通常由一组像素定义。该图像处理装置可用 于接收釆集的原始图像并对采集的原始图像进行形态学图像处理，以便去除釆集的原 始图像中的失真，从而产生最终滤波图像。根据本发明的另一个实施例，提供一种用于在车辆中对釆集的原始图像进行图像 处理的方法。该方法总体上采集车辆外的场景的原始图像并对釆集的原始图像进行形 态学图像处理，以便去除原始图像的失真从而产生最终滤波图像。根据本发明的又一个实施例，提供一种图像处理系统。该图像处理系统总体上包 括图像采集装置和困像处理装置。该图像釆集装置可用于采集场景的原始图像。该图 像处理装置可用于接收釆集的原始图像并对所采集的图像进行形态学图像处理，以便 去除由于场景中有雾而在采集的原始图像中产生的失真，从而产生最终滤波图像。
图1示出本发明的一个实施例中的系统；图2示出对采集的原始图像进行形态学图像处理的流程图；图3示出在一小组像素周围的结构元素；图4示出对应于采集的原始图像的图像；图5示出对应于形态学滤波图像的图像；图6示出对应于差值图像的图像；及图7示出对应于最终滤波图像的图像。具休实施方式现参考图l,示出本发明的一个实施例中的系统100。该系统100包括图像釆集 装置102和图像处理装置104。通过图像采集装置102采集原始图像106并将原始图 像106传输到图像处理装置104进行图像处理。采集的原始图像由一组像素定义。图 像釆集装置104通常包括一个或多个摄像机(未示出)。该一个或多个摄像机可以定 位在车辆的预定位置上。总的来说，系统IOO可配置为作为与车辆关联的整体安全系 统的一部分。系统IOO可以结合车道偏离报警系统(LDW)、前向碰撞报警系统(FCW) 和/或碰撞自动减速系统(CMbB)工作。LDW、 FCW和/或CMbB是配置用于检测正在接近 车辆的物体，并在紧接着要发生碰撞的情况下警告驾驶人员的系统。系统100配置用 于监视路况，并在恶劣的天气条件下为驾驶人员提供增强的路面可见度。原始图像可以是与车辆外的场景相关的图像。这样的场景可以反映出正在靠近车 辆的物体(例如，包括但不限于其他车辆和行人)。图像处理装置104可以在安全控 制器(未示出)中实现。安全控制器可以使用采集的图像进行物体的分类和识别。例 如，安全控制器可以把正在靠近的物体分类为车辆。在安全控制器给图像中的物体分 类之前，需要在釆集的原始图像上进行图像处理以便去除失真和/或噪声。图像处理装置104可以配置用于在采集的图像上进行形态学图像处理，以便去除 在采集的原始图像中的失真和噪声。若原始图像的场景包括由天气条件造成的因素， 图像处理装置104可以用形态学图像处理来去除采集的原始图像中的失真。在一个非 限制性示例中，若原始图像的场景包括雾，图像处理装置104可以用形态学图像处理 来去除在釆集的原始图像中的失真(或薄雾，模糊(haze))。由于在原始图像上有雾 存在，图像处理装置104可以用于分离和消除在釆集的原始图像中的薄雾。若在原始 场景中有雨、雪或雾，图像处理装置104可以扩展用于去除在这些场景中釆集的原 始图像中的失真。形态学图像处理通常要结合高帽(top-hat)滤波以去除在采集的 原始图像中的失真。图2示出对釆集的原始图像进行形态学图像处理的流程图。图像处理装置l(H可 以使用在流程图200中的步骤来去除在釆集的原始图像中的失真。在步骤202中，图像釆集装置102采集原始图像。在步骤204中，定义形态学结构元素。在一个非限 制性示例中，形态学结构元素可以实现为盘状的形式。形态学结构元素也可以实现为 圆、半圆或其他形状的形式。结构元素的形状和尺寸通常基于釆集的原始图像的类型。 可以改变结构元素的尺寸和形状以满足具体实施例的设计原则。形态学结构元素可以 配置用于在定义采集的原始图像的一组像素中围出一小组像素。图3总体上示出从一组像素110中在一小组像素(标号"X")周围形成盘状结构元 素108。现返回参考图2，在步骤206中，图像处理装置104产生形态学滤波图像。 图像处理装置104通过比较邻近结构元素108的像素的平均像素值与位于结构元素 108中的像素的平均像素值从而产生形态学滤波图像并利用高帽(top-hat)滤波去除确定为噪声的像素。总的来说，每个像素都有一个通过2、定义的值。例如，若图像采集装置102配 置用于釆集彩色原始图像106,在采集的原始图像中的每个像素可以包括2"6个值 (或65,5 36个值)，此处的！!=16。在另一个示例中，若图像采集装置102釆集灰度 原始图像时，在采集的原始图像中的每个像素包括2"8个值(或256个值)，此处n-8。 系统100可以适用于处理和去除采集的彩色或灰度原始图像的失真。图像处理装置104配置用于计算在结构元素108内部的任何一个或多个像素的平 均像素值。图像处理装置104计算邻近结构元素108的任何一个或多个像素的平均像 素值。若邻近结构元素108的任何一个或多个像素的平均像素值大于预定平均像素阈 值，图像处理装置104就用在结构元素108中的一个或多个像素的平均像素值替换该 像素。若邻近结构元素108的任何一个或多个像素的平均像素值小于预定平均像素阈 值，图像处理装置104保留与邻近结构元素108的一个或多个像素关联的像素值。通 过去除平均像素值大于预定平均像素阔值的像素的像素值，系统100可以推断这样去 除的像素包括在采集的原始图像中存在的失真和噪声的一部分。在釆集的原始场景中有雾的示例中，系统ioo可以推断去除的像素包括由于在采集的原始图像中有雾存在而产生的失真或薄雾的一部分。对于平均像素值小于预定平均像素阈值的像素，系统 IOO推断这样的像素是真正原始图像的一部分。一旦邻近结构元素108的所有像素都被分析过(例如，平均像素值已经和预定平 均像素阇值做过比较)，图像处理装置104就在一列或多列像素上移动结构元素108, 并分析结构元素108的一个或多个新的邻近像素。这种在多列像素上移动结构元素 108的过程重复进行，直到分析完整个图像(或分析了一组像素110)。在一个非限 制性实施例中，用结构元素108对采集的原始图像的扫描可以从采集的原始图像左上部分开始并横跨图像移动。为满足具体实施例的设计原则，可以改变结构元素ios在采集的原始图像上的初始位置和结构元素108在釆集的原始图像上的移动方向。响应 于移动结构元素108横跨整个图像并分析邻近像素。图像处理装置l(H产生形态学滤 波图像。与采集的原始图像比较，形态学滤波图像可能提供更为均匀的图像，因为已经替换了平均像素值大于预定平均像素阈值的像素。这样的形态学滤波图像通常可以 提供更为均匀的图像。虽然形态学滤波图像通常可以提供更为均匀的图像，但经滤波 的图像需要附加的处理，因为图像可能比釆集的原始图像暗。在步骤208中，图像处理装置104从釆集的原始图像中减去形态学滤波图像以产 生差值图像。该差值图像通常是云状图像。差值图像通常表示在原始图像中采集的大 量失真和/或噪声。在原始场景中有雾存在的示例中，差值图像表示在釆集的原始图 像由于场景中有雾而产生的大量薄雾。在步骤210中，图像处理装置104可以从采集 的原始图像中减去差值图像以产生最终滤波图像。通过从采集的原始图像中减去差值 图像，可以去除在釆集的原始图像中的大量噪声或所有噪声。图4示出对应于釆集的原始图像的图像，该釆集的原始图像包括在道路中的物 体。对于图4中所示的釆集的原始图像，由于有雾存在而在釆集的原始图像中产生的 噪声，很难判明在釆集的原始图像中的物体的是车辆。图5示出对应于形态学滤波图像的图像。结合图2观察，形态学滤波图像具有更 均句的外观，因为去除了平均像素值大于平均像素阈值的像素。然而，在与结合图4 所示的釆集的原始图像比较时，形态学滤波图像具有较低(darker)的对比度。然而， 与在图4的采集的原始图像中所示的道路中的物体比较，在如图5中所示的形态学滤 波图像中，更容易识别在道路中的物体是车辆。图6示出对应于差值图像的图像。差值图像通常表示由于在有雾时釆集原始图像 而产生的大部分噪声或失真。图7示出对应于最终滤波图像的图像。道路中的物体可以容易地识别为车辆。此 外，当与采集的原始图像比较时，最终滤波图像提供了更高的可见度和增强的物体清 晰度。通过产生增加了物体清晰度的图像，系统ioo为驾驶人员提供了更高的道路可 见度，这可以使车辆发生事故可能性降低。例如，若天气条件较差且驾驶人员具有较 差的可见度时，在有雾、雨、或冻雨的情况下，车辆安全系统会警告驾驶人员有正在 靠近的车辆，因为系统IOO提供了增强的物体清晰度，从而该安全系统识别物体的存 在要比现有技术的方法快。已详细描述实施本发明的最佳模式，本领域技术人员将认识到替代的设计和实施 例，按照下列权利要求实施本发明。
权利要求
1.一种适用于在车辆上使用的图像处理系统，其特征在于，所述系统包括图像采集装置，所述图像采集装置可用于采集所述车辆外的场景的原始图像，采集的原始图像由一组像素定义；及图像处理装置，所述图像处理装置可用于接收所述采集的原始图像并对所述采集的原始图像进行形态学图像处理，以去除在所述采集的原始图像中的失真和产生最终滤波图像。
2. 如权利要求l所述的图像处理系统，其特征在于，所述图像处理装置可配置 用于去除在所述采集的原始图像中的失真，所述失真是由于在场景中有雾存在并釆集 在原始图像中而产生的。
3. 如权利要求l所述的图像处理系统，其特征在于，所述图像处理装置可配置 用于产生具有基于釆集的原始图像的类型的预定形状和尺寸的结构元素。
4. 如权利要求3所述的图像处理系统，其特征在于，所述图像处理装置可配置 用于用所述结构元素扫描在所述原始图像中的整个一组像素，以产生形态学滤波图 像。
5. 如权利要求4所述的图像处理系统，其特征在于，所述结构元素定位在一组 像素中的一个或多个像素周围。
6. 如权利要求5所述的图像处理系统，其特征在于，所述图像处理装置可配置 用于比较在所述结构元素中的一个或多个像素的平均像素值与定位于邻近所述结构 元素处的第一小组像素的中的一个或多个像素的一个或多个平均像素值。
7. 如权利要求6所述的图像处理系统，其特征在于，所述图像处理装置可配置 用于对于在第一小组像素中的任何超过预定阈值的一个或多个像素的平均像素值，把 所述第一小组像素中的任何一个或多个像素的平均像素值替换为所述结构元素中的 一个或多个像素的平均像素值。
8. 如权利要求7所述的图像处理系统，其特征在于，所述图像处理装置可用于 移动所述结构元素通过一个附加小组像素或多个附加小组像素，直到扫描完整个一组 像素，并对于附加小组像素中的任何超过预定阈值的一个或多个像素的平均像素值，把在附加小组像素中的任何一个或多个像素的平均像素值替换为所述结构元素中的 一个或多个像素的平均像素值。
9. 如权利要求4所述的图像处理系统，其特征在于，所述图像处理装置可配置 用于从所述采集的原始图像中减去所述形态学滤波图像以产生差值图像。
10. 如权利要求9所述的图像处理系统，其特征在于，所述图像处理装置可配置 用于从所述采集的原始图像中减去所述差值图像以产生所述最终滤波图像。
11. 如权利要求1所述的图像处理系统，其特征在于，所述图像釆集装置可配置 用于釆集灰度格式的原始图像。
12. 如权利要求1所述的图像处理系统，其特征在于，所述图像釆集装置可配置 用于釆集彩色格式的原始图像。
13. —种在车辆中对釆集的原始图像进行图像处理的方法，其特征在于，所述方 法包括釆集在所述车辆外的场景的原始图像；及对采集的原始图像进行形态学图像处理，以从所述釆集的原始图像中去除失真并 产生最终滤波图像。
14. 如权利要求13所述的方法，其特征在于，采集所述原始图像的步骤还包括 从所述釆集的原始图像中去除失真，所述失真是由于在场景中有雾存在并采集在原始 图像中而产生的。
15. 如权利要求13所述的方法，其特征在于，还包括产生具有基于釆集的原始 图像的类型的预定形状和尺寸的结构元素。
16. 如权利要求15所述的方法，其特征在于，还包括用所述结构元素对所述釆 集的原始图像进行滤波以产生形态学滤波图像。
17. 如权利要求16所述的方法，其特征在于，还包括从所述釆集的原始图像中 减去所述形态学滤波图像以产生差值图像。
18. 如权利要求17所述的方法，其特征在于，还包括从所述釆集的原始图像中减去所述差值图像以产生所述最终滤波图像。
19. 一种图像处理系统，其特征在于，包括图像采集装置，所述图像釆集装置可用于采集场景的原始图像；及图像处理装置，所述图像处理装置可用于接收所述采集的原始图像并对所述采集 的原始图像进行形态学图像处理，以从所述釆集的原始图像中去除失真并产生最终滤 波图像，所述失真是由于在场景中有雾存在并采集在所述原始图像中而产生的。
20.如权利要求19所述的图像处理系统，其特征在于，所述图像采集装置可配置用于采集灰度格式的原始图像。
全文摘要
本发明提供一种适用于在车辆安全系统上使用的图像处理系统。该系统总体上包括图像采集装置和图像处理装置。该图像采集装置可用于采集在车辆外的场景的原始图像。采集的原始图像通常由一组像素定义。该图像处理装置可用于接收采集的原始图像，并对采集的原始图像进行形态学图像处理，以去除在原始图像中的失真并产生最终滤波图像。
文档编号G06T5/00GK101236648SQ20081000901
公开日2008年8月6日 申请日期2008年1月25日 优先权日2007年1月29日
发明者里德·斯泰格尔 申请人:福特环球技术公司