车辆探测系统及方法

车辆探测系统及方法
【专利摘要】本发明描述了一种车辆探测系统和用于探测动态变化的感兴趣区域(ROI)中的一个或多个车辆的方法。该系统包括场景识别模块(101)、道路拓扑估算模块(102)、和车辆探测模块(103)。场景识别模块配置为用于接收高曝光图像或低曝光图像，以识别在动态变化的感兴趣区域中的一个或一个以上的场景的情况。道路拓扑估算模块配置为接收高曝光或低曝光图像以确定在动态变化的感兴趣区域中的道路的曲线、坡度和消失点中的至少一个。车辆探测模块，其与场景识别模块和道路拓扑模块相结合来探测夜间道路上的一个或一个以上的车辆。
【专利说明】车辆探测系统及方法 发明领域
[0001] 本发明通常涉及车辆探测，更具体地涉及一种在低光照条件下的车辆探测系统， 比如夜间。
[0002] 发明背景
[0003] 先进驾驶辅助解决方案正在逐渐获得市场。前向碰撞预警是应用程序之一，其在 当主车辆即将与前方的目标车辆碰撞时向司机发出警告。视觉应用程序在白天和夜间探测 前方的车辆并根据计算出的即将发生碰撞的时间来生成警告。前向碰撞预警系统和其他的 汽车视觉应用程序采用不同的算法来探测在昼夜条件下的车辆。
[0004] 然而，现有的车辆探测系统效率不高、不方便并且很昂贵。这就需要一种有效率且 经济的基于夜间车辆探测的视觉系统和方法。因此，需要一种能够提供强健的车辆探测的 系统，即使在弱光照条件下，在各种实时场景下，也能消除错误的对象。
[0005] 传统的视觉处理系统缺乏广泛的能见度条件，包括乡村条件（黑暗）和城市条件 (明亮）。此外，该类车辆的探测特别具有挑战性的原因包括：
[0006] ?从车辆的不同位置到车辆灯光的形状具有多种多样的不同。
[0007] ?车辆具有不同的灯光。例如，刹车灯、开启的侧光。
[0008] ?车辆没有开灯。
[0009] ?在城市条件下的车辆探测，周围混杂有如此之多的环境光线。
[0010] ?两轮车的探测和距离估计。
[0011]因此，有必要提供一种对夜间道路上的一个或一个以上的车辆进行探测的车辆探 测系统。需要一种强健的系统能够识别和消除错误的对象，包括如路灯、交通锥等与车辆灯 光形状非常相似的光及其他混杂光源;从而提供高精确度水平。
[0012] 概述
[0013] 本发明的一个实施例描述了一种车辆探测系统。该车辆探测系统包括一个场景识 别模块，其配置为接收高曝光图像和低曝光图像之一，以用于识别在动态变化的感兴趣区 域(R0I)中的一个或一个以上的场景的情况，一个道路拓扑估算模块，其配置为接收高曝光 及低曝光图像之一，以确定在动态变化的感兴趣区域(R0I)中的道路的曲线、坡度和消失点 中的至少一个，以及一个车辆探测模块，其与场景识别模块和道路拓扑模块相结合来探测 道路上的一个或一个以上的车辆。
[0014] 本发明的另一个实施例描述了一种通过车辆探测系统来探测一个或一个以上车 辆的方法。该方法包括:通过场景识别模块和道路拓扑估算模块中的至少一个来接收高曝 光图像和低曝光图像之一，通过场景识别模块来识别在动态变化的感兴趣区域(R0I)中的 一个或一个以上图像场景的情况，确定在动态变化的感兴趣区域(R0I)中的道路的曲线、坡 度和消失点中的至少一个，以及处理一个或一个以上图像来探测在动态变化的感兴趣区域 (R0I)中的一个或一个以上车辆。
[0015] 处理一个或一个以上图像，以用于探测在动态变化的感兴趣区域(R0I)中的一个 或一个以上车辆，其步骤包括:通过分割模块获得可能的光源，通过滤波模块消除噪声和不 需要的信息，在滤波后的图像中识别一个或一个以上斑块，确定每个被识别的斑块的特征， 使用至少一个配对逻辑在动态变化的ROI中已识别出的一个或一个以上的斑块中识别一个 或一个以上的对象，以及确认与验证一对或一对以上的识别斑块对。
[0016] 在一个实施例中，在两对或两对以上识别斑块对中的一个或一个以上的识别斑块 通过执行至少一次方法步骤来验证，该方法步骤包括在共享同一斑块的两对识别斑块中消 除一对具有较小宽度的识别斑块，其中，两对的列重叠很高或很低，在共享同一斑块的两对 识别斑块中消除一对具有较大宽度的识别斑块，其中，两对的列重叠不是很高或不是很低 而且中间斑块是非对称分布的，消除宽度和高度小于另一对识别斑块的一对识别斑块，其 中，所述两对具有列重叠而不具有行重叠，消除较另一对识别斑块具有较低强度、高度和较 宽宽度的一对识别斑块，消除较另一对识别斑块具有更低强度的一对识别斑块，其中，两对 具有相同的宽度和高度并且列重叠很高，消除较另一对识别斑块具有更大宽度的一对识别 斑块，其中，两对具有列重叠和行重叠且为非对称的，消除较另一对识别斑块具有更小宽度 的一对识别斑块，其中，两对有列重叠且为对称的，消除置于另一对识别斑块内的一对识别 斑块，其中，两对具有非常少的列重叠，消除置于另一对识别斑块下方的一对识别斑块，其 中，两对有非常少的列重叠。
[0017] 附图的简要说明
[0018] 本发明将结合附图对以上所描述的方面和其他特点作如下解释，其中：
[0019] 图1为根据本发明的一个实施例所示的车辆探测系统的框图。
[0020] 图2为根据本发明的一个实施例所示的车辆探测系统的框图。
[0021] 图3为根据本发明的一个示例性实施例所示的采集的在动态变化的R0I中车辆的 图像。
[0022] 图4为根据本发明的一个实施例所示的提供给场景识别模块或道路拓扑估算模块 的输入帧。
[0023] 图5为根据本发明的一个实施例所示的采集到的动态变化的R0I图像。
[0024] 图6为根据本发明的一个实施例所示的道路拓扑估算模块的框图。
[0025] 图7为根据本发明的一个实施例所描述的动态变化R0I随着关于道路的坡度和曲 线变化而变化。
[0026] 图8为根据本发明的一个示例性实施例所描述的一幅采集到的用于分割的图像。
[0027] 图9为根据本发明的一个示例性实施例所描述的分割后得到的输出图像。
[0028] 图10为根据本发明的一个示例性实施例所描述的为了分割彩色图像的3X3矩阵。
[0029] 图11为根据本发明的一个示例性实施例所示的分割图像经过滤波后的输出图像。
[0030] 图12为根据本发明的一个示例性实施例所示的两合并斑块的分离。
[0031] 图13为根据本发明的一个示例性实施例所示的一幅图像，该幅图像中的每个斑块 均分配了不同的标记。
[0032] 图14为根据本发明的一个实施例所示的用于从暗帧和亮帧中制备最终斑块列表 的方法流程图。
[0033] 图15为根据本发明的一个示例性实施例所示的多幅图像，在这些图像中的斑块均 进行分类以识别前照灯、尾灯或其他任何光。
[0034]图16为根据本发明的一个示例性实施例所示的一幅图像，在该图像中的斑块均被 归类为合并斑块。
[0035]图17为根据本发明的一个实施例所示的基于配对逻辑来识别有效配对的方法。 [0036]图18为根据本发明的一个实施例所示的确认与验证斑块的方法。
[0037]图19为根据本发明的一个示例性实施例所示的在确认与验证前后的斑块对的图 像。
[0038]图20为根据本发明的一个示例性实施例所示的合并的灯光/或斑块。
[0039] 图21为根据本发明的一个实施例所示的在动态变化的R0I中识别有效斑块的方 法，用以探测两轮车。
[0040] 图22为根据本发明的一个实施例所示的跟踪模块状态模式转换周期。
[0041]图23为根据本发明所示的通过距离估算模块来估算被探测车辆和主车辆之间距 离的一个具体实例。
[0042]图24为根据本发明的一个示例性实施例所示的探测到的车辆的估算距离。
[0043] 图25为根据本发明的一个实施例所示的通过车辆探测系统来探测一个或一个以 上车辆的方法流程图。
[0044] 发明的详细说明
[0045] 本发明的实施例将结合附图详细描述。并且，本发明并不局限于本发明中所描写 的实施例。本发明所述装置的大小、形状、位置、数量和各种元素的组合，只是示例性的，本 领域的技术人员可在不脱离本发明的范围内进行各种修改。因此，本发明的实施例只是用 于向本发明所在领域内的普通技术人员更清楚地解释本发明。在附图中，类似的组件采用 类似的引用标号来标示。
[0046] 说明书中的各个地方都可能涉及到引用"一"、"一个"或"一些"实施例。这并不一 定意味着每一个这样的引用都是指的相同的一个实施例(或多个实施例），或该特征仅适用 于一个单一的实施例。不同实施例的单个特征也可以组合以提供其他实施例。
[0047]正如本申请中所使用的，单数形式的"一"、"一个"和"该"同样也应理解为包含复 数形式，除非明确说明除外。应进一步地理解，本申请中使用的术语"包括"、"由……组成"、 "包含"和/或"构成"，列举设定特征、整数、步骤、操作、元素和/或部件，但不排除现有的或 增加一个或一个以上的其他特征、整数、步骤操作、元素、部件、和/或以上的组合。应理解的 是被称为，当描述一个元素"连接"或"耦合"至另一个元素时，可以为直接连接或耦合到其 他元素或存在一个以上元素介于该两元素之间。此外，本申请中使用的"连接"或"耦合"可 以包括实时的连接或耦合。本申请中使用的术语"和/或"包括任一和所有的一个或多个所 列关联项目的组合和布置。
[0048] 除非特别限定，本申请中所使用的所有术语(包括技术术语和科学术语)均与本申 请披露所涉及领域的普通技术人员的通常理解具有相同的意义。进一步地理解，这些术语， 如常用词典中所定义的一样，应理解为具有与相关领域的上下文相一致的意义，并且不会 理想化或过度正式意义的理解，除非本申请中特别指出如此定义。
[0049] 本发明描述了一种车辆探测系统以及发生在夜间低光照条件下探测车辆的方法。 车辆探测需要多种应用程序，例如前向碰撞预警系统、动态远光辅助、远光自动控制系统 等。所述系统在夜间探测车辆以使用车辆灯光，如尾灯作为主要特征。该系统提供一种强健 的车辆探测，使用多种不同分类器和识别并消除错误对象。
[0050] 图1为根据本发明的一个实施例所示的车辆探测系统的框图。车辆探测系统100包 括一个场景识别模块101、一个道路拓扑估算模块102以及一个车辆探测模块103。所述场景 识别模块101配置为接收高曝光图像和低曝光图像其中之一，以识别动态变化的感兴趣区 域(R0I)中的一个或一个以上场景/图像的情况。场景识别模块确定在动态变化的感兴趣区 域(R0I)中的饱和像素、亮度、和区域变化。所述道路拓扑估算模块102配置为接收高曝光图 像或低曝光图像，以确定在动态变化的感兴趣区域(R0I)中的一个或一个以上道路特征，如 道路的曲线、坡度和消失点。在一个实施例中，将道路拓扑估算模块耦合至场景识别模块， 以用于接收动态变化的感兴趣区域(R0I)中的一个或一个以上场景/图像的情况。车辆探测 模块103与场景识别模块101和道路拓扑估算模块102相连接，并配置为用于探测夜间道路 上的一辆或多辆车辆，即，行驶在主车辆前方的前方车辆或迎面车辆。在这里，系统在公路 和城市道路的夜间条件下工作。该系统以使用车辆灯光作为主要特征，从而用于车辆探测 及车辆分类器。
[0051] 图像采集单元采集动态变化的感兴趣区域中的图像，用于为系统100提供相同（如 高的和低的曝光/通道具有不同的增益/曝光）。图像采集单元可能是一个车辆摄像机。然后 将输入图像转换为灰度图像和彩色图像，并输入提供到系统1〇〇。该系统1〇〇工作于感兴趣 区域(R01)。场景识别模块101确定场景情况，如白天和黑夜，夜间黑暗相对明亮、雾、和雨。 道路拓扑估算模块102确定道路场景，如曲线、坡度等。在一个实施例中，动态的R0I是随着 有关于道路的曲线和坡度变化而变化的R0I。道路拓扑估算模块102和场景识别模块101接 收并处理高曝光/增益的帧和低曝光/增益的帧的交替集。该系统100与电子控制单元104相 连接，用于提供由车辆探测模块103处理的输出信号。电子控制单元104处理接收到的信号， 用于显示或警示车辆的使用者或驾驶员。
[0052]在一个实施例中，道路拓扑估算模块102基于以下参数计算出动态变化的R0I: [0053] ?饱和像素 [0054] ?亮度
[0055] ?区域变化
[0056] ?颜色
[0057]在一个实施例中，如果以上所述的参数通过整个R0I都是高的，则动态变化区域中 的场景/图像被分类为明亮。
[0058]图2为根据本发明的一个实施例所示的车辆探测系统的框图。车辆探测模块103包 括图像分割模块201、滤波模块202、斑块识别模块203、对象识别模块204、配对确认与验证 模块205、跟踪模块207、以及距离估算模块208。此外，车辆探测模块103还包括两轮车识别 模块206。
[0059]该图像分割模块201配置为用于接收来自场景识别模块101或道路拓扑估算模块 102的输入数据，以提供二进制图像数据。该二进制图像数据包括尾灯、前照灯、噪声和不需 要的信息。
[0060] 滤波模块202耦合至图像分割模块201，并配置为用于去除噪声和不需要的信息， 如非常小的对象、假阳性和类似的其他信息等。
[0061] 斑块识别模块203耦合至滤波模块202,并配置为用于识别经过滤波后的图像中的 一个或一个以上的斑块并且随后确定每一被识别斑块的特征。斑块识别模块203配置为执 行以下步骤，其中包括为一个或一个以上斑块中的每一斑块分配一个独特的标记、确定一 个或一个以上标记斑块的每一个的特征，特征包括斑块的起源、宽度、高度、框面积、像素面 积、红色像素的数目、纵横比、以及斑块轮廓，基于确定的特征确定在一个暗帧或亮帧中的 一个或一个以上标记斑块的一个或一个以上融合，以及将一个或一个以上标记斑块分类在 前照灯、尾灯、合并光和无效光中的至少一个分类内。
[0062]对象识别模块204耦合至斑块识别模块203,并且配置为基于一个或一个以上配对 逻辑来识别对象。该对象识别模块204配置为执行以下步骤中的至少一步，其步骤包括确定 一个或一个以上斑块的水平重叠、确定一个或一个以上斑块的纵横比、确定一个或一个以 上斑块的像素面积比、确定一个或一个以上斑块的宽度比、和确定一个或一个以上斑块的 像素框面积比。
[0063]配对确认与验证模块205耦合至对象识别模块204,并配置为确认与验证一个或一 个以上被识别的斑块对。配对确认与验证模块205配置为执行一个或一个以上的步骤，该步 骤包括确定一对被识别的斑块、在一行灯光间确定一个或一个以上的识别斑块、在两对或 两对以上的识别斑块对间验证一个或一个以上的识别斑块、以及通过识别一个或一个以上 的合并斑块来确认合并光。识别斑块对是通过执行以下步骤来确定的，包括确定配对的宽 度和纵横比、确定配对中的非配对斑块的数目、以及确定配对和非配对的斑块面积作为配 对宽度的百分比。
[0064] 在一个实施例中，在R0I中的灯光行之间确认一个或一个以上的识别斑块是通过 执行包括对R0I中的所有灯光行进行线匹配算法的步骤来实现的。
[0065]跟踪模块207耦合至配对确认与验证模块205,并配置为跟踪一个或一个以上阶段 中的一个或一个以上已确认与验证的斑块对。该一个或一个以上阶段包括闲置阶段、预跟 踪阶段、跟踪阶段和取消跟踪阶段。
[0066]两轮车识别模块206配置为用于确定R0I中的识别对象为一个两轮车，基于从斑块 识别模块203和配对确认与验证模块205中接收到一个或一个以上斑块的信息。一个或一个 以上斑块的信息包括在斑块识别模块中被分为前照灯或尾灯的斑块和通过近距离骑手形 状轮廓分类器的斑块。在一个实施例中，斑块识别模块203识别感兴趣区域(R0I)中的一个 单个斑块来确定一个两轮车。
[0067]跟踪模块207耦合至配对确认与验证模块205和两轮车识别模块206,并且配置为 用于在一个或一个以上阶段中，跟踪一个或一个以上的经确认与验证了的斑块对/斑块。该 一个或一个以上阶段包括闲置阶段、预跟踪阶段、跟踪阶段和/或取消跟踪阶段。
[0068]该距离估算模块208配置为计算一个或一个以上被探测车辆和一个主车辆之间的 距离，基于被探测车辆尺寸的实际宽度和镜头焦距的乘积比，以及图像中被探测车辆的宽 度和将摄像机的像素转换为米的系数的乘积。
[0069]图3为根据本发明的一个示例性实施例所示的采集的动态变化的感兴趣区域中车 辆的图像。该系统利用车辆灯光作为车辆探测和分类的主要特征。图像采集单元附着在车 辆的预定位置上，采集图像并将所采集的图像提供给系统100。该系统100采用高曝光图像 (如图3a所示)和低曝光图像(如图3b所示）。图像采集单元提供采集到的图像作为输入帧， 其包括高曝光/增益和低曝光/增益。如图4所示，该输入帧被提供给场景识别模块或道路拓 扑估算模块。
[0070] 图5为根据一个示例性的实施例所示的采集到的图像。图像采集单元采集到图像 并将其提供给场景识别模块。场景识别模块101处理接收到的图像，并将该图像/场景分类 为亮/暗/雾/雨，如果通过R0I的这些参数如饱和像素、亮度、颜色和区域变化是高的。该图 像/场景分类积累通过时间和滞后的增加以确定分类的变化。
[0071] 图6为根据本发明的一个实施例所示的道路拓扑估算模块102的框图。在本实施例 中，道路拓扑估算模块102计算确定的感兴趣区域的预计消失点。一幅图像中的R0I(感兴趣 区域)是用户寻找潜在车辆的区域一没有天空区域的前方道路场景。道路拓扑估算模块102 接收输入如偏移估计、消失点估计、俯仰估计、场景识别和车辆外部参数，以确定/估算道路 消失点。
[0072]动态R0I是随着有关于道路的坡度和曲线变化而变化的R0I，如图7(a)和(b)所示。
[0073] 对于曲线估算来说，道路拓扑估算模块102采用主车辆的横摆率和速度来估算前 方的曲率。
[0074] 对于坡度估算来说，车辆探测系统使用以下线索来确定前方的坡度
[0075] ?基于跟踪的匹配/登记，以确定连续帧之间的偏移量
[0076] ?来自LDWS(车道偏离警示系统)的输入
[0077] ?来自特征跟踪模块的俯仰估计。
[0078] ?场景识别输出，如白天或黑夜等
[0079] ?车辆外部参数，如横摆率、速度等
[0080] 使用动态的R0I的优点如下：
[0081] ?弯曲的道路上也可以探测到车辆 [0082] ?减少假阳性
[0083] ?可以避免不必要的处理，从而提高系统性能
[0084] 图像分割
[0085] 图8为根据本发明的一个示例性实施例所示的采集到用于分割的图像。在本实施 例中，在输入的低曝光/增益图像和高曝光/增益图像中所示的灯光，基于双阈值使用滑动 窗口来分割。一维固定/可变长度的局部窗口的阈值是根据窗口像素值、预定义的最小值和 预定义的最大值的均值计算出来的。预定义的最小值可以根据图像的亮度进行调整。对于 较亮的情况来说，阈值的最小值进一步上升，而对于较暗的情况来说，阈值移动到一个预定 义的值。无论是固定窗口还是尺寸可变的窗口，都被用来计算R0I的阈值。图像的像素值可 基于阈值进行修正。例如，七段分割图像是由根据不同的预定义最小值和最大值计算出来 的七个不同的阈值形成的。分割输出的是二进制图像，如图9所示。
[0086] 对于彩色图像的分割来说，彩色图像和分割的输入图像(采用灰度图像获得)作为 输入。根据彩色图像的颜色信息，在已分割的光区域附近增加区域的大小。分割的光像素附 近的像素值的确定是基于8邻域红色色相的阈值决定的，如此，低光照条件或远区域的尾光 大小将会增加。例如，如图10所示的一个3X3的矩阵，中间像素的值是基于分割的像素 （BP "1"）和彩色图像来确定的。彩色图像应该有红色色相，用于尾灯条件。处理双级自适应分割 图像和彩色图像从而得到最终的分割图像。
[0087] 鍾
[0088] 如图9所示的分割后的二进制图像由尾灯、噪声和不需要的信息组成。使用滤波消 除噪声和不需要的信息。可以采用形态学操作或中值滤波来完成滤波。形态学操作如腐蚀 膨胀是与尺寸为三的结构元素一起使用，所以它消除尺寸小于3X3的斑块。中值滤波设计 为消除尺寸小于2X3和3X2的斑块。基于场景-为了更亮的场景的腐蚀和更暗的场景的中 值滤波-滤波应用于分割后的图像。所有基于场景的不同阈值分割图像均进行滤波。滤波模 块的输出是滤波后的图像，如图11所示。经过滤波后的图像，识别出分割的像素(斑块)的突 出群。
[0089] 分离合并斑块:
[0090] 该系统100还包括用于分离合并斑块的子模块-两尾灯/前照灯、尾灯/前照灯与其 他的灯光、尾灯/前照灯与反射光等等-在滤波后的图像中。该系统100对分割后的图像采用 3X3内核的两级腐蚀以确定并分离两合并斑块。滤波后的图像经过以下过程来分离两合并 斑块，如图12所示。
[0091] >如果滤波后的图像有一个斑块而两级腐蚀图像在同一位置有两个斑块，则通过 垂直切割两斑块对中的重叠区域来打断滤波后的图像中的斑块。
[0092] >如果滤波后的图像有一个斑块而两级腐蚀图像在同一位置无斑块或有一个斑 块，则保留滤波后的图像中的斑块。
[0093] >如果滤波后的图像有一个斑块而两级腐蚀图像在同一位置有两个以上的斑块， 则避免任何改变。
[0094] 斑块的识别
[0095]斑块识别模块203识别滤波后的图像中的不同类型的斑块并计算它们的特征。执 行以下步骤来识别斑块：
[0096] ?斑块标记
[0097] ?斑块特征计算
[0098] ?斑块融合
[0099] ?斑块分类
[0100] 斑块标记
[0101] 图13为根据本发明的一个示例性实施例所示的一幅图像，该图像中的每个斑块都 被分配有不同的标记。采用4连通法进行标记，其中，如果他们是通过4连通法相连接，则将 相同的标记分配给一组像素。对每个斑块都分配标记之后，如开始行、结束行、起始列、结束 列、分配的标记和像素面积等信息都存放在一个数组中。
[0102] 斑块特征
[0103] 为每个斑块都分配标记后，计算出以下特征：
[0104] ?斑块的起源，表明斑块是来自暗帧还是亮帧。
[0105] ?宽度，包括结束列和开始列之间的差距。
[0106] ?高度，包括结束行和开始行之间的差距。
[0107] ?框面积，是宽度与高度的乘积(即，宽度X高度）
[0108] ?像素面积，包括框内的白色像素的总数
[0109] ?红色像素的数目，包括基于色调值的红色像素的总数
[0110] ?纵横比，包括最小值(宽度，高度)/最大值(宽度，高度）
[0111] ?斑块轮廓，包括斑块的形状
[0112]斑块融合
[0113] 图14为根据本发明的一个实施例所示的用于从暗帧和亮帧中制备最终斑块列表 的方法流程图。在步骤1401中，接收低曝光/增益帧的斑块和高曝光/增益帧的斑块以确定 斑块的重叠。如果没有重叠，在步骤1402中，高曝光/增益帧的斑块被核对为是一个潜在尾 灯的斑块。如果没有重叠，在步骤1402中，通过/允许低曝光/增益帧的斑块被包括在斑块列 表中。低曝光/增益帧的斑块可能是由于反射成像而发生的。如果步骤1402中的高曝光/增 益帧的斑块不是一个潜在的尾灯，在步骤1404时摈弃该斑块。如果步骤1402中的高曝光/增 益帧的斑块是一个潜在的尾灯，则在步骤1405时通过/允许高曝光/增益帧的斑块被包括在 斑块列表中。如果在步骤1401时存在一个以上的斑块有重叠，则在步骤1406时通过/允许低 曝光/增益帧的斑块被包括在斑块列表中。在步骤1407中，制备得到最终的斑块列表。
[0114] 斑块列表的制备基于以下标准：
[0115] ?-个斑块应在预估的视界面积范围内。
[0116] ?-个斑块的下方不应该有任何其他的重叠斑块。
[0117] ?-个斑块不应该在其相邻的斑块之间具有相同亮度的面积。
[0118] ?水平R0I是从用于确定亮帧的潜在候选对象的总宽度的35-65%来定义的。
[0119] ?主要自亮帧通过的斑块都是成对的。如果它是一个合并斑块(远光灯/近光灯）， 则其将会经过暗帧。两块斑块之间水平重叠以配对。由于连续帧的移动与阈值相重叠的概 率是非常低的。
[0120] ?如果亮帧的一大块斑块多于暗帧的1个斑块，则认为斑块来自暗帧。
[0121]斑块分类
[0122] 图15为根据本发明的一个示例性实施例所示的图像，其中，将斑块进行分类以识 别前照灯、尾灯或其他任何灯光。一旦得到最终斑块列表，则斑块就已被分类为前照灯、尾 灯、合并灯光和其他灯光。如果红色得分(红色像素号码），由于斑块大于预定阈值，则斑块 是尾灯。尾光分类如图15(a)中的蓝色所示。基于以下标准将斑块分类为前照灯：
[0123] a)由于反射该斑块的下方有任一斑块;和/或
[0124] b)当多个斑块之间存在有水平重叠，也存在两块斑块之间的高度比小于最大车宽 的一半;和/或
[0125] c)该斑块具有最小值，该斑块附近具有两个最大值，其中，最小值和最大值模式是 通过采用特定斑块的垂直剖面来确定的。
[0126] 在进行尾灯和前照灯分类之后，所有具有低的红色得分的前照灯和尺寸很小的前 照灯通过将其标记为无效斑块的方式将其从列表中移除。此外，如果任一斑块的下方有一 个以上的斑块，则也将其标记为无效斑块。
[0127] 为将以上斑块分类为合并斑块，核对模式如101和111，其中，0是对应于最小值位 置，而1是对应于最大值位置。为确定模式，一个斑块被分为三段，并且每一段的最小和最大 的位置通过使用滤波后的图像来确定。通过使用这些值，中心段到左右段的比例是确定的 以核对101模式。对于111模式来说，左右段到中心段的比例是确定的。
[0128] 在一个实施例中，斑块识别模块203识别感兴趣区域(R0I)中的一个单个的斑块以 确定一个两轮车。
[0129] 图16为根据本发明的一个示例性实施例所示的一幅图像，其中，一个以上的斑块 被分类为合并斑块，如果一个斑块被分类为合并的而且其尺寸很小，则该斑块被认为是尾 灯或近光灯，基于它们各自较早的分类为尾灯或前照灯。
[0130] 配对逻辑
[0131] 图17为根据本发明的一个实施例所示的基于配对逻辑识别出有效配的过程。该系 统100还包括配对逻辑模块，其跟随一个基于启发式的方法从多个斑块中确定一对尾灯。根 据以下列出的标准进行配对的过程：
[0132] 1.核对多个斑块的水平重叠，
[0133] 2.核对多个斑块的纵横比，
[0134] 3.核对多个斑块的像素面积比，
[0135] 4.核对多个斑块的宽度比，
[0136] 5.核对多个斑块的像素框面积比，
[0137] 6.对于较大的斑块来说，进行核对以匹配多个斑块的形状。该多个斑块的形状可 以通过从腐蚀图像中减去原始斑块图像来获得。在这里，腐蚀是与尺寸为3的结构元素一起 完成的。使用余弦相似度来核对斑块的形状。
[0138] 余弦相似度:其测量多个斑块的向量之间的相似度。
[0139] 余弦相似度=Α·Β/||Α|| ||B||。
[0140] 其中，
[0141] II All向量A的大小
[0142] |叫|向量咖大小
[0143] 基于以上核对所获得的加权分数计算出最后的置信度得分。按照得分矩阵使用高 于阈值的得分来执行配对。配对是非常基本的，使用非常低的阈值以允许不平衡的尾光、开 启的侧光以及轻微不相称的斑块配对。
[0144] 如上所确定的配对允许基于动态R0I的车辆宽度核对。整个逻辑的核心是系统初 始化时已预先计算好并加载完成的动态三角形(该R0I根据摄像机和车辆参数保持更新）。
[0145] 配对的几何中心的行宽度应位于最小和最大三角形（动态R0I)的行宽度之间，如 图17(a)所示。配对逻辑的输出（如图17(b)所示)是可能车辆的配对。
[0146] 配对的确认与验证(V&V)
[0147] 配对确认与验证模块205确认并验证配对及合并斑块。模块205的输入是所有的可 能配对，如图19(a)所不。该模块205分为两个子模块，包括一个配对确认模块和一个合并光 确认模块
[0148] 配对确认
[0149] 图18为根据本发明的一个实施例所示的确认与验证斑块的方法。对单个配对、在 一行灯光之间的配对以及在多个配对之间的配对进行配对确认。
[0150] 单个配对的验证：
[0151] 图18(a)为根据一个实施例所示的一种斑块的单个配对的验证方法。为了验证斑 块的单个配对，需要满足以下条件：
[0152] 1.配对宽度和纵横比
[0153] 2.在配对间的非配对斑块的数目
[0154] 3.配对和非配对斑块的面积为配对宽度的百分比
[0155] 在一行灯光之间的配对的验证：
[0156] 在一个实施例中，对于一行灯光如反射光或路灯的情况下，一对斑块是需要验证 的。在大多数情况下，无论是反射光还是路灯都是排成一行的。对一行灯光进行线匹配算法 核对。如果一行灯光是排成一条直线的和在连续斑块对之间的交叉比率是相同的，则由那 些灯光形成的配对是无效的。
[0157] 配对间验证：
[0158] 图18(b)到18(j)为根据一个实施例所示的一种斑块配对的验证方法。采用以下规 则从R0I中的两对斑块对中确定斑块的实际配对：
[0159] 1.如果两对共享同一块斑块并且列重叠是非常高或非常低的，则消除较小宽度的 配对，如图18(b)和(c)所示。
[0160] 2.如果两对共享同一块斑块并且列重叠不是很高或很低，而且中间斑块是非对称 分布的，则消除较大宽度的配对，如图18(d)和(e)所示。
[0161 ] 3.如果两对有列重叠而没有行重叠，下面对的宽度和高度都小于上面对，则消除 下面对，而假设下面对的高度和强度都大于上面对并且宽度低于上面对，则消除上面对，如 果列重叠很高而且宽度和高度是相同的，则消除强度较小的配对，如图18(f )、（g)、和(h)所 示
[0162] 4.如果两对有列和行重叠，且为非对称的，则消除较宽的配对，而假设列重叠有良 好的对称性，则消除宽度较小的配对，如图18(i)和(j)所示
[0163] 5 .如果两对列重叠很少，一对是在另一对的内部，则消除在内部的配对，如图18 (k)所示，
[0164] 6.如果两对列重叠很少，一对是在另一对的下面，则消除下面的配对，如图18(1) 所示。
[0165] 图19为根据本发明的一个示例性实施例所示的在确认与验证前后的斑块对的图 像。图19(a)显示在进行确认与验证之前的四对识别的斑块对，而图19(b)描述了基于图18 中所描述的方法，经过确认与验证之后，显示三对有效且已验证的斑块对。图19中的配对确 认之后，符合四轮车标准的配对被跟踪系统所允许并且允许消除剩下的配对。
[0166] 合并灯光确认
[0167] 图20为根据本发明的一个示例性实施例所示的合并灯光/斑块。在一个实施例中， 合并灯光是远距离车辆的前照灯，并需要确认。为了确认合并灯光，执行以下标准：
[0168] 1.如果合并灯光与前方的四轮车辆有纵向重叠并且在它的下方，则它是无效的。
[0169] 2.如果合并灯光与迎面而来的车辆有纵向重叠，合并灯光被分类为尾灯、噪声或 不需要的信息，并且如果合并灯光低于迎面而来的车辆，则合并灯光是无效的。
[0170] 3.如果合并灯光与具有形状匹配度高于一第一形状匹配预定阈值的一对斑块有 纵向重叠，并且合并灯光分数低于第二预定阈值。如果合并灯光与具有形状匹配度低于第 一预定阈值的一对斑块有纵向重叠，则合并灯光是无效的。
[0171] 4.如果合并灯光与四轮车在先配对有纵向重叠和横向重叠，则合并灯光是无效 的。
[0172] 5.如果合并灯光有纵向重叠，没有横向重叠，形状匹配度高于预定阈值并且合并 斑块得分低于预定阈值，则合并灯光是无效的。
[0173] 6.如果在上述情况中，较小的合并灯光逐渐消除，然后核对合并灯光的跟踪。如果 合并灯光具有纵向重叠、横向重叠、面积比、高度比并且在预定阈值的范围内，则合并斑块 是有效的。
[0174] 两轮车探测
[0175] 图21为根据本发明的一个实施例所示的一种在动态变化的R0I中识别用于探测两 轮车的有效斑块方法。两轮探测模块206使用斑块分类信息。模块206探测前方车辆和迎面 而来的车辆。非配对的斑块、不列为合并灯光的斑块、被分为前照灯或尾灯的斑块都被认为 是可能的两轮车，并且进行额外的核对，如道路坡度、经过分类器的骑行者轮廓、斑块移动， 以确认斑块为一个两轮车。为了空间内事件的有效性，核对也是应该进行的，例如，左座驾 驶的迎面而来的前照灯，主车辆右侧区域有斑块，而对于右座驾驶来说，这些斑块应该在左 侧区域。另外，这些斑块不应该与配对有任何的纵向重叠。满足以上条件的这些斑块被认为 是一个两轮车。图21列举了两个例子，其中，识别斑块不符合上述条件，因此，其为无效斑 块。
[0176] 跟踪系统
[0177] 图22为根据本发明的一个实施例所示的跟踪模块状态模式转换周期。跟踪模块 207的功能分为四个阶段，包括闲置2201、预跟踪2202、跟踪2203、和取消跟踪2204。默认情 况下，跟踪模块/跟踪系统都处于闲置状态2201。一旦对象被确认为一对斑块(在一个四轮 车的情况下)/一个斑块(在一个两轮车的情况下），启动一个新的跟踪(如果之前没有匹配 的主动跟踪存在），状态从闲置状态2201改变为预跟踪状态2202。预跟踪状态2202是用于再 次确认斑块对/斑块的存在。用于验证预跟踪对象为斑块对/斑块以及将其转换至跟踪状态 2203的条件列出如下。已被验证为斑块对/斑块的预跟踪对象要想移动至跟踪状态2203，只 有：
[0178] ?探测到在"N"帧中，它有一个良好的置信度得分。每一帧中的斑块对/斑块的信 心是从通过配对逻辑/两轮车探测返回的探测信心获得的
[0179] ?它有较高的出现频率
[0180] ?它具有良好的移动评分（仅适用于四轮车辆）。跟踪系统保持跟踪斑块对的行 为。在这里，它被认为是这两个斑块步调一致。相反方向的移动仅仅允许是在车辆的前方， 即，车辆正朝着主车辆行驶，或向远离主车辆的方向行驶。
[0181] 在跟踪状态2203中，被跟踪的对象使用卡尔曼滤波器时发生连续的预测和更新。 本领域所知的任何其他合适的滤波器都可以使用。如果发现在一个特定帧中丢失该被跟踪 对象，使用卡尔曼预测来显示边界框。并且同一时刻，该跟踪系统从跟踪状态2203转变成取 消跟踪状态2204。在取消跟踪状态2204中，对象被验证为"M"帧。此外，该取消跟踪状态2204 试图提高良好跟踪系统的连续性(即正在被跟踪的很高的帧数目）通过
[0182] ?大面积搜索与运动约束相符合的自由形式
[0183] ?如果环境是非常黑暗的，在高增益/高曝光帧中搜索
[0184] ?如果接近车辆配对，试图为一个斑块匹配以延长其生命
[0185] ?如果接近两轮车或四轮车，使用分类器在邻域搜索
[0186] 对于取消跟踪状态2204来说，获得"M"帧的配对信心，以决定是将跟踪系统移回到 跟踪状态2203还是移动到闲置状态2201(不是一个有效的配对）。
[0187] 因此，在跟踪过程中，预跟踪和多帧确认摒弃掉虚假的探测，而跟踪和取消跟踪状 态往往填补了相应对象的探测间隙。
[0188] 在预跟踪状态，'Ν'帧的观测时间窗口和在取消跟踪状态'M'帧的观测时间窗口是 一个变量。不同情况使得跟踪状态改变决策动态，如斑块对/斑块类别、斑块对/斑块的得分 及在时间内的移动、配对宽度、间歇式斑块对/斑块、曲线/坡度情况。
[0189] 距离估计
[0190]图23为根据本发明所示的用距离估算模块208来估算被探测车辆和主车辆之间的 距离的一个实例。该距离估算模块208被配置为用于计算在至少一辆被探测车辆和一辆主 车辆之间的距离，基于被探测车辆尺寸的实际宽度和镜头焦距的乘积比，以及图像中被探 测车辆的宽度和将摄像机的像素转换为米的系数的乘积。
[0191]在一个实施例中，使用透视几何来估算距离。如果对应车辆的三对顶点连成相交 于一个顶点的三条直线的话，则形成从一个顶点出发的两个透视三角形。
[0192] 在透视法中，被探测车辆与主车辆之间的距离估算采用以下公式，并且其图解法 如图23所示。
[0193]
[0194] 共屮，
[0195] f:镜头的焦距(毫米）
[0196] W:该车辆尺寸的实际宽度(米）
[0197] w:图像中的车辆的宽度(像素）
[0198] k:将CCD摄像机的像素转换为米的系数，和 [0199] D:到目标车辆的距离(米）
[0200]图24为根据本发明的一个示例性实施例所示的最终被探测车辆的估算距离。该车 辆探测系统100已探测到三辆车辆，并用矩形框标明。
[0201] 图25为根据本发明的一个实施例所示的采用车辆探测系统来探测一辆或一辆以 上车辆的方法。在步骤2501中，在一个场景识别模块或一个道路拓扑估算模块中接收到一 幅高曝光图像或一幅低曝光图像。在步骤2502中，场景识别模块识别动态变化的感兴趣区 域(R0I)中的一个或一个以上场景的情况。在步骤2503中，在动态变化的感兴趣区域(R0I) 内，确定道路的曲线、坡度和消失点中的至少一个。在步骤2504中，一个滤波模块消除噪声 和不需要的信息。在步骤2 5 0 5中，识别滤波后的图像中的一个或一个以上的斑块。在步骤 2506中，确定每一个被识别斑块的特征。在步骤2507中，使用至少一个配对逻辑来识别来自 动态变化的R0I中识别的一个或一个以上斑块的一个或一个以上对象。在步骤2508中，一个 或一个以上的识别斑块对进行确认与验证。
[0202] 虽然本发明的具体实施例结合附图已经详细描述了本发明的系统和方法，但本发 明并不仅限于此。在不脱离本发明的范围和精神下，对斑块识别、斑块分类、配对逻辑和配 对确认与验证进行各种替换、修改和变化，对于本领域技术人员来说均是显而易见的。
【主权项】
1. 车辆探测系统，包括： 场景识别模块，用于接收高曝光图像或低曝光图像来识别动态变化的感兴趣区域 (ROI)中的一个或一个以上场景的情况； 道路拓扑估算模块，用于接收高曝光图像或低曝光图像来确定在动态变化的感兴趣区 域(ROI)中的道路曲线、坡度和消失点中的至少一个;和 车辆探测模块，其与场景识别模块和道路拓扑模块相结合来探测道路上的一个或一个 以上的车辆。2. 根据权利要求1所述的系统，其中，车辆探测模块包括： 图像分割模块，用于接收来自场景识别模块或道路拓扑估算模块的输入数据，以提供 二进制图像数据； 滤波模块，耦合至图像分割模块，配置为用于去除噪声和不需要的信息； 斑块识别模块，耦合至滤波模块，配置为用于识别经过滤波后的图像中的一个或一个 以上的斑块并且确定每一识别斑块的特征； 对象识别模块，耦合至斑块识别模块，配置为基于至少一个配对逻辑来识别对象； 配对确认与验证模块，耦合至对象识别模块，配置为确认与验证一个或一个以上的识 别斑块对;和 跟踪模块，耦合至配对确认与验证模块，配置为跟踪一个或一个以上阶段中的一个或 一个以上已确认与验证的斑块对。3. 根据权利要求1所述的系统，其中，还包括两轮车识别模块，配置为用于确定ROI中的 识别对象为一个两轮车，基于从斑块识别模块和配对确认与验证模块中接收到的一个或一 个以上斑块的信息， 该一个或一个以上斑块的信息包括前照灯斑块或尾灯斑块。4. 根据权利要求2所述的系统，其中，斑块识别模块配置为用于识别经过滤波后的图像 中的一个或一个以上的斑块并且确定每一识别斑块的特征，包括以下步骤： 为一个或一个以上斑块中的每一斑块分配一个独特的标记； 确定一个或一个以上标记斑块中每一个的特征，特征包括斑块的起源、宽度、高度、框 面积、像素面积、红色像素的数目、纵横比、以及斑块轮廓； 基于确定的特征确定在一个暗帧或亮帧中的一个或一个以上标记斑块的一个或一个 以上融合；以及 将一个或一个以上标记斑块分类在前照灯、尾灯、合并光和无效光中的至少一个分类 内。5. 根据权利要求2所述的系统，其中，对象识别模块配置为基于至少一个配对逻辑来识 别对象，包括以下步骤中的至少一步： 确定一个或一个以上斑块的水平重叠； 确定一个或一个以上斑块的纵横比； 确定一个或一个以上斑块的像素面积比； 确定一个或一个以上斑块的宽度比;和 确定一个或一个以上斑块的像素框面积比。6. 根据权利要求2所述的系统，其中，配对确认与验证模块配置为用于确认与验证一个 或一个以上的识别斑块对，包括以下步骤中的至少一步： 确认一对识别斑块； 在一行灯光间确认一个或一个以上的识别斑块;和 在两对或两对以上的识别斑块对间确认一个或一个以上的识别斑块。7. 根据权利要求6所述的系统，其中，进一步包括通过识别一个或一个以上的合并斑块 来确认合并光。8. 根据权利要求6所述的系统，其中，确认一对识别斑块包括 确定配对的宽度和纵横比， 确定在配对间的非配对斑块的数目，和 确定配对和非配对斑块的面积为配对宽度的百分比。9. 根据权利要求6所述的系统，其中，在ROI中的灯光行之间确认一个或一个以上的识 别斑块包括对ROI中的所有灯光行进行线匹配算法。10. 根据权利要求6所述的系统，其中，在两对或两对以上识别斑块对中验证一个或一 个以上的识别斑块，包括至少一次： 在共享同一斑块的两对识别斑块中消除一对具有较小宽度的识别斑块，其中，两对的 列重叠很高或很低； 在共享同一斑块的两对识别斑块中消除一对具有较大宽度的识别斑块，其中，两对的 列重叠不是很高或不是很低而且中间斑块是非对称分布的； 消除宽度和高度小于另一对识别斑块的一对识别斑块，其中，所述两对具有列重叠而 不具有彳丁重置； 消除较另一对识别斑块具有较低强度、高度和较宽宽度的一对识别斑块； 消除较另一对识别斑块具有更低强度的一对识别斑块，其中，两对具有相同的宽度和 尚度并且列重置很尚； 消除较另一对识别斑块具有更大宽度的一对识别斑块，其中，两对具有列重叠和行重 叠且为非对称的； 消除较另一对识别斑块具有更小宽度的一对识别斑块，其中，两对有列重叠且为对称 的； 消除置于另一对识别斑块内的一对识别斑块，其中，两对具有非常少的列重叠;和 消除置于另一对识别斑块下方的一对识别斑块，其中，两对有非常少的列重叠。11. 根据权利要求1所述的系统，其中，场景识别模块确定在动态变化的感兴趣区域 (ROI)中的饱和像素、亮度、和区域变化。12. 根据权利要求1所述的系统，其中，将道路拓扑估算模块耦合至场景识别模块，以用 于接收动态变化的感兴趣区域(R〇 I)中的一个或一个以上场景的情况。13. 根据权利要求1所述的系统，其中，还包括距离估算模块，配置为计算至少一个被探 测车辆和一个主车辆之间的距离，基于被探测车辆尺寸的实际宽度和镜头焦距的乘积比， 以及图像中被探测车辆的宽度和将摄像机的像素转换为米的系数的乘积。14. 通过车辆探测系统来探测一个或一个以上车辆的方法，包括： 通过场景识别模块和道路拓扑估算模块中的至少一个来接收高曝光图像或低曝光图 像； 通过场景识别模块来识别在动态变化的感兴趣区域(ROI)中的一个或一个以上图像的 情况； 确定在动态变化的感兴趣区域(R0I)中的道路的曲线、坡度和消失点中的至少一个；以 及处理一个或一个以上图像来探测在动态变化的感兴趣区域(R0I)中的一个或一个以上的 车辆。15. 根据权利要求14所述的方法，其中，处理一个或一个以上图像包括： 通过滤波模块消除噪声和不需要的信息； 在滤波后的图像中识别一个或一个以上斑块； 确定每个识别斑块的特征； 使用至少一个配对逻辑在动态变化的R0I中已识别出的一个或一个以上的斑块中识别 一个或一个以上的对象；以及 确认与验证一对或一对以上的识别斑块对。16. 根据权利要求14所述的方法，其中，进一步包括确定R0I中的识别对象为一个两轮 车，基于从斑块识别模块和配对确认与验证模块中接收到一个或一个以上斑块的信息， 一个或一个以上斑块的信息包括前照灯斑块或尾灯斑块。17. 根据权利要求14所述的方法，其中，还包括 通过跟踪模块在一个或一个以上阶段中跟踪一个或一个以上的经确认与验证了的斑 块对/斑块， 该一个或一个以上阶段包括闲置阶段、预跟踪阶段、跟踪阶段和取消跟踪阶段。
【文档编号】G06K9/32GK105981042SQ201580003808
【公开日】2016年9月28日
【申请日】2015年1月16日
【发明人】S·戈尔, D·K·贝鲁卡
【申请人】Kpit技术有限责任公司