用于监测驾驶员对象检测的方法和系统的制作方法
【专利摘要】本发明提供了检测车辆驾驶员是否检测到了车辆外部对象的方法和系统。在一个实施例中，该方法包括：接收指示车辆外部场景的外部传感器数据；接收指示驾驶员图像的内部传感器数据；基于外部传感器数据和内部传感器数据确定驾驶员是否检测到了对象；和基于驾驶员是否检测到了对象来选择性地生成控制信号。
【专利说明】用于监测驾驶员对象检测的方法和系统
【技术领域】
[0001]【技术领域】大致涉及一种用于监测驾驶员对象检测的方法与系统，且更具体地，涉及一种使用立体视觉和视线检测来监测驾驶员对象检测和使用平视显示器来警告驾驶员的方法和系统。
【背景技术】
[0002]为了增强汽车的安全特征，平视显示器(HUD)被用于车辆上。平视显示器在挡风玻璃上投映出虚拟图像。呈现给驾驶员的图像包括与车辆状态(比如速度)相关的信息。这使得驾驶员能够在通过挡风玻璃向外看的同时容易地看到信息。因而，就使得驾驶员在驾驶的同时能够保持他们的平视位置而不是打断他们观看道路来确认信息。
[0003]在一些情况下，驾驶员观看道路仍然可能被暂时转移。比如，当调整信息娱乐系统设置时，驾驶员可能暂时不再观察道路以便观看信息娱乐系统。相应地，使用平视显示器来为驾驶员呈现警告信息是所期望的。另外，当驾驶员分心时，以引导驾驶员注意力回到道路上的方式来提供警告信息是期望的。更进一步的，结合附图和之前的【技术领域】还有【背景技术】，从随后的详细说明和所附的权利要求，本发明的其它所期望的特征和特性将会变得明显。
【发明内容】
[0004]提供检测车辆驾驶员是否检测到了车辆外部对象的方法和系统。在一个实施例中，一种方法包括:接收指示车辆外部场景的外部传感器数据；接收指示驾驶员图像的内部传感器数据；基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；以及基于驾驶员是否检测到对象来选择性地生成控制信号。
[0005]在一个实施例中，系统包括第一模块，用于接收指示车辆外部场景的外部传感器数据。第二模块，用于接收指示驾驶员图像的内部传感器数据。第三模块，用于基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到了对象。第四模块，基于驾驶员是否检测到对象来选择性地生成控制信号。
[0006]在一个实施例中，车辆包括平视显示系统和平视显示控制模块。该平视显示控制模块接收指示车辆外部场景的外部传感器数据，接收指示驾驶员图像的内部传感器数据，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象，以及基于驾驶员是否检测到对象来选择性地生成控制信号给平视显示系统。
[0007]此外，本发明包括以下技术方案。
[0008]1.一种检测车辆驾驶员是否检测到车辆外部对象的方法，包括:
[0009]接收指示车辆外部场景的外部传感器数据；
[0010]接收指示驾驶员图像的内部传感器数据；
[0011]基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和
[0012]基于驾驶员是否检测到对象来选择性地生成控制信号。[0013]2.如方案I的方法，进一步包括:映射外部传感器数据到平视显示器的坐标，并且其中，基于该映射确定驾驶员是否检测到对象。
[0014]3.如方案2的方法，进一步包括，基于外部传感器数据确定对象在车辆外部的位置，并且其中，映射外部传感器数据基于所确定的对象的位置。
[0015]4.如方案I的方法，进一步包括，映射内部传感器数据到平视显示器的坐标，并且其中，基于映射确定驾驶员是否检测到对象。
[0016]5.如方案4的方法，进一步包括，基于内部传感器数据来确定驾驶员的视线，并且其中，基于驾驶员的视线来映射内部传感器数据。
[0017]6.如方案I的方法，进一步包括:
[0018]映射外部传感器数据到平视显示器的坐标；
[0019]映射内部传感器数据到平视显示器的坐标；和
[0020]其中，基于外部传感器数据的映射和内部传感器数据的映射的比较来确定驾驶员是否检测到对象。
[0021]7.如方案I的方法，其中控制信号控制平视显示器上的图像。
[0022]8.如方案7的方法，其中控制信号控制平视显示器上的图像的高亮显示。
[0023]9.如方案8的方法，其中进一步基于对象的威胁状态选择性地生成控制信号。
[0024]10.如方案9的方法，其中控制信号基于威胁状态来控制高亮的颜色与频率中的至少一个。
[0025]11.如方案I的方法，其中控制信号控制车辆报警系统。
[0026]12.如方案I的方法，其中控制信号控制防止碰撞系统。
[0027]13.如方案I的方法，进一步包括，基于确定驾驶员是否检测到对象来选择性地生成第二控制信号，其中第二控制信号控制车辆报警系统和防止碰撞系统中的至少一个。
[0028]14.一种用于检测车辆驾驶员是否检测到车辆外部对象的系统，包括:
[0029]第一模块，接收指示车辆外部场景的外部传感器数据；
[0030]第二模块，接收指示驾驶员图像的内部传感器数据；
[0031]第三模块，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和
[0032]第四模块，基于驾驶员是否检测到对象来选择性地生成控制信号。
[0033]15.如方案14的系统，其中第一模块映射外部传感器数据到平视显示器的坐标，和基于映射确定驾驶员是否检测到对象。
[0034]16.如方案15的系统，其中第一模块基于外部传感器数据来确定对象在车辆外部的位置，和基于对象的位置映射外部传感器数据。
[0035]17.如方案14的系统，其中第二模块映射内部传感器数据到平视显示器的坐标，和基于映射来确定驾驶员是否检测到对象。
[0036]18.如方案17的系统，其中第二模块基于内部传感器数据确定驾驶员视线，和基于驾驶员视线映射内部传感器数据。
[0037]19.如方案14的系统，其中控制信号控制平视显示器上的图像、车辆报警系统、和防止碰撞系统中的至少一个。
[0038]20.如方案19的系统，其中控制信号控制平视显示器上的图像的高亮显示。[0039]21.如方案19的系统，其中第四模块基于对象的威胁状态选择性地生成控制信号。
[0040]22.如方案21的方法，其中控制信号基于威胁状态来控制图像的颜色和频率中的至少一个。
[0041]23.—种车辆，包括:
[0042]平视显不系统；和
[0043]平视显示控制模块，其接收指示车辆外部场景的外部传感器数据，接收指示车辆驾驶员图像的内部传感器数据，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象，和基于驾驶员是否检测到对象来选择性地生成控制信号给平视显示系统。
【专利附图】
【附图说明】
[0044]示例性实施例将结合以下附图，在下文中被描述，其中相同的附图标记代表相同的元件，并且其中:
[0045]附图1是依据各种实施例的包括了驾驶员对象检测系统的车辆的功能方框图；
[0046]附图2是依据各种实施例的阐述了驾驶员对象检测系统的数据流图；
[0047]附图3是示出了依据各种实施例的可由驾驶员对象检测系统执行的一种驾驶员对象检测方法的流程图。
【具体实施方式】
[0048]以下的具体描述本质上仅仅是示例性的，且并不意图限定应用和使用。进一步地，其不被上述的【技术领域】、【背景技术】、
【发明内容】
和随后的具体描述中的任何表达或暗示的理论所限制。如本文所使用的，术语模块指代任何硬件，软件，固件，电子控制构件，处理逻辑，和/或处理器设备，独立地或任何组合，包括但不限于:专用集成电路(ASIC)，电子电路，用于执行一个或多个软件或固件程序的处理器(共享，专用，或组合)和内存，组合逻辑电路，和/或其他用于提供所描述功能的合适的构件。
[0049]现在参考附图1，示出车辆10，包括了根据各种实施例的驾驶员对象检测系统12。尽管此处所示出的附图描述了具有特定元件布置的示例，但是，附加的中间元件、设备、特征或构件能够在实际的实施例中出现。应该也能够理解，附图1仅仅是示意性的，可能不以比例画出。
[0050]在各种实施例中，驾驶员对象检测系统12包括外部传感器系统14、内部传感器系统16、平视显示器(HUD)控制模块18、和HUD系统20。外部传感器系统14与传感器设备22通信，传感器设备22包括一个或多个传感器，用于感知车辆10附近或前面的可观察的情况。传感器可以是图像传感器，雷达传感器，超声传感器，或其他感知车辆10附近的可观察情况的传感器。为了示范性意图，本公开以包括用于追踪车辆10前方的视觉图像的至少一个图像传感器或摄像机的传感器设备22为上下文进行讨论。该图像设备感知图像并且基于它生成传感器信号。外部传感器系统14处理传感器信号并且基于它生成外部传感器数据。
[0051]内部传感器系统16与传感器设备24通信,传感器设备24包括一个或多个能够感知车辆10内驾驶员可观察情况的传感器。为了示范性意图，本公开以包括用于追踪车辆10的驾驶员的视觉图像的至少一个图像传感器或摄像机的传感器设备24为上下文讨论。该图像设备感知该图像并基于它生成传感器信号。内部传感器系统16处理该传感器信号并基于它生成内部传感器数据。
[0052]HUD控制模块18接收由内部传感器系统16和外部传感器系统14生成的数据，并处理该数据以确定是否有对象(比如，人、交通标识等)在车辆10附近，并确定驾驶员是否已经检测和看到车辆10附近的对象。如果驾驶员还未检测到对象，HUD控制模块18选择性地生成信号到HUD系统20使得HUD系统20的显示器显示图像，该图像高亮该对象给驾驶员。HUD系统20显示对象的非持续高亮来图像化地将对象复制到车辆10的挡风玻璃(未示出)上。HUD系统20在挡风玻璃的一位置上显示该高亮，如果驾驶员注视着正确的方向，那么驾驶员在该位置处将看到对象。
[0053]在各种实施例中，HUD控制模块18选择性地生成控制信号使得高亮将对象的威胁状态指示给驾驶员。比如，当对象形成迫在眉睫的碰撞威胁时，依据第一显示准则显示该高売；当对象形成中度的碰撞威胁时，根据第二显不准则显不该闻売；等等。HUD控制|旲块18生成控制信号以显示该高亮直至确定驾驶员已经看到并且确认了该对象。一旦确定了驾驶员已经确认了该对象，HUD控制模块18能够使高亮颜色黯淡或移除高亮。
[0054]在各种实施例中，当驾驶员尚未检测到对象时，HUD控制模块18与报警系统26 (t匕如，听觉报警系统，触觉报警系统等)协同以进一步警告驾驶员有对象。在各种实施例中，当驾驶员尚未检测到对象时，HUD控制模块18与防止碰撞系统28 (比如，制动系统)协同以避免与对象相撞。
[0055]现在参考附图2，数据流图阐释了驾驶员对象检测系统12的HUD控制模块18的各种实施例。依据本公开的HUD控制模块18的各种实施例可以包括任何数量的模块或子模块。应该能够理解，附图2中示出的模块可以结合在信号模块内和/或进一步分解成多个模块以类似地确定驾驶员的对象检测和使用HUD系统20警告驾驶员。HUD控制模块18的输入可以从车辆10(附图1)的传感器系统14，16接收，从车辆10(附图1)的其他模块(未示出)接收，和/或由HUD控制模块18的其他子模块(未示出)来确定。在各种实施例中，HUD控制模块18包括外部数据监测模块30、内部数据监测模块32、驾驶员对象检测分析模块34、HUD显示模块36、和HUD映射数据库38。
[0056]外部数据监测模块30接收外部传感器数据40作为输入。基于该外部传感器数据40，外部数据监测模块30检测对象是否在车辆10行驶的前方和行驶所在路径上。当对象被检测到时，外部数据监测模块将外部传感器数据40中表示的对象坐标映射到HUD系统20的显示器(即，挡风玻璃)的坐标，并基于它生成对象映射42。
[0057]例如，外部传感器数据40表不车辆10前方的场景。在二维(X, y)坐标系统内表示该场景。外部数据监测模块30使用HUD映射44将对象的每一个X，y坐标与显示器的x’，y’坐标联系起来。然后外部数据监测模块30在对象映射42的x’，y’坐标中存储与对象的x，y坐标相关联的数据。比如，在确定对象处于该坐标的每个坐标中存储正值或一值；且在确定对象不处于该坐标的每个坐标中存储负值或零值。在各个实施例中，HUD映射44可以是查找表，其通过场景的x，y坐标访问，且其生成显示器的x’，y’坐标。在各个实施例中，HUD映射44被预先确定并被存储在HUD映射数据库38中。
[0058]内部数据监测模块32接收内部传感器数据46作为输入。在各实施例中，内部传感器数据表示车辆10的驾驶员的图像(比如，头和面部)。内部数据监测模块32评估内部传感器数据46以确定驾驶员的视线(比如，眼睛视线和/或头部方向)。应该能够被理解，能够使用各种方法来确定驾驶员的视线。
[0059]在二维(X，y)坐标系统内表示该驾驶员视线。内部数据监测模块32将驾驶员视线坐标映射至显示器的坐标，并基于它生成视线映射48。
[0060]例如，内部数据监测模块32使用HUD映射50将驾驶员视线的每一个x，y坐标与显示器的X’，I’坐标联系起来。之后，内部数据监测模块32在视线映射48的X’，y’坐标内存储与驾驶员视线的X，y坐标关联的数据。比如，在确定驾驶员正在注视的每个坐标中存储正值或一值；且在确定驾驶员没有在注视的每个坐标中存储负值或零值。在各实施例中，HUD映射50可以是查找表，其通过驾驶员视线的X，y坐标来访问，并生成显示器的x’，r坐标。在各个实施例中，HUD映射50被预先确定并被存储在HUD映射数据库38中。
[0061]驾驶员对象检测分析模块34接收对象映射42与视线映射48作为输入。驾驶员对象检测分析模块34评估对象映射42和视线映射48以确定驾驶员是否在观看被检测的对象，或是否在被检测对象的方向上看。驾驶员对象检测分析模块34基于驾驶员是否没有在观看被检测对象，或驾驶员是否正在观看被检测对象和已经发现被检测对象，来设置对象检测状态52。比如，若视线映射48的具有正数据的坐标不与对象映射42的具有正数据坐标重叠，那么，驾驶员不在观看被检测的对象，并且驾驶员对象检测分析模块34设置对象检测状态52，以指示驾驶员没有观看该对象。如果视线映射48的具有正数据的一些(比如，在坐标第一范围之间或在坐标第一百分比之内)或全部坐标与对象映射42的具有正数据的坐标重叠，驾驶员在观看被检测对象，并且驾驶员对象检测分析模块34设置对象检测状态52以指示驾驶员正在观看被检测对象。
[0062]HUD显示模块36接收驾驶员对象检测状态52和可选地接收威胁状态54作为输入。基于该驾驶员对象检测状态52，HUD显示模块36生成HUD控制信号56，在HUD系统20的显示器上选择性地高亮图像。比如，若对象检测状态52指示驾驶员确实看到了对象，便不会在显示器上高亮该对象。若对象检测状态52指示驾驶员没有在观看对象，便会生成HUD控制信号56，在显示器上高亮该对象。HUD显示模块36生成HUD控制信号56以在对象映射42所指不的位置闻売该对象。
[0063]在各实施例中，基于对象的威胁状态54来选择性地高亮对象，威胁状态54基于对象与车辆10之间的距离和/或与对象碰撞的估计时间来指示。比如，可以使用至少两种颜色，一种颜色用于高亮足够远的对象，此时碰撞时间被认定为安全(比如，中度威胁)，另一种颜色用于高亮足够近的对象，此时碰撞时间被认定为不安全(比如，迫在眉睫的威胁)。在各实施例中，从一个状态到另一个状态的颜色能够从一个到另一个渐变，因而允许更多的颜色。应能够被理解，对于具有更多威胁水平的系统而言，能够应用更多颜色。
[0064]在另一例子中，可以应用至少两个显示频率，其中，当认定对象处于第一威胁状态(比如，迫在眉睫的威胁状态)时，用一个显示频率(比如，较高频率)来闪现高亮，当认定对象处于第二威胁状态(比如，中度威胁状态)时，用第二显示频率(比如，较低频率)来闪现闻売。在各实施例中，一个状态到另一个状态的频率可以混合，因而允许更多的频率。应能够理解，对于具有更多威胁水平的系统而言，能够应用更多频率。
[0065]在各实施例中，当对象检测状态52指示驾驶员没有看到对象时，HUD显示模块36可以进一步与其他报警系统26和/或防止碰撞系统28协同。比如，可以选择性地生成报警信号58给报警系统26，以使得随着高亮而生成听觉警告或在高亮已经显示一段时间后生成听觉警告。在另一例子中，可以选择性地生成控制信号60给防止碰撞系统28，以使得随着高亮或高亮已经显示某个时间段后实施制动或其他防止碰撞技术。
[0066]现在参考附图3，并且继续参考附图1和附图2，流程图示出了根据各种实施例的能够被附图1中的驾驶员对象检测系统12所执行的驾驶员对象检测方法70。依据本公开能够理解，该方法内的操作顺序不限于附图3所示出的顺序执行，而是能够以合适的并且依据本公开的一个或多个不同顺序被执行。
[0067]进一步应该理解，附图3的方法在车辆10操作过程中可以被安排在预先确定的时间间隔运行，和/或可以被安排基于预先确定的事件来运行。
[0068]在一例子中，该方法可以开始于100。在各实施例中，步骤110和120基本同时进行，以便来自于传感器设备22，24的传感器数据40，46可以各自在给定的时间段上被对齐并比较。例如，在110，外部传感器设备22监测车辆10的外部场景并且收集外部传感器数据40。同样，在120，内部传感器设备24监测驾驶员并收集内部传感器数据46。在130处，处理外部传感器数据40来确定对象是否存在。在140，若不存在对象，该方法在110处继续监测场景和在120处监测驾驶员。在140，若检测到对象，那么，在150，使用HUD映射44，通过将由外部传感器数据40表示的对象进行映射来生成对象映射42。在160，从内部传感器数据46确定驾驶员的视线。在170，使用HUD映射50，将由内部传感器数据40表示的驾驶员视线进行映射来生成视线映射48。
[0069]之后，在180处，通过比较对象映射42和视线映射48来执行驾驶员对象检测分析。比如,若视线映射48的坐标与对象映射42的坐标重叠，那么，驾驶员的视线与该对象呈直线；但是，若视线映射48的坐标与对象映射42的坐标不重叠，那么驾驶员的视线与该对象不在一条直线。
[0070]之后，基于驾驶员的视线是否与对象呈直线来确定驾驶员是否在观看该对象。比如，若驾驶员的视线与对象不在一条直线，可以得出结论，驾驶员没有在看该对象。在另一例子中，若驾驶员的视线与对象在一条直线，可以得出结论，驾驶员在观看该对象。
[0071]在190处，若驾驶员看到对象，那么，HUD系统20并不高亮该对象，该方法可以在110和120处继续监测传感器数据40，46。但是，在190处，若驾驶员没有在看该对象，在200处，HUD系统20高亮该对象。该对象基于对象威胁状态54使用颜色和/或频率可选地被闻売。
[0072]在210处，生成报警信号58和/或控制信号60到其他报警系统26和/或防止碰撞系统28，通过将信号58，60与高亮协同，尝试警告驾驶员和/或避免与对象碰撞。之后，该方法在110和120处继续监测传感器数据40，46。
[0073]尽管在之前的详细描述中公开了至少一个示例性实施例，然而应该能够理解，存在大量变形。还同样能够理解，一个或多个示例性实施例仅仅是例子，并不以任何方式限制本公开的范围，应用和配置。此外，对本领域技术人员而言，之前的详细描述提供了一种实现一个或多个示例性实施例的便捷的道路图。应该能够理解，在不脱离本公开的范围内，能够对元件的功能和布置进行各种变化，本公开的范围由权利要求及其法律等同物来限定。
【权利要求】
1.一种检测车辆驾驶员是否检测到车辆外部对象的方法，包括: 接收指示车辆外部场景的外部传感器数据； 接收指示驾驶员图像的内部传感器数据； 基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和 基于驾驶员是否检测到对象来选择性地生成控制信号。
2.如权利要求1的方法，进一步包括:映射外部传感器数据到平视显示器的坐标，并且其中，基于该映射确定驾驶员是否检测到对象。
3.如权利要求2的方法，进一步包括，基于外部传感器数据确定对象在车辆外部的位置，并且其中，映射外部传感器数据基于所确定的对象的位置。
4.如权利要求1的方法，进一步包括，映射内部传感器数据到平视显示器的坐标，并且其中，基于映射确定驾驶员是否检测到对象。
5.如权利要求4的方法，进一步包括，基于内部传感器数据来确定驾驶员的视线，并且其中，基于驾驶员的视线来映射内部传感器数据。
6.如权利要求1的方法,进一步包括: 映射外部传感器数据到平视显示器的坐标； 映射内部传感器数据到平视显示器的坐标；和 其中，基于外部传感器数据的映射和内部传感器数据的映射的比较来确定驾驶员是否检测到对象。
7.如权利要求1的方法，其中控制信号控制平视显示器上的图像。
8.如权利要求7的方法，其中控制信号控制平视显示器上的图像的高亮显示。
9.一种用于检测车辆驾驶员是否检测到车辆外部对象的系统，包括: 第一模块，接收指示车辆外部场景的外部传感器数据； 第二模块，接收指示驾驶员图像的内部传感器数据； 第三模块，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和 第四模块，基于驾驶员是否检测到对象来选择性地生成控制信号。
10.一种车辆，包括: 平视显不系统；和 平视显示控制模块，其接收指示车辆外部场景的外部传感器数据，接收指示车辆驾驶员图像的内部传感器数据，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象，和基于驾驶员是否检测到对象来选择性地生成控制信号给平视显示系统。
【文档编号】B60W30/095GK103661374SQ201310472409
【公开日】2014年3月26日 申请日期:2013年9月6日 优先权日:2012年9月7日
【发明者】J·乔, M·A·马尼卡拉, N·J·维格特 申请人:通用汽车环球科技运作有限责任公司