全挡风玻璃平视显示器上的强调道路场景图示系统的制作方法

专利名称：全挡风玻璃平视显示器上的强调道路场景图示系统的制作方法
技术领域：
本公开涉及在对应于车辆的驾驶场景的图形投影显示器上显示使用者定义的内容。
背景技术：
这部分中的陈述仅提供与本公开有关的背景信息并且可能不构成现有技木。车辆中的占用者可能期望识别位于道路场景上的特征或物体以与其他占用者通信。例如，驾驶者可能会注意到雨云并且可能希望使另ー占用者识别出该雨云。不过，使其他乘客识别出特征或物体可能是令人困惑的，因为这需要占用者物理地指出或使用一系列描述来识别出这样的特征或物体。此外，在驾驶场景上物理地指明一个特征或物体会造成驾驶者分心。平视显示器将光投射在屏上并且光被转换成屏上的可视显示。已知平视显示器通过减少操作者的疲劳且同时允许操作者保持关注于驾驶从而以有效方式向车辆的操作者呈现信息。

发明内容
利用图形投影显示器在车辆的驾驶场景上动态地标示图形的方法包括监测指示到图形投影显示器的一部分的使用者输入；基于监测的指示到图形投影显示器的所述部分的使用者输入来确定代表使用者定义的内容的图形；在对应于车辆的驾驶场景的图形投影显示器上动态地标示图形的位置；以及在图形投影显示器上显示图形。本发明还提供了以下技术方案。方案1.利用图形投影显示器在车辆的驾驶场景上动态地标示图形的方法，包括 监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入来确定代表使用者定义的内容的图形；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述图形的位置；以及
在所述图形投影显示器上显示所述图形。方案2.根据方案1所述的方法，其中所述图形投影显示器包括包含像素化视场的基本透明挡风屏平视显示器，该像素化视场使得能够从有限方向进行图形观察，该基本透明挡风屏平视显示器包括在所述挡风屏的预定区域之上允许沿所述有限方向发光显示且同时允许通过其可视的发光颗粒或微结构中的ー种。方案3.根据方案1所述的方法，其中所述图形投影显示器包括触摸屏显示器、人机接ロ显示器、不透明部件和显示监视器中的一者。方案4.根据方案3所述的方法，还包括
在所述图形投影显示器上投影对应于所述车辆的所述驾驶场景的景象的图像。
方案5.根据方案1所述的方法，其中代表所述使用者定义的内容的所述图形包括示出监测的使用者输入的运动的突出轨迹图形。方案6.根据方案1所述的方法，其中描述所述使用者定义的内容的所述图形包括能够基于监测的使用者输入进行操控的被标示图形。方案7.根据方案1所述的方法，其中代表所述使用者定义的内容的所述图形包文本图形。方案8.根据方案1所述的方法，还包括
确定示出监测的指示到所述图形投影显示器的所述部分的使用者输入的运动的反馈图形；
在对应所述车辆的所述驾驶场景的所述图形投影显示器上动态标示所述反馈图形的位置；以及
在所述图形投影显示器上显示所述反馈图形。方案9.根据方案8所述的方法，其中所述反馈图形是内容特定图形。方案10.根据方案1所述的方法，还包括监测占用者眼睛位置；并且
其中在对应所述驾驶场景的所述图形投影显示器上动态标示所述图形的位置基于所述占用者眼睛位置。方案11.根据方案10所述的方法，还包括 监测操作者凝视位置；
基于所述操作者凝视位置动态地更新代表所述使用者定义的内容的所述图形；并且其中动态地更新代表所述使用者定义的内容的所述图形包括基于所述操作者凝视位置与在所述图形投影显示器上标示所述图形的位置之间的距离增加而增加对所述图形的强调；
其中动态地更新代表所述使用者定义的内容的所述图形包括基于所述操作者凝视位置与在所述图形投影显示器上标示所述图形的位置之间的距离减小而减弱对所述图形的强调。方案12.根据方案1所述的方法，其中监测指示到所述图形投影显示器的所述部分的所述使用者输入包括
监测所述使用者的手的位置和取向；
基于所监测的所述使用者的所述手的位置和取向来处理所述使用者的手运动的光学图像；以及
其中所述手运动的所述光学图像提供用于确定代表所述使用者定义的内容的所述图形的基于姿态的使用者接ロ。方案13.根据方案1所述的方法，其中监测指示到所述图形投影显示器的所述部分的所述使用者输入包括
接收所述使用者的手在触摸屏上的触摸姿态，所述触摸姿态指示到所述图形投影显示器的所述部分；并且
其中被接收的触摸姿态提供用于确定代表所述使用者定义的内容的所述图形的基于触摸的使用者接ロ。方案14.根据方案1所述的方法，其中监测指示到所述图形投影显示器的所述部分的所述使用者输入包括
接收在控制器装置处的使用者操控，所述使用者操控指示到所述图形投影显示器的所述部分；并且
其中被接收的使用者操控提供用于确定代表所述使用者定义的内容的所述图形的基于控制器的接ロ。方案15.根据方案1所述的方法，其中监测指示到所述图形投影显示器的所述部分的所述使用者输入包括
接收在键盘装置处的使用者按键输入，所述使用者按键输入指示到所述图形投影显示器的所述部分；并且
其中被接收的按键输入提供用于确定代表所述使用者定义的内容的所述图形的基于按键的接ロ。方案16.在对应于车辆的驾驶场景的基本透明挡风屏平视显示器上投影观察者定义的被动态标示的图形的方法，包括
监测指示到所述基本透明挡风屏平视显示器的一部分的使用者输入； 基于所述使用者输入确定将要被投影到在对应于所述驾驶场景的所述基本透明挡风屏平视显示器上的观察者定义的被动态标示的图形；并且在所述基本透明挡风屏平视显示器上投影所述图形；
其中所述基本透明挡风屏平视显示器包括像素化视场，该像素化视场使得能够从有限方向进行图形观察，该基本透明挡风屏平视显示器包括在所述挡风屏的预定区域之上允许沿所述有限方向发光显示且同时允许通过其可视的发光颗粒或微结构中的ー种。方案17.根据方案16所述的方法，其中所述观察者定义的被动态标示的图形包括基于第一观察者位置的第一观察者定义的被动态标示的图形；并且
还包括
基于所述使用者输入和第二观察者位置来确定第二观察者定义的被动态标示的图形；
并且
在所述基本透明挡风屏平视显示器上投影所述第二图形。方案18.根据方案17所述的方法，其中基于所述第一观察者位置的所述第一观察者定义的被动态标示的图形还基于利用使得能够从指向所述第一观察者位置的第一有限方向进行图形观察的所述像素化视场；并且
其中基于所述使用者输入和所述第二观察者位置的所述第二观察者定义的被动态标示的图形还基于利用使得能够从指向所述第二观察者位置的第二有限方向进行图形观察的所述像素化视场。方案19.根据方案17所述的方法，还包括 监测第一观察者眼睛位置；以及
监测第二观察者眼睛位置；
其中基于所述使用者输入和所述第一观察者位置的所述第一观察者定义的被动态标示的图形还基于所述第一观察者眼睛位置；
其中基于所述使用者输入和所述第二观察者位置的所述第二观察者定义的被动态标示的图形还基于所述第二观察者眼睛位置。
方案20.利用图形投影显示器在车辆的驾驶场景上动态标示图形的系统，包括视觉增强系统系统管理器
监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入来确定代表使用者定义的内容的图形；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述图形的位置；
图形系统，其生成代表所述使用者定义的内容的所述图形；以及图形投影系统，其与所述图形系统通信并且在所述图形投影显示器上显示代表所述使用者定义的内容的所述图形。


现在将参考附图通过示例方式描述一种或更多种实施例，附图中图1示出了根据本公开装备有EVS系统的示例性车辆；
图2示出了根据本公开的图形投影显示器实施例，其中对应于车辆驾驶场景的景象的图像以及图形能够被显示在该显示器上；
图3示出了根据本公开的基本透明显示器；图4示出了根据本公开的图1所示的示例性使用者输入模块；图5示出了根据本公开用于利用图形投影显示器在驾驶场景上动态地标示图形的示例性信息流；
图6示出了根据本公开用于确定代表使用者定义的内容的图形的示例性信息流；图7和图8示出了根据本公开的像素化视场受限架构的示例性使用；以及图9示出了根据本公开的驾驶场景，其包括被动态地标示在车辆的图形投影显示器上的图形，该图形投影显示器对应于车辆的驾驶场景。
具体实施例方式现在参考附图，其中这些图示仅为了示出某些示例性实施例的目的且不是为了限制性目的，图1示出了根据本公开装备有EVS系统的示例性车辆。示例性EVS系统被公开于共同未决的美国申请号12/417，077，其并入本文以供参考。为了本公开的目的，术语“操作者”、“使用者”和“驾驶者”将在本文中被可交换地使用。车辆100包括EVS系统管理器110 ；使用者输入模块(UIM) 515 ；图形投影显示器250 (示于图2)；车辆传感器系统，包括摄像机系统120和雷达系统125 ；车辆操作传感器，包括车辆速度传感器130 ；信息系统，包括GPS装置140和无线通信系统145 ；平视显示器(HUD)150 ； EVS图形系统155 ；图形投影系统158 ；以及占用者眼睛位置感测系统(occupant eye location sensing system) 160。EVS系统管理器110包括可编程处理器，其包括程序以监测指示到图2所示图形投影显示器250的一部分的使用者输入并且基于监测的使用者输入来确定代表使用者定义的内容的图形。显而易见的是，使用者定义的内容能够被利用来与车辆内的其他占用者通信或者为使用者记录内容。EVS系统管理器能够直接与各种系统和部件通信，或者EVS系统管理器能够可替代地或附加地在LAN/CAN系统115上通信。参考图4更详细讨论的UIM 515接收被指示到图形投影显示器250 (例如HUD 150)的一部分的使用者输入，其中所述使用者输入被EVS系统管理器110监测。摄像机系统120包括摄像机或图像捕获装置，其获取代表车辆视野的周期性或次序性图像。摄像机系统120的摄像机或图像捕获装置优选地包括360度的覆盖度。雷达系统125包括本领域已知的利用电磁辐射来检测位于车辆附近的其他车辆或物体的装置。本领域中的大量已知车载传感器被用于车辆中以便监测车辆速度、发动机速度、车轮滑移和代表车辆操作的其他参数。车辆速度传感器130代表了一种这样的车载传感器，不过本公开的范围包括供EVS使用的任意这样的传感器。GPS装置140和无线通信系统145是本领域公知的与车辆外部的资源通信的装置，所述资源例如卫星系统180和蜂窝通信塔190。GPS装置140可以与3D地图数据库结合使用，该3D地图数据库包括与GPS装置140接收的全局坐标相关的关于车辆的当前位置的详细信息。来自车辆传感器系统和车辆操作传感器的信息能够被EVS系统管理器110用来监测车辆的当前取向。HUD 150包括挡风屏，该挡风屏装备有能够显示投影在其上的图像且同时保持透明或基本透明以使得车辆的占用者能够通过挡风屏清楚地观察车辆外部的特征。应该意识到虽然HUD 150包括在车辆前部的挡风屏，不过车辆内的其他表面也可以用于投影，包括侧窗和后窗。此外，在前挡风屏上的景象可以在车辆前“A-柱”上连续并且连续到侧窗上以作为连续图像。EVS图形引擎155包括显示软件或程序以便翻译请求从而以信息的图形图示的方式来显示来自EVS系统管理器110的信息。EVS图形引擎155包括程序以便补偿挡风屏的弯曲和倾斜的表面以及图形将在其上投影的任意其他表面(例如图2所示的非透明部件观0)。EVS图形引擎155控制图形投影系统158，该图形投影系统158包括产生激发光以便投射图形图示的激光器或投影机装置。占用者眼睛位置感测系统160包括本领域已知的估测占用者的头部位置且进一步估测占用者的眼睛的取向或凝视位置的传感器。基于占用者眼睛位置感测系统160的输出、车辆100的当前位置和取向以及使用者输入位置，EVS系统管理器110能够准确地将图形图示动态地标示(register)到HUD 150 (即图形投影显示器250)，使得占用者通过挡风屏看到叠覆有可视图像的图像。将参考图5更详细地讨论图形的动态标示。上述EVS包括眼睛感测和头部感测装置，其允许估计眼睛位置、允许在图形投影显示器250 (例如HUD 150)上动态标示图像以使得图像对应于操作者的视野。不过，将意识到，能够通过大量方法来实现对于头部和眼睛位置的估计。例如，在与调节后视镜类似的过程中，操作者能够在进入车辆时使用校准例程将图形对齐于被检测目标。在另一实施例中，在车辆中的纵向就坐位置能够被用于估计驾驶者头部的位置。在另一实施例中，对一个或多个后视镜的手动调节能够被用于估计操作者的眼睛位置。应该意识到，各方法的结合(例如就坐位置和镜调节角度的结合)能够被用于以改善的准确度估计操作者头部位置。可以想到实现在图形投影显示器250 (例如HUD 150)上准确动态标示图形的许多方法，并且本公开不旨在受限于这里描述的具体实施例。示例性EVS包括宽视场全挡风屏HUD，即基本透明屏，其包括显示投影在其上的图形图像的功能；HUD图像引擎，包括能够在挡风屏上投影图像的一个或多个激光器，其中所述挡风屏是下文图2中示出的图形投影显示器250的实施例；输入源，其获得与车辆的操作环境有关的数据；以及EVS系统管理器，其包括程序以便监测来自输入装置的输入、处理所述输入并且确定与操作环境相关的关键信息，并且产生针对要被HUD图像引擎产生的图形图像的请求。不过，将意识到这种示例性EVS仅是EVS能够采取的大量构造中的一种。
8例如，视觉或摄像机系统可用于将要讨论的各种EVS应用。不过，应该意识到示例性EVS系统能够在没有视觉系统的情况下运转，例如提供仅来自于GPS装置、3D地图数据库和车载传感器的可用信息。在替代方案中，应该意识到示例性EVS系统能够在不访问GPS装置或无线网络而是仅利用来自视觉系统和雷达系统的输入的情况下运转。许多构造可以用于所公开的系统和方法，并且本公开不旨在受限于这里描述的示例性实施例。图2描述了图形投影显示器250。图形投影显示器250包括对应于车辆驾驶场景的景象的图像以及图形(即代表使用者定义的内容的图形)能够被显示于其上的实施例。图形投影显示器250包括基本透平挡风屏HUD 150、触摸屏显示器沈0、具有显示器的人机接口(HMI)151、非透明部件观0以及安装在车辆内部中的显示监视器270。应当理解，包括有图形投影显示器250的所有实施例都能够投影对应于车辆驾驶场景的景象的图像。驾驶场景能够从摄像机系统120绘制。不过，驾驶场景的景象的图像不需要被投影在基本透明挡风屏HUD上，因为实际的驾驶场景可通过HUD 150看到。指示到对应于驾驶场景的图形投影显示器250的一部分的使用者输入将在图4中参考UIM 515更详细地讨论。将理解，车辆通常要求图形投影显示器250的实施例之一在其上显示对应于驾驶场景的景象。然而，图形投影显示器250可以包括车辆100所采用的实施例的组合。例如，对应于车辆驾驶场景的图像可以被显示在HMI 151和触摸屏显示器260 二者上。为了用作相关特征可以通过其被观察的介质且同时用作可以在其上显示图形图像的显示装置，车辆的挡风屏必须既透明又能够显示激发光源所投影的图像。图3示出了根据本公开的基本透明显示器。观察者10能够通过基体14看到任意物体(例如立方体12)。基体14可以是透明的或基本透明的。虽然观察者10通过基体14看到任意物体12，不过观察者也能够看到产生于基体14的图像(例如圆15和三角16)。基体14可以是车辆挡风玻璃、玻璃基体、塑料基体、聚合物基体或者本领域技术人员能意识到的其他透明(或基本透明)介质的一部分。其他基体可以补充基体14来提供着色、基体保护、滤光(例如过滤外部紫外光)以及其他功能。图3示出了对基体14的照射，该基体14被来自由装置20示出的光源(例如投影机或激光器)的激发光(例如紫外光或红外光)照射。接收到的激发光可以被基体14处的发光材料吸收。当发光材料接收到激发光时，发光材料可以发出可见光。因此，可以通过使用激发光选择性地照射基体14在基体14处产生图像(例如圆15和三角16)。在一个实施例中，激发光由包括投影机的装置20输出。投影机可以是数字投影机。投影机可以是微镜阵列(MMA)投影机(例如数字光处理(DLP)投影机)。输出紫外光的MMA投影机可类似于输出可见光的MMA投影机，只是色轮具有适合于紫外光谱的滤光器。投影机可以是液晶显示(IXD)投影机。投影机可以是硅基液晶显示(LCOS)投影机。投影机可以是模拟投影机(例如幻灯胶片投影机或电影胶片投影机)。本领域的技术人员将意识到可以用于将紫外光投射在基体14上的其他类型投影机。在另一实施例中，激发光由装置20输出，该装置20包括激光器。从装置20输出的激光束的强度和/或运动可以被调制成在基体14中产生图像。在降频转换实施例中，来自激光器的输出可以是紫外光。在升频转换实施例中，来自激光器的输出可以是红外光。图3示出了分布在基本透明基体内的发光材料(例如发光颗粒22)。当激发光被发光颗粒22吸收时，发光颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒22吸收时，可见光从发光颗粒发出。类似地，在升频转换实施例中，当红外光被发光颗粒22吸收时，可见光从发光颗粒发出。图3示出了包括被分布在基本透明基体内的发光颗粒22的发光材料。这些发光颗粒22能够自始至终是基本类似的颗粒，或者如图2所示，颗粒的成分能够变化。当激发光被发光颗粒22吸收时，颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒吸收时，从发光颗粒发出可见光。类似地，在升频转换实施例中，当红外光被发光材料吸收时，从发光颗粒发出可见光。每个发光颗粒均可以是不同类型的发光材料，其响应不同波长范围的激发光(例如紫外或红外光)而发出不同波长范围的可见光。发光颗粒22可以遍布于基体14。在替代方案中，如图3所示，颗粒可以被置于基体14的表面上。发光颗粒22可以通过被涂覆在基体14上而被整合到基体14中。发光材料可以是荧光材料，其响应于对电磁辐射(例如可见光、紫外光或红外光)的吸收而发出可见光，该电磁辐射具有与发出的可见光不同的波长。颗粒的尺寸可以小于可见光的波长，这可以减少或消除由颗粒散射的可见光。比可见光的波长小的颗粒的示例是纳米颗粒或分子。根据实施例，每种发光颗粒具有小于大约400纳米的直径。每种发光颗粒可具有小于大约300纳米的直径。根据实施例，每种发光颗粒具有小于大约200纳米、小于大约100纳米或者小于大约50纳米的直径。发光颗粒可以是单个分子。类似地，图形投影显示器能够包括车辆的侧窗和后窗。还应该理解，图形能够以如下方式被显示，即使得它们能够被定向到车辆外部并且由车辆外部诠释。因此，代表使用者定义的内容的图形能够被定向到车辆外部。例如车辆内的投影机能够投影可以在挡风屏上从车辆旁边的行人道观察到的图形，且投影的图形代表了车辆的驾驶者或乘客不可见的使用者定义的内容。在另一示例中，紧急车辆能够在挡风屏或侧窗和后窗上向其他车辆显示指令，例如指令被反向印制从而能从后视镜更佳地看到。HUD 150还能够包括像素化视场受限架构(pixelated field of view limitedarchitecture)，其使得能够从有限方向观察，包括挡风屏的预定区域上允许沿有限方向的发光显示且同时允许通过其可视的发光颗粒或微结构中的一者。当讨论在HUD 150上且可替代地在非透明部件280上投影观察者定义的被动态标示的图形时下面将参考图7和图8讨论像素化视场受限架构。在另一种实施例中，图形投影显示器250能够包括HMI装置151，该HMI装置151具有与其关联的用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示代表使用者定义的内容的图形的显示器。HMI 151包括计算装置，其中车辆的操作者能够输入命令以便与HMI 151信号通信地控制车辆的各种系统并且接收所需信息。例如，利用HMI 151，使用者能够显示代表使用者定义的内容的图形，例如在驾驶场景上识别出感兴趣物体的图形箭头。在HMI显示器上的投影方法是本领域已知的并且本公开不意味着受限于任何一种投影方法。在另一种实施例中，图形投影显示器250能够包括触摸屏显示器沈0，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示代表使用者定义的内容的图形。触摸屏显示器能够是参考图4详细讨论的UIM 515的TSIM 149。触摸屏显示器260能够是与HMI装置151相关联的显示器或者可以是位于车辆内的独立显示器。在触摸屏显示器上的投影方法是本领域已知的并且本公开不意味着受限于任何一种投影方法。
在另一实施例中，图形投影显示器250能够包括显示监视器270，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示代表使用者定义的内容的图形。显示监视器270能够被安装在车辆仪表板上或者位于车辆中便于操作者观察的某位置。显示监视器270能够包括与警车中所用的计算机相关联的监视器。在另一实施例中，图形投影显示器250能够包括非透明部件观0，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示代表使用者定义的内容的图形。非透明部件280能够包括仪表板、座椅、头靠、结构柱、车顶、遮阳板和方向盘。非透明部件280能够包括响应于激励投影机而起反应来显示图形的透明磷光膜(phosphor film)。通过引用并入本文的共同未决的美国申请号12/563，407公开了在非透明部件上投影图像和图形。在可替代实施例中，当讨论在HUD 150上且可替代地在非透明部件280上投影观察者定义的被动态标示的图形时，非透明部件280能够包括在图7和图8中讨论的像素化视场受限架构。参考图4，示出了根据本公开的示例性使用者输入模块(UIM) 515，其用于接收指示到图形投影显示器250的一部分的使用者输入。使用者输入被EVS系统管理器110监测并且最终被用于在对应于驾驶场景的图形投影显示器250 (例如HUD 150)上显示图形。应意识到，UIM 515包括使用者输入装置和模块的实施例，并且示例性车辆可以仅包括被包括在UIM 515内的用于接收和监测指示到图形投影显示器250的一部分的使用者输入的输入装置和模块中的一种。然而，可想到各种实施例，在这些实施例中，车辆能够包括被包括在UIM 515内的使用者输入装置和模块的变型，并且选定的变型能够基于车辆使用者的偏好来启用。UIM 515包括成像装置161、TSIM 149、控制器装置153以及键盘装置169。TSIM 149能够被设置成接收使用者的手或手指在该模块上的被指示到对应于驾驶场景的图形投影显示器的一部分的触摸姿态(touch gesture)。TSIM 149能够另外地包括对应于车辆驾驶场景并且被设置成动态地在其上标示图形的显示器。显而易见，所接收的使用者的手的触摸姿态提供了用于确定代表使用者定义的内容的图形的基于触摸的使用者接□ (touch—based user interface)。本领域中已知能够接收使用者的手或手指的触摸姿态的各种装置。TSIM 149能够是包括显示屏的触摸屏装置，该显示屏能够识别在显示区域内部的触摸的发生、位置和定位。显示器能够对应于车辆驾驶场景的景象。TSIM 149能够被集成在HMI装置151、显示监视器270、个人数字助理(PDA)或移动电话内，所有这些装置都具有对应于车辆驾驶场景的显示器。因此，TSIM 149有助于使用者与显示在显示器(即驾驶场景)上的内容相互作用，而不是间接与鼠标或触垫相互作用，并且其允许使用者在不必使用这种中间装置的情况下完成触摸姿态。此外，本领域中已知监测和接收使用者的手或手指的触摸姿态的各种方法。在非限制性实施例中，TSIM 149能够是由标准玻璃板构成的电阻触摸屏显示器，该标准玻璃板涂覆有薄的导电且电阻性金属板，其中电流在两个层之间行进并且监测两个层在相同位置彼此接触并且由此中断电流时的触摸姿态。在另一非限制性实施例中，TSIM 149能够是利用超声波来处理来自屏的使用者输入的表面波(surface wave)触摸屏显示器。换言之，表面波触摸屏显示器利用识别信号是否已经被任何运动时的触摸所改变的变换器，其中，当使用者在特定位置触摸显示器时，超声波流过整个屏。在又一非限制性实施例中，TSIM 149能够是由铟锡氧化物板构成的电容触摸屏显示器，该铟锡氧化物板存储电荷并且被定位在显示器的玻璃层上。当使用者的手或手指输入接触显示器时，少量电荷被传递到使用者的手或手指，并且电容板上的电荷量降低。与之相关联的处理器计算相比较的变化(comparative variation)并且确定触摸姿态出现的精确位置，该位置对应于车辆驾驶场景上的位置。在又一非限制性实施例中，TSIM 149能够包括红外触摸屏显示器。红外触摸屏显示器能够对红外波或热波(即热)产生反应。红外触摸屏显示器还能够利用围绕周边的竖直和水平红外传感器来创建格栅，从而精确定位显示屏已被使用者的手或手指触摸的准确位置。应该意识到，TSIM 149不限于上文讨论的装置和方法中的任一种，并且不限于TSIM 149仅能够接收使用者的手或手指在模块149上且被指示到对应于驾驶场景的图形投影显示器250的一部分的触摸姿态，其中所接收的使用者的手的触摸姿态提供了用于确定代表使用者定义的内容的图形的基于触摸的使用者接口。控制器装置153包括一种机构，例如操纵杆、鼠标、杠杆、触针、触垫或用于接收指示到图形投影显示器250的一部分的使用者操控(user manipulation)的其他附件。显而易见，所接收的到达控制器装置153的使用者操控能够提供用于确定代表使用者定义的内容的图形的基于控制器的接口(controller-based interface)。上文描述的成像装置161包括捕获使用者的手的图像并且利用与其相关联的软件来监测使用者的手的位置和取向，从而提供光学图像。能够利用红外或紫外技术来捕获图像。光学图像能够被处理以产生使用者手运动的三维(3D)映射(mapping)。显而易见，手运动的光学图像提供了用于确定代表使用者定义的内容的图形的基于姿态的使用者接口。因此，由成像装置161检测的使用者手运动(即姿态)能够代替诸如鼠标、杠杆、操纵杆、旋钮或其他附件的触觉接口元件来使用。成像装置161需要捕获一连串图像，其中针对每个图像监测使用者的手的位置和取向，从而提供使用者手运动的光学图像。与成像装置161相关联的软件能够通过合适的专用电路被集成在成像装置161内并且与EVS系统管理器110信号通信。另外，与成像装置161相关联的软件能够被集成在EVS系统管理器110内。本领域中已知使用成像装置处理光学图像以产生目标的3D映射的各种方法，其中所述光学图像基于所监测的目标(即手)的位置和取向。通过引用并入本文的PCT国际公布WO 2007/043036公开了基于将激光斑纹图案(laser speckle pattern)投影到目标上且然后分析该图案在目标上的图像的方法和系统。通过引用并入本文的美国专利号6，100，517公开了使用脉冲调制以便测量光从目标到检测器的行进时间的方法，其中摄像机创建指示出到达场景中的物体上的点的距离的图像。通过引用并入本文的美国公开号2010/0020078 Al公开了用辐射束照射目标并且产生目标的基于强度的3D映射的方法。本公开不限于上文讨论的方法中的任一种，只要成像装置161能够监测使用者的手的位置和取向并且处理基于所监测的使用者的手的位置和取向的使用者手运动的光学图像即可，其中手运动的光学图像能够提供用于确定代表使用者定义的内容的图形的基于姿态的使用者接口。键盘装置169接收使用者对键盘装置的按键输入，其指示到图形投影显示器250的一部分。键盘装置169能够与其他装置结合使用，其他装置例如具有操纵杆的控制器装置或HMI 151。显而易见的，接收到的使用者对键盘装置169的按键输入提供用于确定代表使用者定义的内容的图形的基于按键的接口。图5示出了根据本公开利用图形投影显示器250在驾驶场景上动态地标示图形的示例性信息流，包括EVS系统管理器110监测来自占用者眼睛位置感测系统160的输入、来自车辆位置和取向模块370的输入以及来自UIM 515的输入，从而产生显示需求330。图形能够包括代表使用者定义的内容的图形。图形还能够包括反馈图形(例如光标)，其图示出所监测的被指示到图形投影显示器的所述部分的输入的运动。换言之，反馈图形图示出所监测的使用者输入的运动从而对齐使用者输入，以便在对应于驾驶场景的图形投影显示器上的期望位置处显示描述使用者定义的内容的图形。参考图1和图5，占用者眼睛位置感测系统160包括本领域已知的用于估测占用者头部位置且进一步估测占用者眼睛取向或凝视位置的传感器。占用者能够是车辆的操作者或者车辆内的乘客。头部和眼睛感测装置是本领域已知的并且在此不作更详细的讨论。为了本公开的目的，基于摄像机的装置与图像识别软件结合使用以便基于图像识别程序来估计能够与车辆坐标系相协调的车辆内的三维头部位置和占用者凝视方向。眼睛位置输入360被输入到EVS系统管理器110。能够通过本领域已知的方法来确定车辆的当前位置和取向，该方法例如但不限于监测与3D地图数据库和数字罗盘结合的GPS装置140，所述3D地图数据库和数字罗盘包括与GPS装置140接收到的全局坐标相关的关于车辆当前位置的详细信息。当前位置和取向还能够由车辆运动学确定，其包括至少车辆速度和偏航速率，这可通过监测车辆运转和/或监测加速表读数的传感器来获得。利用上述方法，车辆位置和取向模块370产生输入到EVS系统管理器110的车辆位置和取向输入371。UIM 515能够被设置成监测指示到对应于驾驶场景的图形投影显示器的一部分的使用者输入位置。换言之，使用者输入的位置指的是在对应于被监测的使用者输入所指向的驾驶场景的图形投影显示器上所指示部分的位置。使用者输入位置312被输入到EVS系统管理器110。EVS系统管理器110因此监测眼睛位置输入360、车辆位置和取向输入371以及使用者输入位置312，从而产生用于在图形投影显示器上动态地标示图形的显示需求330。应意识到，如果图形包括反馈图形，则可能仅需要监测眼睛位置输入360和使用者输入位置371来产生用于在图形投影显示器250上动态地标示反馈图形的显示需求330。因此，基于占用者眼睛位置、使用者输入位置以及车辆的当前位置和取向，操作者期望看到的驾驶场景上的目标和操作者眼睛之间的估计交点能够被确定在显示器上，从而使得图形图像能够被动态地标示到对应于车辆驾驶场景的显示器上的一个位置处，使得车辆的占用者能够看到驾驶场景上的目标以及代表使用者定义的内容的图形。想到的其他实施例包括监测与操作者凝视位置有关的数据并且基于操作者凝视位置来动态地更新描述使用者定义的内容的图形。例如，能够基于操作者凝视位置与在图形投影显示器250上标示图形的位置之间的距离增加，对代表使用者定义的内容的图形增加强调。类似地，能够基于操作者凝视位置与在图形投影显示器上标示图形的位置之间的距离减小，而减弱对代表使用者定义的内容的图形的强调。参考图6，示出了用于确定代表使用者定义的内容的图形的示例性信息流，其中图形被动态地标示和显示在对应于车辆驾驶场景的图形投影显示器250上。信息流包括监测来自各种来源的信息并且产生显示需求430的EVS系统管理器110 ；监测来自EVS系统管理器的显示需求430并且产生图形命令440的图形模块455 ；以及，图形投影显示器250。如前所述，图形投影显示器250能够包括基本透明挡风屏平视显示器150、非透明部件观0、车辆触摸屏260、HMI装置151、显示监视器270或者显示被投影的图形和对应于车辆道路场景的景象的图像的任何屏或显示器。应意识到，图形投影显示器250不意味着受限于上述显示器中的任一种。图形投影模块458将光投射在图形投影显示器250上。EVS系统管理器110包括并且监测内容模块405。监测该内容模块405包括监测指示到图形投影显示器250的一部分的使用者输入512。使用者输入512由UIM 515产生，UIM 515能够包括成像装置161、TSIM 149、控制器装置153或键盘装置169中的一种。在下文更详细地讨论来自成像装置161、TSIM 149、控制器装置153或键盘装置169中每一者的使用者输入。内容模块405确定基于使用者输入512的使用者定义的内容以及描述该使用者定义的内容的图形420。内容模块405确定对应于被指示到图形投影显示器的所述部分的使用者输入512的位置，以便开始显示图形420。因此，使用者能够确定对应于驾驶场景上一位置的代表使用者定义的内容的图形。代表使用者定义的内容的图形420 —旦被显示则能够在车辆操作者、前排占用者和后排占用者之间通信。此外，图形420能够被传达给公路上其他车辆的占用者或者作为场外虚拟通信。图形模块455 (其利用由EVS系统管理器110产生的并且基于代表使用者定义的内容的图形420的显示需求430)产生图形420以作为送至图形投影模块458的图形命令440。应意识到，显示需求430包括在对应于车辆驾驶场景的图形投影显示器上动态地标示图形的位置。在对应于车辆驾驶场景的图形投影显示器上动态地标示图形已经在上文中被讨论并且在这里不进行详细讨论。图形投影模块458利用图形投影显示器250将图形显示到车辆的驾驶场景上。还应意识到，当图形投影显示器250包括基本透明挡风屏平视显示器150、后窗或侧窗或者非透明部件280之一时，图形模块455和图形投影模块458分别对应于EVS图形引擎155和图形投影系统158。想到的实施例包括包括突出轨迹图形(highlighted trace graphic)的图形，其代表且示出了指示到图形投影显示器的所述部分的使用者输入。例如，车辆的占用者可以在驾驶场景上描绘山脉轮廓以与其他占用者通信，以使得山脉轮廓的轨迹是代表且示出了驾驶场景上山脉轮廓的突出轨迹图形。代表使用者定义的内容的图形还能够包括文本图形，其中文本图形被指示到图形投影显示器的一部分。类似地，图形能够包括被标示的图形，例如框，以用于识别、描述或以其他方式参考驾驶场景上的物体通信。应该意识到，被标示的图形能够基于监测的使用者输入被操控。例如，使用者可能需要显示框住建筑物的带框图形(box graphic)以便识别和图示该建筑物。能够通过改变被标示图形的尺寸以便增大或减小框的尺寸来操控该带框图形。类似地，带框图形能够被定位在图形投影显示器上的另一位置(例如部分)。例如，抓-拉(grab-and-drag)功能可以重新定位被标示图形。应该理解，基于使用者输入512能够实时地动态标示、确定并显示描述使用者定义的内容的图形420。如上所述，反馈图形能够被利用来示出指示到图形投影显示器的所述部分的被监测的使用者输入的运动。换言之，反馈图形示出了被监测的使用者输入的运动以便对齐使用者输入从而在与道路场景对应的图形投影显示器上的期望位置处确定代表使用者定义的内容的图形。反馈图形能够是被标示的图形，例如光标图形。进一步想到的实施例包括作为内容特定图形(content-specific)的反馈图形。例如，如果使用者定义的内容包括被显示成遮蔽道路场景上的一个路段的图形，则内容特定反馈图形可以是指示出使用者希望遮蔽或绘染该路段的染料刷图形。在另一非限制性示例中，如果使用者希望勾勒或描绘道路场景上的物体，则内容特定的被标示反馈图形可以是指示出使用者希望围绕道路场景上的该物体描绘或以其它方式勾勒该物体的铅笔/钢笔图形。应该理解，基于使用者输入512的运动能够实时地动态标示、确定并显示描述使用者定义的内容的运动的反馈图形。在示例性实施例中，监测的指示到图形投影显示器的所述部分的使用者输入512包括利用成像装置161，从而监测使用者的手或手指的位置和取向并且基于所监测的使用者的手或手指的位置和取向来处理使用者的手或手指运动的光学图像。手或手指运动的光学图像能够提供用于确定描述使用者定义的内容的图形的基于姿态的使用者接口。例如，使用者能够以指示到图形投影显示器的所述部分的方式在成像装置附近挥动手或手指来确定使用者定义的内容和代表使用者定义的内容的图形。在另一示例性实施例中，监测的指示到图形投影显示器的所述部分的使用者输入512包括利用TSIM 149来接收使用者的手或手指在TSIM 149的显示器上的触摸姿态。TSIM 149能够包括显示器，该显示器包括对应于驾驶场景的景象的图像。所接收的触摸姿态被指示到图形投影显示器的一部分，其中使用者的手或手指的触摸姿态能够提供用于确定使用者定义的内容和代表使用者定义的内容的图形的基于触摸的使用者接口。因此，TSIM 149能够允许使用者将使用者定义的内容和描述使用者定义的内容的图形直接确定到驾驶场景的期望位置，因为驾驶场景的景象的图像能够被显示在TSIM 149的显示器上。应意识到，反馈图形可能不会有实用性，因为基于触摸的接口允许手或手指将使用者输入直接对准到图形投影显示器的被指示部分。在另一示例性实施例中，监测的指示到图形投影显示器的所述部分的使用者输入512包括利用控制器装置153来接收送至控制器装置153或者在该控制器装置153上的使用者操控。因此，送至控制器装置153的接收到的使用者操控提供用于确定使用者定义的内容和代表使用者定义的内容的图形420的基于控制器的接口。应意识到，控制器装置153与图形投影显示器信号通信。在非限制性示例中，控制器装置153能够与HMI装置151(其包括与之相关联的显示器)结合使用或者被集成在该HMI装置151内。例如，当控制器装置153包括由使用者操控且与显示器直接接触的触针时，显示器能够识别使用者输入。在另一非限制性示例中，包括操纵杆的控制器装置153能够引导被指示到对应于驾驶场景的图形投影显示器的一部分的使用者输入。应意识到，监测被监测使用者输入的运动的反馈图形对于包括操纵杆、鼠标、触垫或旋钮的基于控制器的接口来说将是有益的，但是对于诸如触针的基于控制器的接口来说将不具有任何应用。在另一示例性实施例中，被监测的指示到图形投影显示器的所述部分的使用者输入512包括利用键盘装置169来接收使用者对键盘装置的按键输入。因此，接收到的对键盘装置169的按键输入提供用于确定代表使用者定义的内容和代表使用者定义的内容的图形420的基于按键的接口。应意识到，键盘装置169与图形投影显示器250信号通信。键盘装置169使得使用者能够利用文本图形来代表文本消息而键入文本消息。想到的进一步的实施例包括像素化视场受限架构，其使得从第一方向观察HUD150的第一观察者能够看到一个图形且从第二方向观察HUD 150的第二观察者没有看到特定图形或看到不同于第一观察者的不同图形。这样的系统允许驾驶者和乘客分别从相对于驾驶者和乘客的视角基于指示到HUD 150的一部分的使用者输入来观察代表使用者定义的内容的图形。因此，能够投影两个图形，其中各图形对应于驾驶者和乘客中的一者并且代表使用者定义的内容。分别相应于驾驶者和乘客投影动态标示的图形使得每个图形能够正确地描述使用者定义的内容。例如，基于指示到其上有云的HUD的一部分的驾驶者输入，驾驶者可能希望在HUD上投影勾勒该云的图形。这个图形从驾驶者的视角被动态标示，并且因而能够与乘客无关，因为乘客具有不同的观察位置和与眼睛位置相关的数据。因此，第二图形(即，第二观察者定义的被动态标示的图形)能够被投影，以使得乘客能够从乘客的视角基于指示到HUD 150的所述部分的驾驶者输入来观察勾勒该云的图形。此外，驾驶者视角图形能够被限制成由乘客观察，并且乘客视角图形能够被限制成由驾驶者观察。使得能够从有限方向观察图像的像素化视场受限架构的示例性实施例包括使用如上所述接受激发光且沿有限方向发出光的微结构或颗粒设置。并入本文以供参考的共同未决美国申请号12/564，899公开了像素化视场受限架构。图7和图8示出了根据本公开的像素化视场受限架构的示例性用法。图7示出了能够向受限的视场发出光的示例性发射体。示例性发射体包括填充有LIF材料704的UV透明封罩702(例如由SiO2制成)，且其具有抛物线形窄带多层反射结构706，其中该LIF材料704在被紫外线辐射照射时发出可见光波长。在这种示例性实施例中，这些发射体构成的薄膜被沉积在聚合物上。为了制备这种膜，类似于发射体中形成的形状的抛物线形印痕被刻在聚合物材料中。通过化学气相沉积将发射体沉积在聚合物基体上，且使用发射体填充抛物线印痕(parabola impression)。图8示出了产生被对齐到聚合物基体以便能够观察受限视场的发射体必要结构的示例性过程。通过例如蚀刻的示例性过程，通过从基体释放它们而产生了填充有发射材料的自立式抛物线体(free standing prabola)。还能够通过使用适当溶剂溶解塑料基体来实现从聚合物基体的这种去除。之后，自立式抛物线体被嵌入凹洞(divot)中，其中通过光刻方法或模压方法在玻璃基体中产生所述凹洞。能够通过例如流控自装配(fluidic self assembly)的过程来实现抛物线体与凹洞的匹配，该流控自装配例如Alien Technology所使用的装配，其中抛物线体流经基体并且以统计学方式发生抛物线体-凹洞匹配。基于包括图5所述的动态标示图形的方法的上述方法，观察者定义的被动态标示的图形能够被投影在基本透明挡风屏平视显示器150上与车辆驾驶场景对应。基于监测指示到HUD的所述部分的使用者输入，能够确定被投影在HUD上的观察者定义的被动态标示的图形。因此，像素化视场使得能够从有限方向(例如第一有限方向和/或第二有限方向)观察图形。观察者定义的被动态标示的图形能够包括基于第一观察者位置的第一观察者定义的被动态标示的图形以及基于第二观察者位置的第二观察者定义的被动态标示的图形。应理解，第一和第二观察者定义的被动态标示的图形二者均能够被投影在基本透明挡风屏HUD上。此外，基于第一观察者位置的第一观察者定义的被动态标示的图形进一步基于利用使得能够从指向第一观察者位置的第一有限方向观察图形的像素化视场。应理解，第一观察者位置能够对应于车辆的驾驶者。类似地，基于第二观察者位置的第二观察者定义的被动态标示的图形进一步基于利用使得能够从指向第二观察者位置的第二有限方向观察图形的像素化视场。应理解，第二观察者位置能够对应于车辆中的一个乘客座位。类似地，图5讨论的动态标示方法还能够包括监测与第二观察者眼睛位置相关的数据，其中第二观察者眼睛位置对应于处于第二观察者位置的一个乘客。应理解，监测占用者眼睛位置能够包括监测与第一观察者眼睛位置和/或与第二观察者眼睛位置相关的数据。上述讨论的像素化视场受限架构的方法被应用到基本透明挡风屏HUD 150。不过，这种方法还能够应用到非透明部件观0。参考图9，在车辆的图形投影显示器250上示出驾驶场景900。如果图形投影显示器250包括基本透明挡风屏平视显示器，则通过该基本透明挡风屏平视显示器示出驾驶场景900。否则，对应于驾驶场景的景象图像被投影到图形投影显示器上。图形902、904和906代表使用者定义的内容。例如，指示到图形投影显示器250的所述部分的使用者输入确定图形902、904和906。在这种非限制性示例中，使用者定义的内容示出了由被标示圆形图形902指示的云以及由突出轨迹图形904指示出的一段山脉。文本图形906能够是车辆中乘客发送至驾驶者的文本消息，以传达出当前的公路路段是乘客喜爱的公路路段。反馈图形910示出了监测的指示到图形投影显示器的所述部分的使用者输入的运动。应理解，仅显示了反馈图形910之一。一个反馈图形910是内容特定图形，其指示出染料刷以使得代表使用者定义的内容的突出轨迹图形904围绕该段山脉被绘染轨迹。另一反馈图形912仅是光标，在本情况下是手，因为反馈图形912示出了被监测的使用者输入的运动，其利用基于姿态的接口从而对齐使用者输入以便在与驾驶场景对应的图形投影显示器上的期望位置处显示描述使用者定义的内容的图形。本公开内容已经描述了特定优选实施例及其变型。当阅读并理解说明书时可以意识到其他变型和改变。因此，本公开内容不旨在限于被公开作为构想成实现本公开内容的最佳模式的具体实施例，而是本公开内容将包括落入所附权利要求范围内的所有实施例。
权利要求
1.利用图形投影显示器在车辆的驾驶场景上动态地标示图形的方法，包括监测指示到所述图形投影显示器的一部分的使用者输入；基于监测的指示到所述图形投影显示器的所述部分的使用者输入来确定代表使用者定义的内容的图形；在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述图形的位置；以及在所述图形投影显示器上显示所述图形。
2.根据权利要求1所述的方法，其中所述图形投影显示器包括包含像素化视场的基本透明挡风屏平视显示器，该像素化视场使得能够从有限方向进行图形观察，该基本透明挡风屏平视显示器包括在所述挡风屏的预定区域之上允许沿所述有限方向发光显示且同时允许通过其可视的发光颗粒或微结构中的ー种。
3.根据权利要求1所述的方法，其中所述图形投影显示器包括触摸屏显示器、人机接 ロ显示器、不透明部件和显示监视器中的一者。
4.根据权利要求3所述的方法，还包括在所述图形投影显示器上投影对应于所述车辆的所述驾驶场景的景象的图像。
5.根据权利要求1所述的方法，其中代表所述使用者定义的内容的所述图形包括示出监测的使用者输入的运动的突出轨迹图形。
6.根据权利要求1所述的方法，其中描述所述使用者定义的内容的所述图形包括能够基于监测的使用者输入进行操控的被标示图形。
7.根据权利要求1所述的方法，其中代表所述使用者定义的内容的所述图形包文本图形。
8.根据权利要求1所述的方法，还包括确定示出监测的指示到所述图形投影显示器的所述部分的使用者输入的运动的反馈图形；在对应所述车辆的所述驾驶场景的所述图形投影显示器上动态标示所述反馈图形的位置；以及在所述图形投影显示器上显示所述反馈图形。
9.在对应于车辆的驾驶场景的基本透明挡风屏平视显示器上投影观察者定义的被动态标示的图形的方法，包括监测指示到所述基本透明挡风屏平视显示器的一部分的使用者输入；基于所述使用者输入确定将要被投影到在对应于所述驾驶场景的所述基本透明挡风屏平视显示器上的观察者定义的被动态标示的图形；并且在所述基本透明挡风屏平视显示器上投影所述图形；其中所述基本透明挡风屏平视显示器包括像素化视场，该像素化视场使得能够从有限方向进行图形观察，该基本透明挡风屏平视显示器包括在所述挡风屏的预定区域之上允许沿所述有限方向发光显示且同时允许通过其可视的发光颗粒或微结构中的ー种。
10.利用图形投影显示器在车辆的驾驶场景上动态标示图形的系统，包括视觉增强系统系统管理器监测指示到所述图形投影显示器的一部分的使用者输入；基于监测的指示到所述图形投影显示器的所述部分的使用者输入来确定代表使用者定义的内容的图形；在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述图形的位置；图形系统，其生成代表所述使用者定义的内容的所述图形；以及图形投影系统，其与所述图形系统通信并且在所述图形投影显示器上显示代表所述使用者定义的内容的所述图形。
全文摘要
本发明涉及全挡风玻璃平视显示器上的强调道路场景图示系统。利用图形投影显示器在车辆的驾驶场景上动态标示图形的方法包括监测指示到所述图形投影显示器的一部分的使用者输入；基于监测的指示到所述图形投影显示器的所述部分的使用者输入来确定代表使用者定义的内容的图形；在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述图形的位置；以及在所述图形投影显示器上显示所述图形。
文档编号G02B27/01GK102566051SQ20111044960
公开日2012年7月11日 申请日期2011年12月29日 优先权日2010年12月29日
发明者D.崔, J.F.什切尔巴, T.A.塞德 申请人:通用汽车环球科技运作有限责任公司