全息波导平视显示器侧景显示的制作方法

实施例涉及增强现实侧景显示。

汽车和其他交通车辆包括内部乘客舱，车辆驾驶员坐在该内部乘客舱中，并在其中操作车辆控制装置。车辆通常包括后视镜和侧视镜，用于允许驾驶员监测车辆的后方和侧方发生的事件。镜子是一种以如下方式反射光的物体：对于相应波长范围内的入射光而言，反射光保留了原始光的大部分详细的物理特性，并且产生复制原始场景的反射。

后视镜和侧视镜在正确设置时提供了车辆后方和侧方的事件的协作观察。然而，根据镜子的设置方式，仍然可能存在驾驶员看不见的盲点。而且，除非道路有适当的照明，否则侧视镜在夜间不能有效地用于查看事件。

此外，侧视镜由于风阻而在车辆上产生阻力，并因此降低车辆的汽油里程数。侧视镜上的沉淀积层(诸如，雪)如果不被适当地清除的话，则镜子的可见度会受到影响。

技术实现要素：

实施例的优势在于显示增强现实图像，其通过生成真实世界场景的虚拟图像，将真实世界场景显示在驾驶员侧视镜上。使用虚拟图像在假想图像平面上生成增强现实图像，使得不再需要实体的侧视镜。增强现实图像的使用消除了侧视镜部件，如果该侧视镜部件安装在车辆的外部，则会引起风阻和阻力，由此降低燃料经济性。此外，由于实体的侧视镜组件并非安装在车辆的外部，因此沉淀物(诸如，雪)积聚在镜子上，降低真实世界场景的可见度。另外，通过使用相机系统来捕捉真实世界场景并经由增强现实图像来将其显示，视野得以扩大，从而消除了盲点。

实施例设想了一种显示由主图像捕捉设备捕捉到的增强现实图像的方法。通过主图像捕捉设备捕捉车辆外部的图像，该主图像捕捉设备捕捉驾驶员侧邻近车道的图像。通过处理器确定要显示给驾驶员的主增强现实图像的尺寸。在车辆外部的一深度处生成显示在驾驶员侧图像平面上的主增强现实图像，该驾驶员侧图像平面上的主增强现实图像生成在距离驾驶员侧车窗的相应距离处。

附图说明

图1示出了增强现实显示系统的框图。

图2是使用常规侧视镜的车辆的平面图。

图3是使用相机系统和普通图像显示器或LCD显示器的车辆的平面图。

图4示出了安装在驾驶员侧车窗上的波导HUD。

图5是使用增强现实显示系统的车辆的平面图。

图6是将图像处理应用于在波导HUD上生成增强现实图像的流程图。

具体实施方式

图1示出了增强现实显示系统10的框图，该增强现实显示系统10包括图像捕捉设备12、处理器14、平视显示器(HUD)16和头部跟踪器18。HUD 16可以是附接至侧车窗的全息波导HUD或头戴式增强现实显示器，其可使用全息波导技术或其他HUD显示技术。系统10基于图像捕捉设备12捕捉到的图像产生增强现实显示。在此描述的车辆消除了安装至车辆外部的实体侧视镜组件。应理解的是，在此使用的术语“车辆”不限于汽车，其可包括，但不限于：火车、船或飞机。此外，附接至车窗的HUD或头戴式增强现实显示器可由车辆内的任何乘员使用。在使用无需驾驶员的自动或半自动驾驶车辆的情况下，可进一步应用该系统。

图像捕捉设备12可包括相机或相机系统，其捕捉车辆外部的图像，更具体地，捕捉驾驶员可通过侧视镜组件观看的图像。图像捕捉设备可包括，但不限于：三维(3D)相机或立体相机。优选地，图像捕捉设备捕捉3D图像，或其能够以3D的方式捕捉图像或提供可被处理成3D图像的图像。

图像捕捉设备12能够安装在车辆的某个位置上，使得相机方位与反射光线的方向对准，其中该反射光线将从侧视镜反射出从而被驾驶员所看到。可选地，图像捕捉设备12可位于车辆的其他位置处，并且对捕捉到的图像进行图像处理，以生成图像捕捉设备12的虚拟方位，这将会产生图像，该图像显示成就好像图像捕捉设备12以会捕捉到类似于显示在实体侧视镜组件上的真实世界场景的真实世界场景的方向进行安装和对准。

处理器14可为独立处理器、共享处理器或作为成像系统的一部分的处理器。处理器14从图像捕捉设备12接收捕捉到的图像，并对捕捉到的图像进行图像处理。处理器14执行编辑功能，其包括但不限于图像剪切，以修改驾驶员将看到的景象。如果驾驶员佩戴有增强现实眼镜，则处理器还会基于驾驶员的头部定向对图像进行定向。处理器还会调整图像的亮度，并对图象失真进行补偿。

波导平视显示器(HUD)16安装至车辆部件，诸如，驾驶员侧灯(例如，驾驶员侧车窗或驾驶员侧的其他车窗和/或乘客侧车窗)。驾驶员侧灯在此将用于示例性的目的，但是，如果需要的话，可为车辆中的任何人将HUD安装在任何车窗上。波导HUD 16使用全息衍射光栅，该全息衍射光栅试图以相应的衍射级次聚集输入能量。衍射光栅的实例可包括布喇格(Bragg)衍射光栅。当具有与原子间距相当的波长的光辐射以镜面模式被晶体系统中的原子散射从而经受相长干涉时，布喇格衍射就会发生。光栅被调谐，从而以临界角将光射入波导。随着光散开，该光穿过波导。当散射波进行相长干涉时，散射波保持同相，原因在于各波的波程长度都等于波长的整数倍。光由将光(例如，图像)转入用户眼中的第二全息衍射光栅进行提取。可以使用可切换的布喇格衍射光栅，其包括槽式反射光栅，该槽式反射光栅从每个凹槽边缘发出的小波形成相长和相消干涉以及色散。可选地，多层结构具有交替的折射率，从而引起从折射率不连续特征发出的小波的相长和相消干涉以及色散。如果两个交替层中的一个由具有介电的和折射率各向异性的液晶材料组成，则液晶取向可以通过施加电场(被称为可切换布喇格光栅)进行改变或切换。

当驾驶员查看集成在车窗上的波导HUD 16时，波导HUD 16基于捕捉的图像在假想平面上生成增强现实图像，该图像看起来在车窗外部的相应深度处(即，在侧视镜将位于的深度处或者在更深处)。

在一个可替代的方案中，波导HUD 16可包括头戴式HUD，诸如增强现实眼镜(例如，眼镜)。3D图像从处理器14传输到3D增强现实眼镜，使得增强现实图像被投影在空间中，从而提供如下视角：图像被投影在其上的图像平面被显示在驾驶员侧车窗外部的位置，类似于实际的侧视镜。

头部跟踪器18是用于跟踪头部定向或者跟踪眼睛的设备。也就是说，如果需要更少的细节，则增强现实系统10可以使用头部跟踪系统，其跟踪头部的定向以确定驾驶员正在观看的方向。可选地，增强现实系统10可以使用眼睛跟踪系统，其中方向(例如，眼睛的注视)被跟踪以确定乘员是否正在看向波导HUD 16的方向或其他地方。头部跟踪器18可以是安装在车辆中的独立设备，监视头部的位置或眼睛的注视，或者如果使用增强现实眼镜，则头部跟踪器18也可以与波导HUD 16集成在一起。如果使用增强现实眼镜，则眼睛跟踪器可被集成为眼镜的一部分，用于跟踪眼睛的运动。

除了波导HUD 16之外，提供染料掺杂的聚合物分散液晶(PDLC)作为输出的全息图的背板以阻挡真实世界的干扰。PDLC阻挡来自其他真实世界干扰的光，从而没有发射。PDLC是可调谐的，并且还可以结合为自动可调谐传输。因此，PDLC用作背板，使得当驾驶员观看全息图像时，来自外部的发射不会穿透全息图像的相对侧。

图2示出了使用常规侧视镜的车辆的平面图。如图2所示，总体上由RV表示的区域表示后视镜的视野。总体上由SV表示的区域表示侧视镜的视野。总体上由BS表示的区域(阴影区域)表示盲点。盲点通常位于总体上由FV表示的驾驶员的前向视觉的后方区域至其中反射由侧视镜19捕捉的位置之间。虽然可以借助于凸面镜来减少盲点，但凸面镜导致实际的真实世界场景的失真，从而导致物体在反射表面中比驾驶员通常看到的更靠近或更远。

图3示出了使用相机系统和普通图像显示器或LCD显示器的车辆的平面图。单独的相机20安装在车辆的外部，并且由相机20捕捉的图像被处理并提供给显示设备22，诸如LCD监视器或类似物。使用照相机20的优点是省略了侧视镜，这提供了消除由风阻引起的车辆上的阻力的优点，然而，单独的照相机20和LCD 22的问题在于系统是二维的(2D)，并且从驾驶员的眼睛到LCD 22的距离相对较短(例如，18英寸)，这由于反复适应18英寸处的显示器和无限远的真实世界而导致疲劳。当将相机图像呈现在2D显示器上时，存在深度感知上的下降。此外，所显示的图像不在通常的镜子的位置处。在驾驶员的视野中将会导致驾驶员注意力分散。

图4示出了安装在诸如驾驶员侧车窗30的车辆部件上的波导HUD16。通过驾驶员侧车窗30观看的驾驶员看到由图像捕捉设备捕捉的真实世界场景的3D图像，该3D图像被投影在车辆外部的假想平面上。这里和权利要求中使用的术语真实世界场景被定义为由车辆的驾驶员直接或者通过镜面反射看到的车辆外部的区域。图像捕捉设备12可以在与反射射线被侧视镜反射的方向相同的方向上被安装并对准，或者图像捕捉设备12可以安装在其他位置，并且图像处理可以用于改变相机的方位。也就是说，可以从任何角度捕捉场景，然而，图像可以被处理成使得如果相机与在图像中识别的虚拟方位对准，则该虚拟方位被改变以反映场景的内容。

另外，通过使用图像捕捉设备，可以改变由图像捕捉设备捕捉的视野(FOV)，以使FOV与常规的侧视镜显示器相比更宽。FOV可以改变高达180°，并且图像的各个部分可以被缩放(合成)，以增强驾驶员对图像的相应部分的聚焦。

波导HUD 16使用假想平面来显示增强现实图像。波导HUD 16可以被调谐以将假想平面设置在车窗外的任何距离处，直至无穷远。应当理解，一旦物体距离在3米和无穷远之间，在观察物体的人对焦距的感知中存在相对较小的实质区别。设置假想平面的深度是可调谐的。

图5示出了使用增强现实显示系统的车辆的平面图。如图5所示，增强现实系统使用两个图像捕捉设备12(例如，立体相机)来捕捉驾驶员的邻近车道的3-D真实世界场景。优选地，图像捕捉设备是立体视觉相机；然而，应当理解，可以使用其他类型的3-D图像捕捉设备。如图5所示，邻近道路的第一区域34由图像捕捉设备中的一个捕捉，第二区域36由第二图像捕捉设备捕捉。处理两个捕捉的图像以生成3-D图像。处理器处理图像并将处理后的图像发送到集成在驾驶员侧车窗30上的波导HUD 16。波导HUD 16在出现在车辆外部的虚拟平面38上生成增强现实图像。结果，增强现实图像消除了使用安装在门上的实体部件(即侧视镜)的需求，这样的实体部件导致车辆上的阻力并且降低燃料经济性。

图6表示将图像处理用于在安装在侧车窗上的波导HUD上产生物体的增强现实图像的流程图。在框40中，图像捕捉设备捕捉图像。图像可以是来自可以捕捉图像以生成3D图像的3D相机或者一组立体相机的2D或3D图像。

在框41中，如果使用增强现实眼镜，则图像被剪切以适应增强现实眼镜的视野。

在步骤42中，应用图像透视和稳定。设备(包括但不限于陀螺仪和加速度计)可以用于确定驾驶员头部的定向。当头部旋转时，陀螺仪和加速度计保持稳定且对准的图像。跟踪系统的实例可以包括头部跟踪器，其监视头部在头部面对的方向上的运动。更复杂的设备和系统将包括注视跟踪器，其跟踪眼睛的运动以确定眼睛正在注视的方向。注视跟踪器提供更多细节，使得驾驶员不必一定移动他的头部，而是可以旋转他的眼睛而没有头部的移动以将目光从行进道路转移。

在步骤43中，应用视图端口缩窄。要缩窄的视图端口的尺寸由常规镜子或更大镜子的尺寸确定，并且还确定到侧车窗外的假想平面的距离以用于相应地确定图像尺寸。

在步骤44中，调整增强现实图像的亮度。亮度传感器可以用于控制3D图像亮度。应当理解，在夜间条件期间可以将亮度设置为高于真实世界场景的亮度，使得在图像中捕捉的物体是可识别的。这优于镜子仅能捕捉从外部环境照射的光，并且因此受到外部条件的约束的常规的侧视镜。通过使用由图像捕捉设备捕捉的图像，可以执行图像处理以照亮场景，并且因此向驾驶员提供场景的更好的可见性。

在步骤45中，经由HUD显示虚拟图像。虚拟图像将根据通常由驾驶员通过驾驶员或乘客侧灯观看(或乘客通过另一侧窗观看)而看到的侧视镜的形状和尺寸来确定尺寸，或者显示器可大于常规的镜子。此外，虚拟图像可以显示在比驾驶员使用常规镜子观察的距离更大的距离处。

尽管已经详细描述了本发明的某些实施例，但是本发明领域的技术人员应当知道由所附的权利要求限定的、用于实现本发明的各种可选的设计和实施例。