使用后视镜位置的后视摄像机系统的制作方法

使用后视镜位置的后视摄像机系统的制作方法
【专利摘要】一种用于机动车辆的后视系统，包括：靠近车辆的前挡风玻璃安装的图像显示器；具有第一视野并获得指向车辆外部的第一图像的外部图像传感器；具有第二视野并获得指向车辆内部的第二图像的内部图像传感器；根据第一视野和第二视野的预定对准合并第一图像和第二图像的图像集成器，其中第二图像在合并的图像中被柔和化以便第一图像在图像显示器上显示时被突出显示。
【专利说明】使用后视镜位置的后视摄像机系统
[0001]相关申请的交叉引用
[0002]不可用。
[0003]关于联邦政府资助的状态
[0004]不可用。

【技术领域】
[0005]本发明总的来说涉及驾驶员视觉系统，更具体地，涉及一种使用具有大视角的外部摄像机、内部摄像机以及向驾驶员提供环境信息的显示器的后视摄像机系统。

【背景技术】
[0006]使驾驶员能够监视车辆后方和侧面的环境的传统视觉辅助设备包括安装于外部的侧视镜和安装于内部的后视镜。镜的位置和形状经过调整以试图将盲点减到最少。由于在镜的视野、安装位置和由其他固定车辆结构造成的阻碍之间存在很多权衡，可能仍然会产生盲点。例如，倾向于增加头枕的尺寸会导致对位于中央的后视镜的后方视野的遮挡增力口。通过后视镜的视野还会受到暂时位于内部中的物体(例如后座乘客和货物)的遮挡或受到来自其他车辆的前照灯的眩光的影响。另外，车辆尺寸和/或造型因素会导致使用相对较小的后窗，后视镜通过该后窗获得外部视野。除了窗户尺寸，有时积聚在后窗上的污垢、霜或雪也可能会阻碍由后视镜获得的视野。
[0007]已开始引入倒车摄像机连同提供在仪表板或仪表盘上的实时影像显示器以缓解这些问题。通常，来自倒车摄像机的图像经过水平翻转后显示在显示屏上，以便向驾驶员提供镜像图像(即，因为驾驶员的观看方向与摄像机相反，所以图像是翻转的以使显示的图像中的左侧和右侧与驾驶员的左侧和右侧对应)。当挂倒车挡时，后视显示屏被开启以帮助驾驶员察看在其倒车路径上是否有任何物体，但是在向前行驶的过程中通常会关闭显示屏，这是因为，由于将相反的摄像机图像整合于头脑中的环境参考系中可能存在困难，所以视频影像可能会分散驾驶员的注意力或者可能会迷惑驾驶员。


【发明内容】

[0008]本发明配置了后视摄像机系统以向驾驶员呈现图像，使用显示器安装位置和/或视觉提示改善它们用于说明显示的图像的参考系。
[0009]本发明的一方面提供了一种用于机动车辆的后视系统，其包括靠近车辆的前挡风玻璃安装的图像显示器。具有第一视野并获得指向车辆外部的第一图像的外部图像传感器。具有第二视野并获得指向车辆内部的第二图像的内部图像传感器。根据第一视野和第二视野的预定对准合并第一图像和第二图像的图像集成器，其中第二图像在合并的图像中被柔和化以便在图像显示器上显示时突出显示第一图像。
[0010]根据本发明的一个方面，图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。
[0011]根据本发明的一个方面，内部图像传感器与图像显示器结合在一起。
[0012]根据本发明的一个方面，图像显示器包括IXD屏幕。
[0013]根据本发明的一个方面，图像集成器包括增强现实应用。
[0014]根据本发明的一个方面，第一图像和第二图像包括各自的像素，并且第二图像的柔和化包括降低第二图像的像素作用于合并的图像上的强度。
[0015]根据本发明的一个方面，第一图像和第二图像包括各自的像素，并且第二图像的柔和化包括降低第二图像的像素的饱和度。
[0016]根据本发明的一个方面，第二图像的柔和化程度可调。
[0017]根据本发明的一个方面，第二图像的柔和化包括使部分第二图像变成透明的。
[0018]根据本发明的一个方面，图像集成器在第二图像中识别选定物体，并且透明的部分包括第二图像中不含被识别物体的所有部分。
[0019]根据本发明的一个方面，第一视野和第二视野是固定的。
[0020]根据本发明的一个方面，第一视野相对于车辆可转向，第一视野限定了将在图像显示器上示出的可见区域，第二视野映射到第一视野上以将第二图像与第一图像合并。
[0021]根据本发明的一个方面，该系统还包括:提供集合视野的多个外部图像传感器；以及用于在集合视野中选择第一视野的用户HMI。
[0022]根据本发明的一个方面，该系统还包括:提供集合视野的多个外部图像传感器；以及用于响应于车辆的驾驶状态确定集合视野中的第一视野的自动视野选择器。
[0023]根据本发明的一个方面，图像集成器修改第一图像、第二图像或合并的图像中的一个，以编码关于在上述图像中的一个中检测到的物体的信息。
[0024]根据本发明的一个方面，图像集成器将位置参考标记覆盖在合并的图像中。
[0025]根据本发明的另一方面，提供了一种将后视信息显示给车辆的驾驶员的方法，该方法包括:获得指向驾驶员后方的车辆内部图像；获得指向车辆后方的车辆外部图像；根据预定对准合并上述图像；以及将合并的图像显示在安装用于驾驶员观察的显示器上。
[0026]根据本发明的一个方面，显示器靠近车辆的前挡风玻璃安装。
[0027]根据本发明的一个方面，该方法还包括步骤:柔和化合并的图像中的内部图像，以便在合并的图像中突出显示外部图像。
[0028]根据本发明的一个方面，内部图像和外部图像包括各自的像素，并且内部图像的柔和化包括:降低内部图像的像素作用于合并的图像的强度。
[0029]根据本发明的一个方面，图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。

【专利附图】

【附图说明】
[0030]图1描述了朝向前挡风玻璃和后视镜的驾驶员视野；
[0031]图2描述了驾驶员在后视镜中看到的图像；
[0032]图3是由外部后视摄像机拍摄的实时拍摄影像；
[0033]图4示出了合并的内部拍摄影像和外部拍摄影像；
[0034]图5是示出了本发明的一个优选装置的框图；
[0035]图6示出了用于本发明的一些在车辆上的可能的摄像机位置；
[0036]图7是由外部侧视摄像机拍摄的实时拍摄影像；
[0037]图8示出了内部摄像机和多个外部摄像机的集合视野；
[0038]图9示出了集合视野中的显示给驾驶员的选定视野。

【具体实施方式】
[0039]在本发明的一个主要的实施例中，传统的(视角相对狭窄的)后视镜由LCD屏幕替代，其中，LCD屏幕显示来自后视摄像机和/或侧视摄像机的180°或更大角度的后方图像。能够获得足够宽的视野，这能够允许除去安装于车门的侧视镜。例如，枢转地安装具有与传统的后视镜相似的尺寸、形状和位置的平板显示屏，并且平板显示屏提供车后和/或车辆侧面的实时拍摄图像。这提供了不会被后排乘客、车座头枕或车顶立柱遮挡的图像。在寒冷气候中，对摄像机镜头清洁/除冰会比对整个后窗清洁/除冰快得多。此外，本发明降低了会存在于镜系统中的与后方视野/遮蔽相关的造型限制。
[0040]除了来自安装于外部的后视摄像机的无遮挡的图像以外，本发明还通过在内部摄像机图像中显示后排头枕、D或C车顶立柱和/或存在的乘客来向驾驶员提供车辆参考。在一个实施例中，使用了增强现实将来自内部后视摄像机的后排头枕、立柱和/或乘客的半透明的覆盖层或阴影提供到外部摄像机图像上，以产生“透视”效果。
[0041]外部图像传感器和内部图像传感器可包括标准的日间摄像机、夜视摄像机、盲点检测传感器、横向交通警报传感器或者这些的结合。一个或多个摄像机可以选择地基于驾驶员的控制或者自动控制提供可调的焦距(光学地或者通过图像的数字处理)。当使用多个外部摄像机提供较宽的视野时，将单独的图像进行后处理以使得侧面图像与后方图像无缝拼接在一起。在拖车拖拽的情况下，可在拖车的后部安装补充摄像机系统，以获得无遮挡的后方观察。
[0042]图像显示设备可优选地包括安装于后视镜所在的位置或位于其他合适的观察位置的一个或多个LCD屏幕、LED面板或类似的像素化设备。可选地，可使用平视显示器(HUD)将图像投射在挡风玻璃上或投射到安装于与后视镜相似的位置上的反射镜上。
[0043]内部图像传感器或摄像机优选地安装在客厢内的后视显示器上或后视显示器附近以产生作为参照系的后座乘客、后排头枕或车顶立柱的图像。内部图像以使其呈半透明的方式覆盖在后视图像上。因此，向驾驶员呈现了增强现实，该增强现实中显示了与传统后视镜相似的图像，驾驶员可透过该图像中的内部遮挡物看到全部的外部图像，同时仍可观察到内部物体以辅助距离的判断和将它们结合在一个参考系中。
[0044]现参照图1，示出了在挡风玻璃13的顶部、中央区域通过臂11安装至内部车顶内饰板12的传统后视镜10。驾驶员直接通过挡风玻璃13看到道路14的前方景象，以及在镜10中看到车辆后方物体的图像15。图2示出了在后视镜中看到的典型图像15，该图像15包括透过后窗17看到的尾随的车辆16。车顶立柱18和后座乘客19也是可见的，并且他们遮挡了驾驶员的部分后视视野。
[0045]图3示出了来自安装于车辆外部的摄像机的后视摄像机图像20，该图像提供了清晰的且无遮挡的车辆后方的景象的实时画面。图像20经过水平翻转以与驾驶员将会看到的镜像图像相对应。使用多个图像传感器和/或广角镜头可以获得宽的视野。检测到的外部图像的全部或仅一部分可以在显示屏上再现(例如，根据驾驶员的选择)。
[0046]如上面的描述，图3所示的再现的图像缺乏与在使用后视镜时固有地提供给驾驶员的相同的自动参考系。本发明通过使用如图4所示的结合的图像来提供这样的参考系，其中，除了从一个或多个外部图像传感器获得外部图像20以外，同时还通过内部图像传感器获得了车辆内部图像21，内部图像传感器优选地安装在传统后视镜的位置或者后视镜附近。内部图像21中的可见物体包括后窗22、车顶立柱23、车顶面板24、乘客19以及后排座椅和头枕25。诸如后座乘客或头枕(未示出)的其他内部物体和诸如车辆的行李箱盖、道路或附近的车辆(未示出)的外部物体也会通过内部图像传感器感测到。如下所述，如需要，可通过修剪将一些感测到的物体从内部车辆图像上移除。内部图像21经水平翻转以准备与水平翻转的外部后视摄像机图像结合。
[0047]在与外部图像20重叠之前，内部图像21进一步经柔和化修改，以此方式突显在显示设备上显示的合并的图像中的外部图像。特别地，图像20和图像21各自均包括相应的像素。在合并步骤中，内部图像21的至少一些像素映射到外部图像20的相应的像素并与外部图像20的相应的像素聚合。柔和化可包括在将内部图像中的每个像素添加到外部图像中的相应的像素之前降低内部图像中的每个像素的强度。在另一实施例中，内部图像的每个像素的色彩饱和度被降低以柔和化内部图像在最终的合并图像26中的作用。
[0048]内部图像的柔和或“重影”程度可由设计确定或是可设定的。在一个实施例中，其可经由驾驶员通过诸如按钮、触摸屏或声控开关的人机界面(HMI)手动调整。因此，例如，驾驶员可以根据正在进行的对话或对儿童进行监视的需要使乘客的可见度增大或减小。可选地，柔和的程度可以自动变化，例如:1)使得内部图像或者内部图像的一部分的可见度响应于后座乘客正在讲话的检测(例如，通过麦克风)而增大；或2)当显示与外部物体(诸如在碰撞轨迹上的另一车辆)相关的可见警报或增强的外部图像时进一步抑制内部图像。
[0049]除了内部图像的柔和化，将内部图像覆盖在外部图像上的步骤还包括配准步骤，其中，外部图像传感器和内部图像传感器的视野根据预定对准相匹配以使视野匹配。因此，呈现在合并的图像26上的覆盖层27在外部图像20上具有正确的定位，以便外部图像20中的诸如汽车28的物体相对于后窗开口 22在与其在传统后视镜中呈现的位置相同的位置被示出。在内部图像21包括看到的车辆后方的物体的情况下，这些物体的柔和化后的图像同样会被放在合并的图像中以与该物体的在外部图像中的图像相重合。通过观察外部摄像机图像中的物体与相对于通过包含内部图像物体所确定的视线的相对位置，驾驶员对于主车辆与合并的图像中的所有物体的相对位置具有更好的认知。
[0050]图5示出了本发明的装置的一个优选的实施例。后视系统30包括一个或多个外部图像传感器或摄像机31以及内部图像传感器或摄像机32，外部图像传感器或摄像机31和内部图像传感器或摄像机32中的每一个均与图像集成模块33连接。模块33优选地包括微控制器，该微控制器配置用于执行增强现实应用，其中，增强现实应用是可使用诸如ARToolKit和开放源代码的ATOMIC Authoring Tool、以及可向“LimitlessComputing, Inc”公司购买的VYZAR的公知的可用工具进行开发的类型。模块33通过车辆配电和电控系统35连接于图像显示设备34。例如，显示设备34可包括位于传统后视镜位置的LED显示器。也可使用其他种类的显示器(例如LCD显示器或投影显示器)和/或其他位置(例如在仪表板上、在前挡风玻璃区域中的其他位置、或在侧视镜位置)。图像集成模块33和/或电控系统35可通过触摸屏HMI37和/或用户激活开关38与用户或驾驶员36相互作用以选择和/或调节后视系统的各个参数或功能。也可监控车辆点火开关39以根据车辆是否在运转而启用或停用某些调节或功能。
[0051]通过图像集成模块33执行的功能之一是计算和图像处理，图像处理包括水平翻转、图像配准以匹配视野、处理像素值以柔和化内部图像、检测物体以移除或突出显示、以及将具有不同视野的单独的摄像机图像拼接在一起成为集合视野。
[0052]在上述提及的图像修剪中，图像集成模块33识别内部图像中的选定物体以及使内部图像中不含识别的物体的所有部分变成透明的。选定物体优选地可包括诸如车顶立柱和头枕的车辆内部结构以及后座乘客，后座乘客保持可见以使驾驶员可以与乘客维持眼神交流。
[0053]车辆45中的多个摄像机的布局在图6中示出。图像显示设备46安装于挡风玻璃47的顶部、中间的与传统后视镜的位置对应的位置。内部图像传感器48可与设备46实体地结合在一起，或者内部图像传感器48可位于设备46上或位于设备46附近，以根据内部视野50获得车辆内部图像。尽管可以使用诸如顶置控制台或前座头枕的后侧的其他位置，但是传感器48的位置距离传统后视镜位置越近，给予驾驶员的参考系就越好。
[0054]第一外部图像传感器51设置于车辆45后部的中央位置以获得外部视野52。为了提供更大覆盖范围的集合视野，可在车辆46的后角设置附加的外部图像传感器53和54，从而根据视野55和56获得单独的外部图像。使用安装于侧视镜或车门的外部传感器57和58可进一步增加侧面的外部视野，其中，外部传感器57和58具有相应的视野60和61。图7示出了又一来自安装于侧面的外部图像传感器的向外侧定向的视野，以产生外部图像62。然后外部图像62可例如通过图像集成模块与来自其他图像传感器的其他外部图像拼接在一起。
[0055]图8示出了一个实施例，其中，居中的、外部视野65对应于安装于中央的外部摄像机，区域66和67对应于来自安装于后角的外部传感器的左视野和右视野。传感器可布置成使得视野之间在区域68和69处存在重叠部分。虚线框70示出了基于内部图像传感器的特定位置，安装于内部的图像传感器的视野与视野65-67相重合的位置。在内部图像传感器安装于活动的显示器(类似于可调节的后视镜)以便改变其观察方向的情况下，可提供多种方法以确定内部视野70的相对于外部传感器的视野65-67的对应位置。
[0056]在最简单的实施例中，可以固定所有图像传感器并且来自每个图像传感器的图像始终映射到显示设备上的同一位置。在其他的实施例中，显示的内容可进行摇拍或者缩放以追踪感兴趣的区域。因此，如图9所示，所有图像传感器的可得到的集合视野中的可见区域71可被识别，用于在图像显示设备上再现。选定部分71可通过驾驶员使用图5中示出的HMI来确定；或者可通过在后视系统或另一车辆电控系统中的控制器根据当如驾驶情况自动地确定。选定的图像和相应的驾驶状态可包括I)倒车时的中央图像；2)检测到变换车道时的左转向图像或右转向图像；以及3)宽度可变(例如，放大)的图像，其中，视野角度随着前进速度的增加变得越来越窄。
[0057]在配准步骤中，外部图像传感器和内部图像传感器的视野可被固定。在此情况下，图像的配准或图像的预设对准可包括存储在图像集成模块33中的固定映射。在有可选择的或者可转向的来自外部图像传感器的所需视觉图像的视野的情况下，则内部图像传感器的视野恰当地映射在所需的可见区域上以用于合并内部图像和外部图像。
[0058]图像集成模块33也可配置为将位置参考标记覆盖于合并的图像上。因此，如图9所示，参考标记72映射至合并的图像上的一个位置以与车辆中央后方的固定距离对应。这为驾驶员提供了更加精确的参考系。
[0059]如上所描述的后视系统可与其他车辆系统结合以获得附加的益处。例如，可以应用碰撞警报系统，该系统通过监测附近车辆的速度和轨迹检测处于主车辆的碰撞路径上的其他车辆。可能碰撞的车辆会在合并的图像上突出显示。也可以以声音警示的方式向驾驶员报警。
[0060]后视系统可实现的另一功能是车道变换“进行/不进行”系统。当驾驶员开始执行车道变换时，通过图像处理器检查来自外部摄像机的图像以确定是否目标道路空间无车辆阻碍(包括接近该道路空间的车辆的行驶路线)。如果驾驶员输入(方向盘角、车体转向角度、车速等)被计算以使车辆驶入未表明无阻碍的道路空间，那么将启动不同程度的驾驶员反馈，例如在显示器上将任何可能妨碍变换车道的车辆突出显示(例如增加轮廓、警告箭头或闪烁的图像)。
[0061]本发明可优选地包括减少眩光的功能。在夜间驾驶过程中，可检测前照灯眩光并局部地变暗，同时能够保持图像的其余部分尽可能可见，而不是将整个图像变暗。也可使用基于局部化的假像的其他图像处理功能，例如纠正由雨滴引起的失真。
[0062]夜间驾驶也可包括夜视功能。可使用夜视摄像机(例如，红外线摄像机)以提供比日间摄像机更好的图片，或结合使用以增强图像。因此，外部图像可能本身为合成图像，该合成图像使用来自多个传感器(例如日间摄像机、热成像摄影机和/或红外摄像机)的重叠图像以增加外部景象的可见性。
[0063]本发明可包括快速清洁功能以去除外部摄像机镜头上的湿气、雪和冰。由于需要清洁或除霜的表面更小了，所以可以非常快速地恢复后部图像。用于清洁镜头的机械装置包括清洁器、微型雨刷和加热元件。此外，摄像机可以安装于车辆的空气动力学自然地保持镜头更干净的位置。
[0064]尽管本发明已经描述为代替驾驶员的后视镜，其也可与用于其他车辆乘客(例如后座乘客)的外部观察系统结合使用。用于后座乘客的外部图像可来自前视摄像机或后视摄像机(并且内部图像可优选地指向相同方向)。
【权利要求】
1.一种用于机动车辆的后视系统，包括: 安装用于驾驶员观察的图像显示器； 具有第一视野并用于获得指向所述车辆外部的第一图像的外部图像传感器； 具有第二视野并用于获得指向所述车辆内部的第二图像的内部图像传感器；以及 根据所述第一视野和所述第二视野的预定对准合并所述第一图像和所述第二图像的图像集成器，其中，所述第二图像在合并的图像中被柔和化以便所述第一图像在所述图像显示器上显示时被突出显示。
2.根据权利要求1所述的系统，其中，所述图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。
3.根据权利要求2所述的系统，其中，所述内部图像传感器与所述图像显示器结合在一起。
4.根据权利要求1所述的系统，其中，所述图像显示器包括IXD屏幕。
5.根据权利要求1所述的系统，其中，所述图像集成器包括增强现实应用。
6.根据权利要求1所述的系统，其中，所述第一图像和所述第二图像包括各自的像素，并且所述第二图像的柔和化包括降低所述第二图像的像素作用于所述合并的图像的强度。
7.根据权利要求1所述的系统，其中，所述第一图像和所述第二图像包括各自的像素，并且所述第二图像的柔和化包括降低所述第二图像的像素的饱和度。
8.根据权利要求1所述的系统，其中，所述第二图像的柔和化程度可调。
9.根据权利要求1所述的系统，其中，所述第二图像的柔和化包括使部分所述第二图像变成透明的。
10.根据权利要求9所述的系统，其中，所述图像集成器在所述第二图像中识别选定物体，并且透明的部分包括所述第二图像中不含被识别物体的所有部分。
11.根据权利要求1所述的系统，其中，所述第一视野和所述第二视野是固定的。
12.根据权利要求1所述的系统，其中，所述第一视野相对于所述车辆可转向，所述第一视野限定了将在所述图像显示器上示出的可见区域，所述第二视野映射到所述第一视野上以将所述第二图像与所述第一图像合并。
13.根据权利要求12所述的系统，还包括: 提供集合视野的多个外部图像传感器；以及 用于在所述集合视野中选择所述第一视野的用户HMI。
14.根据权利要求12所述的系统，还包括: 提供集合视野的多个外部图像传感器；以及 用于响应于所述车辆的驾驶状态确定所述集合视野中的所述第一视野的自动视野选择器。
15.根据权利要求1所述的系统，其中，所述图像集成器修改所述第一图像、所述第二图像或所述合并的图像中的一个，以编码关于在该图像中检测到的物体的信息。
16.根据权利要求1所述的系统，其中，所述图像集成器将位置参考标记覆盖在所述合并的图像中。
17.一种将后视信息显示给车辆的驾驶员的方法，包括: 获得指向所述驾驶员后方的车辆内部图像； 获得指向所述车辆后方的车辆外部图像； 根据预定对准合并这些图像；以及 将合并的图像显示在安装用于所述驾驶员观察的显示器上。
18.根据权利要求17所述的方法，其中，所述显示器靠近所述车辆的前挡风玻璃安装。
19.根据权利要求17所述的方法，还包括步骤: 柔和化所述合并的图像中的所述内部图像，以便在所述合并的图像中突出显示所述外部图像。
20.根据权利要求19所述的方法，其中，所述内部图像和所述外部图像包括各自的像素，并且所述内部图像的柔和化包括:降低所述内部图像的像素作用于所述合并的图像的强度。
21.根据权利要求17所述的方法，其中，所述图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。
【文档编号】B60R1/04GK104163133SQ201410174627
【公开日】2014年11月26日 申请日期:2014年4月28日 优先权日:2013年5月16日
【发明者】马克·G.·沃伊塔塞克, 迈克尔·J.·米勒, 卡拉·A.·盖尔, 理查德·A.·克雷德尔, 玛丽·C.·斯皮思 申请人:福特环球技术公司