自适应后视显示的制作方法

本公开总体上涉及具有后视摄像机的车辆，并且更具体地，涉及一种自适应后视显示。

背景技术：

越来越多的车辆被制造具有在车辆后方提供视域的倒车摄像机。这些摄像机可以帮助驾驶员在车辆倒车或停车时避开障碍物。这些车辆在中央控制台或后视镜的一部分上具有显示器。通常，当车辆向前移动时，倒车摄像机关闭且中央控制台显示信息娱乐系统的界面。

技术实现要素：

所附权利要求限定了本申请。本公开总结了实施例的各方面，并且不应用于限制权利要求。根据本文所描述的技术，可预期其他实现方式，这对于本领域普通技术人员通过查阅以下附图和详细描述将是显而易见的，并且这些实施方式旨在在本申请的范围内。

公开了提供自适应后视显示的示例实施例。所公开示例性第一车辆包括后视摄像机和自适应显示控制器。示例性自适应显示控制器使用距离检测传感器确定第一车辆后面的第二车辆的跟随时间。示例自适应显示控制器还用于确定与第一车辆的用户相关联的工作负荷估计。此外，当第一车辆向前移动时，自适应显示控制器基于跟随时间和工作负荷估计来选择性地显示来自后视摄像机的视频。

向驾驶员提供在第一车辆后面的视域的示例性方法包括确定第一车辆后面的第二车辆的跟随时间。第二车辆由距离检测传感器检测。示例性方法还包括确定与第一车辆的用户相关联的工作负荷估计。此外，当第一车辆向前移动时，基于跟随时间和工作负荷估计选择性地显示来自后视摄像机的视频。

一种有形计算机可读介质包含指令，该指令在执行时使第一车辆确定第一车辆后面的第二车辆的跟随时间。第二车辆由距离检测传感器检测。该指令使得所述第一车辆确定与所述第一车辆的用户相关联的工作负荷估计。此外，当第一车辆向前移动时，指令使得第一车辆基于跟随时间和工作负荷估计选择性地显示来自后视摄像机的视频。

附图说明

为了更好地理解本发明，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在某些情况下可能会夸大其中的比例，以便强调并清楚地说明本文所描述的新颖特征。此外，如本领域已知的，系统部件可以进行不同地设置。此外，在附图中，在几个附图中相同的附图标记表示相应的部件。

图1是根据本公开的教导操作的车辆的俯视图；

图2是图1的车辆的电子部件的框图；

图3是图1和图2的自适应显示控制器的框图；

图4是提供可由图2的电子部件实现的自适应后视显示的示例性方法的流程图。

具体实施方式

虽然本发明可以以各种形式实施，但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例，同时理解本公开被认为是本发明的示例，并且不意图将本发明限制于所示的具体实施例。

车辆(例如，小轿车、卡车、厢式货车等)装备有后视摄像机。车辆还配备有检测车辆附近的其他物体(例如其他车辆)的距离检测传感器(例如，超声波传感器、摄像机、radar(雷达)、lidar(激光雷达)等)。在车辆向前移动的情况下，会向驾驶员呈现驾驶员想看到的在车后方的情况。然而，后窗可以被例如雪、冷凝、内部障碍物(例如，货物区域中的大物品)和/或乘客暂时堵塞。如下面更详细地讨论的，当车辆向前移动时，来自后视摄像机的图像被显示给驾驶员。自适应显示控制器(a)根据需要和/或(b)在自适应显示控制器确定驾驶员应该查看图像的情况下显示图像。

图1是根据本公开的教导操作的车辆100的俯视图。在所示示例中，附近的车辆102接近或尾随车辆100(有时称为“自适应观察车辆”)。当附近的车辆102和自适应观察车辆100之间的距离(d)小于附近的车辆102的停止距离时，附近的车辆102是正在尾随的。车辆100可以是标准汽油动力车辆、混合动力车辆、电动车辆、燃料电池车辆或任何其他移动性实施方式类型的车辆。车辆100可以是非自主的、半自主的或自主的。车辆100包括与移动性有关的部件，例如具有发动机、变速器、悬架、驱动轴和/或车轮等的动力传动系统。自适应观察车辆100包括后视摄像机104、距离检测传感器106、信息娱乐主机单元108、转向控制单元110、节气门控制单元112、制动控制单元114和自适应显示控制器116。

后视摄像机104提供指向自适应观察车辆100后面的视频图像。后视摄像机104定位成查看自适应观察车辆后方，并且例如安装在靠近后牌照、后扩散器或第三制动灯。距离检测传感器106位于自适应观察车辆100上以检测沿着自适应观察车辆100的后弧的范围内的物体。在一些示例中，距离检测传感器106安装到自适应观察车辆的后保险杠。在一些示例中，距离检测传感器106是使用高频声波来检测附近的车辆102的超声波传感器。

信息娱乐主机单元108提供自适应观察车辆100和用户(例如，驾驶员、乘客等)之间的界面。信息娱乐主机单元108包括用于接收来自用户的输入和显示信息的数字和/或模拟界面(例如，输入设备和输出设备)。输入设备可以包括例如控制旋钮、仪表板、用于图像捕获和/或视觉命令识别的数字照相机、触摸屏、音频输入设备(例如，客舱麦克风)、按钮或触摸板。输出设备可以包括组合仪表输出(例如，拨号盘、照明设备)、致动器、仪表板面板、抬头显示器、中央控制台显示器(例如，液晶显示器(liquidcrystaldisplay，“lcd”)、有机发光二极管(organiclightemittingdiode，“oled”)显示器、平板显示器、固态显示器或抬头显示器)和/或扬声器。信息娱乐主机单元108可通信地连接到后视摄像机104。在一些示例中，来自后视摄像机104的图像显示在信息娱乐主机单元108的中央控制台显示器上。在一些示例中，来自后视摄像机104的图像被显示在后视镜(未示出)的部分上。

转向控制单元110是包括用于检测转向柱的位置和扭矩的传感器的机电装置。节气门控制单元112将加速器踏板电连接到自适应观察车辆的节气门。节气门控制单元112包括用于检测加速器踏板的位置的传感器。制动控制单元114将制动踏板电连接到自适应观察车辆100的制动系统。制动控制单元114可以包括防抱死制动控制系统和/或牵引力控制系统。制动控制单元114包括用于检测制动踏板的位置的传感器。在一些示例中，制动控制单元114通信地连接到车轮转速传感器。

如结合图3所讨论的，自适应显示控制器116在自适应观察车辆100向前移动的同时确定何时显示由后视摄像机104拍摄的图像。为了确定是否显示由后视摄像机104拍摄的图像，自适应显示控制器116使用距离检测传感器106收集的数据来分析(i)附近车辆102的速度和加速度，以及(ii)附近车辆102和自适应观察车辆100之间的距离(d)。另外，自适应显示控制器116分析驾驶员的活动水平以确定驾驶员当前是否从事可能影响驾驶员集中精神的驾驶操纵。自适应显示控制器116在(a)自适应显示控制器116检测到附近的车辆102正在危险地动作(例如，正在尾随、快速接近自适应观察车辆等)时显示由后视摄像机104拍摄的图像。在一些示例中，自适应显示控制器116当显示由后视摄像机104拍摄的图像时提供可听见的警告。此外，在一些示例中，驾驶员可以经由例如信息娱乐主机单元108上的按钮和/或触摸屏、语音命令和/或方向盘上的按钮来请求由后视摄像机104捕获的图像。

图2是图1的自适应观察车辆100的电子部件200的框图。电子部件200包括示例性车载通信平台202、示例性信息娱乐主机单元108、车载计算平台204、示例性传感器206、示例性电子控制单元(electroniccontrolunit，ecu)208、第一车辆数据总线210和第二车辆数据总线212。

车载通信平台202包括用于实现与外部网络的通信的有线或无线网络接口。车载通信平台202还包括用于控制有线或无线网络接口的硬件(例如，处理器、内存、存储器、天线等)和软件。例如，车载通信平台202可以包括集成用于基于标准的网络的控制器的蜂窝调制解调器(例如，全球移动通信系统(globalsystemformobilecommunication，gsm)、通用移动通信系统(universalmobiletelecommunicationssystem，umts)、长期演进技术(longtermevolution，lte)、码分多址技术(codedivisionmultipleaccess，cdma)，wimax(全球微波互联接入)(ieee802.16m)和无线千兆(ieee802.11ad)等)。车载通信平台202还可以包括用于无线局域网的一个或多个控制器，例如(无线保真)控制器(包括ieee802.11a/b/g/n/ac或其他)、(蓝牙，bt)控制器(基于由蓝牙技术联盟维护的核心规范)和/或(紫蜂)控制器(ieee802.15.4)和/或近场通信(nearfieldcommunication，nfc)控制器等。此外，外部网络可以是如互联网的公共网络、如内联网的私有网络或其组合，并且可以利用现在可用或稍后开发的各种网络协议，包括但不限于基于tcp/ip的网络协议。车载通信平台202还可以包括用于实现与电子设备(例如智能电话、平板电脑、笔记本电脑等)的直接通信的有线或无线接口。

车载计算平台204包括处理器(mcu)或控制器214、内存216和存储器218。在一些示例中，车载计算平台204被构造为包括自适应显示控制器116。或者，在一些示例中，自适应显示控制器116可以结合到具有自己的处理器和内存的ecu208中。处理器或控制器214可以是任何合适的处理设备或一组处理设备，例如但不限于：微处理器、基于微控制器的平台、合适的集成电路、一个或多个现场可编程门阵列(fieldprogrammablegatearray，fpga)和/或一个或多个专用集成电路(application-specificintegratedcircuit，asic)。内存216可以是易失性存储器(例如，ram(随机存取存储器)，其可以包括非易失性ram、磁性ram、铁电ram和任何其它合适的形式)、非易失性存储器(例如，盘存储器、闪速存储器、eprom(电可编程只读存储器)、eeprom(电可擦除可编程只读存储器)、基于忆阻器的非易失性固态存储器等)、不可变存储器(例如eprom)和只读存储器。在一些示例中，内存216包括多种存储器，特别是易失性存储器和非易失性存储器。存储器218可以包括任何高容量存储设备，例如硬盘驱动器和/或固态驱动器。

内存216和存储器218是在其上可以嵌入一组或多组指令的计算机可读介质，指令诸如为用于操作本公开的方法的软件。指令可以体现本文所述的一种或多种方法或逻辑。在特定实施例中，指令可以在执行指令期间完全或至少部分地驻留在内存216、计算机可读介质中的任何一个或多个内部和/或在处理器214内。

术语“非暂时性计算机可读介质”和“计算机可读介质”应理解为包括单个介质或多个介质，例如集中式或分布式数据库，和/或存储一组或多组指令的相关联的高速缓存和服务器。术语“非暂时性计算机可读介质”和“计算机可读介质”还包括能够存储、编码或携带用于由处理器执行的指令集或使系统执行任何一种或更多的本文公开的方法或操作的任何有形介质。如本文所使用的，术语“计算机可读介质”被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘并排除传播信号。

传感器206可以以任何合适的方式设置在自适应观察车辆100中和周围。在所示的示例中，传感器206包括后视摄像机104和距离检测传感器106。距离检测传感器106可以是检测车辆附近的物体(例如附近车辆102)的任何合适的传感器，例如超声波传感器、radar传感器、lidar传感器和/或摄像机等。

ecu208监视和控制自适应观察车辆100的系统。ecu208经由第一车辆数据总线210进行通信和交换信息。另外，ecu208可以传送属性(例如，ecu208的状态、传感器读数、控制状态、错误和诊断代码等)和/或接收来自其他ecu208的请求。一些车辆100可以具有位于车辆100周围的各个位置的通过第一车辆数据总线210通信地连接的七十个或更多个ecu208。ecu208是包括它们自己的电路(诸如集成电路、微处理器、内存、存储器等)和固件、传感器、致动器和/或安装硬件的离散电子器件集。在所示示例中，ecu208包括转向控制单元110、节气门控制单元112和制动控制单元114。

第一车辆数据总线210通信地连接传感器206、ecu208、车载计算平台204以及连接到第一车辆数据总线210的其他设备。在一些示例中，第一车辆数据总线210是根据国际标准组织(internationalstandardsorganization，iso)11898-1定义的控制器局域网(controllerareanetwork，can)总线协议实现。或者，在一些示例中，第一车辆数据总线210可以是面向媒体的系统传输(mediaorientedsystemstransport，most)总线或can灵活数据(canflexibledata，can-fd)总线(iso11898-7)。第二车辆数据总线212通信地连接车载通信平台202、信息娱乐主机单元108和车载计算平台204。第二车辆数据总线212可以是most总线，can-fd总线或以太网总线。在一些示例中，车载计算平台204通信地隔离第一车辆数据总线210和第二车辆数据总线212(例如，经由防火墙、消息代理等)。或者，在一些示例中，第一车辆数据总线210和第二车辆数据总线212是相同的数据总线。

图3是图1和图2的自适应显示控制器116的框图。自适应显示控制器116在自适应观察车辆100向前移动的同时确定何时由信息娱乐主机单元108显示由后视摄像机104拍摄的图像。在所示示例中，自适应显示控制器116包括车辆评估分类器302、驾驶员活动分析器304和感知判定器306。

车辆评估分类器302提供自适应观察车辆100后面的附近车辆102的情境感知。车辆评估分类器302通信地连接到距离检测传感器106。使用距离检测传感器106、车辆评估分类器302确定(例如，计算)自适应观察车辆100后面的附近车辆102的速度和距离(d)。车辆评估分类器302计算在自适应观察车辆100后面的附近车辆102的跟随时间(ft)。车辆评估分类器302根据下面的等式(1)计算跟随时间(ft)。

在上述等式(1)中，k是时间上的一个实例，距离(k)是在时刻k车辆100之后的附近车辆102和车辆100之间的距离，速度(k)是附近车辆102在时间k的速度，α是最小允许速度。在一些实例中，α为1.5米/秒。例如，如果自适应观察车辆100和附近车辆102之间的距离为7米(23英尺)，并且附近车辆的速度为15.6米/秒(35英里每小时)，则跟随时间(ft)可以为0.45秒。在一些示例中，当跟随时间(ft)小于1.0秒时，附近车辆102被分类为跟随。车辆评估分类器302随时(例如，周期性、非周期性等)确定跟随时间(ft)。例如，车辆评估分类器302可以每半秒确定跟随时间(ft)。作为另一示例，车辆评估分类器302可以响应于检测到自适应观察车辆100后面的附近车辆102而每秒确定跟随时间(ft)。

驾驶员活动分析器304提供自适应观察车辆100的驾驶员的工作负荷估计。驾驶员活动分析器304提供表征驾驶员当驾驶车辆时的视觉、身体和认知需求的值范围(例如，从0到1)。高工作负荷估计意味着驾驶员从事驾驶行为(例如，改变车道、转弯、行驶道路曲线等)，并且可能没有视觉、身体和/或认知能力来处理另一项信息(例如，从信息娱乐主机单元108上显示的后视摄像机104拍摄的图像等)。在所示的示例中，驾驶员活动分析器304通信地连接到转向控制单元110、节气门控制单元112和制动控制单元114。在一些示例中，驾驶员活动分析器304基于(a)自适应观察车辆100的平均速度、(b)自适应观察车辆100的最大速度、(c)自适应观察车辆100与自适应观察车辆100前方的车辆之间的平均间隙时间、(d)自适应观察车辆100和自适应观察车辆100之前的车辆之间的最小间隙时间、(e)制动反应时间(例如，识别道路上的危险与制动器的实施之间的时间量)、(f)制动冲击(brakejerk)、(g)方向盘反转速率、(h)与信息娱乐主机单元和/或方向盘控制的交互、(i)交通密度和/或(j)驾驶位置等的工作负荷估计。在美国专利号为8,924,079、标题为“用于根据驾驶员工作负荷调度驾驶员界面任务的系统和方法”中描述了确定工作负荷估计的示例，其全部内容通过引用并入本文。

感知判定器306接收来自驾驶员评估分类器302的跟随时间(ft)和接收来自驾驶员活动分析器304的工作负荷估计。基于跟随时间(ft)、工作负荷估计以及在一些示例中来自驾驶员的输入，感知判定器306确定是否在信息娱乐主机单元108上显示由后视摄像机104拍摄的图像。在一些示例中，驾驶员根据需要请求查看(例如，经由方向盘、经由信息娱乐主机单元108等)由后视摄像机104拍摄的图像，而不需要感知判定器306分析跟随时间(ft)和工作负荷估计。此外，在一些示例中，驾驶员启用或禁用(例如，经由方向盘、经由信息娱乐主机单元108等)感知判定器306。在这样的示例中，如果感知判定器306被禁用，则感知判定器306不显示由信息娱乐主机单元108上的后视摄像机104拍摄的图像。如果感知判定器306被启用，则感知判定器306将跟随时间(ft)与跟随接近阈值(λ)和将工作负载估计与驾驶员活动阈值(δ)进行比较。当(i)跟随时间(ft)满足(例如，小于或等于)跟随接近阈值(λ)和(ii)工作负荷估计满足(例如，小于或等于)驾驶员活动阈值(δ)时，感知判定器306显示由信息娱乐主机单元108上的后视摄像机104捕获的图像。在一些示例中，跟随接近阈值(λ)为1.0秒。在一些示例中，驾驶员活动阈值(δ)为0.4。

响应于满足跟随接近阈值(λ)的跟随时间(ft)和满足驾驶员活动阈值(δ)的工作负荷估计，感知判定器306将正在被后视摄像机捕获的图像显示在信息娱乐主机单元108上。在一些示例中，感知判定器306显示可配置持续时间(例如，一秒、两秒、三秒等)的图像。或者，在一些示例中，当跟随时间(ft)满足跟随接近阈值(λ)并且工作负荷估计满足驾驶员活动阈值(δ)时，感知判定器306显示图像。在一些示例中，当驾驶员根据需要请求图像时，感知判定器306将图像显示等于瞥向后视镜的相当平均时间的持续时间(例如，一秒、两秒等等，其中可以例如通过自适应观察车辆100的客舱中的摄像机来确定或者可以基于统计平均值)。

图4是提供可由图2的电子部件200实现的自适应后视显示的示例性方法的流程图。车辆评估分类器302最初在框402处从距离检测传感器106获得信息。在框404中，车辆评估分类器302基于在框402处接收到的信息来确定跟随时间(ft)。在框406中，驾驶员活动分析器304访问自适应观察车辆100的驾驶员的工作负荷估计。在框408中，确定跟随时间(ft)是否满足跟随接近阈值(λ)，并且工作负荷(wl)估计是否满足驾驶员活动阈值(δ)。在一些示例中，感知判定器306还确定驾驶员是否启用了自适应显示控制器116和/或驾驶员是否根据需要请求了后视摄像机104的输出。如果跟随时间(ft)满足跟随接近阈值(λ)并且工作负荷估计满足驾驶员活动阈值(δ)，则在框410中感知判定器306将后视摄像机104的输出显示在信息娱乐主机单元108上。

图4的流程图是可以由包含一个或多个程序的机器可读指令来实现的方法，当由处理器(诸如图2的处理器214)执行时，该程序引起自适应观察车辆100执行图1、2和3的自适应显示控制器116。此外，尽管参考图4所示的流程图描述了示例程序，可替代地可以使用实现示例性自适应显示控制器116的许多其它方法。例如，可以改变框的执行顺序和/或可以改变、消除或组合描述的框中的某些。

在本申请中，反意连接词的使用旨在包括连接。使用定冠词或不定冠词不是要表示基数。特别地，对“所述(the)”对象或“一个(a)”和“一个(an)”对象的指示也意图表示可能的多个这样的对象中的一个。此外，连接词“或”可以用于传达同时存在的特征而不是相互排斥的替代。换句话说，连词“或”应该被理解为包括“和/或”。“包括(includes)”、“包括(including)”和“包括(include)”是包容性的，且分别与“包含(comprises)”、“包含(comprising)”和“包含(comprise)”范围相同。

上述实施例，特别是任何“优选”实施例是实施方式的可能示例，并且仅为了清楚地理解本发明的原理而提出。可以在不实质脱离本文所描述的技术的精神和原理的情况下对上述实施例进行许多变化和修改。所有修改旨在被包括在本公开的范围内并由所附权利要求保护。