驾驶员辅助设备和具有该驾驶员辅助设备的车辆的制作方法

本发明涉及驾驶员辅助设备以及具有该驾驶员辅助设备的车辆。

背景技术：

车辆是在期望的方向运输其中乘坐的用户的设备。车辆的代表性示例可为汽车。

根据所使用的马达的类型，车辆包括内燃机车辆、外燃机车辆、燃气涡轮车辆、电动车辆等。

电动车辆是指利用电能来驱动电动马达的车辆，包括纯电动车辆、混合电动车辆(hev)、插电式混合电动车辆(phev)、燃料电池电动车辆(fcev)等。

近来，为了驾驶员或行人的安全或方便已积极开发了智能车辆。

智能车辆是使用信息技术(it)的高级车辆。智能车辆通过高级车辆系统的引入并且经由与智能交通系统(its)的关联来提供最优交通效率。

另外，已积极进行了对安装在这种智能车辆中的传感器的研究。更具体地讲，相机、红外传感器、雷达、全球定位系统(gps)、激光雷达(lidar)、陀螺仪等用于智能车辆。其中，相机是起到人眼的作用的重要传感器。

因此，随着各种传感器和电子设备的开发，包括用于辅助用户的驾驶并且改进驾驶安全性和便利性的驾驶员辅助功能(通常称作“高级驾驶员辅助系统(adas)”)的车辆吸引了相当的关注。具体地讲，已开发出利用所开发的传感器监测车辆的内部情况和外部情况并且通过图形图像和声音将所监测的信息提供给用户以辅助用户驾驶的驾驶员辅助设备。

然而，存在这样的问题：根据车辆的内部和外部的各种情况(也被称作车辆内部情况和外部情况)，驾驶员辅助设备的声音指导可能很难被用户识别。另外，存在这样的问题：驾驶员辅助设备的图像指导降低了驾驶员的前向观察专注度，导致安全风险。

技术实现要素：

实施方式提供了一种根据车辆的内部情况和外部情况通过最优方法提供驾驶员辅助信息的车辆驾驶员辅助设备以及具有该车辆驾驶员辅助设备的车辆。

为了实现这些和其它优点并且根据本说明书的目的，如本文具体实现并广义描述的，提供了一种车辆驾驶辅助设备，该车辆驾驶辅助设备包括：输出单元，该输出单元包括被配置为输出音频通知的音频输出单元以及被配置为显示视觉图像的显示单元；监测单元，该监测单元被配置为监测车辆的内部状态并且从所述内部状态获得车辆内部信息；相机，该相机被配置为拍摄所述车辆的外部视图并且从所述外部视图获得车辆外部信息；以及处理器，该处理器被配置为：(i)基于所述车辆内部信息和所述车辆外部信息从包括一般指导模式、显示指导模式和声音指导模式在内的多个指导模式中确定第一指导模式，并且(ii)向所述输出单元提供与所述第一指导模式关联的驾驶辅助信息，其中，所述驾驶辅助信息被设置有通过所述显示单元显示的一个或更多个视觉图像以及通过所述音频输出单元输出的一个或更多个音频通知。

在本文所公开的示例性实施方式中，所述处理器被配置为：确定所述第一指导模式是否为所述显示指导模式或所述声音指导模式，并且基于对所述第一指导模式是所述显示指导模式或所述声音指导模式的确定，改变所述一个或更多个视觉图像的数量以及所述一个或更多个音频通知的数量。

在本文所公开的示例性实施方式中，所述处理器被配置为：确定所述第一指导模式是否为所述显示指导模式，并且基于对所述第一指导模式是所述显示指导模式的确定，改变各个视觉图像的形状、大小、色调、类型、亮度或饱和度。

在本文所公开的示例性实施方式中，该车辆驾驶辅助设备还包括存储器，该存储器被配置为存储将所述车辆内部信息和所述车辆外部信息与所述多个指导模式关联的数据，其中，所述处理器被配置为基于所述数据从所述多个指导模式中确定所述第一指导模式。

在本文所公开的示例性实施方式中，所述处理器被配置为：基于至少所述车辆内部信息来确定车辆内部噪声、用户行为信息和乘客行为信息，并且基于所述车辆内部噪声、所述用户行为信息和所述乘客行为信息来将所述第一指导模式确定为所述显示指导模式。

在本文所公开的示例性实施方式中，所述处理器被配置为：基于所述车辆内部信息和所述车辆外部信息来确定外部对象信息、外部天气信息和驾驶员状态信息，并且基于所述外部对象信息、所述外部天气信息和所述驾驶员状态信息来将所述第一指导模式确定为所述声音指导模式。

在本文所公开的示例性实施方式中，该车辆驾驶辅助设备还包括被配置为接收用户输入的输入单元，其中，所述处理器被配置为基于所述用户输入从所述多个指导模式中确定所述第一指导模式。

在本文所公开的示例性实施方式中，所述驾驶辅助信息包括导航信息、交通信息、通信信息、车辆状态信息、高级驾驶辅助系统adas信息或驾驶员便利信息，并且所述处理器被配置为基于对所述第一指导模式的确定来确定所述一个或更多个视觉图像的数量以及所述一个或更多个音频通知的数量。

在本文所公开的示例性实施方式中，所述处理器被配置为：确定所述第一指导模式是否为所述显示指导模式，并且基于对所述第一指导模式是所述显示指导模式的确定，在驾驶员与乘客之间传送语音或图像。

在本文所公开的示例性实施方式中，所述语音是由位于所述车辆的后座的乘客发出的，所述图像是通过朝着副驾驶座或所述后座拍摄视图来获得的。

在本文所公开的示例性实施方式中，所述处理器被配置为：确定所述第一指导模式是否为所述显示指导模式，并且朝着驾驶员改变所述一个或更多个音频通知的方向。

在本文所公开的示例性实施方式中，所述监测单元包括测量车辆内部噪声的麦克风，并且所述处理器被配置为基于所述车辆内部噪声来将所述第一指导模式确定为所述显示指导模式。

在本文所公开的示例性实施方式中，所述处理器被配置为基于对所述第一指导模式的确定来改变所述一个或更多个视觉图像的数量以及所述一个或更多个音频通知的数量。

在本文所公开的示例性实施方式中，所述处理器被配置为：确定所述驾驶辅助信息是否为包括导航信息、交通信息、通信信息和车辆状态信息在内的用户便利信息，并且基于对所述驾驶辅助信息是所述用户便利信息的确定，将针对包括导航信息、交通信息、通信信息和车辆状态信息在内的所述用户便利信息提供的所述一个或更多个音频通知静音。

在本文所公开的示例性实施方式中，该车辆驾驶辅助设备还包括被配置为监测所述车辆的外部区域的一个或更多个传感器，其中，所述处理器被配置为：获得包括自动紧急制动信息、盲点检测信息、前方防撞信息、路口交通警示信息和停车辅助信息在内的紧急辅助信息，并且基于所述紧急辅助信息，增大所述一个或更多个音频通知的音量。

在本文所公开的示例性实施方式中，所述处理器被配置为将所述一个或更多个视觉图像作为文本提供。

在本文所公开的示例性实施方式中，所述处理器被配置为：确定所述第一指导模式是否被切换为所述显示指导模式，并且基于对所述第一指导模式被切换为所述显示指导模式的确定，改变各个视觉图像的形状、大小、色调、类型、亮度或饱和度。

在本文所公开的示例性实施方式中，该车辆驾驶辅助设备还包括监测所述车辆的外部区域的一个或更多个传感器，其中，所述处理器被配置为：获得包括自动紧急制动信息、盲点检测信息、前方防撞信息、路口交通警示信息和停车辅助信息在内的紧急辅助信息，并且扩大所述车辆的所述外部区域以用于监测。

在本文所公开的示例性实施方式中，所述处理器被配置为：从所述车辆外部信息获得外部对象信息，并且基于所述外部对象信息，确定所述第一指导模式是否为所述声音指导模式。

在本文所公开的示例性实施方式中，所述处理器被配置为改变所述一个或更多个视觉图像的数量以及所述一个或更多个音频通知的数量。

在本文所公开的示例性实施方式中，所述处理器被配置为：确定所述第一指导模式是否为所述声音指导模式，并且基于对所述第一指导模式是所述声音指导模式的确定，改变各个音频通知的音量或方向。

实施方式提供了具有上述驾驶员辅助设备的车辆。

附图说明

图1是示出根据本发明的实施方式的具有驾驶员辅助设备的车辆的外观的示图。

图2是根据本发明的实施方式的驾驶员辅助设备的框图。

图3是根据本发明的实施方式的具有驾驶员辅助设备的车辆的平面图。

图4是示出根据本发明的实施方式的相机的示例的示图。

图5和图6是示出根据本发明的实施方式的从相机的图像生成图像信息的方法的示例的示图。

图7是示出根据本发明的实施方式的具有驾驶员辅助设备的车辆的内部的示图。

图8是根据本发明的实施方式的在车辆驾驶员辅助设备中提供显示指导模式功能的处理的流程图。

图9是描述根据本发明的实施方式的执行显示指导模式的情况的示图。

图10是描述根据本发明的实施方式的显示指导模式的输出方法的流程图。

图11是描述根据本发明的实施方式的一般指导模式的输出方法的示图。

图12a和图12b是描述根据本发明的实施方式的贯穿显示指导模式的输出方法的改变的示图。

图13a、图13b和图13c是示出根据本发明的实施方式的改变为显示指导模式的输出方法的处理的示图。

图14是示出根据本发明的实施方式的显示指导模式的示例的示图。

图15a和图15b是示出根据本发明的实施方式的显示指导模式的另一示例的示图。

图16a和图16b是示出根据本发明的实施方式的显示指导模式的另一示例的示图。

图17a和图17b是示出根据本发明的实施方式的显示指导模式的另一示例的示图。

图18是描述根据本发明的实施方式的显示指导模式下的驾驶员辅助功能的灵敏度的改变的示图。

图19是根据本发明的实施方式的显示指导模式下的驾驶员辅助功能的示例的示图。

图20是描述根据本发明的实施方式的声音指导模式的流程图。

图21是根据本发明的实施方式的声音指导模式的输出方法的流程图。

图22和图23是描述根据本发明的实施方式的声音指导模式的示例的示图。

图24是示出具有图1所示的驾驶员辅助设备的车辆的内部配置的框图。

具体实施方式

以下，将参照附图详细描述本说明书中公开的实施方式，相同或相似的元件即使描绘在不同的图中也由相同的标号表示，其冗余描述将被省略。在以下描述中，关于以下描述中所使用的构成元件，后缀“模块”和“单元”仅是考虑到易于准备说明书而使用，并不具有明显不同的含义。因此，后缀“模块”和“单元”可互换地使用。另外，在本说明书中公开的实施方式的以下描述中，本文中包含的已知功能和配置的详细描述在可能使本说明书中公开的实施方式的主题不清楚时将被省略。另外，提供附图仅是为了更好地理解本说明书中公开的实施方式，并非旨在限制本说明书中公开的技术构思。因此，应该理解，附图包括本发明的范围和精神内的所有修改形式、等同形式和替代形式。

将理解，尽管本文中可使用术语第一、第二等来描述各种组件，这些组件不应受这些术语限制。这些术语仅用于将一个组件与另一组件相区分。

将理解，当组件被称作“连接至”或“联接至”另一组件时，它可直接连接至或联接至另一组件，或者可存在中间组件。相比之下，当组件被称作“直接连接至”或“直接联接至”另一组件时，不存在中间组件。

如本文所使用的，单数形式旨在也包括复数形式，除非上下文清楚地另外指示。

在本申请中，还将理解，术语“包括”、“包含”等指明存在所述的特征、整数、步骤、操作、元件、组件或其组合，但是不排除一个或更多个其它特征、整数、步骤、操作、元件、组件或其组合的存在或增加。

如本说明书中所述的车辆可包括汽车和摩托车。以下，将集中于汽车。

如本说明书中所述的车辆可包括所有包括引擎作为动力源的内燃机车辆、包括引擎和电动马达二者作为动力源的混合动力车辆以及包括电动马达作为动力源的电动车辆。

在以下描述中，车辆的左侧表示在行进方向上车辆的左侧，车辆的右侧表示在行进方向上车辆的右侧。

在以下描述中，除非另外指示，否则将集中于左驾(lhd)车辆。

在以下描述中，在车辆中设置驾驶员辅助设备以交换与车辆的数据通信所需的信息并且执行驾驶员辅助功能。车辆的一些单元的集合可被定义为驾驶员辅助设备。

当驾驶员辅助设备被单独地设置时，驾驶员辅助设备的至少一些单元(参见图2)未被包括在驾驶员辅助设备中，而是可以是车辆的单元或者安装在车辆中的另一设备的单元。这些外部单元经由驾驶员辅助设备的接口发送和接收数据，因此可被理解为被包括在驾驶员辅助设备中。

以下，为了描述方便，假设根据实施方式的驾驶员辅助设备直接包括图2所示的单元。

以下，将参照附图详细描述根据实施方式的驾驶员辅助设备。

参照图1，根据实施方式的车辆可包括通过动力源旋转的车轮13fl和13rl以及用于向用户提供驾驶员辅助信息的驾驶员辅助设备。

这种车辆驾驶员辅助设备通过监测车辆的内部和外部来获取内部/外部情况信息，根据内部/外部情况信息确定一般指导模式、显示指导模式和声音指导模式中的一个，并且根据所确定的模式的输出方法来提供信息，因此使得用户能够有效地识别驾驶员辅助信息。

具体地讲，车辆驾驶员辅助设备在一般情况下通过一般指导模式提供信息。另外，当从内部/外部情况信息检测到显示指导模式的执行条件或者声音指导模式的执行条件时，车辆驾驶员辅助设备执行与所检测的执行条件对应的指导模式，因此根据最优输出方法向驾驶员提供驾驶员辅助信息。

车辆驾驶员辅助设备可提供自主驾驶功能。即，车辆驾驶员辅助设备可提供自主驾驶功能并且依据用户的情况来根据最优输出方法提供驾驶员辅助信息。

参照图2，这种驾驶员辅助设备100可包括输入单元110、通信单元120、接口130、存储器140、传感器单元155、处理器170、显示单元180、音频输出单元185和电源190。图2所示的驾驶员辅助设备100的单元不是驾驶员辅助设备100的实现所必要的，因此本说明书中描述的驾驶员辅助设备100可具有数量比上述组件的数量更多或更少的组件。

现在将详细描述各个组件。驾驶员辅助设备100可包括用于接收用户输入的输入单元110。

例如，用户可输入用于设定由驾驶员辅助设备100提供的驾驶员辅助功能的信号或者用于将驾驶员辅助设备100打开/关闭的执行信号。

根据实施方式，用户可通过输入单元110进行输入以直接选择一般指导模式、显示指导模式和声音指导模式中的一个，并且还进行输入以对自动地执行各个指导模式的情况执行设置。

输入单元110可包括用于感测用户手势的手势输入单元(例如，光学传感器等)、用于感测触摸的触摸输入单元(例如，触摸传感器、触摸键、按键(机械键)等)以及用于感测声音输入的麦克风中的至少一个，并且接收用户输入。

接下来，驾驶员辅助设备100可包括用于与另一车辆520、终端600和服务器510通信的通信单元120。

根据实施方式，用于车辆的车辆驾驶员辅助设备100可通过通信单元120接收包括导航信息、另一车辆信息和交通信息中的至少一个的通信信息。

驾驶员辅助设备100可经由通信单元120接收包括导航信息、另一车辆的驾驶信息和交通信息中的至少一个的通信信息。相比之下，驾驶员辅助设备100可经由通信单元120发送关于此车辆的信息。

详细地讲，通信单元120可从移动终端600和/或服务器510接收位置信息、天气信息和道路交通状况信息(例如，传输协议专家组(tpeg)等)中的至少一个。

通信单元120可从具有智能交通系统(its)的服务器510接收交通信息。这里，交通信息可包括交通信号信息、车道信息、车辆周围信息或位置信息。

另外，通信单元120可从服务器510和/或移动终端600接收导航信息。这里，导航信息可包括与车辆驾驶有关的地图信息、车道信息、车辆位置信息、设定目的地信息和根据目的地的路线信息中的至少一个。

例如，通信单元120可接收车辆的实时位置作为导航信息。详细地讲，通信单元120可包括全球定位系统(gps)模块和/或wi-fi(无线保真)模块并且获取车辆的位置。

另外，通信单元120可从另一车辆510接收另一车辆510的驾驶信息并且发送关于此车辆的信息，从而在车辆之间共享驾驶信息。这里，所共享的驾驶信息可包括车辆行驶方向信息、位置信息、车辆速度信息、加速度信息、移动路线信息、向前/向后信息、相邻车辆信息和转向信号信息。

另外，当用户乘坐车辆时，用户的移动终端600和驾驶员辅助设备100可自动地或者通过执行用户应用来彼此配对。

通信单元120可按照无线方式与另一车辆520、移动终端600或服务器510交换数据。

详细地讲，通信模块120可利用无线数据通信方法来执行无线通信。作为无线数据通信方法，可使用用于移动通信的技术标准或通信方法(例如，全球移动通信系统(gsm)、码分多址(cdma)、cdma2000(码分多址2000)、ev-do(演进-数据优化)、宽带cdma(wcdma)、高速下行链路分组接入(hsdpa)、hsupa(高速上行链路分组接入)、长期演进(lte)、lte-a(高级长期演进)等)。

通信单元模块120被配置为方便无线互联网技术。这种无线互联网技术的示例包括无线lan(wlan)、无线保真(wi-fi)、wi-fi直连、数字生活网络联盟(dlna)、无线宽带(wibro)、全球微波接入互操作性(wimax)、高速下行链路分组接入(hsdpa)、hsupa(高速上行链路分组接入)、长期演进(lte)、lte-a(高级长期演进)等。

另外，通信单元120被配置为方便短距离通信。例如，短距离通信可利用bluetooth^tm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、zigbee、近场通信(nfc)、无线保真(wi-fi)、wi-fi直连、无线usb(无线通用串行总线)等中的至少一个来支持。

另外，驾驶员辅助设备100可利用短距离通信方法来与位于车辆内部的移动终端配对，并且利用移动终端的长距离无线通信模块来与另一车辆520或服务器510按照无线方式交换数据。

接下来，驾驶员辅助设备100可包括用于接收车辆的数据并且发送由处理器170处理或生成的信号的接口130。

具体地讲，车辆驾驶员辅助设备100可通过接口单元130接收另一车辆信息、导航信息和传感器信息中的至少一个。如上所述接收的信息可被包括在由车辆驾驶员辅助设备100提供的指导信息中，或者可被包括在车辆内部/外部情况信息中。

另外，车辆驾驶员辅助设备100可通过接口单元130发送用于执行车辆驾驶员辅助功能的控制信号、由车辆驾驶员辅助设备100生成的信息等。例如，车辆驾驶员辅助设备100可根据车辆内部情况信息改变执行高级驾驶员辅助系统(adas)的执行条件。

具体地讲，车辆驾驶员辅助设备100可改变自主紧急制动(aeb)功能、交通标志识别(tsr)功能、车道偏离警告(ldw)功能、车道保持辅助(lka)功能、高光束辅助(hba)功能、前方碰撞警告(fcw)功能以及包括tlr(交通信号灯识别)或aeb行人(在白天和夜间)的新应用中的至少一个的执行条件。

为此，接口单元130可按照有线或无线通信方式与车辆内部的控制单元770、音频视频导航(avn)装置400和感测单元760中的至少一个执行数据通信。

详细地讲，驾驶员辅助设备100可经由接口130接收另一车辆的驾驶信息、导航信息和传感器信息中的至少一个。

另外，驾驶员辅助设备100可经由接口130向车辆的控制器770发送用于执行驾驶员辅助功能的控制信号或者由驾驶员辅助设备100生成的信息。

为此，接口130可利用有线或无线通信方法与车辆的控制器770、音频视频导航(avn)设备400和感测单元760中的至少一个执行数据通信。

详细地讲，接口130可通过与控制器770、avn设备400和/或单独的导航设备的数据通信来接收导航信息。

另外，接口130可从控制器770或感测单元760接收传感器信息。

这里，传感器信息可包括车辆行驶方向信息、车辆位置信息、车辆速度信息、加速度信息、车辆倾斜信息、向前/向后信息、燃油信息、关于距前方/后方车辆的距离的信息、关于车辆与车道之间的距离的信息以及转向信号信息等中的至少一个。

传感器信息可从航向传感器、横摆传感器、陀螺仪传感器、位置模块、车辆向前/向后传感器、车轮传感器、车辆速度传感器、车辆倾斜传感器、电池传感器、燃油传感器、轮胎传感器、基于方向盘的旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、车门传感器等获取。位置模块可包括用于接收gps信息的gps模块。

接口130可经由车辆的用户输入单元110接收用户输入。接口130可从车辆的输入单元或者经由控制器770接收用户输入。即，当输入单元被设置在车辆中时，可经由接口130接收用户输入。

另外，接口130可接收从服务器获取的交通信息。服务器510可位于用于控制交通的交通控制监控中心。例如，当经由车辆的通信单元120从服务器510接收到交通信息时，接口130可从控制器770接收交通信息。

接下来，存储器140可存储用于驾驶员辅助设备100的总体操作的各种数据，例如用于控制器170的处理或控制的程序。

根据实施方式，存储器140可存储执行一般指导模式、显示指导模式和声音指导模式中的至少一个的条件。存储器140可存储在各个指导模式下提供驾驶员辅助信息的输出方法。

例如，存储器140可存储车辆内部的噪声(db)等于或大于预定db的情况作为显示指导模式的执行条件，并且存储在显示指导模式下通过图形图像输出信息的输出方法。

具体地讲，在显示指导模式下，在一般指导模式下通过声音输出的交通信息(例如，进入儿童保护区的指导)、导航信息(例如，行车路径的指导)等可通过图形图像来提供。

另外，在显示指导模式下，现有输出图形图像或新输出图形图像的显示方法也可改变。

例如，在显示指导模式下，现有输出图形图像的形状、大小、色调、类型、亮度和饱和度中的至少一个可改变，或者图形图像以动画方式显示，从而允许用户直观地识别更复杂的信息。

例如，当检测到交通违章相机时，可在显示指导模式下显示直接指示交通违章相机的动画图形图像和指示速度限制的动画图形图像。例如，指示速度的动画图形图像被显示为根据车辆与交通违章相机之间的位置关系、车辆的当前速度等而改变其大小或色调，从而允许驾驶员直观地识别出正在接近交通违章相机或者是否违反交通法规。

另外，存储器140可存储用户正在打电话的情况、用户正在与同行乘客交谈的情况、同行乘客正在睡觉的情况、或者用户正在听音乐的情况，作为执行显示指导模式的执行条件。

另外，存储器140可存储车辆外部情况复杂(例如，检测到的外部对象的数量等于或大于预定数量)、在困乏的情况下驾驶等，作为执行声音指导模式的执行条件。另外，在声音指导模式下，通过图形图像显示的信息可通过声音输出或/和触觉输出来输出。

另外，存储器140可存储用于驾驶员辅助设备100的操作的数据和命令以及在驾驶员辅助设备100中执行的多个应用程序或应用。这些应用程序中的至少一些可通过无线通信从外部服务器下载。这些应用程序中的至少一个可在出厂时安装在驾驶员辅助设备100中，以便提供驾驶员辅助设备100的基本功能(例如，驾驶员辅助信息指导功能)。

这些应用程序可被存储在存储器140中并且可被处理器170执行以执行驾驶员辅助设备100的操作(或功能)。

存储器140可存储用于检查包括在图像中的对象的数据。例如，存储器140可存储当从通过相机160获取的车辆附近的图像检测到预定对象时利用预定算法检查预定对象的数据。

例如，存储器140可存储当通过相机160获取的图像中包括诸如车道、交通标志、两轮车辆和行人的预定对象时利用预定算法检查对象的数据。

存储器140可使用选自闪存、硬盘、固态驱动器(ssd)、硅磁盘驱动器(sdd)、微型多媒体卡、卡型存储器(例如，sd或xd存储器等)、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁存储器、磁盘和光盘当中的至少一个以硬件方式实现。

另外，驾驶员辅助设备100可与经由互联网执行存储器140的存储功能的网络存储装置关联地操作。

接下来，监测单元150可获取关于车辆内部情况的信息。

具体地讲，监测单元150可检测车辆内部噪声和用户的操作或生物信息中的至少一个以获取关于车辆内部情况的信息。另外，处理器170可确定执行显示指导模式或声音指导模式的执行条件是否被包括在所获取的关于车辆内部情况的信息中。

根据实施方式，监测单元150可包括麦克风151并且检测车辆的内部声音。另外，当麦克风151所检测的声音等于或大于预定db时，处理器170可自动地执行显示指导模式，因为用户很难识别出声音指导。

多个麦克风151可设置在多个位置处。

参照图7，麦克风151可包括用于检测来自驾驶座的声音的第一麦克风以及用于检测来自副驾驶座的声音的第二麦克风。另外，麦克风151可包括用于检测后座周围的声音的第三麦克风。

车辆驾驶员辅助设备100可提供利用第一至第三麦克风151来辅助前座和后座之间的对话的对话辅助功能。具体地讲，显示指导模式提供通过将从后座检测的声音传送至前座来辅助前座与后座之间的对话的对话辅助功能，因此增强驾驶员的便利。

另外，监测单元150可包括内部相机153。内部相机153可获取用户图像。即，内部相机153可以是设置在车辆内部的图像获取模块。

参照图7，内部相机153可包括用于拍摄驾驶员的第一内部相机、用于拍摄坐在副驾驶座的同行乘客的第二内部相机以及用于拍摄坐在后座的同行乘客的第三内部相机。

内部相机153通过拍摄用户来获取用户图像，处理器170对用户图像执行图像处理并且确定用户是否正在睡觉。当检测到同行乘客正在睡觉时，处理器170自动地执行显示指导模式，从而防止打扰同行乘客的熟睡。

另外，车辆驾驶员辅助设备100可提供利用内部相机153所拍摄的信息来辅助前座与后座之间的对话的对话辅助功能。

具体地讲，在显示指导模式下，通过拍摄副驾驶座或后座而获取的图像被显示在显示单元上，因此辅助前座与后座之间的对话。因此，驾驶员可掌握车辆的整个内部情况，而无需将驾驶员的眼睛转向后面或侧面。

在这种情况下，显示单元180将所拍摄的图像显示在设置在车辆的前面的挡风玻璃上，因此诱使驾驶员保持注视前方，因此防止驾驶员的注意力分散。

另外，可理解，通信单元120被包括在监测单元150中。

具体地讲，监测单元150包括通信单元120并且接收关于用户使用终端的呼叫的信息。当检测到终端处于呼叫模式时，处理器170可执行显示指导模式。

另外，通过监测单元150检测的其它信息可包括包括指纹信息、虹膜扫描信息、视网膜扫描信息、手形信息和语音识别信息在内的图像信息中的至少一个。另外，监测单元150还可包括用于感测生物识别信息的其它传感器155。

接下来，驾驶员辅助设备100还可包括用于感测位于车辆附近的对象的传感器单元155。驾驶员辅助设备100可包括用于感测外围对象的传感器单元155并且可经由接口130接收通过车辆的感测单元770获得的传感器信息。所获取的感器信息可被包括在关于车辆周围信息的信息中。

如上所述获取的传感器信息可被包括在关于驾驶员辅助功能的信息中或者可被包括在车辆内部/外部情况信息中。

传感器单元155可包括用于感测位于车辆附近的对象的位置的距离传感器150以及用于拍摄车辆附近的图像的相机160中的至少一个。

首先，距离传感器150可准确地感测位于车辆附近的对象的位置、对象与车辆之间的距离、对象的移动方向等。距离传感器150可连续地测量所感测的对象的位置以准确地感测与车辆的位置关系的改变。

距离传感器150可感测位于车辆的前侧区域、后侧区域、左侧区域和右侧区域中的至少一个中的对象。距离传感器150可被设置在车辆的各种位置处。

详细地讲，参照图3，距离传感器150可被设置在车辆的前侧、后侧、左侧和右侧以及车顶中的至少一个处。

距离传感器150可包括诸如激光雷达传感器、激光传感器、超声波传感器和立体相机的各种距离测量传感器中的至少一个。

例如，距离传感器150为激光传感器，并且可根据激光信号调制方法来利用飞行时间(tof)和/或相移方法准确地测量车辆与对象之间的位置关系。

可通过在处理器170处分析通过相机160拍摄的图像来获取关于对象的信息。

详细地讲，驾驶员辅助设备100可利用相机160拍摄车辆附近的图像，利用处理器170分析车辆附近的图像，检测位于车辆附近的对象，确定对象的属性，并且生成传感器信息。

图像信息是对象的类型、由对象指示的交通信号信息、对象与车辆之间的距离以及对象的位置中的至少一个，并且可被包括在传感器信息中。

详细地讲，处理器170可经由图像处理从所拍摄的图像检测对象，跟踪对象，测量距对象的距离，并且检查对象以分析对象，从而生成图像信息。

相机160可被设置在各种位置处。

详细地讲，相机160可包括内部相机160f以用于在车辆内拍摄车辆的前侧的图像并且获取前方图像。

参照图3，多个相机160可被设置在车辆的前侧、后侧、右侧和左侧以及车顶中的至少一个处。

详细地讲，左相机160b可被设置在围绕左侧镜的壳体内部。另选地，左相机160b可被设置在围绕左侧镜的壳体外部。另选地，左相机160b可被设置在左前车门、左后车门或者左挡泥板的外侧区域之一中。

右相机160c可被设置在围绕右侧镜的壳体内部。另选地，右相机160c可被设置在围绕右侧镜的壳体外部。另选地，右相机160c可被设置在右前车门、右后车门或者右挡泥板的外侧区域之一中。

另外，后相机160d可被设置在车后牌照或后备箱开关附近。前相机160a可被设置在车标或散热器护栅附近。

处理器170可将在所有方向上拍摄的图像合成，并且提供从车辆的顶部看的全景图像。在生成全景图像时，出现图像区域之间的边界部分。这些边界部分可进行图像融合以便于自然显示。

另外，车顶相机160e可被设置在车辆的车顶上以用于在所有方向拍摄车辆的图像。

相机160可直接包括图像传感器和图像处理模块。相机160可处理通过图像传感器(例如，cmos或ccd)获得的静止图像或运动图像。另外，图像处理模块处理通过图像传感器获取的静止图像或运动图像，提取必要的图像信息，并且将所提取的图像信息传送给处理器170。

为了使得处理器170能够更容易地执行对象分析，在实施方式中，相机160可以是立体相机以用于拍摄图像并且同时测量距对象的距离。

传感器单元155可以是包括距离传感器150和相机160的立体相机。即，立体相机可获取图像，并且同时感测与对象的位置关系。

以下，参照图4至图6，将更详细地描述立体相机以及由处理器170利用立体相机检测图像信息的方法。

首先，参照图4，立体相机160可包括包括第一镜头163a的第一相机160a以及包括第二镜头163b的第二相机160b。

驾驶员辅助设备100还可包括用于遮蔽入射在第一镜头163a和第二镜头163b上的光的第一遮光单元162a和第二遮光单元162b。

驾驶员辅助设备100可从第一相机160a和第二相机160b获取车辆附近的立体图像，基于立体图像检测视差，从至少一个立体图像检测对象，并且在对象检测之后连续地跟踪对象的移动。

参照图5，作为处理器170的内部配置的框图的一个示例，驾驶员辅助设备100的处理器170可包括图像预处理器410、视差计算器420、对象检测器434、对象跟踪单元440和应用单元450。尽管在图5和以下描述中按照图像预处理器410、视差计算器420、对象检测器434、对象跟踪单元440和应用单元450的顺序处理图像，但是本发明不限于此。

图像预处理器410可从相机160接收图像并且执行预处理。

详细地讲，图像预处理器410可执行图像的降噪、整流、校准、颜色增强、颜色空间转换(csc)、插值、相机增益控制等。可获取清晰度高于相机160所拍摄的立体图像的图像。

视差计算器420可接收由图像预处理器410处理的图像，执行所接收到的图像的立体匹配，并且根据立体匹配获取视差图。即，可获取车辆的前侧的立体图像的视差信息。

此时，立体匹配可按照立体图像的像素或者预定块为单位来执行。视差图可表示指示立体图像(即，左图像和右图像)的双目视差信息的数值的图。

分割单元432可基于来自视差计算器420的视差信息针对至少一个图像执行分割和聚类。

详细地讲，分割单元432可基于视差信息将至少一个立体图像分割成背景和前景。

例如，视差图内视差信息小于或等于预定值的区域可被计算为背景并且被排除。因此，可分割前景。作为另一示例，视差图内视差信息大于或等于预定值的区域可被计算为前景并被提取。因此，可分割前景。

可基于以立体图像为基础提取的视差信息来分割背景和前景，以减小在对象检测时的信号处理速度、处理的信号的量等。

接下来，对象检测器434可基于从分割单元432分割的图像来检测对象。

即，对象检测器434可基于视差信息从至少一个图像检测对象。

详细地讲，对象检测器434可从至少一个图像检测对象。例如，可从通过图像分割而分割的前景检测对象。

接下来，对象验证单元436可分类并验证所分割的对象。

为此，对象验证单元436可使用利用神经网络的识别方法、支持向量机(svm)方法、通过adaboost使用类haar特征的识别方法或者方向梯度直方图(hog)方法。

对象验证单元436可比较存储在存储器140中的对象与所检测的对象并且验证对象。

例如，对象验证单元436可验证位于车辆周围的周围车辆、车道、路面、交通标志、危险区域、隧道等。

对象跟踪单元440可跟踪经验证的对象。例如，可验证依次获取的立体图像中的对象，可计算经验证的对象的运动或运动向量，并且可基于所计算的运动或运动向量来跟踪对象的运动。可跟踪位于车辆附近的外围车辆、车道、路面、交通标志、危险区域、隧道等。

接下来，应用单元450可基于位于车辆附近的各种对象(例如，另一车辆、车道、路面、交通标志等)来计算风险程度。另外，可计算与前方车辆碰撞的概率、车辆是否打滑等。

应用单元450可基于所计算的风险程度、碰撞概率或打滑向用户输出指示这些信息的消息作为驾驶员辅助信息。另选地，可生成用于车辆姿态控制或驾驶控制的控制信号作为车辆控制信息。

图像预处理器410、视差计算器420、分割单元432、对象检测器434、对象验证单元436、对象跟踪单元440和应用单元450可被包括在处理器170的图像处理器(参见图31)中。

在一些实施方式中，处理器170可仅包括图像预处理器410、视差计算器420、分割单元432、对象检测器434、对象验证单元436、对象跟踪单元440和应用单元450中的一些。如果相机160包括单目相机160或全景相机160，则可不包括视差计算器420。在一些实施方式中，可不包括分割单元432。

参照图6，在第一帧周期期间，相机160可获取立体图像。

处理器160的视差计算器420接收由图像预处理器410处理的立体图像fr1a和fr1b，针对立体图像fr1a和fr1b执行立体匹配，并且获取视差图520。

视差图520指示立体图像fr1a和fr1b之间的双目视差的水平。随着视差水平增加，距车辆的距离可减小，随着视差水平减小，距车辆的距离可增大。

当显示这种视差图时，亮度可随着视差水平增大而增大，随着视差水平减小而减小。

在图中，分别与第一至第四车道528a、528b、528c和528d对应的视差水平以及分别与施工区域522、第一前方车辆524和第二前方车辆526对应的视差水平被包括在视差图520中。

分割单元432、对象检测器434和对象验证单元436可基于视差图520针对立体图像fr1a和fr1b中的至少一个执行分割、对象检测和对象验证。

在图中，利用视差图520针对第二立体图像fr1b执行对象检测和验证。

即，针对图像530的第一至第四车道528a、528b、528c和528d、施工区域532、第一前方车辆534和第二前方车辆536执行对象检测和验证。

通过图像处理，驾驶员辅助设备100可利用传感器单元155获取车辆的各种周围信息(例如，外围对象或者外围对象的位置)作为传感器信息。

处理器170可通过上述图像处理确定车辆外部的对象的类型和位置以获取交通信息和导航信息。所述信息可被包括在驾驶员辅助信息或车辆外部情况信息中。

另外，类似地，处理器170分析内部相机153所拍摄的图像并且确定同行乘客是否正在打盹。

另外，输出单元183可包括显示单元180、音频输出单元185和触觉输出单元187中的至少两个。

输出单元183可通过视觉输出、听觉输出和触觉输出中的至少一个向用户提供导航信息、交通信息、通信信息、车辆状态信息、高级驾驶员辅助系统(adas)信息以及其它驾驶员便利信息中的至少一个。

输出单元183可根据一般指导模式、显示指导模式和声音指导模式通过相应输出方法有效地向驾驶员传达驾驶员辅助信息。

输出单元183可根据指导模式改变输出方法以使得通过图形图像输出提供的信息的量、通过声音输出提供的信息的量以及通过触觉输出提供的信息的量彼此不同。

例如，当检测到车辆的内部噪声较高时，驾驶员可能很难通过声音识别信息。在这种情况下，输出单元183可提供增加通过图形图像提供的信息的量并且减少通过声音提供的信息的量的输出方法。

另外，输出单元183根据指导模式改变各个输出单元中的驾驶员辅助信息的输出方法，因此有效地向驾驶员传达信息。

具体地讲，当进行向显示指导模式的切换时，输出单元183可改变现有输出图形图像的形状、大小、色调、类型、亮度和饱和度中的至少一个并且输出图形图像。另外，输出单元183按照动画方式显示图形图像，从而允许用户直观地识别更复杂的信息。

下面将详细地描述输出单元183的各个单元。

首先，显示单元180可显示表示信息的图形图像以将该信息传达给用户。

由显示单元180通过图形图像显示的信息可包括导航信息、交通信息、通信信息、车辆状态信息、adas信息以及其它驾驶员便利信息中的至少一个。

显示单元180可执行显示以根据当前模式是一般指导模式、显示指导模式还是声音指导模式来改变通过图形图像提供的信息的量。

显示单元180可根据当前模式是一般指导模式、显示指导模式还是声音指导模式来显示不同的图形图像。具体地讲，显示单元180根据指导模式改变图形图像的形状、大小、色调、类型、亮度和饱和度中的至少一个并且输出图形图像。

显示单元180可包括多个显示器。

详细地讲，显示单元180可包括用于将图形图像投影并显示在车辆挡风玻璃w上的第一显示器180a。即，第一显示器180a是平视显示器(hud)并且可包括用于将图形图像投影到挡风玻璃w上的投影模块。通过投影模块投影的图形图像可具有预定透明度。因此，用户可同时看到图形图像的前侧和后侧。

图形图像可与投影到挡风玻璃w上的图像交叠以实现增强现实(ar)。

显示单元可包括单独地设置在车辆内部的第二显示器180b以显示驾驶员辅助功能的图像。

详细地讲，第二显示器180b可以是车辆导航设备的显示器或者位于车辆内部前侧的仪表。

第二显示器180b可包括选自液晶显示器(lcd)、薄膜晶体管lcd(tftlcd)、有机发光二极管(oled)、柔性显示器、3d显示器和电子墨水显示器中的至少一个。

第二显示器180b可与触摸输入单元组合以实现触摸屏。

接下来，音频输出单元185可通过声音来输出关于车辆驾驶员辅助设备100的功能的描述或者检查是否执行该功能的消息等。即，除了通过显示单元180的视觉显示以外，车辆驾驶员辅助设备100可通过音频输出单元185的声音输出来补充关于车辆驾驶员辅助设备100的功能的描述。

具体地讲，音频输出单元185可通过声音输出导航信息、交通信息、通信信息、车辆状态信息、adas信息和其它驾驶员便利信息中的至少一个。

音频输出单元185可根据指导模式来改变音量。

另外，音频输出单元185可根据信息的类型不同地改变音量。

例如，音频输出单元185可在显示指导模式下对导航信息、交通信息、通信信息和车辆状态信息的声音指导执行静音，并且以较大的音量输出用于驾驶员辅助功能的紧急辅助功能的警报。在这种情况下，用于紧急辅助功能的警报可包括用于驾驶风险的警报，例如自主紧急制动(aeb)、前方碰撞警告(fcw)或aeb行人(在白天和夜间)等。

另一方面，音频输出单元185可分别被设置在驾驶座、副驾驶座和后座处。音频输出单元185可传送从各个座位检测的声音以执行对话辅助功能。

接下来，触觉输出单元187可通过触觉输出驾驶员辅助信息。例如，当针对驾驶员的警告被包括在导航信息、交通信息、通信信息、车辆状态信息、adas信息和其它驾驶员便利信息中的至少一个中时，触觉输出单元187可通过振动将该警告告知用户。

触觉输出单元187可提供方向性振动。例如，触觉输出单元187被设置在用于转向控制的方向盘处以输出振动。在提供振动时，触觉输出单元187在方向盘的左侧和右侧以不同的方式输出振动，因此允许触觉输出的方向性。

另外，电源190可接收电力并且在处理器170的控制下供应组件的操作所需的电力。

最后，驾驶员辅助设备100可包括用于控制驾驶员辅助设备100的单元的总体操作的处理器170。

另外，处理器170可控制参照图3描述的至少一些组件以便执行应用程序。另外，处理器170可通过将包括在驾驶员辅助设备100中的组件中的至少两个组合来进行操作，以便执行应用程序。

处理器170可利用选自专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器170以及用于实现其它功能的电子单元中的至少一个以硬件方式来实现。

处理器170可由控制器控制，或者可通过控制器控制车辆的各种功能。

除了与存储在存储器140中的应用程序有关的操作以外，处理器170还可控制驾驶员辅助设备100的总体操作。处理器170可经由上述组件来处理信号、数据、信息等或者执行存储在存储器170中的应用程序以向用户提供适当的信息或功能。

以下，将描述提供指导模式的方法，其中在车辆驾驶员辅助设备100中根据车辆内部或外部情况通过最优输出方法提供信息。

首先，将参照图8至图19描述在车辆驾驶员辅助设备100中提供显示指导模式的方法。

参照图8，首先，车辆驾驶员辅助设备100可通过监测车辆的内部或外部来获取车辆内部信息(s101)。

在这种情况下，假设车辆驾驶员辅助设备100正在一般指导模式下提供驾驶员辅助信息。

当从所获取的车辆内部信息检测到存储在存储器140中的显示指导模式的执行条件时，处理器170可执行显示指导模式。

例如，监测单元150可包括麦克风151并且检测车辆的内部声音。另外，当通过麦克风151检测的声音等于或大于预定db时，处理器170可自动地执行显示指导模式，因为用户很难识别出声音指导(s102)。

另外，监测单元150可包括内部相机153并且通过拍摄用户来获取用户图像。处理器170可通过对用户图像执行图像分析来检测同行乘客是否正在睡觉。另外，当检测到同行乘客正在睡觉时，处理器170执行显示指导模式，从而防止打扰同行乘客的睡眠。另一方面，检测犯困的人是否为驾驶员，处理器170可通过触觉或/和声音来向驾驶员告知警告从而防止驾驶员的疲劳驾驶，或者可执行声音指导模式。

另外，通信单元120从用户的终端接收信息以确定用户是否正在打电话，并且当检测到用户正在打电话时，处理器170自动地执行显示指导模式。

另外，参照图9，第二显示单元180b可提供用于执行显示指导模式的菜单12以及用于执行声音指导模式的菜单13。用户可通过选择用于执行显示指导模式的菜单来直接执行显示指导模式。

即，当检测到显示指导模式的执行条件或者从用户接收用于执行显示指导模式的输入时，处理器170可执行显示指导模式(s103)。

另外，当执行显示指导模式时车辆驾驶员辅助设备100可改变输出方法并且提供驾驶员辅助信息(s104)。

具体地讲，当进行向显示指导模式的切换时，处理器170改变分别通过图形图像输出、声音输出和触觉输出提供的信息的量。

例如，处理器170可提供用于显示指导模式的输出方法，其增加通过图形图像提供的信息的量并且减少通过声音提供的信息的量。

另外，当进行向显示指导模式的切换时，处理器170可改变现有图形图像输出、现有声音输出和现有触觉输出中的至少一个的输出方法。

下面将参照图10详细描述显示指导模式的输出方法。

首先，当执行显示指导模式时，可控制声音输出(s201)。

具体地讲，当执行显示指导模式时，处理器170可改变通过声音输出的信息的量并且可根据信息的属性改变音量。

例如，处理器170可针对导航信息、交通信息、通信信息、车辆状态信息的声音指导执行静音，并且以最大音量输出针对驾驶员辅助功能的紧急辅助功能的警报。

另外，当执行显示指导模式时，可控制显示输出(s203)。

具体地讲，当执行显示指导模式时，处理器170可改变作为图形图像显示的信息的量。例如，处理器170可通过图形图像来提供通过声音输出的信息。

根据实施方式，处理器170可通过图形图像来显示在一般指导模式下通过声音指导提供的导航信息、交通信息、通信信息和车辆状态信息中的至少一个。

另外，当进行向显示指导模式的切换时，处理器170改变现有输出图形图像的形状、大小、色调、类型、亮度和饱和度中的至少一个，并且输出图形图像。在这种情况下，处理器170可按照动画方式显示图形图像，因此允许用户直观地识别更复杂的信息。

当音频输出单元185能够执行定向声音输出以将声音集中于驾驶座时，车辆驾驶员辅助设备100可在执行显示指导模式时提供定向声音输出模式(s202)。

具体地讲，当由于同行乘客入睡而执行显示指导模式时，处理器170可提供使声音集中于驾驶员的定向声音输出模式。在这种情况下，通过声音输出的信息的量以及声音的音量可不改变。

另外，当检测到驾驶员正在与同行乘客交谈然后执行显示指导模式时，处理器170可提供在定向声音输出模式下辅助与同行乘客的对话的对话辅助功能。

具体地讲，在显示指导模式下，可提供通过将从后座检测的声音传送至前座来辅助前座与后座之间的对话的对话辅助功能，因此增强驾驶员便利。

另外，在显示指导模式下，通过拍摄副驾驶座或后座而获取的图像被显示在显示单元180上，因此辅助前座和后座之间的对话。在这种情况下，驾驶员可掌握车辆的整个内部情况，而无需将驾驶员的眼睛转向后面或侧面。

另外，当由于呼叫状态而执行显示指导模式时，处理器170可提供将呼叫声音仅集中于驾驶员的定向声音输出模式。

显示单元170可增加通过触觉输出提供的信息的量(s204)。

下面将参照图11至图17描述在显示指导模式下根据具体情况提供驾驶员辅助信息的方法的示例。

参照图11，作为示例，可在一般指导模式下通过声音输出指示到达儿童保护区的交通信息。在这种情况下，可通过第二图形图像20和第三图形图像30输出交通信息和导航信息(包括速度限制以及后续移动路线)。

在这种情况下，当检测到等于或大于预定db的噪声时，处理器170可在声音输出的同时在第一显示单元180a上通过图形图像输出通过声音提供的指示到达儿童保护区的交通信息。

在这种情况下，第二显示单元180b的输出可不改变。即，当检测到驾驶员由于噪声而无法即时识别出重要交通信息的声音指导的状态时，除了声音指导以外，处理器170还可通过图形图像提供信息。

例如，参照图12a，第一显示单元180a可在挡风玻璃的上端显示表示交通信息的第五显示图像50，并且在上端显示表示指导图标的第四图形图像40，该指导图标指示进入临时显示指导模式。

另外，除了表示路线指导的第三图形图像30(现有图像)以外，还可显示以地毯形状显示路线的第31图形图像31。第二图形图像20和第三图形图像30(现有图形图像)可维持显示。在这种情况下，第二图形图像20或第三图形图像30的大小、亮度、饱和度、色调等可改变，以增强区别。

另外，参照图12b，如现有一般指导模式中一样，第二显示单元180b可维持表示交通信息的第二图形图像20以及表示导航信息的第三图形图像的显示。

此后，当等于或大于预定db的噪声保持相同达预定时间周期时，处理器170可执行显示指导模式。

具体地讲，参照图13a，第一显示单元180a可在挡风玻璃的下端显示表示通过声音提供的交通信息的第五图形图像50。即，在一般指导模式下通过声音输出的信息可在显示指导模式下按照文本形式显示在挡风玻璃的下端。

另外，处理器170可增加显示的现有图形图像的信息的量。参照图13a，仅表示后续移动路线的第三图形图像30可改变为不仅表示后续移动路线而且表示该移动路线之后的移动路线的图形图像。在这种情况下，第三图形图像30的大小、亮度、饱和度、色调等改变，以增强区别。

如上所述，在显示指导模式下处理器170可增加由第一显示单元180a通过图形图像显示的信息的量。

另外，当自动地执行图形指导模式时，第二显示单元180b可显示表示执行显示指导模式的弹出窗口60，如图13b所示。

此后，参照图13c，第二显示单元180b可去除弹出窗口60，然后在上端显示表示指导图标的第四图形图像40，该指导图标指示进入临时显示指导模式。第二显示单元180b可通过增加仅表示后续路线的第三图形图像30的信息的量来显示依次表示移动路线的改变的第三图形图像30。现有第二图形图像20可维持被显示。在这种情况下，第二图形图像20和第三图形图像30的大小、亮度、饱和度、色调改变，从而增强区别。

如上所述，在显示指导模式下，通过图形图像来提供通过声音提供的信息，因此即使在用户很难识别声音的情况下也允许有效的信息提供。另外，可通过增加所显示的现有图形图像的信息的量并且增强区别来更准确地向驾驶员提供信息。

作为另一示例，将描述车辆进入交通管制路段的情况下的显示指导模式。

参照图14，当执行显示指导模式时，第一显示单元180a可在挡风玻璃的下端显示表示指示到达限速路段的交通信息声音指导的第五图形图像50。另外，第一显示单元180a还可显示包括关于限速的信息的第七图形图像70。

具体地讲，第一显示单元180a可按照动画方式显示指示交通违章相机80的图形图像21，因此更准确地向用户提供交通管制信息。

例如，可通过弹出窗口在交通违章相机80上形成第21图形图像21。图形图像21可通过根据车辆的当前速度与速度限制之间的差异以及相机80与车辆之间的距离改变其大小、饱和度或色调中的至少一个来显示。

作为另一示例，将描述当车辆进入车辆可通过多条路径进入的路口时的显示指导模式。

参照图15a，当执行显示指导模式时，第一显示单元180a可通过具有地毯形状的第31图形图像31以及表示文本的第五图形图像50来显示通过声音输出的车道指导信息。

另外，表示车道指导的第九图形图像90被显示为叠加在指示彼此不同的车道的目的地的道路标志上。即，在显示指导模式下，通过声音提供的导航信息可通过图形图像来显示。

参照图15b，第二显示单元180b可显示表示路口的车道的图形图像并且在车道上叠加显示表示车道的目的地的第91图形图像91。

作为另一示例，将描述发送文本消息的情况下的显示指导模式。

参照图16a，上侧图像表示在一般指导模式下接收文本消息的情况。在这种情况下，第一显示单元180a可显示表示指示接收到消息的图标的第15图形图像15，消息的内容可通过声音来输出。

图16a中的下侧图像表示在显示指导模式下接收文本消息的情况。在这种情况下，第一显示单元180a可在挡风玻璃的下端显示表示通过声音提供的文本消息的第16图形图像16。

参照图16b，上侧图像表示在一般指导模式下接收文本消息的情况。在这种情况下，第二显示单元180b可在挡风玻璃的下端显示表示文本消息的第25图形图像25。

图16b中的下侧图像表示在显示指导模式下接收文本消息的情况。在这种情况下，第二显示单元180b可去除表示文本消息的第25图形图像25并且还显示表示其它信息的图形图像。

作为另一示例，将描述燃油不足的情况下的显示指导模式。

参照图17a，上侧图像表示在一般指导模式下发生燃油不足的情况。在这种情况下，第一显示单元180a显示表示指示燃油不足的简单图标的第35图形图像35，详细车辆状态信息可通过声音输出。

图17b中的下侧图像表示在显示指导模式下发生燃油不足的情况。在这种情况下，第一显示单元180a还可在挡风玻璃的下端显示表示通过声音提供的车辆状态信息的第36图形图像36。

参照图17b，上侧图像表示在一般指导模式下发生燃油不足的情况。在这种情况下，第二显示单元180b在挡风玻璃的下端显示表示文本消息的第25图形图像25。

图17b中的下侧图像表示在显示指导模式下发生燃油不足的情况。在这种情况下，第二显示单元180b可去除表示文本消息的第25图形图像25并且还显示表示其它信息的图形图像，因此确保显示空间。

如上所述，在显示指导模式下，通过图形图像来提供通过声音提供的信息，因此即使在用户很难识别声音的情况下也允许有效信息提供。另外，可通过增加所显示的现有图形图像的信息的量并且增强区别来更准确地向驾驶员提供信息。

返回参照针对在车辆驾驶员辅助设备100中提供显示指导模式的方法的描述，在输出方法已切换为显示指导模式之后处理器170可改变驾驶员辅助功能的灵敏度(s105)。

具体地讲，由于执行显示指导模式的情况对应于驾驶员对驾驶的专注度较低的情况，所以可通过增强驾驶员辅助功能的灵敏度来实现安全驾驶。

具体地讲，参照图18，当执行显示指导模式时，处理器170可改变自动紧急制动(aeb)功能的灵敏度。具体地讲，处理器170可执行控制以增大执行aeb功能的障碍物的间隔距离d或/和间隔区域68，因此增强其灵敏度。

另外，处理器170可改变路口交通警示功能的灵敏度。具体地讲，处理器170可执行控制以增大执行路口交通警示功能的区域66，因此增强其灵敏度。

另外，处理器170可改变停车辅助功能的灵敏度。具体地讲，处理器170可执行控制以增大执行在停车时根据距车辆前方或后方的障碍物的距离执行警报的停车辅助功能的区域65，因此增强其灵敏度。

另外，处理器170可改变盲点检测功能的灵敏度。具体地讲，处理器170执行控制以增大车辆的盲点67，因此增强其灵敏度。

另外，当进行向显示指导模式的切换时处理器170可改变驾驶员辅助功能的声音指导。具体地讲，处理器170可利用更大的音量来输出用于紧急辅助功能的警报。

例如，处理器170可增大与aeb功能、盲点检测功能、前方防撞功能、路口交通警示功能和停车辅助功能中的至少一个有关的警告的警报音量。

另外，处理器170可对其它驾驶员辅助功能的声音指导执行静音并且显示图形图像。具体地讲，参照图19，第一显示单元180a可显示表示执行车道偏离警告(ldw)功能的信息指导的第75图形图像75。

如上所述，在显示指导模式下，可通过考虑驾驶员的专注度控制驾驶员辅助功能来增强安全驾驶。

接下来，将参照图20至图23描述在车辆驾驶员辅助设备100中提供声音指导模式的方法。

首先，车辆驾驶员辅助设备100获取车辆内部和外部信息并且当从车辆内部和外部信息确定执行声音指导模式的执行条件时，执行声音指导模式(s301)。

另外，当车辆的外部情况的复杂性高(例如，所检测到的外部对象的数量等于或大于预定数量)时，存储器170可执行声音指导模式。即，当用户很难识别显示在挡风玻璃上的图形图像时(例如，当存在许多外部对象或者在下雨时)，处理器170可执行声音指导模式。

另外，当驾驶员犯困时处理器170可执行声音指导模式，因此防止疲劳驾驶。

另外，当驾驶员直接进行输入以执行声音指导模式时，处理器170可执行声音指导模式。

接下来，处理器170可根据声音指导模式改变输出方法。

具体地讲，参照图21，当进行向声音指导模式的切换时，处理器170改变分别通过图形图像输出、声音输出和触觉输出提供的信息的量。

例如，处理器170可减少通过图形图像提供的信息的量并且增加通过声音提供的信息的量。

另外，当进行向显示指导模式的切换时，处理器170改变现有图形图像输出方法、现有声音输出方法和现有触觉输出方法中的至少一个(s401和s402)。

显示单元170可增加通过触觉提供的信息的量(s403)。

参照图22，上侧图像表示在一般指导模式下挡风玻璃的状态。在这种情况下，第一显示单元180a可显示表示交通信息的第二图形图像20和第三图形图像30以及表示导航信息的第31图形图像31。

下侧图像表示在声音指导模式下挡风玻璃的状态。在这种情况下，图形图像全部被去除，通过图形图像提供的信息可经由音频输出单元185通过声音来提供。

参照图23，上侧图像表示在一般指导模式下第二显示单元180b的状态。在这种情况下，第二显示单元180b可显示表示交通信息的第二图形图像20以及表示导航信息的第三图形图像30。

下侧图像表示在声音指导模式下挡风玻璃的状态。在这种情况下，图形图像全部被去除，可执行向用户所期望的控制模式的画面85的切换。

如上所述，在声音指导模式下，通过声音来提供通过图形图像提供的信息，因此即使在用户很难识别图形图像的情况下也允许有效信息提供。

参照图24，上述驾驶员辅助设备100可被包括在车辆700中。

车辆700可包括通信单元710、输入单元720、感测单元760、输出单元740、车辆驱动单元750、存储器730、接口780、控制器770、电源单元790、驾驶员辅助设备100和avn设备400。这里，在包括在驾驶员辅助设备100中的单元以及车辆700的单元当中，具有相同名称的单元被描述为被包括在车辆700中。

通信单元710可包括允许通信(例如，车辆与移动终端600之间、车辆与外部服务器510之间或者车辆与另一车辆520之间的无线通信)的一个或更多个模块。另外，通信单元710可包括将车辆连接至一个或更多个网络的一个或更多个模块。

通信单元710包括广播接收模块711、无线互联网模块712、短距离通信模块713和光通信模块715。

广播接收模块711通过广播信道从外部广播管理服务器接收广播信号或广播相关信息。这里，广播包括无线电广播或tv广播。

无线互联网模块712表示无线互联网接入模块并且可被设置在车辆内部或外部。无线互联网模块712根据无线互联网接入技术来通过通信网络发送和接收无线信号。

这些无线互联网接入技术的示例包括无线lan(wlan)、无线保真(wi-fi)、wi-fi直连、数字生活网络联盟(dlna)、无线宽带(wibro)、全球微波接入互操作性(wimax)、高速下行链路分组接入(hsdpa)、hsupa(高速上行链路分组接入)、长期演进(lte)、lte-a(高级长期演进)等。无线互联网模块712可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。例如，无线互联网模块712可与外部服务器510按照无线方式交换数据。无线互联网模块712可从外部服务器510接收天气信息和道路交通状况信息(例如，传输协议专家组(tpeg)信息)。

短距离通信模块713被配置为方便短距离通信。这种短距离通信可利用bluetooth^tm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、zigbee、近场通信(nfc)、无线保真(wi-fi)、wi-fi直连、无线usb(无线通用串行总线)等中的至少一个来支持。

短距离通信模块713可形成无线局域网以在车辆与至少一个外部装置之间执行短距离通信。例如，短距离通信模块713可与移动终端600按照无线方式交换数据。短距离通信模块713可从移动终端600接收天气信息和道路交通状况信息(例如，传输协议专家组(tpeg)信息)。当用户坐在车辆中时，用户的移动终端600和车辆可自动地或者通过执行用户的应用来彼此配对。

位置信息模块714获取车辆的位置，其代表性示例包括全球定位系统(gps)模块。例如，在使用gps模块时车辆可利用从gps卫星接收的信号来获取车辆的位置。

光通信模块715可包括光发射单元和光接收单元。

光接收单元可将光信号转换为电信号并且接收信息。光接收单元可包括用于接收光的光电二极管(pd)。光电二极管可将光转换为电信号。例如，光接收单元可通过从包括在前方车辆中的光源发射的光来接收关于前方车辆的信息。

光发射单元可包括至少一个发光元件以用于将电信号转换为光信号。这里，发光元件可以是发光二极管(led)。光发射单元将电信号转换为光信号以发射光。例如，光发射单元可经由发光元件的与规定频率对应的闪烁来向外发射光。在一些实施方式中，光发射单元可包括多个发光元件的阵列。在一些实施方式中，光发射单元可与设置在车辆中的灯集成。例如，光发射单元可以是选自前灯、尾灯、刹车灯、转向灯和侧灯中的至少一个。例如，光通信模块715可经由光通信来与另一车辆520交换数据。

输入单元720可包括驾驶操作单元721、相机195、麦克风723和用户输入单元724。

驾驶操作单元721接收用于驾驶车辆的用户输入(参见图2)。驾驶操作单元721可包括转向输入单元721a、换挡输入单元721d、加速输入单元721c和制动输入单元721b。

转向输入单元721a被配置为接收关于车辆行驶方向的用户输入。转向输入单元721a可包括利用旋转的方向盘。在一些实施方式中，转向输入单元721a可被配置成触摸屏、触摸板或按钮。

换挡输入单元721d被配置为从用户接收用于选择车辆的停车(p)、驱动(d)、空挡(n)和倒车(r)齿轮中的一个的输入。换挡输入单元721d可具有杆形式。在一些实施方式中，换挡输入单元721d可被配置成触摸屏、触摸板或按钮。

加速输入单元721c被配置为从用户接收用于车辆加速的输入。制动输入单元721b被配置为从用户接收用于车辆减速的输入。加速输入单元721c和制动输入单元721b中的每一个可具有踏板形式。在一些实施方式中，加速输入单元721c或制动输入单元721b可被配置成触摸屏、触摸板或按钮。

相机722可包括图像传感器和图像处理模块。相机722可处理通过图像传感器(例如，cmos或ccd)获得的静止图像或运动图像。另外，图像处理模块处理通过图像传感器获取的静止图像或运动图像，提取必要信息，并且将所提取的信息传送给控制器770。车辆可包括用于拍摄车辆的前方图像或者车辆附近的图像的相机722以及用于拍摄车辆内部的空间的图像的监测单元725。

监测单元725可获取乘客的图像。监测单元725可获取乘客的生物信息的图像。

尽管在图24中监测单元725和相机722被包括在输入单元720中，相机722可被包括在如上所述的驾驶员辅助设备100中。

麦克风723可将外部声音信号处理成电数据。所处理的数据可根据车辆正在执行的功能以各种方式来使用。麦克风723可将用户语音命令转换为电数据。所转换的电数据可被发送给控制器770。

此外，在一些实施方式中，相机722或麦克风723可不被包括在输入单元720中，而是可被包括在感测单元760中。

用户输入单元724被配置为从用户接收信息。当经由用户输入单元724输入信息时，控制器770可与输入信息对应地控制车辆的操作。用户输入单元724可包括触摸输入单元或机械输入单元。在一些实施方式中，用户输入单元724可被设置在方向盘的区域中。在这种情况下，驾驶员可在抓握方向盘的同时利用手指操作用户输入单元724。

感测单元760被配置为感测信号，例如，与车辆的驾驶有关的信号。为此，感测单元760可包括碰撞传感器、车轮传感器、速度传感器、倾斜传感器、重量传感器、航向传感器、横摆传感器、陀螺仪传感器、位置模块、车辆向前/向后传感器、电池传感器、燃油传感器、轮胎传感器、基于方向盘的旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声传感器、雷达、激光雷达等。

因此，感测单元760可获取关于例如车辆碰撞信息、车辆行驶方向信息、车辆位置信息(gps信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆向前/向后信息、电池信息、燃油信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度信息等的感测信号。

此外，感测单元760还可包括例如加速踏板传感器、压力传感器、引擎速度传感器、空气流速传感器(afs)、空气温度传感器(ats)、水温传感器(wts)、油门位置传感器(tps)、上死点(tdc)传感器和曲轴角度传感器(cas)。

感测单元760可包括生物传感器。生物传感器感测并获取乘客的生物信息。生物信息可包括指纹信息、虹膜扫描信息、视网膜扫描信息、手形信息、面部识别信息和语音识别信息。生物传感器可包括用于感测乘客的生物信息的传感器。这里，监测单元725和麦克风723可用作传感器。生物传感器可通过监测单元725来获取手形信息和面部识别信息。

输出单元740被配置为输出由控制器770处理的信息。输出单元740可包括显示单元741、声音输出单元742和触觉输出单元743。

显示单元741可显示由控制器770处理的信息。例如，显示单元741可显示车辆相关信息。这里，车辆相关信息可包括用于车辆的直接控制的车辆控制信息或者用于辅助车辆的驾驶的驾驶员辅助信息。另外，车辆相关信息可包括指示车辆的当前状态的车辆状态信息或者关于车辆的行驶的车辆行驶信息。

显示单元741可包括选自液晶显示器(lcd)、薄膜晶体管lcd(tftlcd)、有机发光二极管(oled)、柔性显示器、3d显示器和电子墨水显示器中的至少一个。

显示单元741可与触摸传感器配置层间结构，或者可与触摸传感器一体地形成以实现触摸屏。触摸屏可用作在车辆与用户之间提供输入接口的用户输入单元724，并且还用于在车辆与用户之间提供输出接口。在这种情况下，显示单元741可包括感测对显示单元741的触摸以按照触摸方式接收控制命令的触摸传感器。当如上所述对显示单元741输入触摸时，触摸传感器可感测该触摸并且控制器770可生成与该触摸对应的控制命令。以触摸方式输入的内容可以是字符或数字，或者可以是例如各种模式下的指令或者可指定的菜单项。

此外，显示单元741可包括允许驾驶员在驾驶车辆的同时查看车辆状态信息或车辆行驶信息的仪表。仪表可设置在仪表板上。在这种情况下，驾驶员可在目视前方的同时查看显示在仪表上的信息。

此外，在一些实施方式中，显示单元741可被实现为平视显示器(hud)。当显示单元741被实现为hud时，信息可经由设置在挡风玻璃处的透明显示器来输出。另选地，显示单元741可包括投影仪模块以经由投影到挡风玻璃上的图像来输出信息。

声音输出单元742被配置为将来自控制器170的电信号转换为音频信号并且输出所述音频信号。为此，声音输出单元742可包括例如扬声器。声音输出单元742可输出与用户输入单元724的操作对应的声音。

触觉输出单元743被配置为生成触觉输出。例如，触觉输出单元743可操作以使方向盘、安全带或者座椅振动，以使得用户能够识别其输出。

车辆驱动单元750可控制车辆的各种装置的操作。车辆驱动单元750可包括动力源驱动单元751、转向驱动单元752、制动驱动单元753、灯驱动单元754、空调驱动单元755、车窗驱动单元756、安全气囊驱动单元757、天窗驱动单元758和悬架驱动单元759中的至少一个。

动力源驱动单元751可执行车辆内部的动力源的电子控制。

例如，在基于化石燃料的引擎(未示出)为动力源的情况下，动力源驱动单元751可执行引擎的电子控制。因此，动力源驱动单元751可控制例如引擎的输出转矩。在动力源驱动单元751为引擎的情况下，动力源驱动单元751可在控制器770的控制下通过控制引擎的输出转矩来控制车辆的速度。

在另一示例中，在电动马达(未示出)为动力源的情况下，动力源驱动单元751可执行马达的控制。因此，动力源驱动单元751可控制例如马达的rpm和转矩。

转向驱动单元752可执行车辆内的转向设备的电子控制。转向驱动单元752可改变车辆的行驶方向。

制动驱动单元753可执行车辆内部的制动设备(未示出)的电子控制。例如，制动驱动单元753可通过控制设置在车轮处的刹车的操作来减小车辆的速度。在另一示例中，制动驱动单元753可通过区分设置在左车轮和右车轮处的相应刹车的操作来向左或向右调节车辆的行驶方向。

灯驱动单元754可将布置在车辆内部和外部的至少一个灯打开或关闭。另外，灯驱动单元754可控制例如各个灯的光的强度和方向。例如，灯驱动单元754可执行转向信号灯或刹车灯的控制。

空调驱动单元755可执行车辆内部的空调(未示出)的电子控制。例如，当车辆的内部温度较高时，空调驱动单元755可操作空调以向车辆内部供应冷风。

车窗驱动单元756可执行车辆内部的车窗设备的电子控制。例如，车窗驱动单元756可控制车辆的左车窗和右车窗的打开或关闭。

安全气囊驱动单元757可执行车辆内部的安全气囊设备的电子控制。例如，安全气囊驱动单元757可控制安全气囊在危险情况下展开。

天窗驱动单元758可执行车辆内部的天窗设备(未示出)的电子控制。例如，天窗驱动单元758可控制天窗的打开或关闭。

悬架驱动单元759可执行车辆内部的悬架设备(未示出)的电子控制。例如，当路面不平时，悬架驱动单元759可控制悬架设备以减小车辆的振动。

存储器730电连接至控制器770。存储器730可存储单元的基本数据、用于单元的操作控制的控制数据以及输入/输出数据。存储器730可以是以硬件方式实现的各种存储设备，例如rom、ram、eprom、闪存驱动器和硬盘驱动器。存储器730可存储各种数据以便于车辆的总体操作，例如用于控制器770的处理或控制的程序。

接口780可充当连接至车辆的各种类型的外部装置的通道。例如，接口780可具有可连接至移动终端600的端口并且可经由该端口连接至移动终端600。在这种情况下，接口780可与移动终端600交换数据。

接口780可充当向所连接的移动终端600提供电能的通道。当移动终端600电连接至接口780时，接口780可在控制器770的控制下将从电源单元790供应的电能提供给移动终端600。

控制器770可控制车辆内部的各个单元的总体操作。控制器770可被称作电子控制单元(ecu)。

控制器770可根据用于执行驾驶员辅助设备100的信号的传送来执行与所传送的信号对应的功能。

控制器770可利用选自专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器以及用于实现其它功能的电子单元中的至少一个以硬件方式来实现。

控制器770可起到上述处理器170的作用。即，驾驶员辅助设备100的处理器170可被直接设定在车辆的控制器770中。在这种实施方式中，驾驶员辅助设备100可被理解成车辆的一些组件的组合。

另选地，控制器770可控制组件以发送处理器170所请求的信息。

电源单元790可在控制器770的控制下供应操作各个组件所需的电力。具体地讲，电源单元790可从例如车辆内部的电池(未示出)接收电力。

avn设备400可与控制器770交换数据。控制器770可从avn设备或者单独的导航设备接收导航信息。这里，导航信息可包括目的地信息、关于到目的地的路线的信息、与车辆行驶有关的地图信息以及车辆的当前位置信息。

根据实施方式，在一般情况的情况下，车辆驾驶员辅助设备在一般指导模式下提供信息。另外，当从内部情况信息和外部情况信息检测到显示指导模式的执行条件或声音指导模式的执行条件时，车辆驾驶员执行与执行条件对应的指导模式，因此根据最优输出方法将驾驶员辅助信息提供给驾驶员。

具体地讲，车辆驾驶员辅助设备提供显示指导模式。在显示指导模式下，通过图形图像来提供通过声音提供的信息，因此即使在用户很难识别声音的情况下也允许有效信息提供。另外，通过增加所显示的现有图形图像的信息的量并且增强区别，可更准确地向驾驶员提供信息。

另外，车辆驾驶员辅助设备提供声音指导模式。在声音指导模式下，通过声音来提供通过图形图像提供的信息，因此即使在用户很难识别图形图像的情况下也允许有效信息提供。

上述特征、配置、效果等被包括在本发明的至少一个实施方式中，不应仅限于一个实施方式。另外，当各个实施方式中所示的特征、配置、效果等在被本领域技术人员彼此组合或修改时可关于其它实施方式来实现。因此，与这些组合和修改有关的内容应该被解释为包括在如所附权利要求书中公开的本发明的范围和精神内。

另外，尽管到目前为止主要描述了实施方式，它们仅是示例性的，并不限制本发明。因此，本发明所属领域的技术人员将知道，在不脱离实施方式的基本特性的范围内，可实现未举例说明的各种修改和应用。例如，在示例性实施方式中详细描述的构成元件可被修改以被实现。另外，与这些修改和应用有关的差异将被解释为被包括在所附权利要求书中指定的本发明的范围内。