驾驶员辅助设备及其控制方法与流程

本发明涉及驾驶员辅助设备及其控制方法，并且更具体地，涉及给车辆驾驶员提供盲点区域的图像的驾驶员辅助设备及其控制方法。

背景技术：

车辆是经由车轮的驱动来将例如人或货物从一个地方运送到另一地方的设备。车辆的示例包括诸如摩托车这样的两轮汽车、诸如轿车这样的四轮汽车、以及火车。

近年来，为了增加使用车辆的用户的安全和方便，正在积极地开发用于给车辆配备例如各种传感器和电子装置的技术。具体地，例如，正在开发用于用户驾驶方便的各种设备。

在这些设备当中，全景监视(AVM)系统被配置为通过使用多个相机来拍摄车辆在整个360度的外围(periphery)的图像而生成多个图像，并且对所生成的图像进行构图(compose)，由此显示看起来从上面拍摄车辆的图像的所谓的全景画面。

驾驶员能够在观看全景画面时接收操作车辆的辅助。然而，由于能够被包含在全景画面中的空间是非常有限的事实，全景画面的利用限于诸如例如停车或慢速驾驶(低于约20km/h)这样的少数情形。

因此，存在对于通过使用由其它车辆生成的图像来给车辆提供比其图像能够由安装到对应车辆的相机拍摄的区域宽的区域的图像的技术的需求。

技术实现要素：

因此，本发明被创造出来以解决上述问题，并且本发明的目的在于提供一种驾驶员辅助设备及其控制方法，该驾驶员辅助设备使用由其它车辆生成的不同的行驶图像来生成扩展的图像，由此提供不能够由安装到由驾驶员占用的车辆的相机拍摄的区域的图像。

本发明的目的不应该限于上述目的，并且其它未提及的目的将由本领域技术人员 从以下描述清楚地理解。

根据本发明的一个实施方式，能够通过提供一种驾驶员辅助设备来实现上述及其它目的，该驾驶员辅助设备包括：至少一个相机，该至少一个相机被配置为通过拍摄车辆的外围的图像来生成主图像；通信单元，该通信单元被配置为接收由至少一辆其它车辆生成的多个辅图像；以及处理器，该处理器连接至所述至少一个相机和所述通信单元。所述处理器被配置为基于预定条件或用户输入来选择所述辅图像中的至少一个，并且使用所述主图像和所选择的辅图像来生成扩展的图像。

在本发明的至少一个可能的实施方式中，所述处理器可以向所述至少一辆其它车辆发送图像请求信号，并且接收由所述至少一辆其它车辆响应于所述图像请求信号而发送的所述多个辅图像。

在本发明的至少一个可能的实施方式中，所述通信单元还可以接收车辆的位置信息。所述处理器可以基于所述位置信息来判断在离所述车辆的预定距离内是否存在警示区(caution zone)。基于存在于离所述车辆的所述预定距离内的所述警示区，所述处理器可以将所述至少一辆其它车辆识别为位于所述警示区中，并且控制所述通信单元以将所述图像请求信号发送到位于所述警示区中的所述至少一辆其它车辆。

在本发明的至少一个可能的实施方式中，所述通信单元还可以接收交通信息和车辆的位置信息。所述处理器可以基于所述位置信息和所述交通信息来判断在离所述车辆的预定距离内是否存在拥塞区。基于存在于离所述车辆的所述预定距离内的所述拥塞区，所述处理器可以将所述至少一辆其它车辆识别为位于所述拥塞区中，并且控制所述通信单元以将所述图像请求信号发送到位于所述拥塞区中的所述至少一辆其它车辆。

在本发明的至少一个可能的实施方式中，所述处理器可以确定所述辅图像中的至少一个和所述主图像是否具有所述主图像的一部分与所述辅图像中的至少一个的一部分交叠的交叠区域。基于所述辅图像中的至少一个和所述主图像具有所述交叠区域的确定，所述处理器可以通过基于所述交叠区域来将所述辅图像中的至少一个和所述主图像彼此组合而生成扩展的图像。

在本发明的至少一个可能的实施方式中，所述通信单元还可以接收所述车辆的位置信息和所述至少一辆其它车辆的位置信息。所述处理器可以确定所述辅图像中的至少一个和所述主图像是否具有所述主图像的一部分与所述辅图像中的至少一个的一 部分交叠的交叠区域。基于所述辅图像中的至少一个和所述主图像不具有所述交叠区域的确定，所述处理器可以通过基于所述车辆的所述位置信息和所述至少一辆其它车辆的所述位置信息来将所选择的所述辅图像中的至少一个和所述主图像彼此组合而生成扩展的图像。

在本发明的至少一个可能的实施方式中，所述通信单元还可以接收所述至少一辆其它车辆的车辆主体方向信息。所述处理器可以从所述车辆的感测单元接收所述车辆的车辆主体方向信息，并且通过基于所述车辆的所述位置信息、所述车辆的所述车辆主体方向信息、所述至少一辆其它车辆的所述位置信息和所述至少一辆其它车辆的所述车辆主体方向信息来将所选择的所述辅图像中的至少一个和所述主图像彼此组合而生成扩展的图像。

在本发明的至少一个可能的实施方式中，所述处理器可以基于包括所选择的所述辅图像中的至少一个和所述主图像的经扩展的图像来生成与仅在所选择的所述辅图像中的至少一个中示出的障碍物有关的信息，并且基于关于所述障碍物的所述信息来生成用于改变所述车辆的速度和方向中的至少一个的控制信号。

在本发明的至少一个可能的实施方式中，所述处理器可以基于经扩展的图像来生成针对所述车辆的路线，并且生成用于进入针对所述路线的自主驾驶模式的控制信号。

在本发明的至少一个可能的实施方式中，所述驾驶员辅助设备还可以包括显示单元，该显示单元被配置为显示经扩展的图像。所述处理器可以将所述显示单元的画面划分成多个子画面，并且将经扩展的图像显示在所述子画面中的一个上，而在所述子画面中的另一个上显示关于经扩展的图像的信息。所述处理器可以控制所述显示单元以向经扩展的图像内的包含障碍物的区域提供视觉效果。所述处理器可以控制所述显示单元以将与所述车辆对应的图像和与所述至少一辆其它车辆对应的图像区分开，并且显示与所述车辆对应的图像和与所述至少一辆其它车辆对应的图像。

在本发明的至少一个可能的实施方式中，所述处理器可以根据所述车辆的速度来改变经扩展的图像的生成周期。

在本发明的至少一个可能的实施方式中，所述通信单元可以从所述至少一辆其它车辆接收针对所述主图像的图像请求信号。所述处理器可以响应于所述图像请求信号而控制所述通信单元以将所述主图像发送到所述至少一辆其它车辆。

在本发明的至少一个可能的实施方式中，所述处理器可以基于在所述主图像中存在障碍物的判断来控制所述通信单元以将所述主图像发送到所述至少一辆其它车辆。

在以下描述和附图中包含其它实施方式的细节。

附图说明

将从结合附图进行的以下详细描述更清楚地理解本发明的上述及其它目的、特征和优点，在附图中：

图1是例示了设置有根据本发明的实施方式的驾驶员辅助设备的车辆的外观的视图；

图2A、图2B和图2C是被参照来说明附接至根据本发明的实施方式的图1的车辆的相机的视图；

图3A、图3B和图3C是例示了根据本发明的各种实施方式的驾驶员辅助设备的各种示例性内部框图；

图4A和图4B是例示了图3A和图3B的处理器的各种示例性内部框图；

图5A和图5B是被参照来说明图4A和图4B的处理器的操作的视图；

图6A和图6B是被参照来说明图3A、图3B和图3C的驾驶员辅助设备的操作的视图；

图7是例示了图1的车辆的一个示例的内部框图；

图8是例示了根据本发明的一个实施方式的驾驶员辅助设备的控制方法的流程图；

图9A、图9B、图9C和图9D是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图10A、图10B、图10C和图10D是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图11A、图11B、图11C和图11D是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图12A、图12B、图12C和图12D是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图13A、图13B、图13C、图13D和图13E是说明根据本发明的一个实施方式 的驾驶员辅助设备的操作的视图；

图14A、图14B、图14C、图14D和图14E是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图15A、图15B和图15C是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图16A、图16B、图16C和图16D是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图17A和图17B是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图18A和图18B是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图19是说明根据本发明的一个实施方式的驾驶员辅助设备的视图；

图20A和图20B是说明根据本发明的一个实施方式的驾驶员辅助设备的操作的视图；

图21是说明根据本发明的一个实施方式的驾驶员辅助设备的视图；

图22A和图22B是说明根据本发明的一个实施方式的驾驶员辅助设备控制扩展的图像的显示状态的操作的视图；以及

图23是例示了根据本发明的一个实施方式的驾驶员辅助设备的控制方法的流程图。

具体实施方式

在下文中，将参照附图详细地描述本说明书中公开的实施方式，并且即使在不同的附图中描绘相同或类似的元件，它们也由相同的附图标记来表示，并且将省去其的冗余描述。在以下描述中，关于以下描述中使用的组成元件，后缀“模块”和“单元”是仅考虑到准备本说明书的容易来给出的或者彼此混用，并且不具有或用作不同的含义。因此，后缀“模块”和“单元”可以彼此混用。另外，在本说明书中公开的实施方式的以下描述中，并入在本文中的已知功能和配置的详细描述在它可能使本说明书中公开的实施方式的主题变得不清楚时将被省去。另外，附图是仅为了更好地理解本说明书中公开的实施方式而提供的，而不旨在限制本说明书中公开的技术构思。因此， 应该理解的是，附图包括在本发明的范围和精神中包括的所有修改、等同物和替换。

将要理解的是，尽管术语第一、第二等可以在本文中被用来描述各种组件，然而这些组件不应该受这些术语限制。这些术语仅被用来将一个组件和另一组件区分开。

将要理解的是，当组件被称为“连接至”或“联接至”另一组件时，它可以直接连接至或联接至另一组件，或者可以存在中间组件。相比之下，当组件被称为“直接连接至”或“直接联接至”另一组件时，不存在中间组件。另外，将要理解的是，当组件被称为“控制”另一组件时，它可以直接控制另一组件，或者还可以经由第三组件的媒介作用来控制另一组件。另外，将要理解的是，当组件被称为向另一组件“提供”信息和信号时，它可以直接向另一组件提供信息和信号，并且还可以经由第三组件的媒介作用向另一组件提供信息和信号。

如本文中使用的，除非上下文另外清楚地指示，否则单数形式也旨在包括复数形式。

在本申请中，还将要理解的是，术语“包括”、“包含”等指定规定的特征、整数、步骤、操作、元件、组件或其组合的存在，但是不排除一个或更多个其它特征、整数、步骤、操作、元件、组件或其组合的存在或添加。

如本说明书中描述的车辆可以包括包含发动机作为动力源的内燃机车辆、包含发动机和电动机二者作为动力源的混合动力车辆以及包含电动机作为动力源的电动车辆。

图1是例示了根据本发明的一个实施方式的车辆1的外观的视图。为了描述的方便，车辆1被假定为是四轮汽车。

参照图1，车辆1可以包括通过动力源转动的轮胎11a至11d、用于调整车辆1的行驶方向的方向盘12、前灯13a和13b、刮水器14a和14b以及将在下面描述的驾驶员辅助设备100。

根据本发明的实施方式的驾驶员辅助设备100可以用来生成车辆1的全景图像(surround-view image)，从所生成的全景图像中检测信息，并且输出用于例如调整车辆1的行驶方向的控制信号。这时，可以将所述控制信号提供给控制器(图7中的770)，并且控制器(图7中的770)可以基于所述控制信号来控制例如转向设备(steering apparatus)。

驾驶员辅助设备100可以包括至少一个相机，并且可以在处理器(图3A和图3B 中的170)中对由相机拍摄的图像进行信号处理。例如，如所例示的，可以将相机195安装到车辆1的挡风玻璃的上端部以拍摄车辆1前面的视图的图像。

此外，车辆1的主体的最低点和路面可以彼此间隔开最小离地间隙G。这可以防止由于具有比最小离地间隙G低的高度的任何物体而对车辆主体造成的损害。

另外，车辆1的左前轮胎11a与右前轮胎11b之间的距离以及左后轮胎11c与右后轮胎11d之间的距离被假定为彼此相等。在下文中，前轮左轮胎11a的内侧与前轮右轮胎11b的内侧之间的距离以及后轮左轮胎11c的内侧与后轮右轮胎11d的内侧之间的距离被假定为具有相同的值T。

另外，车辆1的全宽度O被限定为从排除侧视镜的车辆1的主体的最左点到最右点的最大距离。

此外，图1中所例示的车辆1可以包括将在下面描述的驾驶员辅助设备100。

图2A、图2B和图2C是被参照来说明附接至根据本发明的实施方式的图1的车辆1的相机的视图。

将在下面参照图2A描述包括用于拍摄车辆1前面的视图的图像的相机195a和195b的驾驶员辅助设备100。

尽管图2A将驾驶员辅助设备100例示为包括两个相机195a和195b，然而要注意的是，本发明关于相机的数目不受限制。

参照图2A，驾驶员辅助设备100可以包括具有第一透镜193a的第一相机195a以及具有第二透镜193b的第二相机195b。在这种情况下，这些相机195可以被称为立体相机。

此外，驾驶员辅助设备100还可以包括分别屏蔽被引入到第一透镜193a和第二透镜193b的光的第一遮光罩192a和第二遮光罩192b。

图2A的驾驶员辅助设备100可以具有用于附接至车辆1的室内或室外位置(例如，顶篷或挡风玻璃)的结构或者从车辆1的室内或室外位置(例如，顶篷或挡风玻璃)分离的结构。

如上所述的驾驶员辅助设备100可以从第一相机195a和第二相机195b获得车辆1前面的视图的立体图像。另外，驾驶员辅助设备100可以基于立体图像来执行双目视差检测，然后基于双目视差信息来执行针对至少一个立体图像的物体检测。在物体检测之后，驾驶员辅助设备100可以连续地跟踪物体的移动。

将在下面参照图2B和图2C描述包括用于获得车辆1的全景图像的相机195、196、197和198的驾驶员辅助设备100。

尽管图2B和图2C将驾驶员辅助设备100例示为包括四个相机，然而要注意的是，本发明关于相机的数目不受限制。

参照图2B和图2C，驾驶员辅助设备100可以包括相机195、196、197和198。在这种情况下，这些相机195、196、197和198可以被称为所谓的全景相机。

相机195、196、197和198可以分别位于车辆1的前侧、左侧、右侧和后侧。

左相机196可以位于包围左侧视镜的壳体的内部。另选地，左相机196可以位于包围左侧视镜的壳体的外部。又另选地，左相机196可以位于左前门、左后门或左挡泥板的外部的区域处。

右相机197可以位于包围右侧视镜的壳体的内部。另选地，右相机197可以位于包围右侧视镜的壳体的外部。又另选地，右相机197可以位于右前门、右后门或右挡泥板的外部的区域处。

此外，后相机198可以位于靠近后牌照或者干线开关。

前相机195可以位于靠近挡风玻璃、靠近车标或者靠近散热器护栅。

可以向处理器170发送由相机195至198拍摄的相应图像，并且处理器170可以对这些相应图像进行构图以生成车辆1的全景图像。

图2C例示了车辆1的全景图像的一个示例。全景图像201可以包括由左相机196拍摄的第一图像区域196i、由后相机198拍摄的第二图像区域198i、由右相机197拍摄的第三图像区域197i以及由前相机195拍摄的第四图像区域195i。

此外，当从相机生成全景图像(在下文中还被称为所谓的“全景图像”)时，在相应的图像区域之间生成边界。这些边界可以经受图像混合(image blending)，以便于其自然显示。

此外，可以在相应的图像区域之间的边界处显示边界线202a、202b、202c和202d。另外，全景图像201可以在其中心处包括车辆图像。这里，车辆图像可以是由处理器170生成的图像。另外，车辆1的全景图像201可以经由车辆1的显示单元741或者驾驶员辅助设备100的显示单元180来显示。

图3A、图3B和图3C是例示了根据本发明的各种实施方式的驾驶员辅助设备100的各种示例性内部框图。

图3A和图3B的驾驶员辅助设备100可以经由从相机195接收的图像的基于计算机视觉的信号处理来生成车辆相关信息。这里，车辆相关信息可以包括用于车辆的直接控制的车辆控制信息或者用于在行驶期间引导车辆驾驶员的车辆行驶辅助信息。

这里，相机195可以是单目相机。另选地，相机195可以是拍摄车辆前面的视图的图像(在下文中被称为车辆的“前方图像”)的立体相机195a和195b。又另选地，可以将相机195包含在拍摄车辆的全景图像的全景相机195至198中。

图3A是根据本发明的实施方式的驾驶员辅助设备100的内部框图。

参照图3A，驾驶员辅助设备100可以包括输入单元110、通信单元120、接口单元130、存储器140、处理器170、电源单元190、相机195、显示单元180和音频输出单元185。处理器170可以操作性地连接至下面的项中的至少一个：输入单元110、通信单元120、接口单元130、存储器140、电源单元190、相机195、显示单元180和音频输出单元185。

输入单元110被用来从驾驶员接收各种输入。例如，输入单元110可以包括附接至相机195至198的多个按钮或触摸屏。驾驶员可以开启驾驶员辅助设备100，以使用按钮或触摸屏来操作驾驶员辅助设备100。另外，输入单元110可以被用于实现各种其它输入操作。

通信单元120可以按无线方式与例如移动终端600、服务器510或者其它车辆的其它外部器具交换数据。具体地，通信单元120可以按无线方式与驾驶员的移动终端600交换数据。可以使用诸如例如蓝牙、Wi-Fi、Wi-Fi直连、APiX和NFC这样的各种无线数据通信协议。

通信单元120可以从移动终端600或服务器500接收诸如例如传输协议专家组(TPEG)信息这样的道路交通状态信息和天气信息。此外，通信单元120可以向移动终端600或服务器500发送由驾驶员辅助设备100获得的实时信息。

此外，当用户进入车辆时，用户的移动终端600可以自动地或者随着用户执行配对应用而与驾驶员辅助设备100配对。

通信单元120可以从外部服务器510接收交通灯改变信息。这里，外部服务器510可以是位于交通控制中心中的服务器。

接口单元130可以接收车辆相关数据，或者将由处理器170处理或生成的信号发送到外部。为此，接口单元130可以按有线或无线通信方式执行与例如车辆内部的控 制器170、音频视频导航(AVN)设备400和感测单元760的数据通信。

接口单元130可以经由与控制器770、AVN设备400或单独的导航设备的数据通信来接收导航信息。这里，导航信息可以包括设置目的地信息、基于目的地的选路信息、与车辆行驶有关的地图信息、以及车辆的当前位置信息。此外，导航信息可以包括关于车辆在道路上的位置的信息。

此外，接口单元130可以从控制器770或感测单元760接收传感器信息。

这里，传感器信息可以包括从下面的项当中选择的至少一个：车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速信息、车辆倾斜信息、车辆向前/向后移动信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息和物体信息。

可以从例如如下传感器来获取传感器信息：前进方向(heading)传感器、偏航传感器、陀螺仪传感器、位置模块、车辆向前/向后移动传感器、车轮传感器、车辆速度传感器、车辆主体倾斜传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的转动的转向传感器、车辆内部温度传感器、车辆内部湿度传感器和物体传感器(例如，雷达、激光雷达或超声传感器)。此外，位置模块可以包括用于接收GPS信息的GPS模块。

此外，在以上指定的传感器信息中，例如，与车辆行驶有关的车辆行驶方向信息、车辆位置信息、车辆角度信息、车辆速度信息和车辆倾斜信息可以被称为车辆行驶信息。

接口单元130可以接收转向信号信息。这里，转向信号信息可以是转向信号灯的针对由用户输入的向左转或向右转的开启信号。当经由车辆的用户输入单元(图7中的724)接收到用于开启左转向信号灯或右转向信号灯的输入时，接口单元130可以接收用于左转向或右转向的转向信号信息。

接口单元130可以接收车辆速度信息、方向盘转动角度信息或者换挡杆信息(gearshift information)。接口单元130可以接收经由车辆的感测单元760感测的车辆速度信息、方向盘转动角度信息或者换挡信息。另选地，接口单元130可以从车辆的控制器770接收车辆速度信息、方向盘转动角度信息或者换挡信息。此外，这里，换挡信息可以是关于车辆的当前挡位的信息。例如，换挡信息可以是与换挡杆是否是处在停车挡(P)、倒车挡(R)、空挡(N)、驱动挡(D)或者编号的挡中的任何一个 有关的信息。

接口单元130可以经由车辆1的用户输入单元724来接收用户输入。接口单元130可以从车辆1的输入单元720接收用户输入，或者可以通过控制器770来接收用户输入。

接口单元130可以接收从外部服务器510获得的信息。外部服务器510可以是位于交通控制中心中的服务器。例如，当经由车辆的通信单元710从外部服务器510接收到交通灯改变信息时，接口单元130可以从控制器(图7的770)接收该交通灯改变信息。存储器140可以存储用于驾驶员辅助设备100的总体操作的各种数据，诸如例如用于处理器170的处理或控制的程序。

存储器140可以存储用于物体验证的数据。例如，当从由相机195拍摄的图像中检测到规定物体时，存储器140可以存储用于使用规定算法来验证物体对应于什么的数据。

存储器140可以存储与交通信息有关的数据。例如，当从由相机195拍摄的图像中检测到规定交通信息时，存储器140可以存储用于使用规定算法来验证交通信息对应于什么的数据。

此外，存储器140可以是诸如例如ROM、RAM、EPROM、闪存驱动器和硬驱动器这样的各种硬件存储装置中的任一个。

处理器170控制驾驶员辅助设备100内部的每个单元的总体操作。

处理器170可以对由相机195获得的车辆的前方图像或全景图像进行处理。具体地，处理器170实现基于计算机视觉的信号处理。因此，处理器170可以从相机195获得车辆的前方图像或全景图像，并且基于该图像来执行物体检测和物体跟踪。具体地，处理器170可以在物体检测期间执行例如车道检测(LD)、车辆检测(VD)、行人检测(PD)、亮斑检测(BD)、交通标志识别(TSR)和路面检测。

此外，交通标志可以意指可以被发送到车辆1的驾驶员的规定信息。可以经由交通灯、交通标志或路面将交通标志发送给驾驶员。例如，交通标志可以是从交通灯输出的针对车辆或行人的通行信号或停止信号。例如，交通标志可以是在交通标志上标记的各种符号或文本。例如，交通标志可以是在路面上标记的各种符号或文本。

处理器170可以从由相机195获得的车辆的全景图像中检测信息。

所述信息可以是车辆行驶情形信息。例如，所述信息可以包括车辆行驶道路信息、 交通规则信息、相邻车辆信息、车辆或行人交通灯信息、道路施工(roadwork)信息、交通状态信息、停车场信息和车道信息。

所述信息可以是交通信息。处理器170可以从由相机195拍摄的图像中包含的交通灯、交通标志和路面中的任一个检测交通信息。例如，处理器170可以从图像中包含的交通灯中检测针对车辆或行人的通行信号或停止信号。例如，处理器170可以从图像中包含的交通标志中检测各种符号或文本。例如，处理器170可以从图像中包含的路面中检测各种符号或文本。

处理器170可以通过将检测的信息与存储器140中存储的信息进行比较来验证信息。

例如，处理器170从所获得的图像中包含的物体中检测指示坡道的符号或文本。这里，物体可以是交通标志或路面。处理器170可以通过将所检测的符号或文本与存储器140中存储的交通信息进行比较来验证坡道信息。

例如，处理器170从所获得的图像中包含的物体中检测指示车辆或行人停止的符号或文本。这里，物体可以是交通标志或路面。处理器170可以通过将所检测的符号或文本与存储器140中存储的交通信息进行比较来验证停止信息。另选地，处理器170从所获得的图像中包含的路面中检测停止线。处理器170可以通过将所检测的停止线与存储器140中存储的交通信息进行比较来验证停止信息。

例如，处理器170可以从所获得的图像中包含的物体中检测是否存在交通车道标记。这里，物体可以是路面。处理器170可以检查所检测的交通车道标记的颜色。处理器170可以检查所检测的交通车道标记是针对行驶车道还是左转车道。

例如，处理器170可以从所获得的图像中包含的物体中检测车辆通行或停止信息。这里，物体可以是车辆交通灯。这里，车辆通行信息可以是用于指示车辆直行或者左转或右转的信号。车辆停止信息可以是用于指示车辆停止的信号。车辆通行信息可以用绿色显示，而车辆停止信息可以用红色显示。

例如，处理器170可以从所获得的图像中包含的物体中检测行人通行或停止信息。这里，物体可以是行人交通灯。这里，行人通行信息可以是用于指示行人在人行横道处穿过街道的信号。行人停止信息可以是用于指示行人在人行横道处停止的信号。

此外，处理器170可以控制相机195的变焦。例如，处理器170可以基于物体检 测结果来控制相机195的变焦。当检测到交通标志，但是未检测到交通标志上写的内容时，处理器170可以控制相机195以放大。

此外，处理器170可以经由通信单元120来接收天气信息和道路交通状态信息，例如，传输协议专家组(TPEG)信息。

此外，处理器170可以通过驾驶员辅助设备100基于立体图像来实时地识别已被识别的车辆周围的交通状态信息。

此外，处理器170可以经由接口单元130从AVN设备400或单独的导航设备(未例示)接收例如导航信息。

此外，处理器170可以经由接口单元130从控制器770或感测单元760接收传感器信息。这里，传感器信息可以包括从下面的项当中选择的至少一个：车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速信息、车辆倾斜信息、车辆向前/向后移动信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息和方向盘转动信息。

此外，处理器170可以经由接口单元130从控制器770、AVN设备400或单独的导航设备(未例示)接收导航信息。

此外，可以使用下面的项中的至少一个来实现处理器170：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及用于实现其它功能的电单元。

处理器170可以由控制器770控制。

显示单元180可以显示在处理器170中处理的各条信息。显示单元180可以显示与驾驶员辅助设备100的操作有关的图像。为了显示这种图像，显示单元180可以包括安装在车辆的内部前面的仪表板(cluster)或平视显示器(HUD)。此外，当显示单元180是HUD时，显示单元180可以包括投影器模块以将图像投影到车辆1的挡风玻璃。

音频输出单元185可以将基于在处理器170中处理的音频信号的声音输出到外部。为此，音频输出单元185可以包括至少一个扬声器。

音频输入单元(未例示)可以接收用户语音。为此，音频输入单元可以包括麦克风。可以通过音频输入单元来将所接收的语音转换成电信号，以由此被发送到处理器 170。

电源单元190可以供应对于在处理器170的控制下操作相应的组件所需的电力。具体地，电源单元190可以从车辆内部的例如电池接收电力。

相机195获得车辆的前方图像或全景图像。相机195可以是用于拍摄车辆的前方图像的单目相机或立体相机195a和195b。另选地，可以将相机195包含在全景相机195、196、197和198中，以拍摄车辆的全景图像。

相机195可以包括图像传感器(例如，CMOS或CCD)和图像处理模块。

相机195可以对由图像传感器获得的静止图像或运动图像进行处理。图像处理模块可以对由图像传感器获得的静止图像或运动图像进行处理。此外，在一些实施方式中，图像处理模块可以与处理器170分开或者集成在一起。

相机195可以获得拍摄交通灯、交通标志和路面中的至少一个的图像。

可以将相机195设置为在处理器170的控制下放大/缩小。例如，在处理器170的控制下，可以移动相机195中包含的变焦镜头筒(未例示)以放大/缩小。

可以在处理器170的控制下使相机195聚焦。例如，在处理器170的控制下，可以移动相机195中包含的变焦镜头筒(未例示)以设置焦点。可以基于放大/缩小设置来自动地设置焦点。

此外，处理器170可以自动地控制焦点以对应于相机195的变焦控制。

图3B是根据本发明的另一实施方式的驾驶员辅助设备100的内部框图。

参照图3B，与图3A的驾驶员辅助设备100相比，驾驶员辅助设备100的差异在于它包括立体相机195a和195b。以下描述将关注于该差异。

驾驶员辅助设备100可以包括第一相机195a和第二相机195b。这里，第一相机195a和第二相机195b可以被称为立体相机。

立体相机195a和195b可以被配置为可拆卸地附接至车辆1的顶篷或挡风玻璃。立体相机195a和195b可以分别包括第一透镜193a和第二透镜193b。

此外，立体相机195a和195b可以分别包括屏蔽要被引入到第一透镜193a和第二透镜193b的光的第一遮光罩192a和第二遮光罩192b。

第一相机195a拍摄车辆的第一前方图像。第二相机195b拍摄车辆的第二前方图像。第二相机195b与第一相机195a间隔开规定距离。因为第一相机195a和第二相机195b彼此间隔开规定距离，所以生成了双目视差，这使得能够基于该双目视差来 检测到物体的距离。

此外，当驾驶员辅助设备100包括立体相机195a和195b时，处理器170可以实现基于计算机视觉的信号处理。因此，处理器170可以从立体相机195a和195b获得车辆前面的视图的立体图像，并且基于这些立体图像来执行针对车辆前面的视图的双目视差计算。然后，处理器170可以基于所计算出的双目视差信息来执行针对这些立体图像中的至少一个的物体检测，并且在物体检测之后，连续地跟踪物体的运动。这里，立体图像基于从第一相机195a接收的第一前方图像和从第二相机195b接收的第二前方图像。

具体地，例如，处理器170可以在物体检测期间执行车道检测(LD)、车辆检测(VD)、行人检测(PD)、亮斑检测(BD)、交通标志识别(TSR)和路面检测。

另外，处理器170可以执行例如到检测的相邻车辆的距离的计算、所检测的相邻车辆的速度的计算以及与所检测的相邻车辆的速度差的计算。

处理器170可以单独地控制第一相机195a和第二相机195b的变焦。处理器170可以在使第一相机195a的变焦固定的同时定期地改变第二相机195b的变焦放大率。处理器170可以在使第二相机195b的变焦固定的同时定期地改变第一相机195a的变焦放大率。

处理器170可以控制第一相机195a或第二相机195b以按规定周期放大或缩小。

处理器170可以将第一相机195a的变焦设置为高放大率，以便有利于按长距离的物体检测。另外，处理器170可以将第二相机195b的变焦设置为低放大率，以便有利于按短距离的物体检测。这时，处理器170可以控制第一相机195a以放大并，且控制第二相机195b以缩小。

相反，处理器170可以将第一相机195a的变焦设置为低放大率，以便有利于按短距离的物体检测。另外，处理器170可以将第二相机195b的变焦设置为高放大率，以便有利于按长距离的物体检测。这时，处理器170可以控制第一相机195a以缩小，并且控制第二相机195b以放大。

例如，处理器170可以根据物体检测结果来控制第一相机195a或第二相机195b的变焦。例如，当检测到交通标志，但是未检测到交通标志上写的内容时，处理器170可以控制第一相机195a或第二相机195b以放大。

此外，处理器170可以自动地控制焦点以对应于相机195的变焦控制。

图3C是根据本发明的又一实施方式的驾驶员辅助设备100的内部框图。

参照图3C，与图3A的驾驶员辅助设备100相比，驾驶员辅助设备100的差异在于它包括全景相机195至198。以下描述将关注于该差异。

驾驶员辅助设备100可以包括全景相机195至198。

全景相机195至198中的每一个可以包括透镜和遮光罩，该遮光罩被配置为屏蔽要被引入到这些透镜的光。

全景相机可以包括左相机196、后相机198、右相机197和前相机195。

前相机195拍摄车辆的前方图像。左相机196拍摄车辆的左方图像。右相机197拍摄车辆的右方图像。后相机198拍摄车辆的后方图像。

由全景相机195至198拍摄的相应的图像被发送到处理器170。

处理器170可以通过对车辆的左方图像、后方图像、右方图像和前方图像进行构图来生成车辆的全景图像。这时，车辆的全景图像可以是俯视图图像或鸟瞰图图像。处理器170可以接收车辆的左方图像、后方图像、右方图像和前方图像中的每一个，对所接收的图像进行构图，并且将经构图的图像转换成俯视图图像，由此生成车辆的全景图像。

此外，处理器170可以基于车辆的全景图像来检测物体。具体地，处理器170可以在物体检测期间执行例如车道检测(LD)、车辆检测(VD)、行人检测(PD)、亮斑检测(BD)、交通标志识别(TSR)和路面检测。

此外，处理器170可以单独地控制全景相机195至198的变焦。处理器170的变焦控制可以等于如以上参照图3B描述的立体相机的变焦控制。

图3A、图3B和图3C中所例示的组件中的一些可以不是为了实现驾驶员辅助设备100所必需的。因此，本说明书中描述的驾驶员辅助设备100可以包括比以上提及的组件更多数目或更少数目的组件。例如，驾驶员辅助设备100可以仅包括处理器170和相机195。

图4A和图4B是例示了图3A和图3B的处理器的各种示例性内部框图，并且图5A和图5B是被参照来说明图4A和图4B的处理器的操作的视图。

首先，参照用内部框图例示了处理器170的一个示例的图4A，驾驶员辅助设备100中包含的处理器170可以包括图像预处理器410、视差计算器420、分段单元(segmentation unit)432、物体检测器434、物体验证单元436、物体跟踪单元440 和应用单元450。

图像预处理器410可以从相机195接收图像，并且对所接收的图像进行预处理。

具体地，图像预处理器410可以执行例如针对图像的降噪、矫正、校准、颜色增强、颜色空间转换(CSC)、内插和相机增益控制。因此，图像预处理器410可以获得比由相机195拍摄的立体图像生动的图像。

视差计算器420可以接收由图像预处理器410进行信号处理的图像，针对所接收的图像来执行立体匹配，并且基于立体匹配来获得双目视差图。也就是说，视差计算器420可以获得与车辆前面的视图的立体图像有关的双目视差信息。

这时，可以在立体图像的每个像素基础上或者在立体图像的每个规定块基础上执行立体匹配。此外，双目视差图可以意指立体图像(即，左图像与右图像)之间的双目视差信息由数值来表示的图。

分段单元432可以基于来自视差计算器420的双目视差信息来对立体图像中的至少一个执行分段和聚类。

具体地，分段单元432可以基于双目视差信息来将立体图像中的至少一个分段成背景和前景。

例如，分段单元432可以计算双目视差信息是预定值或更小值的视差图的区域作为背景，并且排除所对应的区域。按这种方式，可以相对地使前景分开。

在另一示例中，分段单元432可以计算双目视差信息是预定值或更大值的视差图的区域作为前景，并且提取所对应的区域。按这种方式，可以使前景分开。

如上所述，当根据基于立体图像提取的双目视差信息来将图像分段成前景和背景时，能够在后续的物体检测期间减小信号处理速度和信号处理量。

随后，物体检测器434可以基于由分段单元432的图像段来检测物体。

也就是说，物体检测器434可以基于双目视差信息针对立体图像中的至少一个来检测物体。

具体地，物体检测器434可以针对立体图像中的至少一个来检测物体。例如，物体检测器434可以从通过图像段而分开的前景中检测物体。

随后，物体验证单元436可以对经分开的物体进行分类和验证。

为此，物体验证单元436可以使用例如利用神经网络的识别方法、支持向量机(SVM)方法、利用Harr型特征的AdaBoost识别方法或者方向梯度直方图(HOG) 方法。

此外，物体验证单元436可以将所检测的物体与存储器140中存储的物体进行比较，以验证所检测的物体。

例如，物体验证单元436可以验证位于车辆周围的相邻车辆、交通车道标记、路面、交通标志、危险区和隧道。

物体跟踪单元440可以跟踪经验证的物体。例如，物体跟踪单元440可以验证在顺序地获得的立体图像中包含的物体，计算经验证的物体的运动或运动向量，并且例如基于所计算出的运动或运动向量来跟踪对应物体的移动。因此，物体跟踪单元440可以跟踪例如位于车辆周围的相邻车辆、交通车道标记、路面、交通标志、危险区和隧道。

随后，应用单元450可以例如基于位于车辆周围的各种物体(例如，其它车辆、交通车道标记、路面和交通标志)来计算车辆1的事故风险。另外，应用单元450可以计算与前方车辆的前端碰撞的可能性以及是否发生失去牵引力。

另外，应用单元450可以输出例如消息，以向用户通知诸如例如所计算出的风险、碰撞可能性或者失去牵引力这样的驾驶员辅助信息。另选地，应用单元450可以生成用于车辆1的姿态控制或行驶控制的控制信号作为车辆控制信息。

此外，图像预处理器410、视差计算器420、分段单元432、物体检测器434、物体验证单元436、物体跟踪单元440和应用单元450可以是将在下面参照图7和以下附图描述的处理器170中包含的图像处理单元810的内部组件。

此外，在一些实施方式中，处理器170可以仅包括图像预处理器410、视差计算器420、分段单元432、物体检测器434、物体验证单元436、物体跟踪单元440和应用单元450中的一些。例如，当相机195是单目相机或全景相机时，可以不包括视差计算器420。另外，在一些实施方式中，可以不包括分段单元432。

图4B是例示了处理器的另一示例的内部框图。

参照图4B，处理器170包括与图4A的处理器170的内部单元相同的内部单元，但是具有与图4A的处理器170的信号处理顺序不同的信号处理顺序。以下描述将关注于该差异。

物体检测器434可以接收立体图像，并且针对这些立体图像中的至少一个来检测物体。不同于图4A，物体检测器434可以不基于双目视差信息针对分段的图像来检 测物体，而是从立体图像中直接检测物体。

随后，物体验证单元436基于来自分段单元432的图像段以及由物体检测器434检测的物体来对所检测的且分开的物体进行分类和验证。

为此，物体验证单元436可以使用利用神经网络的识别方法、SVM方法、利用Haar型特征的AdaBoost识别方法或者HOG方法。

图5A和图5B是被参照来基于分别从第一帧周期和第二帧周期获得的立体图像来说明图4A中所例示的处理器170的操作方法的视图。

首先参照图5A，立体相机195a和195b在第一帧周期期间获得立体图像。

处理器170中包含的视差计算器420接收由图像预处理器410进行信号处理的立体图像FR1a和立体图像FR1b，并且针对所接收的立体图像FR1a和立体图像FR1b来执行立体匹配以获得视差图520。

视差图520将立体图像FR1a与立体图像FR1b之间的双目视差显示为水平。当视差水平较高时，可以将到车辆的距离计算为较短。当视差水平较低时，可以将到车辆的距离计算为较长。

此外，当视差图被显示时，该视差图可以在视差水平较高时用较高的亮度来显示，而在视差水平较低时用较低的亮度来显示。

图5A通过示例示出了在视差图520中，第一车道标记528a、第二车道标记528b、第三车道标记528c和第四车道标记528d具有它们自己的视差水平，并且道路施工区522、第一前方车辆524和第二前方车辆526具有它们自己的视差水平。

分段单元432、物体检测器434和物体验证单元436基于视差图520针对立体图像FR1a和立体图像FR1b中的至少一个来分别执行分段、物体检测和物体验证。

图5A通过示例示出了使用视差图520来执行针对第二立体图像FR1b的物体检测和物体验证。

也就是说，可以执行针对图像530中的第一交通车道标记538a、第二交通车道标记538b、第三交通车道标记538c和第四交通车辆标记538d、道路施工区532、第一前方车辆534以及第二前方车辆536的物体检测和物体验证。

接下来，参照图5B，立体相机195a和195b在第二帧周期期间获得立体图像。

处理器170中包含的视差计算器420接收由图像预处理器410进行信号处理的立体图像FR2a和立体图像FR2b，并且针对所接收的立体图像FR2a和立体图像FR2b 来执行立体匹配以获得视差图540。

图5B通过示例示出了在视差图540中，第一交通车道标记548a、第二交通车道标记548b、第三交通车道标记548c和第四交通车道标记548d具有它们自己的视差水平，并且道路施工区542、第一前方车辆544和第二前方车辆546具有它们自己的视差水平。

分段单元432、物体检测器434和物体验证单元436基于视差图540针对立体图像FR2a和立体图像FR2b中的至少一个来分别执行分段、物体检测和物体验证。

图5B通过示例示出了使用视差图540来执行针对第二立体图像FR2b的物体检测和物体验证。

也就是说，可以执行针对图像550中的第一交通车道标记558a、第二交通车道标记558b、第三交通车道标记558c和第四交通车辆标记558d、道路施工区552、第一前方车辆554以及第二前方车辆556的物体检测和物体验证。

此外，物体跟踪单元440可以通过将图5A和图5B彼此进行比较来跟踪验证的物体。

具体地，物体跟踪单元440可以基于从图5A和图5B验证的相应的物体的运动或运动向量来跟踪物体的移动。因此，物体跟踪单元440可以跟踪例如位于车辆周围的交通车道标记、道路施工区、第一前方车辆和第二前方车辆。

图6A和图6B是被参照来说明图3A、图3B和图3C的驾驶员辅助设备的操作的视图。

首先，图6A是例示了由安装在车辆中的立体相机195a和195b拍摄的车辆前面的视图的视图。具体地，图6A按鸟瞰图视图形式例示了车辆前面的视图。

参照图6A，第一交通车道标记642a、第二交通车道标记644a、第三交通车道标记646a和第四交通车道标记648a从左向右排列，道路施工区610a位于第一交通车道标记642a与第二交通车道标记644a之间，第一前方车辆620a位于第二交通车道标记644a与第三交通车道标记646a之间，并且第二前方车辆630a位于第三交通车道标记646a与第四交通车道标记648a之间。

接下来，图6B例示了由驾驶员辅助设备100识别的车辆前面的视图以及各条信息。具体地，可以在驾驶员辅助设备100中设置的显示单元180、AVN设备400或显示单元741上显示如图6B中所例示的图像。

不同于图6A，图6B例示了基于由立体相机195a和195b拍摄的图像的信息的显示。

参照图6B，第一交通车道标记642b、第二交通车道标记644b、第三交通车道标记646b和第四交通车道标记648b从左向右排列，道路施工区610b位于第一交通车道标记642b与第二交通车道标记644b之间，第一前方车辆620b位于第二交通车道标记644b与第三交通车道标记646b之间，并且第二前方车辆630b位于第三交通车道标记646b与第四交通车道标记648b之间。

驾驶员辅助设备100可以通过对由立体相机195a和195b拍摄的立体图像进行信号处理来验证针对道路施工区610b、第一前方车辆620b和第二前方车辆630b的物体。另外，驾驶员辅助设备100可以验证第一交通车辆标记642b、第二交通车道标记644b、第三交通车道标记646b和第四交通车道标记648b。

此外，在图6B中，为了表示针对道路施工区610b、第一前方车辆620b和第二前方车辆630b的物体验证，用黑色框使道路施工区610b、第一前方车辆620b和第二前方车辆630突出显示。

此外，驾驶员辅助设备100可以基于由立体相机195a和195b拍摄的立体图像来计算与道路施工区610b、第一前方车辆620b和第二前方车辆630b有关的距离信息。

图6B例示了所计算的与道路施工区610b、第一前方车辆620b和第二前方车辆630b分别对应的第一距离信息611b、第二距离信息621b和第三距离信息631b的显示。

此外，驾驶员辅助设备100可以从控制器770或感测单元760接收车辆传感器信息。具体地，驾驶员辅助设备100可以接收车辆速度信息、挡位信息、表示车辆的转动角度(偏航)的变化率的偏航率信息以及车辆角度信息，并且显示上述信息。

尽管图6B例示了车辆速度信息672、挡位信息671和偏航率信息673被显示在车辆的前方图像的上部670中并且车辆角度信息682被显示在车辆的前方图像的下部680中，然而各种其它示例是可能的。另外，可以与车辆角度信息682一起显示车辆宽度信息683和道路曲率信息681。

此外，驾驶员辅助设备100可以经由通信单元120或接口单元130来接收针对车辆700正在上面行驶的道路的速度极限信息。图6B例示了速度极限信息640b的显示。

尽管驾驶员辅助设备100可以经由例如显示单元180显示图6B中所例示的各条信息，然而另选地，驾驶员辅助设备100可以存储各条信息而不显示所述各条信息。另外，驾驶员辅助设备100可以在各种应用中利用所述信息。

图7是例示了图1的车辆1的一个示例的框图。

车辆1可以包括通信单元710、输入单元720、感测单元760、输出单元740、车辆驱动单元750、存储器730、接口单元780、控制器770、电源单元790、驾驶员辅助设备100和AVN设备400。

通信单元710可以包括用于使得能够在车辆1与移动终端600之间、在车辆1与外部服务器510之间或者在车辆1与另一车辆之间进行无线通信的一个或更多个模块。另外，通信单元710可以包括用于将车辆1连接至一个或更多个网络的一个或更多个模块。

通信单元710可以包括广播接收模块711、无线互联网模块712、短距离通信模块713、位置信息模块714和光通信模块715。

广播接收模块711被配置为经由广播信道从外部广播管理服务器接收广播信号或广播相关信息。这里，广播包括无线电广播或TV广播。

无线互联网模块712是用于无线互联网接入的模块。无线互联网模块712可以在内部或者在外部联接至车辆1。无线互联网模块712可以根据无线互联网技术经由通信网络来发送或接收无线信号。

这些无线互联网技术的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)和LTE-A(高级的长期演进)等。无线互联网模块712可以根据这些无线互联网技术中的一种或更多种以及其它互联网技术来发送和接收数据。例如，无线互联网模块712可以按无线方式与外部服务器510交换数据。无线互联网模块712可以从外部服务器510接收天气信息和道路交通状态信息(例如，传输协议专家组(TPEG)信息)。

短距离通信模块713可以使用从下面的项当中选择的至少一个来辅助短距离通信：Bluetooth^TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线通用串行总线(无线USB) 等。

短距离通信模块713形成无线局域网，以执行车辆1与至少一个外部装置之间的短距离通信。例如，短距离通信模块713可以按无线方式与移动终端600交换数据。短距离通信模块713可以从移动终端600接收天气信息和道路交通状态信息(例如，传输协议专家组(TPEG)信息)。当用户进入车辆1时，用户的移动终端600和车辆1可以自动地或者随着用户执行配对应用而彼此配对。

位置信息模块714是用于获得车辆1的位置的模块。位置信息模块714的代表性示例包括全球定位系统(GPS)模块。例如，当车辆利用GPS模块时，可以使用从GPS卫星发送的信号来获得车辆的位置。

光通信模块715可以包括光发射单元和光接收单元。

光接收单元可以将光转换成电信号，以接收信息。光接收单元可以包括用于接收光的光电二极管(PDP)。光电二极管可以将光转换成电信号。例如，光接收单元可以经由从前方车辆中包含的光源发射的光来接收关于前方车辆的信息。

光发射单元可以包括用于将电信号转换成光的至少一个发光元件。这里，发光元件可以是发光二极管(LED)。光发射单元将电信号转换成光，以由此发射光。例如，光发射单元可以经由光发射单元的与规定频率对应的闪烁将光发射到外部。在一些实施方式中，光发射单元可以包括多个发光元件的阵列。在一些实施方式中，光发射单元可以与车辆1中设置的灯集成在一起。例如，光发射单元可以是从下面的项当中选择的至少一个：前灯、尾灯、制动灯、转向信号灯和侧灯。例如，光通信模块715可以经由光学通信与另一车辆520交换数据。

输入单元720可以包括驱动操作单元721、相机195、麦克风723和用户输入单元724。

驱动操作单元721被配置为接收用于车辆1的驱动的用户输入。驱动操作单元721可以包括转向输入单元721a、换挡输入单元721b、加速输入单元721c和制动输入单元721d。

转向输入单元721a被配置为接收关于车辆1的行驶方向的用户输入。转向输入单元721a可以采取如图1中所例示的方向盘12的形式。在一些实施方式中，可以将转向输入单元721a配置为触摸屏、触摸板或按钮。

换挡输入单元721b被配置为从用户接收用于选择车辆1的以下挡中的一个的输 入：停车挡(P)、驱动挡(D)、空挡(N)和倒车挡(R)。换挡输入单元721b可以具有杆形式。在一些实施方式中，可以将换挡输入单元721b配置为触摸屏、触摸板或按钮。

加速输入单元721c被配置为接收用于车辆1的加速的用户输入。制动输入单元721c被配置为接收用于车辆1的减速的用户输入。加速输入单元721c和制动输入单元721d中的每一个可以具有踏板形式。在一些实施方式中，可以将加速输入单元721c或制动输入单元721d配置为触摸屏、触摸板或按钮。

相机195可以包括图像传感器或图像处理模块。相机195可以对由图像传感器(例如，CMOS或CCD)获得的静止图像或运动图像进行处理。图像处理模块可以通过对经由图像传感器获得的静止图像或运动图像进行处理来提取所需的信息，然后可以将所提取的信息发送到控制器770。此外，车辆1可以包括用于拍摄车辆的前方图像或全景图像的相机195以及用于拍摄车辆的内部的图像的内部相机199。

内部相机199可以拍摄乘客的图像。内部相机199可以拍摄乘客的生物特征的图像。

此外，尽管图7将相机195例示为被包含在输入单元720中，然而可以将相机195描述为作为如以上参照图2至图6描述的驾驶员辅助设备100的组件。

麦克风723可以将外部声音信号处理成电数据。可以根据车辆1正在执行的功能按各种方式来利用经处理的数据。麦克风723可以将用户语音命令转换成电数据。可以将经转换的电数据发送到控制器770。

此外，在一些实施方式中，相机195或麦克风723可以是除输入单元720的组件以外的感测单元760的组件。

用户输入单元724被配置为从用户接收信息。当经由用户输入单元724输入信息时，控制器770可以控制车辆1的操作以对应于输入信息。用户输入单元724可以包括触摸输入单元或机械输入单元。在一些实施方式中，用户输入单元724可以位于方向盘的区域中。在这种情况下，驾驶员可以在握住方向盘的同时用手指来操作用户输入单元724。

感测单元760被配置为感测与例如车辆1的行驶关联的信号。为此，感测单元760可以包括碰撞传感器、转向传感器、速度传感器、梯度传感器、重量传感器、前进方向传感器、偏航传感器、陀螺仪传感器、位置模块、车辆向前/向后移动传感器、 电池传感器、燃料传感器、轮胎传感器、基于方向盘的转动的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声传感器、红外传感器、雷达和激光雷达。

因此，感测单元760可以获得关于例如以下信息的感测信号：车辆碰撞信息、车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速信息、车辆倾斜信息、车辆向前/向后移动信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息和方向盘转动角度信息。另外，将在下面描述的驾驶员辅助设备100可以基于由车辆1中包含的相机、超声传感器、红外传感器、雷达和激光雷达中的至少一个获得的周围环境信息来生成用于车辆1的加速、减速、方向改变等的控制信号。这里，周围环境信息可以是与位于离正在行驶的车辆1的规定距离内的各种物体有关的信息。例如，周围环境信息可以包括位于与车辆1相距100m的距离内的障碍物的数目、到障碍物的距离、障碍物的尺寸、障碍物的种类等。

此外，感测单元760还可以包括例如加速器踏板传感器、压力传感器、引擎速度传感器、空气流速传感器(AFS)、气温传感器(ATS)、水温传感器(WTS)、油门位置传感器(TPS)、上死点(TDC)传感器和曲柄角度传感器(CAS)。

感测单元760可以包括生物特征信息感测单元。生物特征信息感测单元被配置为感测并获得乘客的生物特征信息。生物特征信息可以包括指纹信息、虹膜扫描信息、视网膜扫描信息、手几何形状信息、面部识别信息和语音识别信息。生物特征信息感测单元可以包括用于感测乘客的生物特征信息的传感器。这里，内部相机199和麦克风723可以作为传感器操作。生物特征信息感测单元可以经由内部相机199来获得手几何形状信息和面部识别信息。

输出单元740被配置为输出在控制器770中处理的信息。输出单元740可以包括显示单元741、声音输出单元742和触觉输出单元743。

显示单元741可以显示在控制器770中处理的信息。例如，显示单元741可以显示车辆相关信息。这里，车辆相关信息可以包括用于车辆的直接控制的车辆控制信息以及用于引导车辆驾驶的驾驶员辅助信息。另外，车辆相关信息可以包括通知车辆的当前状态的车辆状态信息或者关于车辆的行驶的车辆行驶信息。

显示单元741可以包括从下面的项当中选择的至少一个：液晶显示器(LCD)、薄膜晶体管LCD(TFT LCD)、有机发光二极管(OLED)、柔性显示器、3D显示器 和电子墨水显示器。

显示单元741可以配置具有触摸传感器的层间结构，或者可以与触摸传感器整体地形成在一起以实现触摸屏。触摸屏可以用于在车辆1与用户之间提供输入接口的用户输入单元724，并且还用来在车辆1与用户之间提供输出接口。在这种情况下，显示单元741可以包括感测对显示单元741的触摸以便按触摸方式接收控制命令的触摸传感器。当如上所述地向显示单元741输入触摸时，触摸传感器可以感测该触摸，并且控制器770可以生成与该触摸对应的控制命令。按触摸方式输入的内容可以是字符或数字，或者可以是例如在各种模式下的指令或者可以被指定的菜单项。

此外，显示单元741可以包括用于使得驾驶员能够在驾驶车辆的同时检查车辆状态信息或车辆行驶信息的仪表板。仪表板可以位于仪表盘上。在这种情况下，驾驶员可以在向前看的同时检查在仪表板上显示的信息。

此外，在一些实施方式中，可以将显示单元741实现为平视显示器(HUD)。当显示单元741被实现为HUD时，可以经由设置在挡风玻璃处的透明显示器来输出信息。另选地，显示单元741可以包括投影器模块，以经由被投影到挡风玻璃的图像来输出信息。

声音输出单元742被配置为将来自控制器770的电信号转换成音频信号，并且输出这些音频信号。为此，声音输出单元742可以包括例如扬声器。声音输出单元742可以输出与用户输入单元742的操作对应的声音。

触觉输出单元743被配置为生成触觉输出。例如，触觉输出单元743可以操作以使方向盘、安全带或座椅振动，以便使得用户能够识别其输出。

车辆驱动单元750可以控制车辆的各种装置的操作。车辆驱动单元750可以包括以下单元中的至少一个：动力源驱动单元751、转向驱动单元752、制动驱动单元753、灯驱动单元754、空调器驱动单元755、窗驱动单元756、气囊驱动单元757、天窗驱动单元758和刮水器驱动单元759。

动力源驱动单元751可以执行针对车辆1内部的动力源的电子控制。动力源驱动单元751可以包括用于增加车辆1的速度的加速装置以及用于减小车辆1的速度的减速装置。

例如，在基于化石燃料的引擎(未例示)是动力源的情况下，动力源驱动单元751可以执行针对引擎的电子控制。因此，动力源驱动单元751可以控制例如引擎的 输出转矩。在动力源驱动单元751是引擎的情况下，动力源驱动单元751可以通过在控制器770的控制下控制引擎的输出转矩来控制车辆的速度。

在另一示例中，当电动机(未例示)是动力源时，动力源驱动单元751可以执行针对电机的控制。因此，动力源驱动单元751可以控制例如电机的RPM和转矩。

转向驱动单元752可以包括转向设备。因此，转向驱动单元752可以执行针对车辆1内部的转向设备的电子控制。例如，转向驱动单元752可以包括转向转矩传感器、转向角度传感器和转向电机。由驾驶员施加到方向盘12的转向转矩可以由转向转矩传感器来感测。转向驱动单元752可以通过基于例如车辆1的速度和转向转矩改变施加到转向电机的电流的大小和方向来控制转向力和转向角度。另外，转向驱动单元752可以基于由转向角度传感器获得的转向角度信息来判断车辆1的行驶方向是否正在被正确地调整。因此，转向驱动单元752可以改变车辆1的行驶方向。另外，转向驱动单元752可以在车辆1以低速度行驶时通过增加转向电机的转向力来减小方向盘12的重量感觉，并且可以在车辆1以高速度行驶时通过减小转向电机的转向力来增加方向盘12的重量感觉。另外，当车辆1的自主驾驶功能被执行时，转向驱动单元752即使在驾驶员操作方向盘12的状态下(即，在未感测到转向转矩的状态下)也可以基于例如从感测单元760输出的感测信号或者由处理器170提供的控制信号来控制转向电机以产生适当的转向力。

制动驱动单元753可以执行车辆1内部的制动设备(未例示)的电子控制。例如，制动驱动单元753可以通过控制位于车轮处的制动器的操作来减小车辆1的速度。在另一示例中，制动驱动单元753可以通过区分位于左车轮和右车轮处的相应的制动器的操作来调整车辆1的向左方或向右方的行驶方向。

灯驱动单元754可以开启或关闭布置在车辆1内部和外部的至少一个灯。灯驱动单元754可以包括照明设备。另外，灯驱动单元754可以控制例如在照明设备中包含的每个灯的光的强度和方向。例如，灯驱动单元754可以执行针对转向信号灯、前灯或制动灯的控制。

空调器驱动单元755可以执行车辆1内部的空调器(未例示)的电子控制。例如，当车辆1的内部温度高时，空调器驱动单元755可以操作空调器以向车辆1的内部供应冷空气。

窗驱动单元756可以执行车辆1内部的窗设备的电子控制。例如，窗驱动单元 756可以控制车辆1的左窗和右窗的打开或关闭。

气囊驱动单元757可以执行车辆1内部的气囊设备的电子控制。例如，气囊驱动单元757可以控制要在危险情形下部署的气囊。

天窗驱动单元758可以执行车辆1内部的天窗设备的电子控制。例如，天窗驱动单元758可以控制天窗的打开或关闭。

刮水器驱动单元759可以执行车辆1中包含的刮水器14a和刮水器14b的电子控制。例如，刮水器驱动单元759可以在通过用户输入单元724接收到引导刮水器14a和刮水器14b的操作的用户输入时，响应于该用户输入而执行针对例如刮水器14a和刮水器14b的操作次数和操作速度的电子控制。在另一示例中，刮水器驱动单元759可以基于感测单元760中包含的雨传感器的感触信号来判断雨水的量或强度，以便在没有用户输入的情况下自动地操作刮水器14a和刮水器14b。

此外，车辆驱动单元750还可以包括悬挂(suspension)驱动单元(未例示)。悬挂驱动单元可以执行车辆1内部的悬挂设备(未例示)的电子控制。例如，当路面不平坦时，悬挂驱动单元可以控制悬挂设备以减小车辆1的振动。

存储器730电连接至控制器770。存储器730可以存储每个单元的基本数据、用于单元的操作控制的控制数据以及输入/输出数据。存储器730可以是诸如例如ROM、RAM、EPROM、闪存驱动器和硬驱动器这样的各种硬件存储装置。存储器730可以存储用于车辆1的总体操作的各种数据，诸如例如用于控制器770的处理或控制的程序。

接口单元780可以用作连接至车辆1的各种类型的外部装置的通路。例如，接口单元780可以具有可连接至移动终端600的端口，并且可以经由该端口连接至移动终端600。在这种情况下，接口单元780可以与移动终端600交换数据。

此外，接口单元780可以用作用于向已连接的移动终端600供应电能的通路。当移动终端600电连接至接口单元780时，接口单元780在控制器770的控制下从电源单元790向移动终端600供应电能。

控制器770可以控制车辆1内部的每个单元的总体操作。控制器770可以被称为电子控制单元(ECU)。

控制器770可以使用从下面的项当中选择的至少一个来按硬件方式实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻 辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及用于实现其它功能的电子单元。

电源单元790可以供应对于在控制器770的控制下操作相应的组件所需的电力。具体地，电源单元790可以从例如车辆1内部的电池(未例示)接收电力。

驾驶员辅助设备100可以与控制器770交换数据。可以向控制器770输出在驾驶员辅助设备100中生成的控制信号。控制器770可以基于由驾驶员辅助设备100接收的控制信号来控制车辆1的行驶方向。

AVN设备400可以与控制器770交换数据。控制器770可以从AVN设备400或单独的导航设备(未例示)接收导航信息。这里，导航信息可以包括设置目的地信息、基于目的地的选路信息、以及与车辆行驶有关的地图信息或车辆位置信息。

此外，图7中所例示的组件中的一些可以不是实现车辆1所必需的。因此，本说明书中描述的车辆1可以包括比以上提及的组件的数目更多或更少的组件。

在下文中，为了描述的方便，根据本发明的实施方式的驾驶员辅助设备100被假定为被包含在图1中所例示的车辆1中。

图8是例示了根据本发明的一个实施方式的驾驶员辅助设备100的控制方法的流程图。

参照图8，处理器170进入图像扩展模式(S800)。在本发明中，图像扩展模式意指使用车辆1的全景图像的至少一部分以及另一车辆的全景图像的至少一部分来生成扩展的图像的模式。在下文中，车辆1的全景图像被称为“主图像”，并且另一车辆的全景图像被称为“辅图像”。此外，主图像和辅图像用来区分生成每个图像的对象(subject)是车辆1还是另一车辆，并且不旨在限制本发明的范围。

处理器170可以在满足预定条件时进入图像扩展模式。

例如，处理器170可以在输入单元110接收到命令进入到图像扩展模式中的用户输入时进入图像扩展模式。在这种情况下，用户输入可以是诸如例如触摸、语音、按钮按下和姿势这样的各种形式的输入中的至少一种。

在另一示例中，处理器170可以基于由车辆1的感测单元760获得的关于车辆1周围的环境的信息来计算风险的程度，由此在所计算的风险的程度超过基准值时进入图像扩展模式。当基于关于车辆1周围的环境的信息来判断诸如例如另一车辆这样的各种物体比基准距离(例如，2m)更靠近地接近车辆1时，处理器170可以考虑到 事故的高风险而进入图像扩展模式。

在又一示例中，处理器170可以在车辆1减速到低于基准速度(例如，10km/h)时进入图像扩展模式。

在另一个示例中，处理器170可以在车辆1开始停车模式时进入图像扩展模式。

随后，处理器170使用一个或更多个相机195至198来生成主图像(S805)。例如，处理器170可以在进入图像扩展模式时开启图2中所例示的相机195至198中的至少一个，以生成主图像。也就是说，主图像可以包括车辆1的前方图像、左方图像、右方图像和后方图像中的至少一个。

这时，主图像可以具有各种形式中的任一种。在一个示例中，主图像可以是静止图像或运动图像。在另一示例中，主图像可以具有如图2C中示例性地例示的全景形式。在下文中，为了描述的方便，假定主图像是包括车辆1的前方图像、左方图像、右方图像和后方图像中的全部的所谓的全景图像。

随后，处理器170使用通信单元120或710来接收由另一车辆生成的辅图像(S810)。也就是说，通信单元120或710在处理器170的控制下从另一车辆接收辅图像。这里，辅图像是由设置在另一车辆处的相机生成的图像。

通信单元120或710可以从另一车辆直接接收辅图像。例如，通信单元120或710可以基于车辆到车辆通信网络来从另一车辆直接接收辅图像。

另选地，通信单元120或710可以经由至少一个外部装置的调解来接收由另一车辆生成的辅图像。例如，另一车辆可以将辅图像发送到外部服务器，并且该外部服务器可以将从另一车辆接收的辅图像发送到设置在车辆1处的驾驶员辅助设备100。

这时，辅图像可以具有各种形式中的任一种。在一个示例中，辅图像可以是静止图像或运动图像。在另一示例中，辅图像可以具有如图2C中示例性地例示的全景形式。在下文中，为了描述的方便，与主图像类似，假定辅图像是包括另一车辆的前方图像、左方图像、右方图像和后方图像中的全部的所谓的全景图像。

另外，通信单元120或710可以接收分别由多辆其它车辆生成的辅图像。也就是说，通信单元120或710可以接收多个不同的辅图像。

在这种情况下，处理器170可以基于预定条件或用户输入来选择这些辅图像中的一些。例如，处理器170可以从这些辅图像当中选择示出了障碍物的辅图像。可以在将在下面描述的步骤S815中使用所选择的辅图像。

另外，处理器170可以使用通信单元120或710来仅接收由多辆其它车辆当中的特定车辆生成的辅图像。

例如，处理器170可以控制通信单元120或710，以便仅接收由来自在车辆1前面和后面的其它车辆当中的在车辆1前面的另一车辆生成的辅图像。

在另一示例中，处理器170可以控制通信单元120或710，以便仅接收由位于与用户输入或预定条件(例如，交通或天气的状态)对应的位置处的另一车辆生成的辅图像。

具体地，通信单元120或710可以向另一特定车辆发送图像请求信号，并且在处理器170的控制下接收响应于该图像请求信号而从特定车辆发送的辅图像。

此外，通信单元120或710还可以接收车辆1的位置信息。因此，处理器170可以基于由通信单元120或710接收的位置信息来判断在离车辆1的预定距离内是否存在警示区。警示区可以包括例如需要驾驶员小心的区域，诸如例如十字路口、上坡道路、下坡道路、人行横道、停止场、隧道、狭窄道路或弯曲道路。警示区的种类可以根据用户输入而改变。在这种情况下，处理器170可以控制通信单元120或710，以便向位于警示区中的另一车辆发送图像请求信号。因此，通信单元120或710可以接收由位于警示区中的另一车辆生成的辅图像，并且处理器170可以使用该辅图像来生成扩展的图像。这可以给车辆1的驾驶员有利地提供对驾驶员不可见的警示区的实际图像。

此外，尽管图8例示了步骤S810紧随步骤S805之后，然而这是通过示例给出的。可以同时执行步骤S805和步骤S810，或者步骤S805可以紧随步骤S810之后。

随后，处理器170使用主图像和辅图像来生成扩展的图像(S815)。也就是说，处理器170可以通过将主图像的至少一部分与辅图像的至少一部分进行组合来生成具有比主图像宽的视觉视场的扩展的图像。

在这种情况下，经扩展的图像中包含的主图像和辅图像可以具有交叠部分。例如，当在安装到车辆1的相机195至198的图像拍摄范围与安装到另一车辆的相机的图像拍摄范围之间存在公共范围时，可以存在主图像和辅图像的交叠部分。

当在主图像和辅图像中存在交叠部分时，处理器170可以通过基于所述交叠部分来将主图像和辅图像彼此组合来生成扩展的图像。

另选地，经扩展的图像中包含的主图像和辅图像可以彼此间隔开，而没有任何交 叠部分。例如，当另一车辆位于安装到车辆1的相机195至198的图像拍摄范围外部时，不存在主图像和辅图像的交叠部分，因此，所得的扩展的图像示出了彼此间隔开的主图像和辅图像。

在这种情况下，处理器170可以通过基于车辆1的位置信息和由通信单元120或710接收的另一车辆的位置信息而将主图像和辅图像彼此组合来生成扩展的图像。另外，在将不存在交叠部分的主图像和辅图像进行组合时，处理器170可以通过基于关于车辆1的行驶方向的信息和关于另一车辆的行驶方向的信息而将主图像和辅图像彼此组合来生成扩展的图像。可以通过车辆1的感测单元760来获得车辆1的行驶方向信息，并且可以通过通信单元120或710来接收另一车辆的行驶方向信息。

此外，处理器170可以实时地或定期地生成扩展的图像。当定期地生成扩展的图像时，处理器170可以基于车辆1的速度来改变生成扩展的图像的周期。例如，当车辆1的速度是第一速度时，处理器170可以每3秒更新扩展的图像。当车辆1的速度是比第一速度快的第二速度时，处理器170可以每秒更新扩展的图像。

尽管在相关技术中存在仅安装到车辆1的相机195至198的图像拍摄范围内的区域的图像(即，主图像)能够被提供给用户的限制，然而根据本发明的驾驶员辅助设备100可以给用户附加地提供安装到另一车辆的相机的图像拍摄范围内的区域的图像(即，辅图像)。因此，可以同时改进占用车辆1的驾驶员的安全和方便二者。

随后，处理器170基于扩展的图像来与车辆1有关地执行预定操作中的至少一个(S820)。

例如，处理器170可以生成与仅在扩展的图像中包含的主图像和辅图像当中的辅图像中示出的障碍物有关的信息。这里，仅在辅图像中示出的障碍物可以意指没有落入车辆1的视觉视场内、但是落入提供辅图像的另一车辆的视觉视场内的障碍物。另外，障碍物信息可以包括诸如例如障碍物的位置、尺寸、颜色、形状、种类和移动这样的与障碍物有关的各条信息。

在另一示例中，处理器170可以基于障碍物信息来生成命令改变车辆1的速度和方向中的至少一个的控制信号。例如，控制器770可以基于由处理器170提供的控制信号来控制转向驱动单元752、动力源驱动单元751和制动驱动单元753。按这种方式，与仅提供主图像的情况相比，可以减小由于障碍物而导致的事故的风险。

在又一示例中，处理器170可以基于扩展的图像来生成车辆1的可能的行驶路线。 具体地，因为扩展的图像具有比主图像宽的视觉视场，所以处理器170可以基于扩展的图像中包含的车辆1与另一车辆之间的位置关系来生成将车辆1的当前位置连接至在车辆1的视觉视场之外的位置的路线。

在这种情况下，可以存在由处理器170生成的车辆1的多条可能的行驶路线，并且处理器170可以根据用户输入或者预定的优先级的顺序来选择这些路线中的至少一条。另选地，处理器170可以生成命令进入到针对所选择的路线的自主驾驶模式中的控制信号，并且将该控制信号输出到车辆1的控制器770。

在又一示例中，处理器170可以生成命令显示扩展的图像和关于扩展的图像的信息中的至少一个的控制信号。也就是说，响应于从处理器170提供的控制信号，驾驶员辅助设备100的显示单元180、车辆1的显示单元741和/或AVN设备400可以仅将扩展的图像显示在画面上，可以仅显示关于扩展的图像的信息，或者可以显示上述二者。

这时，处理器170可以将驾驶员辅助设备100的显示单元180、车辆1的显示单元741和/或AVN设备400的画面划分成多个子画面，并且可以在相应的子画面上显示不同条数的信息。例如，处理器170可以将扩展的图像显示在这些子画面中的任一个上，并且将关于扩展的图像的信息显示在其它子画面中的另一个上。

另外，处理器170可以控制驾驶员辅助设备100的显示单元180、车辆1的显示单元741和/或AVN设备400，以便向扩展的图像内的与障碍物的实际位置对应的特定区域提供规定的视觉效果。例如，处理器170可以控制显示单元180，使得扩展的图像内的与障碍物的实际位置对应的区域用红色定期地闪烁。

另外，处理器170可以控制驾驶员辅助设备100的显示单元180、车辆1的显示单元741和/或AVN设备400，以便按与用户输入对应的角度来使扩展的图像旋转并显示。因此，驾驶员可以接收通过在顺时针或逆时针方向上使扩展的图像旋转以与驾驶员的喜好匹配来识别车辆1周围的环境的帮助。

另外，处理器170可以控制驾驶员辅助设备100的显示单元180、车辆1的显示单元741和/或AVN设备400，以便在扩展的图像中不同地显示车辆1和另一车辆。例如，可以在显示单元180上用红色显示主图像中包含的车辆图像，并且可以在显示单元180上用蓝色显示辅图像中包含的车辆图像。

在参照图9A至图22B进行的以下描述中将驾驶员辅助设备100假定为已进入图 像扩展模式。另外，将由已进入图像扩展模式的驾驶员辅助设备100生成的扩展的图像以及关于扩展的图像的信息假定为在AVN设备400的画面上进行显示。

图9A、图9B、图9C和图9D是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图9A例示了另一车辆2处在车辆1前面极为接近的状态的俯视图。假定所述车辆1和所述另一车辆2二者是静止的或者正在同一车道中以相同的速度行驶。

在图9A中，安装到车辆1的相机195至198拍摄第一范围911的图像，并且安装到另一车辆2的相机拍摄第二范围921的图像。在这种情况下，如所例示的，可以存在第一范围911和第二范围921交叠的交叠区域931。也就是说，交叠区域931意指通常落入第一范围911和第二范围921内并且由安装到车辆1的相机195至198和安装到另一车辆2的相机中的全部相机拍摄的区域。

图9B例示了与图9A中所例示的第一范围911对应的主图像941。如所例示的，主图像941被假定为是全景图像。处理器170可以基于当安装到车辆1的相机195至198拍摄第一范围911的图像时而生成的行驶车辆1的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成主图像941。

处理器170可以生成与车辆1对应的图像942位于中心的主图像941。例如，与车辆1对应的图像942可以由处理器170直接生成，或者可以被预先存储在驾驶员辅助设备100的存储器140或者车辆1的存储器730中。另外，因为交叠区域931位于如图9A中所例示的第一范围911的前侧，所以另一车辆2的车辆主体的后部在主图像941的前部中可以是可见的。

图9C例示了与图9A中所例示的第二范围921对应的辅图像951。如所例示的，辅图像951像主图像941一样被假定为是全景图像。另一车辆2可以基于通过拍摄第二范围921的图像而生成的行驶车辆2的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成辅图像951。

另外，与另一车辆2对应的图像952可以位于辅图像951中心。另外，因为交叠区域931位于如图9A中所例示的第二范围921的后侧，所以车辆1的车辆主体的前部在辅图像951的后部中可以是可见的。

图9D是例示了车辆1在图9A中所例示的状态下的室内状态的视图。参照图9D，车辆1的驾驶员可以通过挡风玻璃注视位于其前面的另一车辆2。

处理器170可以在进入图像扩展模式时使用图9B中所例示的主图像941和图9C中所例示的辅图像951来生成扩展的图像961。例如，处理器170可以通过以下的方式来生成扩展的图像961：在例如改变主图像941和辅图像951中的至少一个的方向和尺寸以使得主图像941内的与图9A中例示的交叠区域931对应的图像部分和辅图像951内的与交叠区域931对应的图像部分彼此重合之后对主图像941和辅图像951进行构图。也就是说，驾驶员辅助设备100可以给驾驶员提供通过向前扩展主图像941的范围而获得的图像。在这种情况下，扩展的图像961可以是看起来从上面拍摄车辆1和另一车辆2的图像的全景图像。

另外，处理器170可以生成用于显示扩展的图像961的控制信号，并且将所对应的控制信号发送到车辆1中配备的AVN设备400、车辆1的显示单元741以及驾驶员辅助设备100的显示单元180中的至少一个。

按这种方式，如图9D中示例性地例示的，AVN设备400可以基于由处理器170提供的控制信号来将扩展的图像961显示在画面上。尽管未例示，然而车辆1的显示单元741和驾驶员辅助设备100的显示单元180还可以基于由处理器170提供的控制信号来将扩展的图像961显示在其画面上。这时，处理器170可以基于每个画面的尺寸和纵横比来控制扩展的图像961，以便被不同地显示在车辆1的显示单元741、驾驶员辅助设备100的显示单元180和AVN设备400上。

驾驶员可以通过从示出了主图像941和辅图像951二者的扩展的图像961在视觉上检查车辆1周围的状态来实现与仅简单地给出主图像941的情况相比向前加宽的视觉视场。

此外，由处理器170生成的扩展的图像可以提供将在下面进一步更详细地描述的、与占用车辆1的驾驶员的盲点区域有关的有价值的信息。

图10A、图10B、图10C和图10D是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图10A例示了另一车辆3处在车辆1前面极为接近的状态的俯视图。假定所述车辆1和所述另一车辆3二者是静止的或者正在同一车道中以相同的速度行驶，并且在另一车辆3前面存在障碍物31。

在图10A中，安装到车辆1的相机195至198拍摄第一范围1011的图像，并且安装到另一车辆3的相机拍摄第二范围1021的图像。在这种情况下，如所例示的， 可以存在第一范围1011和第二范围1021交叠的交叠区域1031。也就是说，交叠区域1031可以意指通常落入第一范围1011和第二范围1021内并且由安装到车辆1的相机195至198以及安装到另一车辆3的相机中的全部相机拍摄的区域。

图10B例示了与图10A中所例示的第一范围1011对应的主图像1041。如所例示的，主图像1041被假定为是全景图像。处理器170可以基于随着安装到车辆1的相机195至198拍摄第一范围1011的图像而生成的行驶车辆1的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成主图像1041。

处理器170可以生成与车辆1对应的图像1042位于中心的主图像1041。例如，与车辆1对应的图像1042可以由处理器170直接生成，或者可以被预先存储在驾驶员辅助设备100的存储器140或者车辆1的存储器730中。另外，因为交叠区域1031位于如图10A中所例示的第一范围1011前侧，所以另一车辆3的车辆主体的后部在主图像1041的前部中可以是可见的。

图10C例示了与图10A中所例示的第二范围1021对应的辅图像1051。如所例示的，辅图像1051像主图像1041一样被假定为是全景图像。另一车辆3可以基于通过拍摄第二范围1021的图像而生成的行驶车辆3的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成辅图像1051。

另外，与另一车辆3对应的图像1052可以位于辅图像1051中心。另外，再次参照图10A，因为交叠区域1031位于第二范围1021后侧，所以车辆1的车辆主体的前部在辅图像1051的后部中可以是可见的。

此外，不同于图9A中所例示的状态，在图10A中，在另一车辆3前面存在障碍物31。障碍物31落入作为另一车辆3的图像拍摄范围的第二范围1021内。因此，障碍物31被示出在由另一车辆3生成的辅图像1051的前部中。

图10D是例示了车辆1在图10A中所例示的状态下的室内状态的视图。参照图10D，车辆1的驾驶员可以通过挡风玻璃注视位于其前面的另一车辆3。然而，因为障碍物31位于另一车辆3前面，所以车辆1的驾驶员能够通过挡风玻璃仅观看另一车辆3，但是不能够观看到障碍物31。

处理器170可以在进入图像扩展模式时使用图10B中所例示的主图像1041和图9C中所例示的辅图像1051来生成扩展的图像1061。例如，处理器170可以通过以下方式来生成扩展的图像1061：在例如改变主图像1041和辅图像1051中的至少一 个的方向和尺寸以使得主图像1041内的与图10A中所例示的交叠区域1031对应的图像部分和辅图像1051内的与交叠区域1031对应的图像部分彼此重合之后对主图像1041和辅图像1051进行构图。也就是说，驾驶员辅助设备100可以给驾驶员提供通过向前方并向后方扩展主图像1041的范围而获得的图像。在这种情况下，扩展的图像1061可以是看起来从上面拍摄车辆1和另一车辆3的图像的全景图像。

另外，处理器170可以生成命令显示扩展的图像1061的控制信号，并且将所对应的控制信号发送到车辆1中配备的AVN设备400、车辆1的显示单元741以及驾驶员辅助设备100的显示单元180中的至少一个。

按这种方式，如图10D中示例性地例示的，AVN设备400可以基于由处理器170提供的控制信号来将扩展的图像1061显示在画面上。因为扩展的图像1061包括辅图像1051的至少一部分和主图像1041的至少一部分，所以车辆1的驾驶员能够从包含辅图像1051的扩展的图像1061检查存在于驾驶员在仅观看主图像1041时不能够检查的位置处的障碍物31。结果，车辆1的驾驶员能够经由扩展的图像1061来提前识别由另一车辆3隐藏并且不能够通过挡风玻璃检查的障碍物31。按这种方式，驾驶员能够细致地执行例如车辆1的减速、制动和行驶方向改变，这导致事故的风险的减小。

尽管未例示，然而车辆1的显示单元741以及驾驶员辅助设备100的显示单元180还可以基于由处理器170提供的控制信号来将扩展的图像1061显示在其画面上。这时，处理器170可以基于每个画面的尺寸和纵横比来控制扩展的图像1061，以便被不同地显示在车辆1的显示单元741、驾驶员辅助设备100的显示单元180和AVN设备400上。

图11A、图11B、图11C和图11D是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图11A例示了另一车辆4处在车辆1侧面极为接近的状态的俯视图。为了描述的方便，假定另一车辆4位于车辆1右侧，车辆1和另一车辆4二者是静止的或者正在彼此紧挨着的两条车道中以相同的速度行驶，并且在车辆1的前面不存在物体。

在图11A中，安装到车辆1的相机195至198拍摄第一范围1111的图像，并且安装到另一车辆4的相机拍摄第二范围1121的图像。在这种情况下，如所例示的， 可以存在第一范围1111和第二范围1121交叠的交叠区域1131。也就是说，交叠区域1131可以意指通常落入第一范围1111和第二范围1121内并且由安装到车辆1的相机195至198和安装到另一车辆4的相机中的全部相机拍摄的区域。

图11B例示了与图11A中所例示的第一范围1111对应的主图像1141。如所例示的，主图像1141被假定为是全景图像。处理器170可以基于当安装到车辆1的相机195至198拍摄第一范围1111的图像时而生成的行驶车辆1的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成主图像1141。

处理器170可以生成与车辆1对应的图像1142位于在中心的主图像1141。例如，与车辆1对应的图像1142可以由处理器170直接生成，或者可以被预先存储在驾驶员辅助设备100的存储器140或者车辆1的存储器730中。另外，因为交叠区域1131位于如图11A中所例示的第一范围1111右侧，所以另一车辆4的车辆主体的左部在主图像1141的右部中可以是可见的。

图11C例示了与图11A中所例示的第二范围1121对应的辅图像1151。如所例示的，辅图像1151像主图像1141一样被假定为是全景图像。另一车辆4可以基于通过拍摄第二范围1121的图像而生成的行驶车辆4的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成辅图像1151。

另外，与另一车辆4对应的图像1152可以位于辅图像1151中心。另外，再次参照图11A，因为交叠区域1131位于第二范围1121左侧，所以车辆1的车辆主体的右部在辅图像1151的左部中可以是可见的。

图11D是例示了车辆1在图11A中所例示的状态下的室内状态的视图。参照图11D，车辆1的驾驶员可以通过挡风玻璃注视位于其前面的另一车辆4。再次参照图11A，另一车辆4位于车辆1右侧，并且因此，驾驶员能够通过车辆1的挡风玻璃来检查另一车辆4。

处理器170可以在进入图像扩展模式时使用图11B中所例示的主图像1141和图11C中所例示的辅图像1151来生成扩展的图像1161。例如，处理器170可以通过以下方式来生成扩展的图像1161：在例如改变主图像1141和辅图像1151中的至少一个的方向和尺寸以使得主图像1141内的与图11A中所例示的交叠区域1131对应的图像部分和辅图像1151内的与交叠区域1131对应的图像部分彼此重合之后对主图像1141和辅图像1151进行构图。也就是说，驾驶员辅助设备100可以给驾驶员提供通 过向左方并向右方扩展主图像1141的范围而获得的图像。在这种情况下，扩展的图像1161可以是看起来从上面拍摄车辆1和另一车辆4的图像的全景图像。

另外，处理器170可以生成用于显示扩展的图像1161的控制信号，并且将所对应的控制信号发送到车辆1中配备的AVN设备400、车辆1的显示单元741以及驾驶员辅助设备100的显示单元180中的至少一个。按这种方式，如图11D中示例性地例示的，AVN设备400可以基于由处理器170提供的控制信号来将扩展的图像1161显示在画面上。尽管未例示，然而车辆1的显示单元741以及驾驶员辅助设备100的显示单元180还可以基于由处理器170提供的控制信号来将扩展的图像1161显示在其画面上。这时，处理器170可以基于每个画面的尺寸和纵横比来控制扩展的图像1161，以便被不同地显示在车辆1的显示单元741、驾驶员辅助设备100的显示单元180和AVN设备400上。

驾驶员可以通过从示出了主图像1141和辅图像1151二者的扩展的图像1161在视觉上检查车辆1周围的状态来实现与仅简单地给出主图像1141的情况相比向右方加宽的视觉视场。

此外，由处理器170生成的扩展的图像可以提供将在下面进一步更详细地描述的、与占用车辆1的驾驶员的盲点区域有关的有价值的信息。

图12A、图12B、图12C和图12D是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图12A例示了另一车辆5处在车辆1侧面极为接近的状态的俯视图。为了描述的方便，假定另一车辆5位于车辆1右侧，车辆1和另一车辆5二者是静止的或者正在彼此紧挨着的两条车道中以相同的速度行驶，并且在车辆1的前面不存在物体。

此外，不同于图11A中所例示的状态，在另一车辆5的右侧存在行人41。在这种状态下，车辆1的驾驶员在检查由另一车辆5隐藏的行人41方面具有困难。

在图12A中，安装到车辆1的相机195至198拍摄第一范围1211的图像，并且安装到另一车辆5的相机拍摄第二范围1221的图像。在这种情况下，如所例示的，可以存在第一范围1211和第二范围1221交叠的交叠区域1231。也就是说，交叠区域1231可以意指通常落入第一范围1211和第二范围1221内并且由安装到车辆1的相机195至198和安装到另一车辆5的相机中的全部相机拍摄的区域。

图12B例示了与图12A中所例示的第一范围1211对应的主图像1241。如所例示的，主图像1241被假定为是全景图像。处理器170可以基于当安装到车辆1的相机195至198拍摄第一范围1211的图像时而生成的行驶车辆1的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成主图像1241。

处理器170可以生成与车辆1对应的图像1242位于中心的主图像1241。例如，与车辆1对应的图像1242可以由处理器170直接生成，或者可以被预先存储在驾驶员辅助设备100的存储器140或者车辆1的存储器730中。另外，因为交叠区域1231位于如图12A中所例示的第一范围1211的右侧，所以另一车辆5的车辆主体的左部在主图像1241的右部中可以是可见的。

图12C例示了与图12A中所例示的第二范围1221对应的辅图像1251。如所例示的，辅图像1251像主图像1241一样被假定为是全景图像。另一车辆5可以基于通过拍摄第二范围1221的图像而生成的行驶车辆5的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成辅图像1251。

另外，与另一车辆5对应的图像1252可以位于辅图像1251中心。另外，再次参照图12A，因为交叠区域1231位于第二范围1221的左侧，所以车辆1的车辆主体的右部在辅图像1251的左部中可以是可见的。

此外，不同于图11A中所例示的状态，在图12A中，在另一车辆5的右侧存在行人41，并且行人41落入作为另一车辆5的图像拍摄范围的第二范围1221内。因此，行人41被示出在由另一车辆5生成的辅图像1251的右部中。

图12D是例示了车辆1在图12A中所例示的状态下的室内状态的视图。参照图12D，车辆1的驾驶员在通过挡风玻璃来检查行人41以及另一车辆5方面具有困难，因为行人41位于另一车辆5的右侧。

处理器170可以在进入图像扩展模式时使用图12B中所例示的主图像1241和图12C中所例示的辅图像1251来生成扩展的图像1261。例如，处理器170可以通过以下方式来生成扩展的图像1261：在例如改变主图像1241和辅图像1251中的至少一个的方向和尺寸以使得主图像1241内的与图12A中所例示的交叠区域1231对应的图像部分和辅图像1251内的与交叠区域1231对应的图像部分彼此重合之后对主图像1241和辅图像1251进行构图。也就是说，驾驶员辅助设备100可以给驾驶员提供通过向前方并向后方扩展主图像1241的范围而获得的图像。在这种情况下，扩展的图 像1261可以是看起来从上面拍摄车辆1和另一车辆5的图像的全景图像。

另外，处理器170可以生成用于显示扩展的图像1261的控制信号，并且将所对应的控制信号发送到车辆1中配备的AVN设备400、车辆1的显示单元741以及驾驶员辅助设备100的显示单元180中的至少一个。

按这种方式，如图12D中示例性地例示的，AVN设备400可以基于由处理器170提供的控制信号来将扩展的图像1261显示在画面上。因为扩展的图像1261包含辅图像1251的至少一部分和主图像1241的至少一部分，所以车辆1的驾驶员能够从包含辅图像1251的扩展的图像1261检查存在于驾驶员在仅观看主图像1241时不能够检查的位置处的行人41。结果，车辆1的驾驶员能够经由扩展的图像1261来提前识别由另一车辆5隐藏并且不能够经由主图像1241检查的行人41。按这种方式，驾驶员能够细致地执行例如车辆1的减速、制动和行驶方向改变，这导致事故的风险的减小。

尽管未例示，然而车辆1的显示单元741以及驾驶员辅助设备100的显示单元180还可以基于由处理器170提供的控制信号来将扩展的图像1261显示在其画面上。这时，处理器170可以基于每个画面的尺寸和纵横比来控制扩展的图像1261，以便被不同地显示在车辆1的显示单元741、驾驶员辅助设备100的显示单元180和AVN设备400上。

此外，尽管图9A至图12D的以上描述已经关注于靠近车辆1存在单辆车辆(即，生成与车辆1的主图像具有公共部分的辅图像的另一车辆)，然而本发明不限于此。也就是说，根据本发明的一个实施方式的驾驶员辅助设备100可以在靠近车辆1存在多辆车辆的情况下生成扩展的图像。将在下面对此进行详细的描述。

图13A、图13B、图13C、图13D和图13E是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图13A例示了停车场1300的俯视图。如所例示，可以假定车辆1、在车辆1左侧的另一车辆6以及在车辆1右侧的另一车辆7位于停车场1300中。

在图13A中，安装到车辆1的相机195至198拍摄第一范围1311的图像，安装到另一车辆6的相机拍摄第二范围1321的图像，并且安装到另一车辆7的相机拍摄第三范围1331的图像。

在这种情况下，如所例示，可以存在第一范围1311和第二范围1321的第一交叠区域1341。另外，可以存在第一范围1311和第三范围1331的第二交叠区域1342。 也就是说，第一交叠区域1341可以意指通常落入第一范围1311和第二范围1321内并且由安装到车辆1的相机195至198和安装到另一车辆6的相机中的全部相机拍摄的区域。另外，第二交叠区域1342可以意指通常落入第一范围1311和第三范围1331内并且由安装到车辆1的相机195至198和安装到另一车辆7的相机中的全部相机拍摄的区域。

图13B例示了与图13A中所例示的第一范围1311对应的主图像1351。如所例示的，主图像1351被假定为是全景图像。处理器170可以基于当安装到车辆1的相机195至198拍摄第一范围1311的图像时而生成的行驶车辆1的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成主图像1351。

处理器170可以生成与车辆1对应的图像1352位于中心的主图像1351。例如，与车辆1对应的图像1352可以由处理器170直接生成，或者可以被预先存储在驾驶员辅助设备100的存储器140或者车辆1的存储器730中。

另外，如图13A中所例示的，第一交叠区域1341位于第一范围1311的左侧。因此，如图13B中所例示的，另一车辆6的车辆主体的右部在主图像1351的左部中可以是可见的。另外，因为第二交叠区域1342位于第一范围1311的右侧，所以另一车辆7的车辆主体的左部在主图像1351的右部中可能是可见。

图13C例示了与图13A中所例示的第二范围1321对应的第一辅图像1361。如所例示的，第一辅图像1361像主图像1351一样被假定为是全景图像。另一车辆6可以基于通过拍摄第二范围1321的图像而生成的行驶车辆6的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成第一辅图像1361。

另外，与另一车辆6对应的图像1362可以位于辅图像1361中心。另外，如图13A中所例示的，因为第一交叠区域1341位于第二范围1321的右侧，所以车辆1的车辆主体的左部在第一辅图像1361的右部中可能是可见。

图13D例示了与图13A中所例示的第三范围1331对应的第二辅图像1371。如所例示的，第二辅图像1371像主图像1351一样被假定为是全景图像。另一车辆7可以基于通过拍摄第三范围1331的图像而生成的行驶车辆7的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成第二辅图像1371。

另外，与另一车辆7对应的图像1372可以位于第二辅图像1371中心。另外，如图13A中所例示的，因为第二交叠区域1342位于第三范围1331的左侧，所以车辆1 的车辆主体的右部在第二辅图像1371的左部中可以是可见的。

图13E是例示了车辆1在图13A中所例示的状态下的室内状态的视图。处理器170可以在进入图像扩展模式时使用图13B中所例示的主图像1351、图13C中所例示的第一辅图像1361以及图13D中所例示的第二辅图像1371来生成扩展的图像1381。

例如，处理器170可以通过在例如改变主图像1351和第一辅图像1361中的至少一个的方向和尺寸以使得主图像1351内的与图13A中所例示的交叠区域1341对应的图像部分和第一辅图像1361内的与交叠区域1341对应的图像部分彼此重合之后对主图像1351和第一辅图像1361彼此进行构图。另外，处理器170可以在例如改变主图像1351和第二辅图像1371中的至少一个的方向和尺寸以使得主图像1351内的与图13A中所例示的交叠区域1342对应的图像部分和第二辅图像1371内的与交叠区域1342对应的图像部分彼此重合之后将主图像1351和第二辅图像1371彼此组合。

在一个实施例中，假定对停车场1300进行划界的停车线具有恒定宽度并且主图像1351中示出的停车线的宽度是第一辅图像1361中示出的停车线的宽度的两倍，处理器170可以首先将主图像1351的尺寸减小至一半，或者可以使第一辅图像1361的尺寸加倍，并且此后，可以将主图像1351和第一辅图像1361彼此组合。另外，处理器170还可以按相同的方式将第二辅图像1371和主图像1351彼此组合。按这种方式，处理器170可以通过在没有任何不连续的感觉的情况下将由不同车辆生成的图像进行组合来生成扩展的图像1381。

因此，驾驶员辅助设备100可以给驾驶员提供通过向左方并向右方扩展主图像1351的范围而获得的扩展的图像。在这种情况下，扩展的图像1381可以是看起来从上面拍摄车辆1以及其它两辆车辆6和7的图像的全景图像。

另外，处理器170可以生成用于显示扩展的图像1381的控制信号，并且将所对应的控制信号发送到车辆1中配备的AVN设备400、车辆1的显示单元741以及驾驶员辅助设备100的显示单元180中的至少一个。按这种方式，如图13E中示例性地例示的，AVN设备400可以基于由处理器170提供的控制信号来将扩展的图像1381显示在画面上。尽管未例示，然而车辆1的显示单元741以及驾驶员辅助设备100的显示单元180还可以基于由处理器170提供的控制信号来将扩展的图像1381显示在其画面上。这时，处理器170可以基于每个画面的尺寸和纵横比来控制扩展的图像 1381，以便被不同地显示在车辆1的显示单元741、驾驶员辅助设备100的显示单元180和AVN设备400上。

驾驶员可以通过从示出了主图像1351、第一辅图像1361和第二辅图像1371的扩展的图像1381在视觉上检查车辆1周围的状态来实现与仅简单地给出主图像1351的情况相比向左方且向右方加宽的视觉视场。

此外，尽管图13A至图13E的以上描述已经关注于两辆车辆6和7位于车辆1的左侧和右侧的情况，然而这是通过示例给出的并且不旨在限制本发明的范围。例如，即使当两辆车辆6和7位于车辆1的前侧和后侧时，也可以使用以上描述的方法来生成扩展的图像。在另一示例中，即使当一辆车辆6位于车辆1的左侧并且另一车辆7位于车辆1的后侧时，也可以使用以上描述的方法来生成扩展的图像。

此外，由处理器170生成的扩展的图像可以提供将在下面进一步更详细地描述的、与占用车辆1的驾驶员的盲点区域有关的有价值的信息。

图14A、图14B、图14C、图14D和图14E是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图14A例示了停车场1400的俯视图。如所例示的，可以假定车辆1、在车辆1左侧的另一车辆8以及在车辆1右侧的另一车辆9位于停车场1400中。将图14A与图13A进行比较，差异在于靠近另一车辆9的行人51正在朝向车辆1移动。

在图14A中，安装到车辆1的相机195至198拍摄第一范围1411的图像，安装到另一车辆8的相机拍摄第二范围1421的图像，并且安装到另一车辆9的相机拍摄第三范围1431的图像。

在这种情况下，如所例示的，可以存在第一范围1411和第二范围1421的第一交叠区域1441。另外，可以存在第一范围1411和第三范围1431的第二交叠区域1442。也就是说，第一交叠区域1441可以意指通常落入第一范围1411和第二范围1421内并且由安装到车辆1的相机195至198和安装到另一车辆8的相机中的全部相机拍摄的区域。另外，第二交叠区域1442可以意指通常落入第一范围1411和第三范围1431内并且由安装到车辆1的相机195至198和安装到另一车辆9的相机中的全部相机拍摄的区域。

图14B例示了与图14A中所例示的第一范围1411对应的主图像1451。如所例示的，主图像1451被假定为是全景图像。处理器170可以基于当安装到车辆1的相机 195至198拍摄第一范围1411的图像时而生成的行驶车辆1的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成主图像1451。

处理器170可以生成与车辆1对应的图像1452位于中心的主图像1451。例如，与车辆1对应的图像1452可以由处理器170直接生成，或者可以被预先存储在驾驶员辅助设备100的存储器140或者车辆1的存储器730中。

另外，如图14A中所例示的，第一交叠区域1441位于第一范围1411的左侧。因此，如图14B中所例示的，另一车辆8的车辆主体的右部在主图像1451的左部中可以是可见的。另外，因为第二交叠区域1442位于第一范围1411的右侧，所以另一车辆9的车辆主体的左部在主图像1451的右部中可以是可见的。

然而，行人51未被示出在主图像1451中并且由另一车辆9隐藏。因此，当车辆1的驾驶员尝试通过仅根据主图像1451离开停车场1400时，存在与正在朝向车辆1移动的行人51碰撞的风险。

图14C例示了与图14A中所例示的第二范围1421对应的第一辅图像1461。如所例示的，第一辅图像1461像主图像1451一样被假定为是全景图像。另一车辆8可以基于通过拍摄第二范围1421的图像而生成的行驶车辆8的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成第一辅图像1461。

另外，与另一车辆8对应的图像1462可以位于第一辅图像1461中心。另外，如图14A中所例示的，因为第一交叠区域1441位于第二范围1421的右侧，所以车辆1的车辆主体的左部在第一辅图像1461的右部中可以是可见的。

图14D例示了与图14A中所例示的第三范围1431对应的第二辅图像1471。如所例示的，第二辅图像1471像主图像1451一样被假定为是全景图像。另一车辆9可以基于通过拍摄第三范围1431的图像而生成的行驶车辆9的图像(例如，前方图像、左方图像、右方图像和后方图像)来生成第二辅图像1471。

另外，与另一车辆9对应的图像1472可以位于第二辅图像1471的中心。另外，如图14A中所例示的，因为第二交叠区域1442位于第三范围1431的左侧，所以车辆1的车辆主体的右部在第二辅图像1471的左部中可以是可见的。

图14E是例示了车辆1在图14A中所例示的状态下的室内状态的视图。处理器170可以在进入图像扩展模式时使用图14B中所例示的主图像1451、图14C中所例示的第一辅图像1461以及图14D中所例示的第二辅图像1471来生成扩展的图像 1381。

例如，处理器170可以在例如改变主图像1451和第一辅图像1461中的至少一个的方向和尺寸以使得主图像1451内的与图14A中所例示的第一交叠区域1441对应的图像部分和第一辅图像1461内的与第一交叠区域1441对应的图像部分彼此重合之后对主图像1451和第一辅图像1461彼此进行构图。另外，处理器170可以在例如改变主图像1451和第二辅图像1471中的至少一个的方向和尺寸以使得主图像1451内的与图14A中所例示的第二交叠区域1442对应的图像部分和第二辅图像1471内的与第二交叠区域1442对应的图像部分彼此重合之后对主图像1451和第二辅图像1471彼此进行构图。

在一个示例中，假定对停车场1400进行划界的停车线具有恒定宽度并且主图像1451中示出的停车线的宽度是第一辅图像1461中示出的停车线的宽度的两倍，处理器170可以首先将主图像1451的尺寸减小至一半，或者可以使第一辅图像1461的尺寸加倍，并且此后，可以将主图像1451和第一辅图像1461彼此组合。另外，处理器170还可以按相同的方式将第二辅图像1471与主图像1451组合。按这种方式，处理器170可以通过在没有任何不连续的感觉的情况下将由不同车辆生成的图像进行组合来生成扩展的图像1481。

因此，驾驶员辅助设备100可以给驾驶员提供通过向左方并向右方扩展主图像1451的范围而获得的扩展的图像。在这种情况下，扩展的图像1481可以是看起来从上面拍摄车辆1以及其它两辆车辆8和9的图像的全景图像。

另外，处理器170可以生成用于显示扩展的图像1481的控制信号，并且将所对应的控制信号发送到车辆1中配备的AVN设备400、车辆1的显示单元741以及驾驶员辅助设备100的显示单元180中的至少一个。按这种方式，如图14E中示例性地例示的，AVN设备400可以基于由处理器170提供的控制信号来将扩展的图像1481显示在画面上。

尽管未例示，然而车辆1的显示单元741以及驾驶员辅助设备100的显示单元180还可以基于由处理器170提供的控制信号来将扩展的图像1481显示在其画面上。这时，处理器170可以基于每个画面的尺寸和纵横比来控制扩展的图像1481，以便被不同地显示在车辆1的显示单元741、驾驶员辅助设备100的显示单元180和AVN设备400上。

驾驶员可以通过从示出了主图像1451、第一辅图像1461和第二辅图像1471的扩展的图像1481在视觉上检查车辆1周围的状态来实现与仅简单地给出主图像1451的情况相比向左方且向右方加宽的视觉视场。具体地，车辆1的驾驶员能够经由在例如AVN设备400上显示的扩展的图像1481来识别诸如例如存在于占用车辆1的驾驶员的视觉视场外部的位置处或者存在于从主图像1451不可见的位置处的行人51。

尽管图13A至图14E的以上描述已经关注于两辆车辆位于靠近车辆1的情况，然而本领域技术人员将清楚地理解的是，即使当靠近车辆1存在三辆或更多辆车辆时，驾驶员辅助设备100也可以按以上描述的方式生成扩展的图像。

此外，根据本发明的一个实施方式的驾驶员辅助设备100可以使用由不靠近车辆1的另一车辆生成的辅图像来生成扩展的图像。将在下面对此进行详细的描述。

图15A、图15B和图15C是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图15A例示了十字路口1500的俯视图。如所例示的，可以假定车辆1以及三辆不同的车辆10、11和12正在十字路口1500的附近行驶。

在图15A中，安装到车辆1的相机195至198拍摄第一范围1511的图像，安装到另一车辆10的相机拍摄第二范围1521的图像，安装到又一车辆11的相机拍摄第三范围1531的图像，并且安装到又一车辆12的相机拍摄第四范围的图像1541。

在这种情况下，如所例示的，第一范围1511可以与第二范围1521、第三范围1531和第四范围1541没有交叠区域。另一方面，另一车辆10和又一车辆11彼此靠近，并且可以存在第二范围1521和第三范围1531交叠的交叠区域1571。

图15B例示了设置在车辆1处的AVN设备400在图15A中所例示的状态下的画面。假定AVN设备400的屏幕被设置有触摸传感器，以接收驾驶员的触摸输入。

可以在AVN设备400的屏幕上的与车辆1当前位置对应的部分中显示导航图像1510。例如，处理器170可以使由车辆1的通信单元120或710接收的车辆1的位置信息与在驾驶员辅助设备100的存储器140或者车辆1的存储器730中存储的电子地图相匹配，由此向AVN设备400提供用于显示经匹配的地图部分的导航图像1510的控制信号。这时，导航图像1510可以显示引导车辆1的当前位置的指示器1511。

此外，在十字路口1500中不存在靠近车辆1的车辆，并且因此，驾驶员辅助设备100不能够接收与对应于第一范围1511的主图像1551具有公共部分的辅图像。

在这种情况下，驾驶员辅助设备100可以选择远离车辆1的其它车辆(即，拍摄与第一范围1511没有交叠区域的第二范围1521、第三范围1531和第四范围1541的图像的其它车辆10、11和12)中的至少一个，然后接收由所选择的车辆生成的辅图像。

驾驶员辅助设备100可以基于用户输入来选择位于远离车辆1的位置处的另一车辆。

再次参照图15B，驾驶员可以触摸在AVN设备400的屏幕上显示的导航图像1510的整个区域内的点P1。这时，当触摸点P1时，可以在导航图像1510上出现规定的视觉效果。处理器170可以检查正在十字路口1500的与包含导航图像1510的整个区域内的被触摸的点P1的区域对应的区域中行驶的两辆其它车辆10和11。

例如，处理器170可以获得电子地图内的与被触摸的点P1匹配的GPS坐标值。随后，处理器170可以通过使用通信单元120或710来向在十字路口1500的对应于GPS坐标值的实际位置处行驶的两辆其它车辆10和11发送图像请求信号。另外，处理器170可以通过使用通信单元120或710来接收由两辆其它车辆10和11响应于所述图像请求信号而发送的辅图像。

图15C例示了AVN设备400的显示扩展的图像1520的画面。处理器170可以将AVN设备400的画面划分成两个或更多个子画面，并且在每个子画面基础上显示不同条数的信息。如所例示的，处理器170可以将AVN设备400的画面划分成第一子画面S1和第二子画面S2，并且生成用于将导航图像1510显示在第一子画面S1上并将扩展的图像1520显示在第二子画面S2上的控制信号。尽管图15C仅例示了AVN设备400，但是本领域技术人员将要清楚地理解的是，车辆1的显示单元741以及驾驶员辅助设备100的显示单元180还可以经受基于由处理器170提供的控制信号将画面划分成多个子画面。

此外，因为两辆其它车辆10和11的图像拍摄范围1521和图像拍摄范围1531具有交叠区域1571，所以扩展的图像1520中包含的辅图像1561可以示出与另一车辆10对应的图像1562以及与又一车辆11对应的图像1572。

另外，作为两辆其它车辆10和11的图像拍摄范围的第二范围1521和第三范围1531与第一范围1511没有交叠区域。因此，主图像1551和辅图像1561可以在扩展的图像1520中被示出为彼此分开。

具体地，处理器170可以基于车辆1的位置信息以及两辆其它车辆10和11的位置信息来判断两辆其它车辆10和11相对于车辆1的方向以及从这两辆其它车辆10和11到车辆1的距离。另外，处理器170可以基于判断结果来生成主图像1551和辅图像1561在规定方向上彼此间隔开规定距离的扩展的图像1520。

图16A、图16B、图16C和图16D是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

根据本发明的驾驶员辅助设备100可以判断在离车辆1的预定距离(例如，300m)内是否存在警示区，并且使用由位于警示区中的至少一辆车辆生成的辅图像来生成扩展的图像。

具体地，当通信单元120或710接收到车辆1的位置信息(例如，GPS坐标值)时，处理器170可以基于对应的位置信息以及在存储器140或730中存储的电子地图来判断在离车辆1的预定距离内是否存在警示区。例如，电子地图可以包含与车辆1能够行驶的路线有关的各条信息，诸如例如道路信息(例如，减速带、道路宽度和交通标志)以及关于设施(例如，医院、乡村俱乐部和公园)的信息。因此，处理器170可以根据电子地图中包含的各条信息当中的车辆1的GPS坐标值来识别预定距离内的警示区。

这里，警示区可以意指车辆1的驾驶员必须比在正常驾驶期间更加注意的区域。警示区的示例可以包括十字路口、上坡道路、下坡道路、人行横道、停车场、隧道、狭窄道路、弯曲道路和坑洼。处理器170可以根据用户输入来改变警示区的数目、种类和优先级的顺序。

当在离车辆1的规定距离内存在多个警示区时，处理器170可以按优先级的顺序仅知道规定数目的高级别警示区。

另外，当在离车辆1的规定距离内存在多个警示区时，在处理器170的控制下，可以基于优先级的顺序在例如导航系统屏幕上在视觉上不同地显示这些警示区。例如，最高优先级警示区可以用红色显示，而最低优先级警示区可以用蓝色显示。

另外，当在离车辆1的规定距离内存在至少一个警示区时，处理器170可以自动地进入图像扩展模式。

图16A例示了作为一个示例性警示区的一个人行横道1601。人行横道1601是行人横穿的道路区域。在图16A中，车辆1可以生成与第一范围1611对应的主图像， 而另一车辆13可以生成与第二范围1621对应的辅图像。

因为在第一范围1611中不包括人行横道1601，所以驾驶员不能够仅使用与第一范围1611对应的主图像来检查人行横道1601的实时状态。另一方面，因为第二范围1621包括人行横道1601的至少一部分以及靠近人行横道1601的行人61，所以等待横穿人行横道1601的行人61被示出在与第二范围1621对应的辅图像中。

处理器170可以生成包含与第一范围1611对应的主图像以及与第二范围1621对应的辅图像的扩展的图像，由此协助车辆1的驾驶员甚至在远离人行横道1601的位置处提前检查行人61。

图16B例示了作为另一示例性警示区的弯曲道路1602。弯曲道路1602可以是其曲率是规定值或更大值的道路区域。弯曲道路1602可以根据曲率的大小导致对车辆1的驾驶员不可见的盲点。在图16B中，车辆1可以生成与第一范围1612对应的主图像，而另一车辆13可以生成与第二范围1622对应的辅图像。

因为在第一范围1611中不包括弯曲道路1602，所以驾驶员不能够仅使用与第一范围1612对应的主图像来检查弯曲道路1602的实时状态。另一方面，因为第二范围1622包括弯曲道路1602的至少一部分以及弯曲道路1602上的障碍物62，所以具有与车辆1碰撞的可能性的障碍物62被示出在与第二范围1622对应的辅图像中。

处理器170可以生成包含与第一范围1612对应的主图像以及与第二范围1622对应的辅图像的扩展的图像，由此协助车辆1的驾驶员甚至在远离弯曲道路1602的位置处提前检查障碍物62。

图16C例示了作为一个示例性警示区的下坡道路1603。下坡道路1603是从高海拔向低海拔延伸的陡削道路。在图16C中，车辆1可以生成与第一范围1613对应的主图像，而另一车辆13可以生成与第二范围1623对应的辅图像。

因为在第一范围1613中不包括下坡道路1603，所以驾驶员不能够仅使用与第一范围1613对应的主图像来检查下坡道路1603的实时状态。另一方面，因为第二范围1623包括下坡道路1603的至少一部分以及下坡道路1603上的障碍物63，所以具有与车辆1碰撞的可能性的障碍物63被示出在与第二范围1623对应的辅图像中。

处理器170可以生成包含与第一范围1613对应的主图像以及与第二范围1623对应的辅图像的扩展的图像，由此协助车辆1的驾驶员甚至在远离下坡道路1603的位置处提前检查障碍物63。

图16D例示了作为一个示例性警示区的隧道1604。在图16D中，车辆1可以生成与第一范围1614对应的主图像，而另一车辆14可以生成与第二范围1624对应的辅图像。

因为在第一范围1614中不包括隧道1604，所以驾驶员不能够仅使用与第一范围1614对应的主图像来检查隧道1604的实时状态。另一方面，因为第二范围1624包括隧道1604的至少一部分以及存在于隧道1604中的坑洼64，所以在与第二范围1624对应的辅图像中示出了可能损害车辆1的坑洼64。

处理器170可以生成包含与第一范围1614对应的主图像以及与第二范围1624对应的辅图像的扩展的图像，由此协助车辆1的驾驶员甚至在远离隧道1604的位置处提前检查坑洼64。

图17A和图17B是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

根据本发明的驾驶员辅助设备100可以判断在离车辆1的预定距离(例如，300m)内或者在由驾驶员选择的区域内是否存在拥塞区1700，并且使用由位于拥塞区1700中的至少一辆车辆生成的辅图像来生成扩展的图像。

具体地，当通信单元120或710接收到与车辆1的当前位置有关的交通信息时，处理器170可以基于交通信息来判断在离车辆1的预定距离(例如，300m)内或者在由驾驶员选择的区域内是否存在拥塞区1700。交通信息可以包括与诸如例如特定道路段上的交通、事故和道路施工的状态这样的对交通有影响的各种因素有关的信息。例如，处理器170可以将车辆不能够以规定速度(60km/h)或更高的速度行驶的区域设置为拥塞区1700。

另外，当在离车辆1的预定距离(例如，300m)内或者在由驾驶员选择的区域内存在拥塞区1700时，处理器170可以自动地进入图像扩展模式。

图17A例示了四车道道路的俯视图。在图17A中，车辆1将进入拥塞区1700，并且在该拥塞区1700中存在多辆其它车辆17至21。

车辆1生成与第一范围1711对应的主图像。另外，安装到另一车辆17的相机拍摄第二范围1721的图像，安装到又一车辆18的相机拍摄第三范围1731的图像，安装到又一车辆19的相机拍摄第四范围1741的图像，安装到又一车辆20的相机拍摄第五范围1751的图像，并且安装到又一车辆21的相机拍摄第六范围1761的图像。

按这种方式，拥塞区1700中的其它车辆17至21可以生成分别与第二范围1721、第三范围1731、第四范围1741、第五范围1751和第六范围1761对应的第一辅图像至第六辅图像。驾驶员辅助设备100可以向其它车辆17至21发送图像请求信号，并且其它车辆17至21可以响应于所述图像请求信号而将第一辅图像至第六辅图像发送到驾驶员辅助设备100。

图17B例示了车辆1中配备的AVN设备400在图17A中所例示的状态下的画面。

处理器170可以生成与第一范围1711对应的主图像1771。主图像1771可以包含与车辆1对应的图像1772。另外，处理器170可以通过基于第一辅图像至第六辅图像之间的交叠部分而将第一辅图像至第六辅图像进行组合来生成新的辅图像1772。在这种情况下，辅图像1772可以包含分别与拥塞区1700中的其它车辆17至21对应的图像1722、1732、1742、1752和1762。

驾驶员能够经由示出了主图像1771和辅图像1772二者的扩展的图像1770在视觉上检查拥塞区1700的实时状态，这与仅向驾驶员提供主图像1771或者驾驶员简单地参考交通信息的情况相比可以协助驾驶员例如减少到目的地的行驶时间。

图18A和图18B是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

在图18A中，当不存在与车辆1的第一范围1811对应的主图像以及与另一车辆22的第二范围1812单元的辅图像交叠的交叠部分时，驾驶员辅助设备100可以基于由感测单元760获得的信息来判断主图像与辅图像之间的位置关系。

具体地，感测单元760可以使用规定信号1813(例如，超声波、红外光或激光)来获得与另一车辆22的相对于车辆1的位置有关的信息。

处理器170可以基于由感测单元760获得的信息来判断车辆1与另一车辆22之间的距离、车辆1的中心轴线1814与另一车辆22的中心轴线1815之间的角度θ、以及车辆1与另一车辆22之间的位置关系。

处理器170可以在使用主图像和辅图像来生成扩展的图像时，基于车辆1与另一车辆22之间的位置关系来改变(例如，旋转或移动)主图像和辅图像中的至少一个。例如，处理器170可以基于主图像来使辅图像顺时针旋转角度θ，并且此后使用经旋转的辅图像来生成扩展的图像。

图18例示了另一车辆23位于感测单元760的感测距离之外的状态。

在这种情况下，处理器170可以基于由通信单元120或710接收的车辆1的位置信息和另一车辆23的位置信息来判断主图像与辅图像之间的位置关系。另外，处理器170可以通过基于主图像与辅图像之间的位置关系来将主图像和辅图像彼此组合而生成扩展的图像。

另外，在生成扩展的图像时，处理器170可以基于车辆1的车辆主体方向信息和另一车辆23的车辆主体方向信息来将主图像和辅图像彼此组合。车辆1的车辆主体方向信息V1可以由感测单元760获得，并且另一车辆23的车辆主体方向信息V2可以由通信单元120或710接收。例如，车辆1和另一车辆23可以分别包括感测车辆主体面对的方向的至少一个传感器，诸如例如地磁传感器或方向传感器。

参照图18B，处理器170可以通过将车辆1的GPS坐标P11与另一车辆23的GPS坐标P12进行比较来判断从车辆1到另一车辆23的距离和方向。也就是说，处理器170可以判断另一车辆23位于沿着X轴线离车辆1距离X2-X1处并且位于沿着Y轴线离车辆1距离Y2-Y1处。

另外，处理器170可以通过将车辆1的车辆主体方向信息V1与另一车辆23的车辆主体方向信息V2进行比较来判断车辆1的中心轴线与另一车辆23的中心轴线之间的角度。

处理器170可以通过基于从车辆1到另一车辆23的距离和方向以及车辆1的中心轴线与另一车辆23的中心轴线之间的角度而改变主图像和辅图像中的至少一个来生成更代表实际状态的扩展的图像。

图19是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

具体地，图19例示了驾驶员辅助设备100的用于基于扩展的图像来控制车辆1的移动的操作。为了描述的方便，车辆1被假定为对应于图16B中所例示的状态。为了方便理解，省去了图16B中所例示的另一车辆14。

参照图19，驾驶辅助设备100可以基于与扩展的图像中示出的障碍物62有关的信息来生成命令改变车辆1的速度和方向中的至少一个的控制信号。关于障碍物62的信息可以包括诸如例如障碍物62的尺寸和到障碍物62的距离这样的各条信息。

例如，车辆1可以从当前位置P30移动以进入弯曲道路1602，然后顺序地经过第一点P31、第二点P32和第三点P33。在这种情况下，处理器170可以生成命令车辆1在经过第一点P31之前减速到第一值或更小值的控制信号。随后，处理器170 可以生成命令已经过第一点P31的车辆1在经过第二点P32之前减速到小于第一值的第二值或更小值的控制信号。随后，处理器170可以生成命令已经过第二点P32的车辆1在经过第三点P33之前减速到小于第二值的第三值的控制信号。

如图19中所例示的，当车辆1的驱动单元750基于从处理器170提供的控制信号从车辆1远离障碍物62的位置开始预先减小车辆1的速度时，可以减小车辆1与障碍物62之间的碰撞的风险。

图20A和图20B是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

首先，图20A例示了车辆1已进入的停车场2000的俯视图。参照图20A，三辆车辆24至26位于停车场2000左侧，并且三辆车辆27至29位于停车场2000右侧。为了描述的方便，整个停车场2000被假定为落入车辆1的图像拍摄范围以及六辆车辆24至29的图像拍摄范围的总范围内。

此外，在另一车辆24的左侧存在行人71。在这种状态下，车辆1的驾驶员在视觉上检查由另一车辆24隐藏的行人71方面具有困难。

然而，假定行人71落入另一车辆24的图像拍摄范围内，行人71被示出在与另一车辆24的图像拍摄范围对应的辅图像中。处理器170可以使用由另一车辆24生成的辅图像来生成扩展的图像。

图20B例示了当车辆1已进入停车场2000时在车辆1的AVN设备400的屏幕上显示的扩展的图像2010。为了描述的方便，假定图20A中所例示的整个停车场2000被示出在扩展的图像2010中。如所例示的，扩展的图像2010可以包含与车辆1对应的第一图像2011以及分别与第二车辆24、第三车辆25、第四车辆26、第五车辆27、第六车辆28和第七车辆29对应的第二图像2021、第三图像2031、第四图像2041、第五图像2051、第六图像2061和第七图像2071。

另外，因为行人71被示出在由另一车辆24生成的辅图像中，所以驾驶员能够经由扩展的图像2010来检查由另一车辆24隐藏的行人71。

此外，处理器170可以基于扩展的图像2010来生成车辆1能够行驶的至少一条路线。例如，处理器170可以通过对扩展的图像2010进行分析来判断在停车场2000中是否存在具有大于车辆1的全宽度的宽度的空间。

参照图20B，处理器170可以计算从扩展的图像2010内的第五图像2051的左端 到第六图像2061的右端的距离，将所计算的距离改变为实际距离，并且将该实际距离与车辆1的全宽度进行比较。也就是说，处理器170可以判断车辆1是否能够进入第五车辆27与第六车辆28之间的空间。

另外，处理器170可以检测停车场2000的停车线以判断车辆1目前已进入停车场2000，并且生成用于引导驾驶员以将车辆1停放在第五车辆27与第六车辆28之间的信息2101。

按这种方式，可以在AVN设备400的屏幕上显示指示第五车辆27与第六车辆28之间的停车空间是空的指示器2101。

另外，在生成车辆1能够行驶的至少一条路线时，基于扩展的图像2010，处理器170可以生成命令显示引导所生成的路线的指示器2102的控制信号。例如，如所例示的，指示器2102可以指示引导车辆1到第五车辆27与第六车辆28之间的停车空间的路线。这时，可以将指示器2101和指示器2102显示为在扩展的图像2010上交叠。

另外，处理器170可以生成用于命令将扩展的图像2010中包含的与车辆1对应的第一图像2011显示为与第二图像2021、第三图像2031、第四图像2041、第五图像2051、第六图像2061和第七图像2071区分开的控制信号。例如，如图20B中所例示的，AVN设备400可以基于从处理器170提供的控制信号来比第一图像2011更密地显示第二图像2021、第三图像2031、第四图像2041、第五图像2051、第六图像2061和第七图像2071。

图21是说明根据本发明的一个实施方式的驾驶员辅助设备100的操作的视图。

处理器170可以生成命令向扩展的图像内的存在障碍物的区域提供视觉效果的控制信号。在显示扩展的图像时，车辆1的显示单元741、驾驶员辅助设备100的显示单元180和/或AVN设备400可以响应从处理器170提供的控制信号而向扩展的图像内的存在障碍物的区域提供视觉效果。例如，处理器170可以向AVN设备400提供用于在障碍物上或者在整个扩展的图像内的靠近障碍物的区域中生成诸如例如着色、式样、闪烁或者突出显示这样的效果的控制信号。

参照图21，可以在图20B中所例示的扩展的图像2010内的示出有行人71的区域中显示指示存在行人71的指示器2103。当扩展的图像2010的范围是宽的时，驾驶员可能不能识别扩展的图像2010中示出的行人71。在这种情况下，通过使用指示 器2103来显示行人71以使得行人71比扩展的图像2010的剩余部分更加突出可以协助车辆1的驾驶员迅速地识别行人71。

图22A和图22B是说明根据本发明的一个实施方式的驾驶员辅助设备100控制扩展的图像的显示状态的操作的视图。为了描述的方便，将在下面描述如图20中所例示的那样在AVN设备400的画面上显示扩展的图像2010的情况。

首先，参照图22A，处理器170可以将AVN设备400的画面划分成多个子画面S11、S12和S13。另外，AVN设备400可以在处理器170的控制下在相应的子画面S11、S12和S13上显示不同条数的信息。

例如，AVN设备400可以在第一子画面S11上显示扩展的图像2010，在第二子画面S12上显示与诸如例如在扩展的图像2010中示出的行人71这样的障碍物有关的信息，并且在第三子画面S13上显示与各种功能对应的图标2201至2205。

第二子画面S12上显示的关于障碍物的信息可以包括例如引导障碍物的检测的警告图像或消息(例如，“感测到行人”)、引导到障碍物的距离的消息(例如，“在前方5m”)以及引导驾驶员必须执行以防止与障碍物碰撞的动作的消息(例如，“减速”)。

另外，驾驶员可以通过触摸在AVN设备400的屏幕上显示的图标2201至2205中的至少一个来执行与被触摸的图标对应的功能。

例如，第一图标2201可以对应于用于对扩展的图像2010进行扩展的功能，第二图标2202可以对应于用于使扩展的图像2010简化的功能，第三图标2203可以对应于用于使扩展的图像2010转动的功能，第四图标2204可以对应于用于针对基于扩展的图像2010生成的路线而执行自主驾驶的功能，并且第五图标2205可以对应于用于停止扩展的图像2010的显示并移动到主画面的功能。

接下来，图22B例示了驾驶员辅助设备100基于用户输入来改变扩展的图像的显示的一个示例。

在图22B中，当驾驶员触摸图22A中所例示的第三子画面S13上的第三图标2203时，处理器170可以使扩展的图像2010转动规定角度。例如，每当驾驶员触摸第三图标2203一次时，处理器170可以生成命令在使扩展的图像2010转动90度之后显示该扩展的图像2010的控制信号。图22B例示了当第三图标2203被触摸一次时已经使扩展的图像2010顺时针转动了90度的状态。当驾驶员再一次触摸第三图标2203 时，AVN设备400可以显示转动了180度的扩展的图像2010。当然，本领域技术人员将显而易见的是，当驾驶员触摸第三图标2203总共四次时，扩展的图像2010被转动了360度，以因此按与图22A中所例示的相同的方式进行显示。

尽管参照图8至图22B的以上描述已经关注于接收由另一车辆生成的辅图像以生成扩展的图像的驾驶员辅助设备100的操作，然而驾驶员辅助设备100可以向另一车辆提供主图像(即，与车辆1的图像拍摄范围对应的图像)。在下文中，将更详细地描述驾驶员辅助设备100向另一车辆提供主图像的操作。

图23是例示了根据本发明的实施方式的驾驶员辅助设备100的控制方法的流程图。

参照图23，处理器170进入图像提供模式(S2300)。在本发明中，图像提供模式意指将车辆1的主图像的至少一部分和关于该主图像的信息提供给另一车辆的模式。

处理器170可以在满足预定条件时进入图像提供模式。

例如，当输入单元110接收到命令进入到图像提供模式的用户输入时，处理器170可以进入图像提供模式。在这种情况下，用户输入可以是从诸如例如触摸、语音、按钮按下和手势这样的各种输入当中选择的至少一种。

在另一示例中，当通信单元120或710从另一车辆接收到图像请求信号时，处理器170可以进入图像提供模式。

随后，处理器170使用一个或更多个相机195至198来生成主图像(S2305)。例如，处理器170可以在进入图像提供模式时开启图2B中所例示的相机195至198中的至少一个，以生成主图像。也就是说，主图像可以包含前方图像、左方图像、右方图像和后方图像中的至少一个。

这时，主图像可以具有各种形式。在一个示例中，主图像可以是静止图像或运动图像。在另一示例中，主图像可以具有如图2C中所例示的全景形式。在下文中，为了描述的方便，主图像被假定为是包含车辆1的前方图像、左方图像、右方图像和后方图像中的全部的全景图像。

随后，处理器170判断在步骤S2305中生成的主图像中是否存在障碍物(S2310)。例如，处理器170可以针对车辆1的主图像执行物体检测，并且基于物体检测结果来判断靠近车辆1的物体中的任何一个是否进入离车辆1的基准距离(例如，2m)，由 此在超过基准值之前传送事故的风险。

随后，在步骤S2310中判断主图像内存在障碍物时，处理器170可以选择主图像将被发送到的另一车辆(S2315)，并且将主图像发送到所选择的车辆(S2320)。这时，处理器170可以根据预定基准来选择位于靠近车辆1的多辆其它车辆中的一些，并且将主图像发送到所选择的车辆。

具体地，处理器170可以基于车辆1与障碍物之间的位置关系来选择主图像将被发送到的另一车辆。例如，当两辆其它车辆正分别在车辆1的前面和后面行驶，并且存在于主图像内的障碍物位于车辆1的后面时，处理器170可以仅将主图像提供给正在车辆1后面行驶的另一车辆。

处理器170可以基于主图像中示出的障碍物的风险程度来选择主图像将被发送到的另一车辆。例如，当靠近车辆1存在十辆其它车辆时，处理器170可以在从主图像中检测的障碍物的风险程度具有第一值时将主图像发送到这十辆其它车辆当中的仅五辆车辆，并且可以在障碍物的风险程度具有大于第一值的第二值时将主图像发送到这十辆其它车辆的全部。也就是说，当在主图像中检测的障碍物的风险程度增加时，处理器170可以增加主图像将被发送到的其它车辆的数目。这里，风险程度可以是基于例如车辆1与障碍物之间的距离、障碍物的尺寸以及障碍物的种类而计算的值。

另外，处理器170可以基于由通信单元120或710接收的图像请求信号来选择主图像将被发送到的另一车辆。例如，处理器170可以控制通信单元120或710以便仅将主图像发送到发送图像请求信号的车辆。

在这种情况下，通信单元120或710可以直接将主图像发送到另一车辆。也就是说，通信单元120或710可以基于车辆到车辆通信网络直接将主图像发送到另一车辆。

另选地，通信单元120或710可以经由至少一个外部装置的调解来将主图像发送到另一车辆。例如，驾驶员辅助设备100可以将主图像发送到外部服务器，并且该外部服务器可以将从驾驶员辅助设备100接收的主图像发送到另一车辆。

此外，尽管图8至图23的以上描述已将图像扩展模式和图像提供模式彼此区分开，但是这是通过示例给出的，并且本发明的范围不限于此。根据本发明的实施方式的驾驶员辅助设备100可以同时进入图像扩展模式和图像提供模式。也就是说，驾驶员辅助设备100可以在图像扩展模式下给另一车辆提供主图像，并且可以在图像提供模式下生成扩展的图像。另选地，驾驶员辅助设备100可以在车辆1正在行驶的同时 连续地生成扩展的图像或者给其它车辆提供主图像。

如从以上描述显而易见的，根据本发明的驾驶员辅助设备及其控制方法的效果如下。

通过本发明的实施方式中的至少一个，可以使用由安装到配备有驾驶员辅助设备的车辆的相机而生成的图像以及由安装到另一车辆的相机而生成的图像来生成具有比现有全景宽的视觉视场的图像(即，扩展的图像)。

另外，通过本发明的实施方式中的至少一个，可以在车辆周围的环境满足预定条件时自动地生成扩展的图像，这可以改进驾驶员的方便。

另外，通过本发明的实施方式中的至少一个，可以在显示扩展的图像时提供与障碍物有关的信息，这可以有助于驾驶员的安全。

另外，通过本发明的实施方式中的至少一个，可以提供对占用车辆的驾驶员不可见的区域的图像，这可以协助驾驶员调整车辆的行驶计划。

另外，通过本发明的实施方式中的至少一个，可以基于扩展的图像来计算车辆能够行驶的路线，这可以通过提供关于实时道路状态的信息来减少到达目的地所花费的时间。

本发明的效果应该不限于上述效果，并且其它未提及的效果将由本领域技术人员从权利要求清楚地理解。

如上所述的本发明的实施方式不限于仅经由所述设备和所述方式来实现，并且可以经由实现与本发明的每个实施方式的配置对应的功能的程序或者记录有该程序的记录介质来实现。这种实施将由本发明的技术人员根据实施方式的以上描述容易地实现。

另外，应该容易地理解的是，本发明不限于附图和以上所描述的实施方式。相反，能够修改本发明以并入至今未描述但是与本发明的精神和范围匹配的任何数目的变化、变更、替换或等同布置。因此，本发明将不被视为受实施方式和附图的以上描述限制，并且这些实施方式中的一些或全部可以彼此选择性地组合以实现各种变更。

相关申请的交叉引用

本申请要求于2015年6月9日在韩国知识产权局提交的韩国专利申请No.10-2015-0081497的优先权权益，该韩国专利申请的公开通过引用的方式被并入到本文中。