车辆控制系统、车辆控制方法和车辆控制程序与流程

本发明涉及一种车辆控制系统、车辆控制方法和车辆控制程序。

背景技术：

近年来，对于自动地控制车辆的加减速和方向操纵中的一方或双方以使本车沿着到目的地的路径行驶的技术(以下称为“自动驾驶”)，开展了研究。在该自动驾驶中，通过根据车辆的周边状况来制作合适的行动计划，能够使本车安全地行驶到目的地。另外，在实施自动驾驶时，驾驶员能够进行驾驶以外的所希望的动作，例如导航装置的操作等。(例如，专利文献1)。

【现有技术文献】

专利文献1：国际公开第2011/158347号

在实施自动驾驶时，在本车周边发生需注意状况的情况下，驾驶员最好能够尽早察觉到该状况。

技术实现要素：

本发明是鉴于上述情况而做出的，其目的之一在于，提供一种能够更迅速地将信息传递给车辆乘员的车辆控制系统、车辆控制方法和车辆控制程序。

第1技术方案所述的发明为一种车辆控制系统，其具有拍摄部、周边监视部和显示控制部，其中，所述拍摄部用于拍摄车辆的周边的图像；所述周边监视部用于监视所述车辆的周边状况；所述显示控制部使显示部将所述车辆的周边的图像重叠于由乘员进行操作的图像的局部来显示，并根据所述周边监视部的监视结果来使所述车辆的周边的图像扩大，其中，所述显示部存在于所述车辆的车厢内且用于显示由所述乘员进行操作的图像。

第2技术方案所述的发明为一种车辆控制系统，其具有拍摄部、周边监视部和显示控制部，其中，所述拍摄部用于拍摄车辆的周边的图像；所述周边监视部用于监视所述车辆的周边状况；所述显示控制部根据所述周边监视部的监视结果来使显示部显示所述车辆的周边的图像，其中所述显示部与设置于所述车辆的后视镜配合来显示图像。

第3技术方案所述的发明为：在第1技术方案所述的发明的基础上，所述显示部为可移动式显示部。

第4技术方案所述的发明为：在第1～3技术方案中任一项所述的发明的基础上，还具有检测部，该检测部检测所述车辆的乘员的视线，所述显示控制部使存在于与所述检测部所检测到的所述乘员的视线相对应的方向上的所述显示部显示所述车辆的周边图像。

第5技术方案所述的发明为：在第4技术方案所述的发明的基础上，在与所述检测部所检测到的所述乘员的视线相对应的方向上存在多个所述显示部的情况下，所述显示控制部使多个所述显示部分别显示所述周边的图像。

第6技术方案所述的发明为：在第1～5技术方案中任一项所述的发明的基础上，还具有自动驾驶控制部，该自动驾驶控制部根据所述周边监视部的监视结果来执行自动驾驶，其中，所述自动驾驶是指自动地进行所述车辆的速度控制和方向操纵控制中的至少一方，在正在由所述自动驾驶控制部执行所述自动驾驶的情况下，所述显示控制部根据所述周边监视部的监视结果，来使所述显示部显示表示所述车辆的周边状况的信息。

第7技术方案所述的发明为一种车辆控制方法，其中包括以下步骤：拍摄车辆的周边图像；监视所述车辆的周边状况；使显示部将所述车辆的周边的图像重叠于由乘员进行操作的图像的局部来显示，并根据对所述车辆的周边状况的监视结果来使所述车辆的周边的图像扩大，其中，所述显示部存在于所述车辆的车厢内且用于显示基于所述乘员操作的图像。

第8技术方案所述的发明为一种车辆控制方法，其中包括以下步骤：拍摄车辆的周边图像；监视所述车辆的周边状况；根据对所述车辆的周边状况的监视结果来使显示部显示所述车辆的周边的图像，其中所述显示部与设置于所述车辆的后视镜配合来显示图像。

第9技术方案所述的发明为一种车辆控制程序，其用于使车载计算机执行如下处理：拍摄车辆的周边的图像；监视所述车辆的周边状况；使显示部将所述车辆的周边的图像重叠于由乘员进行操作的图像的局部来显示，并根据对所述车辆的周边状况的监视结果来使所述车辆的周边的图像扩大，其中，所述显示部存在于所述车辆的车厢内且用于显示基于所述乘员操作的图像。

第10技术方案所述的发明为一种车辆控制程序，其用于使车载计算机执行如下处理：拍摄车辆的周边的图像；监视所述车辆的周边状况；根据对所述车辆的周边状况的监视结果来使显示部显示所述车辆的周边的图像，其中所述显示部与设置于所述车辆的后视镜配合来显示图像。

根据第1、3、7、9技术方案所述的发明，使显示由乘员进行操作的图像的显示部将车辆的周边图像重叠于由乘员进行操作的图像的局部来显示，并根据对车辆的周边状况的监视结果来使车辆的周边图像扩大。因此，乘员能够通过观看该显示部，来迅速地确认车辆周边发生了需注意状况的情况、以及显示有需注意状况的图像。

根据第2、8、10技术方案所述的发明，根据对车辆的周边状况的监视结果，使根据设置于车辆的后视镜而显示图像的显示部显示车辆的周边图像。因此，乘员能够通过观看该显示部，来迅速地确认车辆周边发生了需注意状况的情况、以及显示有需注意状况的图像。

根据第4、5技术方案所述的发明，显示控制部使与由检测部检测到的乘员的视线相对应的方向上存在的显示部显示车辆的周边图像。因此，能够将需注意的周边图像显示于乘员有可能正在观察的显示部。据此，车辆乘员能够可靠且迅速地确认本车m周边发生了需注意状况、以及显示有需注意状况的图像。

根据第6技术方案所述的发明，根据对车辆的周边状况的监视结果，执行自动地进行车辆的速度控制和方向操纵控制中的至少一方的自动驾驶，根据监视结果来将表示车辆周边状况的信息显示于显示部。因此，乘员能够通过观看该显示部来迅速地确认车辆周边发生了需注意状况的情况、以及显示有需注意状况的图像。另外，乘员能够确认正在切实地执行自动驾驶的情况。

附图说明

图1是表示本车m的结构要素的图。

图2是第1实施方式中的本车m的功能结构图。

图3是第1实施方式中的hmi70的结构图。

图4是表示第1实施方式中由本车位置识别部140识别本车m相对于行驶车道l1的相对位置的情形的图。

图5是表示第1实施方式中针对某路段生成的行动计划一例的图。

图6是表示第1实施方式中轨道生成部146结构一例的图。

图7是表示第1实施方式中由候选轨道生成部146b生成的候选轨道一例的图。

图8是第1实施方式中用轨道点k来表示由候选轨道生成部146b生成的候选轨道的图。

图9是表示第1实施方式中车道变更目标位置ta的图。

图10是表示第1实施方式中假定3台周边车辆的速度一定时的速度生成模型的图。

图11是表示第1实施方式中各模式操作可否信息188一例的图。

图12是表示第1实施方式中可移动式显示装置96的显示画面96-1一例的图，其中，显示画面96-1中显示有基于车辆乘员的操作的图像。

图13是表示第1实施方式中，在本车m周边发生需注意状况的情况下可移动式显示装置96的显示画面96-1一例的图，其中，显示画面96-1中周边图像i2重叠显示于指定画面i1。

图14是表示第1实施方式中将本车m周边的图像显示于可移动式显示装置96的处理一例的流程图。

图15是表示第1实施方式中事故发生位置x和需注意的本车m周边的图像的范围之间的关系的图。

图16是表示第2实施方式中的内后视镜97一例的图，其中，内后视镜97映照由就座于驾驶座的车辆乘员观察到的本车m的后方。

图17是表示第2实施方式中的内后视镜97一例的图，其中，内后视镜97将需注意的本车m周边的图像重叠显示于本车m的后方图像。

图18是表示第2实施方式中的左外后视镜98l一例的图，其中，左外后视镜98l映照由就座于驾驶座的车辆乘员观察到的本车m的左侧方。

图19是表示第2实施方式中的左外后视镜98l一例的图，其中，左外后视镜98l将需注意的本车m周边的图像重叠显示于本车m的左侧方图像。

图20是表示第2实施方式中将本车m周边的图像显示于各种后视镜的处理一例的流程图。

图21是第3实施方式中本车m的功能结构图。

图22是表示第3实施方式中就座于驾驶座的车辆乘员的视线、和存在于与该视线对应的方向上的显示装置及各种后视镜之间的关系的图。

图23是表示第3实施方式中将本车m周边的图像显示于显示装置及各种后视镜的处理一例的流程图。

图24是第4实施方式中本车m的功能结构图。

图25是表示第4实施方式中将辅助信息显示于各种后视镜的处理一例的流程图。

图26是表示第4实施方式中显示有辅助信息的左外后视镜98l一例的图。

附图标记说明

20:取景器；30:雷达；40:摄像头；dd:检测设备；50:导航装置；60:车辆传感器；70:hmi；82:显示装置；95:车厢内摄像头；96:可移动式显示装置；97:内后视镜；98:外后视镜；100:车辆控制系统；110:目标车道确定部；120:自动驾驶控制部；130:自动驾驶模式控制部；140:本车位置识别部；142:外界识别部；144:行动计划生成部；146:轨道生成部；146a:行驶方式确定部；146b:候选轨道生成部；146c:评价选择部；150:切换控制部；160:行驶控制部；170:hmi控制部；172:显示控制部；174：视线检测部；176：辅助信息生成部；180:存储部；200:行驶驱动力输出装置；210:转向装置；220:制动装置；m:本车。

具体实施方式

下面，参照附图来对本发明的车辆控制系统、车辆控制方法和车辆控制程序的实施方式进行说明。

<共同结构>

图1是表示搭载有各实施方式的车辆控制系统100的车辆(以下称为：本车m)的结构要素的图。搭载有车辆控制系统100的车辆例如为两轮或三轮、四轮等的机动车，包括以柴油发动机和汽油发动机等内燃机为动力源的机动车、以电动机为动力源的电动汽车、兼具内燃机和电动机的混合动力汽车等。电动汽车例如使用蓄电池、氢燃料电池、金属燃料电池、乙醇燃料电池等电池放电所产生的电力来驱动。

如图1所示，本车m搭载有取景器20-1至20-7、雷达30-1至30-6和摄像头40(拍摄部)等传感器、导航装置50、车辆控制系统100。

取景器20-1至20-7例如为通过测定相对于照射光的散射光来测定到对象物的距离的lidar(lightdetectionandranging或laserimagingdetectionandranging)。例如，取景器20-1被安装于前格栅等，取景器20-2和20-3被安装于车身的侧面或外后视镜、前照灯内部、侧方灯附近等。取景器20-4被安装于后备箱盖等，取景器20-5和20-6被安装于车身的侧面或尾灯内部等。上述取景器20-1至20-6例如在水平方向上具有150度左右的检测区域。另外，取景器20-7被安装于车顶等。取景器20-7例如在水平方向上具有360度的检测区域。

雷达30-1和30-4例如为纵深方向(远近方向)的检测区域比其他雷达广的长距离毫米波雷达。另外，雷达30-2、30-3、30-5、30-6为比雷达30-1和30-4的纵深方向的检测区域窄的中距离毫米波雷达。

以下，在不特别区分取景器20-1至20-7的情况下，仅记载为“取景器20”，在不特别区分雷达30-1至30-6的情况下，仅记载为“雷达30”。雷达30例如通过fm－cw(frequencymodulatedcontinuouswave)方式检测物体。

摄像头40例如为利用ccd(chargecoupleddevice)或cmos(complementarymetaloxidesemiconductor)等固体摄像元件的数码摄像头。摄像头40例如被安装于车顶等。摄像头40例如也可以包括周期性地反复拍摄本车m周边(前方、后方、左侧方、右侧方)的多个摄像头。例如，摄像头40可以分别具有：前方摄像头，其被安装于前格栅等，用于拍摄本车m的前方；后方摄像头，其被安装于后备箱盖等，用于拍摄本车m的后方；右摄像头和左摄像头，其被安装于车身的侧面等，用于拍摄本车m的右侧和左侧。另外，摄像头40也可以为能够利用多个摄像头测量距离分量的立体摄像头。

另外，图1所示的结构只不过是一个例子，可以省略一部分结构，也可以进一步添加其他结构。

<第1实施方式>

图2是以第1实施方式所涉及的车辆控制系统100为中心的功能结构图。本车m上搭载有包括取景器20、雷达30和摄像头40等的检测设备dd、导航装置50、通信装置55、车辆传感器60、hmi(humanmachineinterface)70、车辆控制系统100、行驶驱动力输出装置200、转向装置210和制动装置220。这些装置和设备通过can(controllerareanetwork)通信线等复用通信线或串行通信线、无线通信网等相互连接。另外，权利要求书中的车辆控制系统不是仅指“车辆控制系统100”，而是还可以包括车辆控制系统100以外的结构(检测设备dd和hmi70等)。

导航装置50具有gnss(globalnavigationsatellitesystem)接收机和地图信息(导航地图)、作为用户接口发挥作用的触摸屏式显示装置、扬声器、话筒等。导航装置50通过gnss接收机来确定本车m的位置，导出从该位置到用户所指定的目的地的路径。由导航装置50导出的路径被提供给车辆控制系统100的目标车道确定部110。本车m的位置也可以通过利用车辆传感器60的输出的ins(inertialnavigationsystem)来确定或增补。另外，导航装置50在车辆控制系统100正在执行手动驾驶模式时，通过语音或导航显示来引导到目的地的路径。此外，用于确定本车m位置的结构也可以独立于导航装置50而设置。另外，导航装置50例如也可以通过用户持有的智能机或平板终端等终端装置的功能来实现。在这种情况下，在终端装置和车辆控制系统100之间，通过无线或有线通信来进行信息收发。

通信装置55例如利用蜂窝网和wifi网、蓝牙(bluetooth)(注册商标)、dsrc(dedicatedshortrangecommunication)等进行无线通信。

车辆传感器60包括检测车速的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴旋转的角速度的偏航角速率传感器和检测本车m的朝向的方位传感器等。

图3是hmi70的结构图。hmi70例如具有驾驶操作系统结构和非驾驶操作系统结构。其界限并不明确，也可以使驾驶操作系统结构具有非驾驶操作系统的功能(或与此相反)。

hmi70作为驾驶操作系统结构，例如包括：加速踏板71、加速器开度传感器72和加速踏板反力输出装置73；制动踏板74和制动器踩踏量传感器(或主缸液压传感器等)75；换挡杆76和挡位传感器77；方向盘78、转向操纵角传感器79和转向扭矩传感器80；和其他驾驶操作设备81。

加速踏板71是用于受理车辆乘员的加速指示(或基于恢复操作的减速指示)的操作构件。加速器开度传感器72检测对加速踏板71的踩踏量，将表示该踩踏量的加速器开度信号输出给车辆控制系统100。另外，也可以替代输出给车辆控制系统100，而直接输出给行驶驱动力输出装置200、转向装置210或制动装置220。以下说明的其他驾驶操作系统结构也同样如此。加速踏板反力输出装置73例如按照来自于车辆控制系统100的指示，对加速踏板71输出与操作方向相反方向的力(操作反力)。

制动踏板74是用于受理车辆乘员的减速指示的操作构件。制动器踩踏量传感器75检测对制动踏板74的踩踏量(或踩踏力)，将表示该检测结果的制动信号输出给车辆控制系统100。

换挡杆76是用于受理车辆乘员的挡位变更指示的操作构件。挡位传感器77检测由车辆乘员指示的挡位，将表示该检测结果的挡位信号输出给车辆控制系统100。

方向盘78是用于受理车辆乘员的转弯指示的操作构件。转向操纵角传感器79检测方向盘78的操作角，将表示该检测结果的转向操纵角信号输出给车辆控制系统100。转向扭矩传感器80检测被施加于方向盘78的扭矩，将表示该检测结果的转向扭矩信号输出给车辆控制系统100。

其他驾驶操作设备81例如是控制杆、按钮、拨盘开关、gui(graphicaluserinterface)开关等。其他驾驶操作设备81接收加速指示、减速指令、转弯指示等，输出给车辆控制系统100。

hmi70作为非驾驶操作系统结构，例如包括：显示装置82、扬声器83、接触操作检测装置84和内容播放装置85；各种操作开关86；座椅88和座椅驱动装置89；车窗玻璃90和车窗驱动装置91；车厢内摄像头95；可移动式显示装置96；内后视镜97；和外后视镜98。

显示装置(显示部)82例如是lcd(liquidcrystaldisplay)或有机el(electroluminescence)显示装置等，被安装于仪表板的各部、与副驾驶座或后部座椅相向的任意位置等。另外，显示装置82也可以是将图像投影于前挡风玻璃或其他挡风玻璃的hud(headupdisplay)。扬声器83输出语音。在显示装置82是触摸屏的情况下，接触操作检测装置84检测显示装置82的显示画面中的接触位置(触摸位置)，输出给车辆控制系统100。另外，在显示装置82不是触摸屏的情况下，也可以省略接触操作检测装置84。

可移动式显示装置(显示部)96是能够带入本车m的车厢内的可移动式的显示装置。可移动式显示装置96例如可以包括智能机、平板终端、vr(virtualreality)眼镜等。可移动式显示装置96能够通过蓝牙(bluetooth)(注册商标)等来与车辆控制系统100进行无线通信。据此，车辆控制系统100能够对可移动式显示装置96进行远程控制。

内容播放装置85例如包括dvd(digitalversatiledisc)播放装置、cd(compactdisc)播放装置、电视接收机、各种引导图像生成装置等。也可以为如下结构：显示装置82、扬声器83、接触操作检测装置84和内容播放装置85中的一部分或全部与导航装置50共用。

各种操作开关86被配置于车厢内的任意位置。各种操作开关86包括自动驾驶切换开关87，该自动驾驶切换开关87用于指示自动驾驶的开始(或将来的开始)和停止。自动驾驶切换开关87可以是gui(graphicaluserinterface)开关、机械式开关中的任意一种。另外，各种操作开关86也可以包括用于驱动座椅驱动装置89和车窗驱动装置91的开关。

座椅88是供车辆乘员就坐的座椅。座椅驱动装置89自如地驱动座椅88的靠背倾角、前后方向位置、横摆角等。车窗玻璃90例如被设置于各车门。车窗驱动装置91驱动车窗玻璃90开闭。

车厢内摄像头95是利用ccd或cmos等固体摄像元件的数码摄像头。车厢内摄像头95被安装于内后视镜或方向盘轮毂部、仪表板等，至少能够对进行驾驶操作的车辆乘员的头部和车辆乘员的视线进行拍摄的位置。车厢内摄像头95例如周期性地反复拍摄车辆乘员。

内后视镜97是被安装于本车m的车厢内的后视镜，就座于驾驶座(设有方向盘等的座位)的车辆乘员能够通过观察该后视镜来目视确认本车m后方。另外，内后视镜97具有显示部，该显示部用于将所希望的图像显示于其镜面的局部。该显示部例如也可以是利用投影和全息投影(hologram)等进行显示处理的装置、在不显示时呈透明的液晶/有机el。另外，内后视镜97也可以是“后视镜”自身被电子化的显示装置。在该情况下，内后视镜97也可以将由就座于驾驶座的车辆乘员观察到的后方图像以电方式显示。

外后视镜98是被安装于本车m的车门等的后视镜，就座于驾驶座的车辆乘员能够通过观察该后视镜来目视确认本车m侧方。外后视镜98包括被安装于本车m的左侧部的左外后视镜和被安装于本车m的右侧部的右外后视镜。另外，外后视镜98具有显示部，该显示部用于将所希望的图像显示于其镜面的局部。该显示部例如也可以是利用投影和全息投影等进行显示处理的装置、在不显示时呈透明的液晶/有机el。另外，外后视镜98也可以是“后视镜”自身被电子化的显示装置。在该情况下，外后视镜98也可以将由就座于驾驶座的车辆乘员观察到的侧方图像以电方式显示。

在说明车辆控制系统100之前，先对行驶驱动力输出装置200、转向装置210和制动装置220进行说明。

行驶驱动力输出装置200将用于使车辆行驶的行驶驱动力(扭矩)输出给驱动轮。例如，在本车m是以内燃机为动力源的机动车的情况下，行驶驱动力输出装置200具有发动机、变速器和用于控制发动机的发动机ecu(electroniccontrolunit)；在本车m是以电动机为动力源的电动汽车的情况下，行驶驱动力输出装置200具有行驶用马达和用于控制行驶用马达的马达ecu；在本车m是混合动力车辆的情况下，行驶驱动力输出装置200具有发动机、变速器、发动机ecu、行驶用马达和马达ecu。在行驶驱动力输出装置200仅具有发动机的情况下，发动机ecu按照从后述的行驶控制部160输入的信息，来调节发动机的节气门开度和挡位等。在行驶驱动力输出装置200仅具有行驶用马达的情况下，马达ecu按照从行驶控制部160输入的信息，来调节赋予行驶用马达的pwm信号的占空比。在行驶驱动力输出装置200具有发动机和行驶用马达的情况下，发动机ecu和马达ecu按照从行驶控制部160输入的信息，彼此协作来控制行驶驱动力。

转向装置210例如具有转向ecu和电动马达。电动马达例如对齿条小齿轮机构产生作用力来变更转向轮的朝向。转向ecu按照从车辆控制系统100输入的信息或输入的转向操纵角或转向扭矩的信息，来驱动电动马达，而变更转向轮的朝向。

制动装置220例如为电动伺服制动装置，具有制动钳、用于将液压传递给制动钳的气缸、用于使气缸产生液压的电动马达和制动控制部。电动伺服制动装置的制动控制部按照从行驶控制部160输入的信息来控制电动马达，而将与制动操作相应的制动扭矩输出给各车轮。电动伺服制动装置还可以具有作为备用的、将通过制动踏板操作产生的液压通过主缸传递给气缸的机构。另外，制动装置220不局限于上面说明的电动伺服制动装置，也可以是电子控制式液压制动装置。电子控制式液压制动装置按照从行驶控制部160输入的信息来控制执行器，而将主缸的液压传递给气缸。另外，制动装置220也可以包括再生制动器，该再生制动器利用可包含于行驶驱动力输出装置200的行驶用马达实现。

[车辆控制系统]

下面，对车辆控制系统100进行说明。车辆控制系统100例如由一个以上的处理器或具有同等功能的硬件来实现。车辆控制系统100也可以采用cpu(centralprocessingunit)等处理器、存储装置和通信接口通过内部总线连接的ecu(electroniccontrolunit)、或mpu(micro-processingunit)等组合而成的结构。

返回到图2，车辆控制系统100例如具有目标车道确定部110、自动驾驶控制部120、行驶控制部160和存储部180。自动驾驶控制部120例如具有自动驾驶模式控制部130、本车位置识别部140、外界识别部(周边监视部)142、行动计划生成部144、轨道生成部146和切换控制部150。自动驾驶控制部120自动地进行本车m的速度控制和方向操纵控制中的至少一方。目标车道确定部110、自动驾驶控制部120的各部和行驶控制部160中的一部分或全部通过由处理器执行程序(软件)来实现。另外，其中的一部分或全部也可以由lsi(largescaleintegration)和asic(applicationspecificintegratedcircuit)等硬件来实现，还可以由软件和硬件的组合来实现。

存储部180中例如存储高精度地图信息182、目标车道信息184、行动计划信息186、各模式操作可否信息188等信息。存储部180用rom(readonlymemory)或ram(randomaccessmemory)、hdd(harddiskdrive)、闪存等来实现。处理器所执行的程序可以预先存储于存储部180，也可以通过车载网络设备等从外部装置下载。另外，程序也可以通过将存储有该程序的可移动式存储媒介安装于未图示的驱动装置来安装到存储部180。另外，车辆控制系统100也可以是由多个计算机装置分担功能的结构。

目标车道确定部110例如由mpu实现。目标车道确定部110将由导航装置50提供的路径分割成多个区段(例如，在车辆前进方向上按照100[m]进行分割)，且参照高精度地图信息182按照区段来确定目标车道。目标车道确定部110例如确定在从左侧开始的第几个车道行驶。例如，在路径中存在分支位置和汇合位置等的情况下，目标车道确定部110确定目标车道，以使本车m能够在用于驶入分支道路的合理行驶路径上行驶。由目标车道确定部110确定的目标车道作为目标车道信息184而被存储于存储部180。

高精度地图信息182是比导航装置50所具有的导航地图的精度高的地图信息。高精度地图信息182例如包括车道的中央的信息或车道的界线的信息等。另外，高精度地图信息182中也可以包括道路信息、交通管制信息、地址信息(地址、邮编)、设施信息和电话号码信息等。道路信息中包括：表示高速道路、收费道路、国道、都道府县(日本行政区划)道路等道路类别的信息；道路的车道数、各车道的宽度、道路的坡度、道路的位置(包括经度、纬度、高度的3维坐标)、车道转弯处的曲率、车道的汇合和分支点的位置、设置于道路的标识等的信息。交通管制信息中包括由于施工或交通事故、交通堵塞等而封锁车道等信息。

自动驾驶模式控制部130确定自动驾驶控制部120所实施的自动驾驶的模式。本实施方式中的自动驾驶的模式包括下面的模式。另外，下面的模式仅仅是一个例子，自动驾驶的模式数量可以任意确定。

[模式a]

模式a是自动驾驶程度最高的模式。在实施模式a的情况下，复杂的汇合控制等所有车辆控制均自动地进行，因此，车辆乘员不需要监视本车m的周边和状态。

[模式b]

模式b是仅次于模式a的自动驾驶程度较高的模式。在实施模式b的情况下，原则上所有车辆控制均自动地进行，但根据场景，可能会需要车辆乘员进行本车m的驾驶操作。因此，车辆乘员需要监视本车m的周边和状态。

[模式c]

模式c是仅次于模式b的自动驾驶程度较高的模式。在实施模式c的情况下，车辆乘员需要根据场景来对hmi70进行确认操作。在模式c下，例如向车辆乘员通知车道变更的时间，且车辆乘员对hmi70进行了指示车道变更的操作的情况下，进行自动的车道变更。因此，车辆乘员需要监视本车m的周边和状态。

自动驾驶模式控制部130根据车辆乘员对hmi70的操作、由行动计划生成部144确定的项目(event；事件)、由轨道生成部146确定的行驶方式等，来确定自动驾驶的模式。自动驾驶的模式被通知给hmi控制部170。另外，也可以对自动驾驶的模式设定与本车m的检测设备dd的性能等相对应的界限。例如，可以设定为，在检测设备dd的性能低的情况下，不实施模式a。不管在哪一种模式，都能够通过对hmi70中的驾驶操作系统结构的操作，来向手动驾驶模式切换(手动驾驶操作优先)。

自动驾驶控制部120的本车位置识别部140根据被存储于存储部180的高精度地图信息182、从取景器20、雷达30、摄像头40、导航装置50或车辆传感器60输入的信息，来识别本车m正在行驶的车道(行驶车道)和本车m相对于行驶车道的相对位置。

本车位置识别部140例如通过比较根据高精度地图信息182识别出的道路标线的图案(例如实线和虚线的排列)、和根据由摄像头40拍摄的图像识别出的本车m周边的道路标线的图案，来识别行驶车道。在该识别中，也可以考虑从导航装置50获取的本车m的位置和ins的处理结果。

图4是表示由本车位置识别部140识别本车m相对于行驶车道l1的相对位置的情形的图。本车位置识别部140例如识别本车m的基准点(例如重心)从行驶车道中央cl的偏离os、和本车m的前进方向相对于连接行驶车道中央cl的线的夹角θ，来作为本车m相对于行驶车道l1的相对位置。另外，也可以替代于此，本车位置识别部140识别本车m的基准点相对于行驶车道l1的任一侧端部的位置等，来作为本车m相对于行驶车道的相对位置。由本车位置识别部140识别的本车m的相对位置被提供给目标车道确定部110。

外界识别部142根据从取景器20、雷达30、摄像头40等输入的信息，来识别周边车辆的位置和速度、加速度等状态，而监视本车m的周边状况。周边车辆例如是在本车m周边行驶的车辆，是与本车m向同一方向行驶的车辆。周边车辆的位置可以由其他车辆的重心或角部等代表点来表示，也可以由用其他车辆的轮廓示出的区域来表示。周边车辆的“状态”也可以包括根据上述各种设备的信息所掌握的、周边车辆的加速度、是否正在变更车道(或是否正要变更车道)。另外，外界识别部142除周边车辆外，还可以识别护栏和电线杆、驻车车辆、行人等其他物体的位置。

行动计划生成部144设定自动驾驶的开始地点和/或自动驾驶的目的地。自动驾驶的开始地点可以是本车m的当前位置，也可以是做出了指示自动驾驶的操作的地点。行动计划生成部144生成在该开始地点和自动驾驶目的地之间的路段的行动计划。另外，不局限于此，行动计划生成部144也可以对任意路段生成行动计划。

行动计划例如由依次执行的多个项目(event)构成。项目中例如包括：使本车m减速的减速项目；使本车m加速的加速项目；使本车m不脱离行驶车道来行驶的车道保持项目；变更行驶车道的车道变更项目；使本车m超越前行车辆的超车项目；使本车m在分支点向所希望的车道变更或不脱离当前行驶车道来行驶的分支项目；在用于与干线汇合的汇合车道使本车m加减速来变更车道的汇合项目；在自动驾驶的开始地点从手动驾驶模式向自动驾驶模式切换、或在自动驾驶的预定结束地点从自动驾驶模式向手动驾驶模式切换的切换项目等。行动计划生成部144在由目标车道确定部110确定的、目标车道发生切换的位置，设定车道变更项目、分支项目或汇合项目。由行动计划生成部144生成的表示行动计划的信息作为行动计划信息186被存储于存储部180。

图5是表示针对某路段生成的行动计划一例的图。如图所示，行动计划生成部144生成本车m在目标车道信息184所表示的目标车道上行驶所需的行动计划。另外，行动计划生成部144也可以根据本车m的状况变化来动态地变更行动计划，而不拘泥于目标车道信息184。例如，行动计划生成部144在车辆行驶中由外界识别部142识别出的周边车辆速度超过阈值，或在与本车道相邻的车道行驶的周边车辆的移动方向朝向本车道方向的情况下，变更设定于本车m预定行驶的驾驶路段上的项目。例如，在项目被设定为在车道保持项目之后执行车道变更项目的情况下，当根据外界识别部142的识别结果而被判明在该车道保持项目中车辆从车道变更目标的车道后方以阈值以上的速度行驶过来时，行动计划生成部144可以将车道保持项目之后的下一项目从车道变更项目变更为减速项目或车道保持项目等。其结果，车辆控制系统100即使在外界状况发生了变化的情况下，也能够安全地使本车m自动行驶。

图6是表示轨道生成部146结构一例的图。轨道生成部146例如具有行驶方式确定部146a、候选轨道生成部146b和评价选择部146c。

行驶方式确定部146a例如在实施车道保持项目时，从恒速行驶、跟随行驶、低速跟随行驶、减速行驶、弯道行驶、避开障碍物行驶等行驶方式中确定任意一种行驶方式。此时，在本车m前方不存在其他车辆的情况下，行驶方式确定部146a将行驶方式确定为恒速行驶。另外，在跟随前行车辆行驶这样的情况下，行驶方式确定部146a将行驶方式确定为跟随行驶。另外，在交通堵塞等场景下，行驶方式确定部146a将行驶方式确定为低速跟随行驶。另外，在由外界识别部142识别出前行车辆减速的情况下，或实施停车和驻车等项目的情况下，行驶方式确定部146a将行驶方式确定为减速行驶。另外，在由外界识别部142识别出本车m临近转弯路的情况下，行驶方式确定部146a将行驶方式确定为弯道行驶。另外，在由外界识别部142识别出本车m前方存在障碍物的情况下，行驶方式确定部146a将行驶方式确定为避开障碍物行驶。另外，在实施车道变更项目、超车项目、分支项目、汇合项目、切换项目等项目的情况下，行驶方式确定部146a分别确定与各项目对应的行驶方式。

候选轨道生成部146b根据由行驶方式确定部146a确定的行驶方式来生成候选轨道。图7是表示由候选轨道生成部146b生成的候选轨道一例的图。图7表示本车m从车道l1向车道l2进行车道变更的情况下所生成的候选轨道。

候选轨道生成部146b确定图7所示的轨道，该轨道例如为按照将来的规定时间的、本车m的基准位置(例如重心或后轮轴中心)应到达的目标位置(轨道点k)的集合。图8是用轨道点k来表示由候选轨道生成部146b生成的候选轨道的图。轨道点k的间隔越宽，则本车m的速度越快，轨道点k的间隔越窄，则本车m的速度越慢。因此，候选轨道生成部146b在想要加速的情况下使轨道点k的间隔逐渐变宽，在想要减速的情况下使轨道点的间隔逐渐变窄。

如此，轨道点k包含速度分量，因此候选轨道生成部146b需要分别对各轨道点k赋予目标速度。目标速度按照由行驶方式确定部146a确定的行驶方式来确定。

在此，说明进行车道变更(包括分支)时的目标速度确定方法。候选轨道生成部146b首先设定车道变更目标位置(或汇合目标位置)。车道变更目标位置被设定为与周边车辆的相对位置，用于确定“向哪个周边车辆间进行车道变更”。候选轨道生成部146b以车道变更目标位置为基准而注意于3台周边车辆，来确定进行车道变更时的目标速度。图9是表示车道变更目标位置ta的图。图中l1表示本车道，l2表示相邻车道。在此，将与本车m在同一车道且在本车m正前方行驶的周边车辆定义为前行车辆ma，将在车道变更目标位置ta的正前方行驶的周边车辆定义为前方基准车辆mb，将在车道变更目标位置ta的正后方行驶的周边车辆定义为后方基准车辆mc。为了移动到车道变更目标位置ta的侧方，本车m需要进行加减速，但此时必须避免与前行车辆ma发生追尾。因此，候选轨道生成部146b预测3台周边车辆将来的状态，设定不会与各周边车辆相干涉的目标速度。

图10是表示假定3台周边车辆的速度一定时的速度生成模型的图。图中，从ma、mb和mc延伸出来的直线分别表示在假定各周边车辆恒速行驶的情况下前进方向上的位移。本车m在车道变更完成的地点cp，位于前方基准车辆mb和后方基准车辆mc之间，且在此之前必须位于前行车辆ma后方。在这样的制约下，候选轨道生成部146b导出多个到车道变更完成为止的目标速度的时序模式。然后，通过将目标速度的时序模式适用于样条曲线等模型，来导出图8所示的多个候选轨道。另外，3台周边车辆的运动模式不局限于图10所示的恒速，也可以恒加速、恒加加速度(jerk；急动度)为前提来进行预测。

评价选择部146c对由候选轨道生成部146b生成的候选轨道，例如从计划性和安全性这两个观点进行评价，来选择输出给行驶控制部160的轨道。从计划性的观点，例如在与已生成的方案(例如行动计划)的一致性高且轨道全长短的情况下，轨道获得较高评价。例如，在希望向右方进行车道变更的情况下，暂且向左方进行车道变更再返回这样的轨道获得较低评价。从安全性的观点，例如在各轨道中，本车m和物体(周边车辆等)之间的距离越远、加减速度或方向操纵角的变化量等越小时，评价越高。

切换控制部150根据从自动驾驶切换开关87输入的信号，来使自动驾驶模式和手动驾驶模式相互切换。另外，切换控制部150根据对hmi70中的驾驶操作系统结构进行的、指示加速、减速或方向操纵的操作，来从自动驾驶模式切换至手动驾驶模式。例如，在从hmi70中的驾驶操作系统结构输入的信号所示的操作量超过阈值的状态持续了基准时间以上的情况下，切换控制部150从自动驾驶模式切换至手动驾驶模式(手动驾驶操作优先)。另外，切换控制部150也可以在向手动驾驶操作优先的手动驾驶模式切换之后，在规定时间的期间没有检测到对hmi70中的驾驶操作系统结构的操作的情况下，恢复自动驾驶模式。

行驶控制部160控制行驶驱动力输出装置200、转向装置210和制动装置220，以使本车m按照预定的时刻通过由轨道生成部146生成的轨道。

当被自动驾驶控制部120通知自动驾驶模式的信息时，hmi控制部170参照各模式操作可否信息188来按照自动驾驶模式的类别对hmi70进行控制。另外，hmi控制部170具有显示控制部172，该显示控制部172根据从外界识别部142输入的本车m周边的信息等，来控制可移动式显示装置96(用显示装置82替代或除此之外增加显示装置82)的显示内容。

图11是表示各模式操作可否信息188一例的图。图11所示的各模式操作可否信息188具有作为驾驶模式的条目的“手动驾驶模式”和“自动驾驶模式”。另外，“自动驾驶模式”具有上述的“模式a”、“模式b”和“模式c”等。另外，各模式操作可否信息188具有作为非驾驶操作系统的条目的“导航操作”、“内容播放操作”、“仪表板操作”等，其中，“导航操作”是对导航装置50的操作，“内容播放操作”是对内容播放装置85的操作，“仪表板操作”是对显示装置82的操作。在图11所示的各模式操作可否信息188的例子中，按照上述的各驾驶模式设定了车辆乘员可否操作非驾驶操作系统，但作为设定对象的接口装置不局限于此。

hmi控制部170根据从自动驾驶控制部120获取到的模式信息并参照各模式操作可否信息188，来判断被允许使用的装置(导航装置50和hmi70的一部分或全部)和不被允许使用的装置。另外，hmi控制部170根据判断结果，来控制可否受理车辆乘员对非驾驶操作系统的hmi70或导航装置50的操作。

例如，在车辆控制系统100执行的驾驶模式为手动驾驶模式的情况下，车辆乘员操作hmi70的驾驶操作系统(例如加速踏板71、制动踏板74、换挡杆76和方向盘78等)。另外，在车辆控制系统100执行的驾驶模式为自动驾驶模式的模式b、模式c等的情况下，车辆乘员有监视本车m周边的义务。在这种情况下，为了防止由于车辆乘员的驾驶以外的行动(例如hmi70的操作等)而导致注意力分散(driverdistraction：驾驶员分心)，hmi控制部170进行控制而不受理对hmi70的非驾驶操作系统的一部分或全部的操作。此时，hmi控制部170也可以为了促使驾驶员对本车m的周边进行监视，而将由外界识别部142识别出的本车m周边车辆的存在和该周边车辆的状态用图像等显示于显示装置82，并且，使hmi70受理与本车m行驶时的场景对应的确认操作。

另外，在驾驶模式为自动驾驶模式的模式a的情况下，hmi控制部170进行如下控制：放宽对驾驶员分心的限制，受理未被受理的、车辆乘员对非驾驶操作系统的操作。例如，hmi控制部170使显示装置82显示影像，或使扬声器83输出语音，或使内容播放装置85由dvd等播放内容。另外，内容播放装置85播放的内容除存储于dvd等的内容外，例如还可以包括涉及电视节目等娱乐、文娱的各种内容。另外，图11所示的“内容播放操作”的意思也可以是涉及这种娱乐、文娱的内容操作。

[显示控制]

本实施方式中的车辆控制系统100具有如下功能：根据本车m的周边车辆的存在和该周边车辆的状态，来将本车m周边的图像显示于可移动式显示装置96等各种显示装置。

图12是表示自动驾驶中可移动式显示装置96的显示画面96-1一例的图，其中，显示画面96-1中显示有基于车辆乘员的操作的图像(以下称为“指定画面i1”)。该指定画面i1例如包括显示电视节目等各种内容的画面，该电视节目等各种内容通过由车辆乘员对可移动式显示装置96(例如智能机)进行操作而被显示。另外，在图12中，由摄像头40拍摄到的本车m周边的图像(以下称为“周边图像i2)被重叠显示于指定画面i1。可移动式显示装置96也可以将本车m周边的任意方向的图像显示于显示画面96-1。另外，可移动式显示装置96也可以对拍摄不同方向得到的周边图像周期性地进行变更来显示于显示画面96-1。例如，可移动式显示装置96也可以将前方图像、左侧方图像、后方图像和右侧方图像依次显示于显示画面96-1。

图13是表示自动驾驶中，在本车m周边发生需注意状况的情况下可移动式显示装置96的显示画面96-1一例的图，其中，显示画面96-1中周边图像i2重叠显示于指定画面i1。图13中，在显示画面96-1中，图12所示的显示周边图像i2的范围向d1、d2和d3方向扩大。此时，可以对需注意状况的根源所在的对象物(例如其他车辆)进行强调显示。

接着，对将本车m周边的图像显示于可移动式显示装置96的动作进行说明。图14是表示将本车m周边的图像显示于可移动式显示装置96的处理一例的流程图。另外，替代可移动式显示装置96或者除可移动式显示装置96之外，还将本车m周边的图像显示于显示装置82的处理也同样可适用本流程图。

首先，车辆乘员操作可移动式显示装置96，使可移动式显示装置96显示图12所示的指定画面i1(步骤s101)。例如，车辆乘员使内容图像显示于可移动式显示装置96的显示画面(例如电视影像)。另外，在可移动式显示装置96的显示画面中，以并行的方式，由摄像头40拍摄到的本车m周边的图像(例如本车m前方的图像)被重叠显示于内容图像。可移动式显示装置96也可以通过与从摄像头40获取到本车m周边的图像的车辆控制系统100进行无线通信，来获取本车m周边的图像。

接着，外界识别部142根据从摄像头40输入的信息，来识别周边车辆的位置和速度、加速度等状态，而监视周边状况，且将监视结果输出给显示控制部172(步骤s103)。

接着，显示控制部172根据从外界识别部142输入的识别结果，来判断本车m的周边状况中是否发生了需注意状况(步骤s105)。在此，例如在图9所示的场景下，根据本车m与前方车辆ma、前方基准车辆mb及后方基准车辆mc之间的ttc(time-tocollision：避撞时间)是否分别大于阈值，来判断本车m的周边状况中是否发生了需注意状况。在本车m与前方车辆ma、前方基准车辆mb及后方基准车辆mc之间的ttc分别大于阈值的情况下，显示控制部172判断为本车m的周边状况中没有发生需注意状况。另一方面，在本车m与前方车辆ma、前方基准车辆mb及后方基准车辆mc中的至少一个之间的ttc小于阈值的情况下，显示控制部172判断为本车m的周边状况中发生了需注意状况。另外，如图15所示，在本车m的周边发生其他车辆(其他车辆m2)的事故的情况下，显示控制部172也判断为本车m的周边状况中发生了需注意状况。关于其他车辆的事故的信息，例如可以通过参照被存储于存储部180的高精度地图信息182来得到。或者，关于其他车辆的事故的信息，也可以通过经由通信装置55的、与其他车辆(其他车辆m1、m2和m3)的通信来得到。

在判断为没有发生需注意状况的情况下，显示控制部172持续进行本车m的周边状况中是否发生了需注意状况的判断。另一方面，在判断为发生了需注意状况的情况下，显示控制部172通过无线通信来将发生了需注意状况的周边图像发送给可移动式装置96(步骤s107)。例如，在本车m和前方车辆ma之间的ttc小于阈值的情况下，显示控制部172将本车m前方的图像发送给可移动式显示装置96。另外，如图15所示，在本车m周边发生了其他车辆的事故的情况下，将引发事故的其他车辆m2方向的图像(方向d1和方向d2之间的图像)发送给可移动式显示装置96。

接着，可移动式显示装置96将从显示控制部172输入的周边图像重叠显示于指定画面i1且扩大显示区域(例如，向图12所示的d1、d2和d3方向扩大)，继而结束本流程图的处理(步骤s109)。另外，可移动式显示装置96也可以将从显示控制部172输入的周边图像显示于整个显示画面96-1。

根据以上的本实施方式，车辆乘员即使在观看可移动式显示装置96所显示的指定画面i1的情况下，也能够迅速地确认本车m周边发生了需注意状况、以及显示有需注意状况的图像。

<第2实施方式>

下面，对第2实施方式进行说明。第2实施方式所涉及的车辆控制系统在判断为发生了需注意状况的情况下，使发生了需注意状况的周边图像与各种内视镜相对应来进行显示，这一点与第1实施方式不同。在以下的说明中，对与上述的第1实施方式相同的部分标注同一参照编号，省略或简化其说明。

图16是表示自动驾驶中的内后视镜97一例的图，其中，内后视镜97映照由就座于驾驶座的车辆乘员观察到的本车m的后方(以下称为“后方图像i3”)。另外，图17是表示自动驾驶中，在本车m周边发生需注意状况的情况下内后视镜97一例的图，其中，在内后视镜97中需注意的本车m的周边图像i4重叠显示于后方图像i3。显示控制部172根据从外界识别部142输入的本车m周边的信息等，对是否将本车m的周边图像i4在内后视镜97中重叠显示于后方图像i3进行控制。

图18是表示自动驾驶中的左外后视镜98l一例的图，其中，左外后视镜98l映照由就座于驾驶座的车辆乘员观察到的本车m的左侧方(以下称为“左侧方图像i5”)。另外，图19是表示自动驾驶中，在本车m周边发生需注意状况的情况下左外后视镜98l一例的图，其中，在左外后视镜98l中将需注意的本车m的周边图像i6重叠显示于左侧方图像i5。显示控制部172根据从外界识别部142输入的本车m周边的信息等，对是否将本车m的周边图像i6在外后视镜98中重叠显示于左侧方图像i5进行控制。另外，右外后视镜98r具有与上述的左外后视镜98l同样的结构。显示控制部172根据从外界识别部142输入的本车m周边的信息等，对是否将本车m的周边图像重叠显示于右外视镜98r所显示的右侧方图像进行控制，其中，右侧方图像是由就座于驾驶座的车辆乘员观看到的本车m的右侧方的图像。以下，对于外后视镜98，主要以左外后视镜98l为例进行说明。

接着，对将本车m周边的图像显示于内后视镜97和外后视镜98的动作进行说明。图20是表示将本车m周边的图像显示于内后视镜97和外后视镜98的处理一例的流程图。

首先，在自动驾驶中，由就座于驾驶座的车辆乘员观察时，内后视镜97中映照有后方图像i3。另外，由就座于驾驶座的车辆乘员观察时，左外后视镜98l中映照有左侧方图像i5(步骤s201)。

接着，外界识别部142根据从摄像头40输入的信息，来识别周边车辆的位置和速度、加速度等状态，且将识别结果输出给显示控制部172(步骤s203)。

接着，显示控制部172根据从外界识别部142输入的识别结果，来判断在本车m的周边状况中是否发生了需注意状况(步骤s205)。

在判断为没有发生需注意状况的情况下，显示控制部172持续进行本车m的周边状况中是否发生了需注意状况的判断。另一方面，在判断为发生了需注意状况的情况下，显示控制部172将发生了需注意状况的周边图像发送给内后视镜97和外后视镜98(步骤s207)。

接着，内后视镜97的显示部将从显示控制部172输入的周边图像重叠显示于后方图像i3。另外，左外后视镜98l将从显示控制部172输入的周边图像重叠显示于左侧方图像i5(步骤s209)。据此，本流程图的处理结束。另外，内后视镜97和外后视镜98也可以将从显示控制部172输入的周边图像显示于整个后视镜。

根据以上的本实施方式，车辆乘员能够通过观察内后视镜97和外后视镜98，来迅速地确认本车m周边发生了需注意状况、以及显示有需注意状况的图像。

另外，在上述内容中，以将周边图像重叠显示于内后视镜97和外后视镜98双方为例进行了说明。但是，也可以将周边图像重叠仅显示于内后视镜97和外后视镜98中的一方，并且，也可以将周边图像重叠仅显示于左外后视镜98l和右外后视镜98r中的一方。

<第3实施方式>

下面，对第3实施方式进行说明。第3实施方式所涉及的车辆控制系统检测就座于驾驶座的车辆乘员的视线，将本车m的周边图像显示于可能存在于该车辆乘员的视野的显示装置、各种内视镜等，这一点与第1实施方式不同。在以下的说明中，对与上述的第1实施方式相同的部分标注同一参照编号，省略或简化其说明。

图21是第3实施方式中的本车m的功能结构图。与第1实施方式相比，第3实施方式中的本车m的hmi控制部170还具有视线检测部(检测部)174，该视线检测部174检测就座于驾驶座的车辆乘员的视线的方向。该视线检测部174根据从车厢内摄像头95输入的车辆乘员的图像，来检测该车辆乘员的视线，将该检测结果输出给显示控制部172。

图22是表示车厢内m1中就座于驾驶座的车辆乘员h的视线、和存在于与该视线对应的方向上的显示装置及各种后视镜之间的关系的图。图22中，示出了车辆乘员h朝向本车m的前方左下方向ls的例子。视线检测部174根据由车厢内摄像头95拍摄到的车辆乘员h的图像，来检测出车辆乘员h的视线的方向为方向ls，将该检测结果输出给显示控制部172。显示控制部172根据车辆乘员h的视线的方向ls，来确定车辆乘员h的视野rv，且选择车辆乘员h有可能正在观察的显示装置、各种后视镜等，来显示周边图像。在图22所示的例中，在该视野rv内，包含显示装置82和左外后视镜98l，但不包括室内后视镜97和右外后视镜98r。在该情况下，显示控制部172将周边图像显示于显示装置82和左外后视镜98l。如此，在与车辆乘员h的视线相对应的方向上存在多个显示部的情况下，显示控制部172使该多个显示部分别显示上述周边图像。

接着，对本实施方式中将本车m周边的图像显示于显示装置82、内后视镜97和外后视镜98的动作进行说明。图23是表示将本车m周边的图像显示于显示装置82、内后视镜97和外后视镜98的处理一例的流程图。

首先，车辆乘员操作内容播放装置85、导航装置50等，使显示装置82的显示画面显示所希望的指定画面(步骤s301)。

接着，外界识别部142根据从摄像头40输入的信息，来识别周边车辆的位置和速度、加速度等状态，将识别结果输出给显示控制部172(步骤s303)。

接着，显示控制部172根据从外界识别部142输入的识别结果，来判断本车m的周边状况中是否发生了需注意状况(步骤s305)。

在判断为没有发生需注意状况的情况下，显示控制部172持续进行本车m的周边状况中是否发生了需注意状况的判断。另一方面，在判断为发生了需注意状况的情况下，显示控制部172将由车厢内摄像头95拍摄到的车辆乘员h的图像输出给视线检测部174。视线检测部174根据该车辆乘员h的图像，来检测该车辆乘员h的视线，将该检测结果输出给显示控制部172(步骤s307)。

接着，显示控制部172根据从视线检测部174输入的与车辆乘员h的视线相关的信息，来确定车辆乘员h的视野rv，且选择车辆乘员h有可能正在观察的显示装置、各种后视镜等(步骤s309)。在图22所示的例中，在该视野rv内，包含显示装置82和左外后视镜98l。

接着，显示控制部172将发生了需注意状况的周边的图像发送给所选择的显示装置和各种后视镜(步骤s311)。在图22所示的例中，将周边的图像发送给显示装置82和左外后视镜98l。

另外，在作为包含于视野rv内的装置选择了显示装置82的情况下，显示装置82将从显示控制部172输入的周边的图像重叠显示于指定画面(步骤s313)。另外，在作为包含于视野rv内的装置选择了左外后视镜98l的情况下，如图19所示，左外后视镜98l将从显示控制部172输入的周边的图像i6重叠显示于左侧方图像i5上(步骤s313)。据此，本流程图的处理结束。

根据以上的本实施方式，能够在自动驾驶中，将需注意的周边的图像显示于车辆乘员h有可能正在观察的显示装置、各种后视镜等。据此，车辆乘员h能够迅速地确认本车m的周边发生了需注意状况、以及显示有需注意状况的图像。

<第4实施方式>

下面，对第4实施方式进行说明。第4实施方式所涉及的车辆控制系统具有如下功能：在自动驾驶中，将与行动计划所包含的项目相对应的辅助信息显示于各种后视镜或显示装置。在以下的说明中，对与上述的第1实施方式相同的部分标注同一参照编号，省略或简化其说明。以下，以将辅助信息显示于各种后视镜为例进行说明。

图24是本实施方式中的本车m的功能结构图。与第1实施方式相比，第4实施方式中的本车m的hmi控制部170还具有辅助信息生成部176。该辅助信息生成部176根据从行动计划生成部144输入的行动计划和从外界识别部142输入的周边信息，来生成辅助信息，该辅助信息用于辅助车辆乘员对自动驾驶的状态确认。辅助信息中包含表示本车m周边的其他车辆状况的图像等。图25是表示显示有该辅助信息的左外后视镜98l一例的图。例如，在自动驾驶中本车m向左车道进行车道变更的情况下，车辆乘员通过确认显示于左外后视镜98l的辅助信息，能够确认相邻车道后方不存在其他车辆的情况，从而能够确认自动驾驶被切实地执行的情况。

接着，说明本实施方式中将与行动计划中所包含的各项目相对应的辅助信息显示于各种后视镜的动作进行说明。图26是表示本实施方式中将辅助信息显示于各种后视镜的处理一例的流程图。

首先，行动计划生成部144对任意路段生成行动计划，并输出给辅助信息生成部176(步骤s401)。

接着，辅助信息生成部176按照从行动计划生成部144输入的行动计划中所包含的项目，来生成辅助信息，并输出给显示控制部172(步骤s403)。

接着，显示控制部172将从辅助信息生成部176输入的辅助信息发送给各种后视镜(步骤s405)。例如，在本车m向左车道进行车道变更的情况下，对应于该车道变更的实施，将表示左车道的其他车辆状况的辅助信息发送给左外后视镜98l。

接着，左外后视镜98l将表示从显示控制部172输入的辅助信息的画面(以下称为“辅助画面i7”)重叠显示于左侧方图像i5上，并结束本流程图的处理(步骤s407)。据此，车辆乘员在自动驾驶中进行车道变更时观察左外后视镜98l的情况下，能够同时确认辅助信息，从而能够确认相邻车道后方没有其他车辆的情况。

根据以上的本实施方式，在自动驾驶中，车辆乘员能够在各种后视镜或显示装置上确认与行动计划中所包含的项目相对应的辅助信息，从而能够确认自动驾驶被切实地执行的情况。

另外，在上述说明中，以将辅助信息显示于外后视镜98为例进行了说明，但在本车m向后方移动的情况下，也可以将该辅助信息显示于内后视镜97。

在上述实施方式中，以本车m具有各种后视镜的情况为例进行了说明，但本发明也可适用于不具有后视镜的无后视镜车辆。基本上，在无后视镜车辆中，俯视图像被显示于显示装置，但在车道变更等情况下，也可以将需注意的周边的图像显示于该显示装置。

以上，使用实施方式来对用于实施本发明的方式进行了说明，但本发明并不局限于这些实施方式，在不脱离本发明主旨的范围内，能够进行各种变形和置换。