车辆控制系统、车辆控制方法及车辆控制程序与流程

本发明涉及车辆控制系统、车辆控制方法及车辆控制程序。

背景技术：

近年来，关于自动地控制本车辆的加减速及转向中的至少一方以使本车辆沿着直至目的地的路径行驶的技术(以下称作“自动驾驶”)的研究不断进展。与此相关联而公开了具备通知机构的驾驶模式控制装置，该通知机构将从自动驾驶向手动驾驶转变的情况向乘客通知(例如参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2016-018238号公报

发明要解决的课题

然而，以往，仅是将预定向手动驾驶模式转变的情况通过声音等特定的手段向车辆乘客通知，有时不能对伴随自动驾驶控制而车辆乘客的操作被限制的装置进行适当的通知。

技术实现要素：

本发明是考虑到这样的情况而完成的，其目的之一在于，提供一种通过对车辆乘客传递在自动驾驶的控制中能够使用的装置的信息，从而能够提高便利性的车辆控制系统、车辆控制方法及车辆控制程序。

用于解决课题的方案

技术方案1所述的发明为车辆控制系统(100)，其中，所述车辆控制系统具备：自动驾驶控制部(120)，其自动地控制本车辆的加减速及转向中的至少一方，且以自动驾驶的程度不同的多个模式中的任一模式进行自动驾驶控制；界面装置(70)，其接受所述本车辆的乘客的操作，并且输出信息；以及界面控制部(174)，其根据所述自动驾驶控制部实施的自动驾驶的模式，来限制所述本车辆的乘客对所述界面装置的操作的接受、或者所述界面装置中的所述信息的输出，在产生了从所述本车辆对所述乘客应通知的信息的情况下，所述界面控制部使与所述自动驾驶的模式的变更相伴而放宽或解除了所述限制的界面装置输出应通知的所述信息。

技术方案2所述的发明在技术方案1所述的车辆控制系统的基础上，其中，所述界面控制部使表示与所述自动驾驶的模式的变更相伴而许可所述界面装置的使用的情况的信息输出。

技术方案3所述的发明在技术方案1所述的车辆控制系统的基础上，其中，在手动驾驶中或需要由所述乘客进行周边监视的自动驾驶中，所述界面控制部限制所述界面装置的使用，在不需要由所述乘客进行周边监视的自动驾驶中，所述界面控制部解除所述界面装置的使用的限制。

技术方案4所述的发明在技术方案1所述的车辆控制系统的基础上，其中，所述界面控制部使所述界面装置输出包括与所述自动驾驶控制部中的所述本车辆的加减速及/或车道变更相关的事件、以及对所述本车辆的乘客的交接请求中的一方或双方的信息。

技术方案5所述的发明在技术方案1所述的车辆控制系统的基础上，其中，所述车辆控制系统还具备：摄像部(95)，其对所述本车辆内的空间进行拍摄；以及视线检测部(176)，其基于由所述摄像部拍摄到的图像来检测所述乘客的视线方向，所述界面控制部使处于由所述视线检测部检测出的所述乘客的视线方向上的界面装置输出信息。

技术方案6所述的发明在技术方案5所述的车辆控制系统的基础上，其中，所述界面控制部在使处于由所述视线检测部检测出的所述乘客的视线方向上的界面装置输出信息后的规定时间以内未接受到来自所述乘客的操作的情况下，使输出了所述信息的界面装置以外的界面装置输出所述信息。

技术方案7所述的发明在技术方案1所述的车辆控制系统的基础上，其中，所述界面装置包括导航装置(50)、显示装置(82)及通信终端(96)中的至少一个。

技术方案8所述的发明在技术方案1所述的车辆控制系统的基础上，其中，所述车辆控制系统还具备：摄像部，其对所述本车辆内的空间进行拍摄；视线检测部，其基于由所述摄像部拍摄到的图像来检测所述乘客的视线；以及投影部(97)，其将图像向所述本车辆内的空间投影，所述界面控制部从所述投影部将与所述自动驾驶控制部实施的自动驾驶的模式的变更相伴而放宽或解除了所述限制的界面装置所相关的信息向由所述视线检测部检测出的所述乘客的视线方向投影。

技术方案9所述的发明在技术方案8所述的车辆控制系统的基础上，其中，所述界面控制部从由所述摄像部拍摄到的图像中取得供与所述本车辆的自动驾驶相关的信息投影的对象物的信息，并基于取得的对象物来设定由所述投影部投影的图像的颜色、大小及动作中的至少一个。

技术方案10所述的发明在技术方案8所述的车辆控制系统的基础上，其中，所述界面控制部使与由所述自动驾驶控制部进行的驾驶模式的变更相伴而许可所述乘客进行使用的界面装置所相关的信息向所述乘客的视线方向投影。

技术方案11所述的发明为一种车辆控制方法，其中，所述车辆控制方法使车载计算机执行如下处理：自动地控制本车辆的加减速及转向中的至少一方，并且以自动驾驶的程度不同的多个模式中的任一模式进行自动驾驶控制；接受所述本车辆的乘客的操作，并且使界面装置输出信息；根据实施所述自动驾驶控制的自动驾驶的模式，来限制所述本车辆的乘客对所述界面装置的操作的接受、或者所述界面装置中的所述信息的输出；以及在产生了从所述本车辆对所述乘客应通知的信息的情况下，使与所述自动驾驶的模式的变更相伴而放宽或解除了所述限制的界面装置输出应通知的所述信息。

技术方案12所述的发明为一种车辆控制程序，其中，所述车辆控制程序用于使车载计算机执行如下处理：自动地控制本车辆的加减速及转向中的至少一方，并且以自动驾驶的程度不同的多个模式中的任一模式进行自动驾驶控制；接受所述本车辆的乘客的操作，并且使界面装置输出信息；根据实施所述自动驾驶控制的自动驾驶的模式，来限制所述本车辆的乘客对所述界面装置的操作的接受、或者所述界面装置中的所述信息的输出；以及在产生了从所述本车辆对所述乘客应通知的信息的情况下，使与所述自动驾驶的模式的变更相伴而放宽或解除了所述限制的界面装置输出应通知的所述信息。

发明效果

根据技术方案1～3、7、8及10～12所记载的发明，例如在对界面装置的限制解除中向被乘客视觉确认的可能性高的界面装置进行来自本车辆的通知，因此能够使乘客立即觉察到。因此，能够提高在本车辆内使用的装置的便利性。

根据技术方案4所记载的发明，能够从界面装置容易取得基于自动驾驶控制得到的本车辆的行为。

根据技术方案5所记载的发明，能够仅向乘客正观看的可能性高的界面装置进行输出，因此能够对乘客更可靠地传递信息。

根据技术方案6所记载的发明，在乘客看漏了从界面装置输出的信息的情况下，通过也向其他界面装置进行输出，由此能够对乘客更可靠地传递信息。

根据技术方案9所记载的发明，能够投影出乘客容易视觉确认的图像。

附图说明

图1是表示搭载有实施方式的车辆控制系统100的车辆的构成要素的图。

图2是以车辆控制系统100为中心的功能结构图。

图3是第一实施方式中的HMI70的结构图。

图4是表示由本车位置识别部140识别出本车辆M相对于行驶车道L1的相对位置的情形的图。

图5是表示针对某区间生成的行动计划的一例的图。

图6是表示轨道生成部146的结构的一例的图。

图7是表示由轨道候补生成部146B生成的轨道的候补的一例的图。

图8是通过轨道点K表现由轨道候补生成部146B生成的轨道的候补的图。

图9是表示车道变更目标位置TA的图。

图10是表示将三台周边车辆的速度假定为恒定的情况下的速度生成模型的图。

图11是表示第一实施方式中的HMI控制部170的结构的一例的图。

图12是表示不同模式可否操作信息188的一例的图。

图13是用于说明车辆乘客的视线检测的内容的图。

图14是表示对导航装置50的信息显示的一例的图。

图15是表示对显示装置82的信息显示的一例的图。

图16是表示对通信终端96的信息显示的一例的图。

图17是第二实施方式中的HMI70A的结构图。

图18是表示本车辆M内的投影装置97的设置例的图。

图19是表示由投影装置97投影的情形的一例的图。

图20是表示HMI控制处理的第一实施例的流程图。

图21是表示HMI控制处理的第二实施例的流程图。

图22是表示HMI控制处理的第三实施例的流程图。

具体实施方式

以下，参照附图来说明本发明的车辆控制系统、车辆控制方法及车辆控制程序的实施方式。

<共用结构>

图1是表示搭载有实施方式的车辆控制系统100的车辆(以下称作本车辆M)的构成要素的图。搭载有车辆控制系统100的车辆例如为二轮、三轮、四轮等的机动车，包括以柴油发动机、汽油发动机等内燃机为动力源的机动车、以电动机为动力源的电动机动车、兼具备内燃机及电动机的混合动力机动车等。电动机动车例如通过使用由二次电池、氢燃料电池、金属燃料电池、醇类燃料电池等电池放出的电力来驱动。

如图1所示，在本车辆M中搭载有探测器20-1～20-7、雷达30-1～30-6及相机(摄像部)940等传感器、导航装置(显示部)50、以及车辆控制系统100。

探测器20-1～20-7例如是测定相对于照射光的散射光来测定直至对象的距离的LIDAR(Light Detection and Ranging、或者Laser Imaging Detection and Ranging)。例如，探测器20-1安装于前格栅等，探测器20-2及探测器20-3安装于车身的侧面、车门上后视镜、前照灯内部、侧灯附近等。探测器20-4安装于行李箱盖等，探测器20-5及探测器20-6安装于车身的侧面、尾灯内部等。上述的探测器20-1～20-6例如在水平方向上具有150度左右的检测区域。另外，探测器20-7安装于车顶等。探测器20-7例如在水平方向上具有360度的检测区域。

雷达30-1及雷达30-4例如为进深方向的检测区域比其他雷达宽的长距离毫米波雷达。另外，雷达30-2、30-3、30-5、30-6为与雷达30-1及雷达30-4相比进深方向的检测区域窄的中距离毫米波雷达。

以下，在不对探测器20-1～20-7进行特别区分的情况下，仅记载为“探测器20”，在不对雷达30-1～30-6进行特别区分的情况下，仅记载为“雷达30”。雷达30例如通过FM-CW(Frequency Modulated Continuous Wave)方式来检测物体。

相机40例如为利用了CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等固体摄像元件的数码相机。相机40安装于前风窗玻璃上部、车室内后视镜背面等。相机40例如周期性地反复对本车辆M的前方进行拍摄。相机40也可以是包括多个相机的立体摄影机。

需要说明的是，图1所示的结构只是一例，可以省略结构的一部分，也可以进一步追加其他的结构。

<第一实施方式>

图2是以车辆控制系统100为中心的功能结构图。在本车辆M上搭载有包括探测器20、雷达30及相机40等的检测器件DD、导航装置50、通信装置55、车辆传感器60、HMI(Human Machine Interface)70、车辆控制系统100、行驶驱动力输出装置200、转向装置210、以及制动装置220。这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而彼此连接。需要说明的是，技术方案中的车辆控制系统并非仅指“车辆控制系统100”，还可以包括车辆控制系统100以外的结构(检测器件DD、HMI70等)。

导航装置50具有GNSS(Global Navigation Satellite System)接收机、地图信息(导航地图)、作为用户界面发挥功能的触摸面板式显示装置、扬声器、话筒等。导航装置50通过GNSS接收机确定本车辆M的位置，并导出从该位置到由用户指定的目的地为止的路径。由导航装置50导出的路径向车辆控制系统100的目标车道决定部110提供。本车辆M的位置也可以通过利用了车辆传感器60的输出的INS(Inertial Navigation System)来确定或补充。另外，在车辆控制系统100执行手动驾驶模式时，导航装置50通过声音、导航显示对直至目的地的路径进行引导。需要说明的是，用于确定本车辆M的位置的结构也可以相对于导航装置50独立地设置。另外，导航装置50例如也可以通过用户持有的智能手机、平板终端等终端装置的功能来实现。在该情况下，在终端装置与车辆控制系统100之间通过基于无线或有线的通信来进行信息的收发。

通信装置55例如进行利用了蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC(Dedicated Short Range Communication)等的无线通信。

车辆传感器60包括检测车速的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、以及检测本车辆M的朝向的方位传感器等。

图3是第一实施方式中的HMI70的结构图。HMI70例如具备驾驶操作系统的结构和非驾驶操作系统的结构。它们的分界不是明确的分界，驾驶操作系统的结构有时也可以具备非驾驶操作系统的功能(或者相反)。另外，这些驾驶操作系统为接受本车辆M的车辆乘客(乘客)的操作的操作接受部的一例。另外，非驾驶操作系统包括界面装置。

HMI70作为驾驶操作系统的结构而例如包括：油门踏板71、油门开度传感器72及油门踏板反作用力输出装置73；制动踏板74及制动踩踏量传感器(或者主压传感器等)75；变速杆76及档位传感器77；转向盘78、转向盘转向角传感器79及转向转矩传感器80；以及其他驾驶操作器件81。

油门踏板71是用于接受由车辆乘客进行的加速指示(或者通过返回操作进行的减速指示)的操作件。油门开度传感器72检测油门踏板71的踩踏量，并将表示踩踏量的油门开度信号向车辆控制系统100输出。需要说明的是，有时也可以代替向车辆控制系统100输出而向行驶驱动力输出装置200、转向装置210或制动装置220直接输出。以下说明的其他的驾驶操作系统的结构也同样。油门踏板反作用力输出装置73例如根据来自车辆控制系统100的指示而对油门踏板71输出与操作方向相反方向的力(操作反作用力)。

制动踏板74是用于接受由车辆乘客进行的减速指示的操作件。制动踩踏量传感器75检测制动踏板74的踩踏量(或者踩踏力)，并将表示检测结果的制动信号向车辆控制系统100输出。

变速杆76是用于接受由车辆乘客进行的档级的变更指示的操作件。档位传感器77检测由车辆乘客指示的档级，并将表示检测结果的档位信号向车辆控制系统100输出。

转向盘78是用于接受由车辆乘客进行的转弯指示的操作件。转向盘转向角传感器79检测转向盘78的操作角，并将表示检测结果的转向盘转向角信号向车辆控制系统100输出。转向转矩传感器80检测施加于转向盘78的转矩，并将表示检测结果的转向转矩信号向车辆控制系统100输出。需要说明的是，作为与转向盘78相关的控制，例如也可以通过反作用力马达等向转向轴输出转矩，来对转向盘78输出操作反作用力。

其他驾驶操作器件81例如为操纵杆、按钮、拨码开关、GUI(Graphical User Interface)开关等。其他驾驶操作器件81接受加速指示、减速指示、转弯指示等并将其向车辆控制系统100输出。

HMI70作为非驾驶操作系统的结构而例如包括：显示装置(显示部)82、扬声器83、接触操作检测装置84及内容播放装置85；各种操作开关86；座椅88及座椅驱动装置89；车窗玻璃90及车窗驱动装置91；车室内相机(摄像部)95；以及通信终端96。

显示装置82例如是安装于仪表板的各部分、与副驾驶座、后部座位对置的任意部位等的LCD(Liquid Crystal Display)、有机EL(Electroluminescence)显示装置等。另外，显示装置82也可以为向前风窗玻璃、其他车窗投射图像的HUD(Head Up Display)。扬声器83输出声音。接触操作检测装置84在显示装置82是触摸面板的情况下，检测显示装置82的显示画面中的接触位置(触摸位置)并将其向车辆控制系统100输出。需要说明的是，在显示装置82不是触摸面板的情况下，可以省略接触操作检测装置84。

内容播放装置85例如包括DVD(Digital Versatile Disc)播放装置、CD(Compact Disc)播放装置、电视接收机、各种引导图像的生成装置等。显示装置82、扬声器83、接触操作检测装置84及内容播放装置85也可以是一部分或全部与导航装置50共用的结构。

各种操作开关86配置于车室内的任意部位。各种操作开关86中包括指示自动驾驶的开始(或者将来的开始)及停止的自动驾驶切换开关87。自动驾驶切换开关87可以是GUI(Graphical User Interface)开关、机械式开关中的任一种。另外，各种操作开关86也可以包括用于驱动座椅驱动装置89、车窗驱动装置91的开关。

座椅88为供车辆乘客就座的座椅。座椅驱动装置89对座椅88的躺倒角、前后方向位置、横摆角等进行自如地驱动。车窗玻璃90例如设置于各车门。车窗驱动装置91对车窗玻璃90进行开闭驱动。

车室内相机95为利用了CCD、CMOS等固体摄像元件的数码相机。车室内相机95安装于后视镜、转向盘轮毂部、仪表板等能够拍摄进行驾驶操作的车辆乘客的至少头部的位置。车室内相机95例如周期性地反复对车辆乘客进行拍摄。

通信终端96为能够通过与通信装置55的无线通信而接收来自HMI控制部170的信息并将其显示在画面上的终端，也能够向HMI控制部170发送信息。通信终端96能够将由上述的导航装置50、显示装置82或内容播放装置85显示的信息显示于画面。另外，通信终端96也能够与互联网等连接而取得来自外部装置的信息，或者通过电子邮件功能来进行邮件的收发。用于与通信终端96进行通信的信息(例如地址信息)等预先存储于存储部180。通信终端96例如为智能手机或平板终端等，但并不限定于此。

在车辆控制系统100的说明之前，说明行驶驱动力输出装置200、转向装置210及制动装置220。

行驶驱动力输出装置200将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。例如在本车辆M为以内燃机为动力源的机动车的情况下，行驶驱动力输出装置200具备发动机、变速器及对发动机进行控制的发动机ECU(Electronic Control Unit)，在本车辆M为以电动机为动力源的电动机动车的情况下，行驶驱动力输出装置200具备行驶用马达及对行驶用马达进行控制的马达ECU，在本车辆M为混合动力机动车的情况下，行驶驱动力输出装置200具备发动机、变速器及发动机ECU和行驶用马达及马达ECU。在行驶驱动力输出装置200仅包括发动机的情况下，发动机ECU按照从后述的行驶控制部160输入的信息，来调整发动机的节气门开度、档级等。在行驶驱动力输出装置200仅包括行驶用马达的情况下，马达ECU按照从行驶控制部160输入的信息来调整向行驶用马达施加的PWM信号的占空比。在行驶驱动力输出装置200包括发动机及行驶用马达的情况下，发动机ECU及马达ECU按照从行驶控制部160输入的信息而彼此协调地控制行驶驱动力。

转向装置210例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从车辆控制系统100输入的信息、或者输入的转向盘转向角或转向转矩的信息来驱动电动马达，变更转向轮的朝向。

制动装置220例如为电动伺服制动装置，其具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动控制部。电动伺服制动装置的制动控制部按照从行驶控制部160输入的信息来控制电动马达，将与制动操作对应的制动转矩向各车轮输出。电动伺服制动装置也可以具备将通过制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构来作为备用。需要说明的是，制动装置220不限于上述说明的电动伺服制动装置，也可以是电子控制式液压制动装置。电子控制式液压制动装置按照从行驶控制部160输入的信息来控制致动器，将主液压缸的液压向液压缸传递。另外，制动装置220也可以包括由能够包含于行驶驱动力输出装置200的行驶用马达实现的再生制动器。

[车辆控制系统]

以下，说明车辆控制系统100。车辆控制系统100例如通过一个以上的处理器或具有同等的功能的硬件来实现。车辆控制系统100可以是将CPU(Central Processing Unit)等处理器、存储装置及通信界面由内部总线连接的ECU(Electronic Control Unit)、或者MPU(Micro-Processing Unit)等组合而成的结构。

返回图2，车辆控制系统100例如具备目标车道决定部110、自动驾驶控制部120、行驶控制部160、HMI控制部170及存储部180。自动驾驶控制部120例如具备自动驾驶模式控制部130、本车位置识别部140、外界识别部142、行动计划生成部144、轨道生成部146及切换控制部150。目标车道决定部110、自动驾驶控制部120的各部分、以及行驶控制部160中的一部分或全部通过处理器执行程序(软件)来实现。另外，它们中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)等硬件来实现，也可以通过软件与硬件的组合来实现。

在存储部180中例如保存有高精度地图信息182、目标车道信息184、行动计划信息186、不同模式可否操作信息188等信息。存储部180通过ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、闪存器等来实现。处理器执行的程序可以预先保存于存储部180，也可经由车载互联网设备等从外部装置下载。另外，程序也可以通过将保存有该程序的可移动型存储介质装配于未图示的驱动装置而安装于存储部180。另外，车辆控制系统100的计算机(车载计算机)也可以是由多个计算机装置分散化的计算机。

目标车道决定部110例如通过MPU来实现。目标车道决定部110将从导航装置50提供的路径分割为多个区段(例如在车辆行进方向上按100[m]分割)，并参照高精度地图信息182而按区段决定目标车道。目标车道决定部110例如进行在从左侧起的第几个车道上行驶这样的决定。目标车道决定部110例如在路径中存在分支部位、汇合部位等的情况下，决定目标车道，以使本车辆M能够在用于向分支目的地行进的合理的行驶路径上行驶。由目标车道决定部110决定的目标车道作为目标车道信息184而存储于存储部180。

高精度地图信息182为比导航装置50具有的导航地图精度高的地图信息。高精度地图信息182例如包括车道的中央的信息或车道的边界的信息等。另外，在高精度地图信息182中还可以包括道路信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。道路信息中包括高速道路、收费道路、国道、都道府县道这样的表示道路的类别的信息、道路的车道数、各车道的宽度、道路的坡度、道路的位置(包括经度、纬度、高度的三维坐标)、车道的转弯的曲率、车道的汇合及分支点的位置、设置于道路的标识等信息。在交通限制信息中包括因施工、交通事故、拥堵等而将车道封锁这样的信息。

自动驾驶控制部120自动地控制本车辆M的加减速及转向中的至少一方，以使本车辆M沿着直至目的地的路径行驶。

自动驾驶模式控制部130决定自动驾驶控制部120实施的自动驾驶的模式。本实施方式中的自动驾驶的模式中包括以下的模式。需要说明的是，以下只是一例，自动驾驶的模式数可以任意决定。

[第一模式]

第一模式为与其他模式相比自动驾驶的程度最高的模式。在实施第一模式的情况下，自动地进行复杂的汇合控制等全部的车辆控制，因此车辆乘客无需监视本车辆M的周边、状态。

[第二模式]

第二模式为次于第一模式的自动驾驶的程度较高的模式。在实施第二模式的情况下，原则上自动地进行全部的车辆控制，但根据场景而将本车辆M的驾驶操作委托给车辆乘客。因此，车辆乘客需要监视车辆M的周边、状态。

[第三模式]

第三模式为次于第二模式的自动驾驶的程度较高的模式。在实施第三模式的情况下，车辆乘客需要对HMI70进行与场景相应的确认操作。在第三模式下，例如向车辆乘客通知车道变更的时机，在车辆乘客对HMI70进行了指示车道变更的操作的情况下，进行自动的车道变更。因此，车辆乘客需要监视本车辆M的周边、状态。

自动驾驶模式控制部130基于车辆乘客对HMI70的操作、由行动计划生成部144决定的事件、由轨道生成部146决定的行驶形态等，来决定自动驾驶的模式。自动驾驶的模式向HMI控制部170通知。另外，在自动驾驶的模式中也可以设定与本车辆M的检测器件DD的性能等相应的界限。例如，在检测器件DD的性能低的情况下，可以不实施第一模式。

在任一模式下，均能够通过对HMI70中驾驶操作系统的结构的操作而切换为手动驾驶模式(超控)。超控例如在本车辆M的车辆乘客对HMI70的驾驶操作系统的操作持续了规定时间以上的情况、规定的操作变化量(例如油门踏板71的油门开度、制动踏板74的制动踩踏量、转向盘78的转向角)以上的情况、或者进行了规定次数以上的对驾驶操作系统的操作的情况下开始。上述的规定时间、操作变化量、规定次数等为判定是否进行超控的条件(阈值)的一例。

自动驾驶控制部120的本车位置识别部140基于保存于存储部180的高精度地图信息182、以及从探测器20、雷达30、相机40、导航装置50或车辆传感器60输入的信息，来识别本车辆M正行驶的车道(行驶车道)及本车辆M相对于行驶车道的相对位置。

本车位置识别部140例如通过对从高精度地图信息182识别的道路划分线的图案(例如实线与虚线的排列)和从由相机40拍摄到的图像识别的本车辆M的周边的道路划分线的图案进行比较，来识别行驶车道。在该识别中，也可以加进从导航装置50取得的本车辆M的位置、由INS处理的处理结果。

图4是表示由本车位置识别部140识别出本车辆M相对于行驶车道L1的相对位置的情形的图。本车位置识别部140例如识别本车辆M的基准点(例如重心)从行驶车道中央CL的偏离OS、以及本车辆M的行进方向相对于将行驶车道中央CL相连的线所成的角度θ，来作为本车辆M相对于行驶车道L1的相对位置。需要说明的是，也可以代替于此，本车位置识别部140识别本车辆M的基准点相对于本车道L1的任一侧端部的位置等，来作为本车辆M相对于行驶车道的相对位置。由本车位置识别部140识别的本车辆M的相对位置向行动计划生成部144提供。

外界识别部142基于从探测器20、雷达30、相机40等输入的信息，来识别周边车辆的位置、速度、加速度等状态。周边车辆例如是在本车辆M的周边行驶且向与本车辆M相同的方向行驶的车辆。周边车辆的位置可以通过其他车辆的重心、角部等代表点来表示，也可以通过由其他车辆的轮廓表现出的区域来表示。周边车辆的“状态”也可以包括基于上述各种设备的信息而掌握的周边车辆的加速度、是否正进行车道变更(或者是否要进行车道变更)。另外，外界识别部142除了识别周边车辆以外，还可以识别护栏、电线杆、驻车车辆、行人及其他的物体的位置。

行动计划生成部144设定自动驾驶的开始地点及/或自动驾驶的目的地。自动驾驶的开始地点可以是本车辆M的当前位置，也可以是进行指示自动驾驶的操作的地点。行动计划生成部144在该开始地点与自动驾驶的目的地之间的区间中生成行动计划。需要说明的是，不限定于此，行动计划生成部144也可以针对任意的区间生成行动计划。

行动计划例如由顺次执行的多个事件构成。事件中例如包括使本车辆M减速的减速事件、使本车辆M加速的加速事件、使本车辆M以不脱离行驶车道的方式行驶的行车道保持事件、变更行驶车道的车道变更事件、使本车辆M赶超前行车辆的赶超事件、使本车辆M在分支点变更为所期望的车道或以不脱离当前的行驶车道的方式行驶的分支事件、在用于向主线汇合的汇合车道上使本车辆M加减速来变更行驶车道的汇合事件、以及在自动驾驶的开始地点从手动驾驶模式向自动驾驶模式转变或在自动驾驶的预定结束地点从自动驾驶模式向手动驾驶模式转变的交接事件等。行动计划生成部144在由目标车道决定部110决定的目标车道切换的部位设定车道变更事件、分支事件或汇合事件。表示由行动计划生成部144生成的行动计划的信息作为行动计划信息186保存于存储部180。

图5是表示针对某区间生成的行动计划的一例的图。如图5所示，行动计划生成部144生成为了使本车辆M在目标车道信息184所示的目标车道上行驶所需的行动计划。需要说明的是，行动计划生成部144也可以根据本车辆M的状况变化而不拘泥于目标车道信息184地动态地变更行动计划。例如，行动计划生成部144在车辆行驶中由外界识别部142识别出的周边车辆的速度超过阈值、或者在与本车道相邻的车道上行驶的周边车辆的移动方向朝向本车道方向的情况下，变更本车辆M在预定行驶的驾驶区间中设定的事件。例如，在将事件设定为在行车道保持事件之后执行车道变更事件的情况下，在根据外界识别部142的识别结果而判明了在该行车道保持事件中有车辆从车道变更目的地的车道后方以阈值以上的速度行进过来的情况下，行动计划生成部144可以将行车道保持事件的接下来的事件从车道变更事件变更为减速事件、行车道保持事件等。其结果是，车辆控制系统100即便在外界的状态产生了变化的情况下，也能够使本车辆M安全地自动行驶。

图6是表示轨道生成部146的结构的一例的图。轨道生成部146例如具备行驶形态决定部146A、轨道候补生成部146B及评价-选择部146C。

行驶形态决定部146A例如在实施行车道保持事件时，决定定速行驶、追随行驶、低速追随行驶、减速行驶、转弯行驶、障碍物躲避行驶等中的任一行驶形态。例如，行驶形态决定部146A在本车辆M的前方不存在其他车辆的情况下，将行驶形态决定为定速行驶。另外，行驶形态决定部146A在相对于前行车辆进行追随行驶那样的情况下，将行驶形态决定为追随行驶。另外，行驶形态决定部146A在拥堵场景等中将行驶形态决定为低速追随行驶。另外，行驶形态决定部146A在由外界识别部142识别出前行车辆的减速的情况、实施停车、驻车等事件的情况下，将行驶形态决定为减速行驶。另外，行驶形态决定部146A在由外界识别部142识别出本车辆M来到弯路的情况时，将行驶形态决定为转弯行驶。另外，行驶形态决定部146A在由外界识别部142在本车辆M的前方识别出障碍物的情况下，将行驶形态决定为障碍物躲避行驶。

轨道候补生成部146B基于由行驶形态决定部146A决定的行驶形态来生成轨道的候补。图7是表示由轨道候补生成部146B生成的轨道的候补的一例的图。图7示出在本车辆M从车道L1向车道L2进行车道变更的情况下生成的轨道的候补。

轨道候补生成部146B将图7所示那样的轨道例如决定为在将来的每规定时间本车辆M的基准位置(例如重心、后轮轴中心)应到达的目标位置(轨道点K)的集合。图8是由轨道点K来表现由轨道候补生成部146B生成的轨道的候补的图。轨道点K的间隔越宽，本车辆M的速度越快，轨道点K的间隔越窄，本车辆M的速度越慢。因此，轨道候补生成部146B在想要加速的情况下逐渐加宽轨道点K的间隔，在想要减速的情况下逐渐缩窄轨道点的间隔。

这样，由于轨道点K包含速度成分，因此轨道候补生成部146B需要对轨道点K分别赋予目标速度。目标速度根据由行驶形态决定部146A决定的行驶形态来决定。

在此，说明进行车道变更(进行分支)的情况的目标速度的决定方法。轨道候补生成部146B首先设定车道变更目标位置(或者汇合目标位置)。车道变更目标位置设定为与周边车辆的相对位置，决定“向哪个周边车辆之间进行车道变更”。轨道候补生成部146B以车道变更目标位置为基准而着眼于三台周边车辆地决定进行车道变更的情况的目标速度。图9是表示车道变更目标位置TA的图。在图中，L1表示本车道，L2表示相邻车道。在此，将在与本车辆M相同的车道上且在本车辆M的紧前方行驶的周边车辆定义为前行车辆mA，将在车道变更目标位置TA的紧前方行驶的周边车辆定义为前方基准车辆mB，并将在车道变更目标位置TA的紧后方行驶的周边车辆定义为后方基准车辆mC。本车辆M为了移动到车道变更目标位置TA的侧方而需要进行加减速，但此时必须避免追上前行车辆mA。因此，轨道候补生成部146B预测三台周边车辆的将来的状态，以不与各周边车辆干涉的方式决定目标速度。

图10是表示将三台周边车辆的速度假定为恒定的情况的速度生成模型的图。在图中，从mA、mB及mC延伸出的直线表示各周边车辆假定为进行定速行驶的情况的行进方向上的位移。本车辆M在车道变更完成的点CP处于前方基准车辆mB与后方基准车辆mC之间，且在此之前必须处于比前行车辆mA靠后的位置。在这样的制约下，轨道候补生成部146B导出多个直至车道变更完成为止的目标速度的时间序列图案。然后，将目标速度的时间序列图案适用于样条曲线等模型来导出多个上述的图7所示那样的轨道的候补。需要说明的是，三台周边车辆的运动图案不限于图9所示那样的定速度，也可以以定加速度、定加加速度(跃度)为前提来进行预测。

评价-选择部146C例如以计划性和安全性这两个观点对由轨道候补生成部146B生成的轨道的候补进行评价，来选择向行驶控制部160输出的轨道。从计划性的观点出发，例如在对已经生成的计划(例如行动计划)的追随性高且轨道的全长短的情况下将轨道评价得高。例如，在希望向右方向进行车道变更的情况下，暂时向左方向进行车道变更并返回这样的轨道成为低的评价。从安全性的观点出发，例如，在各个轨道点处本车辆M与物体(周边车辆等)的距离越远且加减速度、转向角的变化量等越小，则评价越高。

切换控制部150基于从自动驾驶切换开关87输入的信号来将自动驾驶模式与手动驾驶模式相互切换。另外，切换控制部150基于对HMI70中的驾驶操作系统的结构指示加减速或转向的操作，来从自动驾驶模式向手动驾驶模式切换。例如，切换控制部150在从HMI70中的驾驶操作系统的结构输入的信号所示的操作量超过阈值的状态持续了基准时间以上的情况下，从自动驾驶模式向手动驾驶模式切换(超控)。需要说明的是，切换控制部150也可以在通过超控向手动驾驶模式切换之后，在规定时间的期间内未检测出对HMI70中的驾驶操作系统的结构进行的操作的情况下，恢复为自动驾驶模式。另外，切换控制部150例如在自动驾驶的预定结束地点进行从自动驾驶模式向手动驾驶模式转变的交接控制的情况下，事先对车辆乘客通知交接请求，因此将该意旨的信息向HMI控制部170输出。

行驶控制部160控制行驶驱动力输出装置200、转向装置210及制动装置220，以使本车辆M按预定的时刻通过由轨道生成部146生成的轨道。

当由自动驾驶控制部120通知驾驶模式的信息时，HMI控制部170控制HMI70。例如，HMI控制部170基于驾驶模式来控制车辆乘客可否对HMI70的非驾驶操作系统、导航装置50等进行操作。

图11是表示第一实施方式中的HMI控制部170的结构的一例的图。图11所示的HMI控制部170具备可否使用判定部172、界面控制部174及视线检测部176。

可否使用判定部172基于从自动驾驶控制部120得到的模式信息和存储于存储部180的不同模式可否操作信息188，来判定可否进行与HMI70或导航装置50相关的操作。

图12是表示不同模式可否操作信息188的一例的图。图12所示的不同模式可否操作信息188作为驾驶模式的项目而具有“手动驾驶模式”、“自动驾驶模式”。另外，作为“自动驾驶模式”而具有上述的“第一模式”、“第二模式”及“第三模式”等。另外，不同模式可否操作信息188作为非驾驶操作系统的项目而具有对导航装置50的操作即“导航操作”、对内容播放装置85的操作即“内容播放操作”、对显示装置82的操作即“仪表板操作”、对通信终端96的操作即“通信终端操作”等。上述的导航装置50、内容播放装置85、显示装置82及通信终端96为非驾驶操作系统的界面装置的一例。在图12所示的不同模式可否操作信息188的例子中，按上述的驾驶模式设定了车辆乘客可否对非驾驶操作系统进行操作，但对象的界面装置并不限定于此。

可否使用判定部172基于从自动驾驶控制部120取得的驾驶模式并参照不同模式可否操作信息188，来判定通过使用等的限制的放宽或解除而许可使用的界面装置(操作系统)和通过限制而不许可使用的界面装置。需要说明的是，使用例如是由车辆乘客进行的操作的接受、以及向界面装置的信息的输出中的一方或双方。界面控制部174基于由可否使用判定部172判定的判定结果，来控制可否接受来自车辆乘客的对非驾驶操作系统的界面装置的操作。

例如，在本车辆M为手动驾驶模式的情况下，车辆乘客操作HMI70的驾驶操作系统(例如油门踏板71、制动踏板74、变速杆76及转向盘78等)。另外，在为自动驾驶模式的第二模式、第三模式等的情况下，车辆乘客需要监视本车辆M的周边、状态。在这样的情况下，为了防止车辆乘客因驾驶以外的行动(操作等)而注意变得分散(驾驶员注意力不集中)，界面控制部174以不接受对HMI70的非驾驶操作系统的一部分或全部的操作的方式进行控制。另外，在为自动驾驶的第一模式的情况下，界面控制部174放宽驾驶员注意力不集中限制，进行接受车辆乘客对未接受到操作的非驾驶操作系统的操作的控制。即，界面控制部174在手动驾驶中或需要由车辆乘客进行周边监视的自动驾驶中，限制对HMI70的非驾驶操作系统的一部分或全部的使用，在不需要由车辆乘客进行周边监视的自动驾驶中，解除对HMI70的非驾驶操作系统的一部分或全部的使用的限制。

在该情况下，界面控制部174例如在与自动驾驶的模式的变更相伴而产生了从本车辆M对车辆乘客应通知的信息的情况下，使与自动驾驶的模式的变更相伴而放宽或解除了限制的界面装置输出规定的信息(例如，表示通过限制的放宽或解除而许可使用的情况的信息等对车辆乘客应通知的信息)。这样，对车辆乘客传递在本车辆M的自动驾驶的控制中能够使用的界面装置的信息，由此能够提高界面装置的便利性。

另外，界面控制部174也可以将与自动驾驶控制部120中的本车辆的加减速及/或车道变更相关的事件信息向许可使用的界面装置输出。另外，界面控制部174在从自动驾驶控制部120接受到交接请求的情况下，也可以将该意旨向许可使用的界面装置输出。在该情况下，界面控制部174使界面装置输出包含上述的事件信息和对车辆乘客的交接请求中的一方或双方的信息。由此，车辆乘客能够容易掌握基于自动驾驶控制的本车辆M的驾驶状态。

需要说明的是，在第一实施方式中，界面控制部174也可以取得本车辆M的车辆乘客的视线方向，并对处于取得的视线方向上的界面装置进行上述的各种信息的输出控制。在该情况下，视线检测部176从由车室内相机95拍摄到的车室内空间的图像来检测车辆乘客的视线。视线检测部176例如能够基于拍摄到的图像的亮度及形状等特征信息，来检测车辆乘客的眼角的位置和虹膜的位置，并根据该眼角与虹膜的位置关系来检测视线。需要说明的是，关于视线检测方法，并不限定于上述的例子。

图13是用于说明车辆乘客的视线检测的内容的图。在图13的例子中，对本车辆M内的空间进行拍摄的车室内相机95拍摄包含在本车辆M内设置的座椅88上就座的车辆乘客P的图像。由车室内相机95拍摄到的图像向视线检测部176输出。视线检测部176根据由车室内相机95拍摄到的图像来检测车辆乘客P的视线方向，将检测出的视线方向的信息向界面控制部174输出。

界面控制部174基于从自动驾驶控制部120得到的驾驶模式，来从上述的不同模式可否操作信息188取得许可使用的非驾驶操作系统的界面装置。另外，界面控制部174根据从视线检测部176得到的车辆乘客P的视线信息，来推定许可使用的非驾驶操作系统的界面装置中的处于车辆乘客P的视线方向上的界面装置，并使推定出的界面装置输出表示许可使用的情况的信息、事件信息及交接请求等信息中的至少一个信息。由此，能够仅向车辆乘客P正观看的可能性高的界面装置进行输出，因此能够对车辆乘客P更可靠地传递信息。

关于界面装置的推定，例如在车室内相机95的拍摄范围(视角)固定的情况下，界面控制部174能够根据拍摄图像上的导航装置50、显示装置82、内容播放装置85各自的图像上的位置、以及视线方向的信息，来推定处于视线方向上的界面装置。另外，界面控制部174也可以从由车室内相机95拍摄到的图像中提取颜色、形状等特征信息，并根据提取出的特征信息来推定通信终端96的位置。

在图13的例子中，根据由车室内相机95拍摄到的拍摄图像来检测车辆乘客P的视线方向，在视线方向为箭头a的情况下，界面控制部174推定为车辆乘客P正在观看导航装置50，使导航装置50输出表示许可上述的使用的情况的信息、事件信息及交接请求等信息。另外，在视线方向为箭头b的情况下，界面控制部174例如推定为正在观看仪表板等显示装置82，使显示装置82输出上述的各种信息。另外，在视线方向为箭头c的情况下，界面控制部174推定为车辆乘客P正在观看通信终端96，使通信终端96输出上述的各种信息。由此，在例如对界面装置的限制解除中，向被乘客视觉确认的可能性高的界面装置进行来自本车辆M的通知，因此能够使车辆乘客P立即觉察到。因而，能够提高装置的便利性。

需要说明的是，也可以是，界面控制部174在通知了交接请求等之后，经过规定时间也不存在车辆乘客P对转向盘78等驾驶操作系统等的操作的情况下，使许可使用的多个界面装置中的其他的界面装置输出信息、或者通过声音等输出信息，来向车辆乘客P进行通知。由此，能够对车辆乘客更可靠地传递信息。另外，界面控制部174也可以通知针对驾驶模式的信息。

图14是表示对导航装置50的信息显示的一例的图。图14的例子所示的导航装置50在前表面50A设置有显示路径引导、设定画面等的显示画面50B、以及设定目的地等的设定按钮50C等。在此，在第一实施方式中，在导航装置50与自动驾驶的模式的变更相伴而成为了许可车辆乘客P的使用的界面装置的情况下，在显示画面50B上作为消息画面50D而显示表示许可使用的情况的信息、事件信息及交接请求等信息中的至少一个信息。在图14的例子中，与交接请求对应而消息画面50D显示请求车辆乘客P进行手动驾驶的准备的意旨的显示，但显示内容并不限定于此。显示的内容预先存储于存储部180。界面控制部174例如可以在经过规定时间后或显示下一消息的情况下消去消息画面50D，也可以闪烁显示、与背景色对应地强调显示消息画面50D。

图15是表示对显示装置82的信息显示的一例的图。图15的例子所示的显示装置82在前表面82A设置有显示速度表、转矩的转速的仪表显示部82B、显示与DVD等播放影像、路径引导、电视节目等娱乐、演艺相关的各种内容的显示画面82C等。这样显示于显示画面82C等的各种内容为在上述的驾驶员注意力不集中限制被解除了时能够显示的内容的一例。

在此，在第一实施方式中，在显示装置82与自动驾驶的模式的变更相伴而成为了许可使用的界面装置的情况下，在显示画面82C上作为消息画面82D而显示表示许可车辆乘客P的使用的情况的信息、事件信息及交接请求等信息中的至少一个信息。在图15的例子中，与图14同样，显示与交接请求对应的消息画面82D，但显示内容并不限定于此。界面控制部174例如可以在经过规定时间之后或在显示下一消息的情况下消去消息画面82D，也可以闪烁显示、与背景色对应地强调显示消息画面82D。

图16是表示对通信终端96的信息显示的一例的图。图16的例子所示的通信终端96在前表面96A设置有显示画面96B和操作按钮96C等。在此，在第一实施方式中，在通信终端96与自动驾驶的模式的变更相伴而成为了许可使用的界面装置的情况下，在显示画面96B上作为消息画面96D而显示表示许可车辆乘客P的使用的情况的信息、事件信息及交接请求等信息中的至少一个信息。在图16的例子中，与图14及图15同样，显示与交接请求对应的消息画面96D，但显示内容并不限定于此。界面控制部174例如可以在经过规定时间后或显示下一消息的情况下消去消息画面96D，也可以闪烁显示、与背景色对应地强调显示消息画面96D。

<第二实施方式>

接着，说明第二实施方式。在上述的第一实施方式中，HMI控制部170根据自动驾驶控制部120实施的自动驾驶的模式来限制界面装置的使用，并使与自动驾驶的模式的变更相伴而许可使用的界面装置输出表示许可使用的情况的信息等。然而，还设想车辆乘客P在自动驾驶时正观看未许可使用的界面装置、或者正观看杂志等其他的对象物的情况。在第二实施方式中，作为HMI70的非驾驶操作系统，设置向本车辆M的车室内投影的投影装置(例如投影机等)，对处于车辆乘客的视线方向上的视线对象物显示表示许可第一实施方式中所示的使用的情况的信息、事件信息及交接请求等信息。

图17是第二实施方式中的HMI70A的结构图。另外，图18是表示本车辆M内的投影装置97的设置例的图。如图17所示，HMI70A与上述的第一实施方式中的HMI70相比较时，在非驾驶操作系统中追加设置有投影装置(投影部)97。因此，以下，进行关于投影装置97的说明，省略与其他结构等相关的说明。另外，第二实施方式中的HMI70A是与图2所示的以车辆控制系统100为中心的功能结构图中的HMI70进行替换的装置的部分。另外，在第二实施方式中，也可以不具有图2的存储部180中示出的不同模式可否操作信息188。

投影装置97设置于图18的本车辆M的顶棚等。投影装置97从上述的界面控制部174取得投影方向及投影的图像，并对取得的投影方向照射图像。

第二实施方式中的HMI控制部170的结构与上述的第一实施方式同样，具备可否使用判定部172、界面控制部174及视线检测部176。在以下的说明中，特别说明与第一实施方式不同的处理内容，省略关于同一处理内容的此处的说明。

在第二实施方式中，界面控制部174针对由视线检测部176检测出的车辆乘客的视线方向，从投影装置97投影与想要使车辆乘客注视的界面装置相关的信息等。例如，界面控制部174取得从自动驾驶控制部120得到的模式信息，并根据取得的模式信息来判定是否为通过投影装置97在自动驾驶中通知本车辆的驾驶状态的驾驶模式。例如，在为手动驾驶模式的情况下，当向视线方向投影某些图像时，会妨碍驾驶。因此，界面控制部174例如在自动驾驶模式的第一模式或第二模式时，将本车辆的驾驶模式判定为是通知的对象。

例如，在从自动驾驶控制部120取得的驾驶模式为在自动驾驶中通知本车辆的驾驶状态的对象的情况下，界面控制部174基于由视线检测部176检测出的视线方向，来使投影装置97将放宽或解除了使用等限制的界面装置的信息向处于视线方向上的视线对象物投影。例如，界面控制部174能够向车辆乘客的视线方向投影出与由自动驾驶控制部120进行的驾驶模式的变更相伴而许可车辆乘客进行使用的界面装置为哪个界面装置(想要使乘客注视的界面装置)。由此，车辆乘客能够容易掌握成为能够操作的界面装置的信息。

另外，界面控制部174也可以与第一实施方式同样将自动驾驶中的事件或交接请求等向视线对象物投影。作为投影对象物，如图18所示，能够向导航装置50的前表面、显示装置82的前表面、通信终端96的前表面投影上述的各种信息(投影图像)，另外也能够向转向盘78的前表面等投影。

另外，界面控制部174在视线对象物为杂志或会话中的其他的车辆乘客等那样不是HMI70的界面装置的情况下，也能够通过投影装置97将上述的各种信息投影。另外，界面控制部174从由车室内相机95拍摄到的图像中取得投影的对象物的信息，并基于取得的对象物来设定由投影装置97投影的图像的颜色、大小及动作中的至少一个。由此，能够与投影区域的背景色对应而以车辆乘客容易视觉确认的颜色、大小进行显示。另外，能够通过使图像移动来使车辆乘客容易觉察到该图像。另外，界面控制部174能够向车辆乘客的视线方向投影出与由自动驾驶控制部120进行的驾驶模式的变更相伴而许可车辆乘客使用的界面装置是哪个界面装置。

图19是表示由投影装置97投影的情形的一例的图。在图19(A)～图19(C)中，分别示出了从投影装置97将信息(投影图像)向上述的导航装置50、显示装置82及通信终端96投影的例子。在图19(A)的例子中，在导航装置50的前表面50A显示有从投影装置97投影的图像50E。界面控制部174可以与前表面的颜色对应而以车辆乘客P能够视觉确认的颜色使图像50E强调显示，也可以将图像50E闪烁显示、或者进行具有以规定的周期摆动等动作的显示。

另外同样，在图19(B)的例子中，在显示装置82的前表面82A显示有从投影装置97投影的图像82E。另外，在图19(C)的例子中，在通信终端96的前表面96A投影有图像96E。需要说明的是，由投影装置97投影的对象并不限定于上述的导航装置50、显示装置82及通信终端96，例如也可以向车辆乘客P正阅读的杂志、或者未就座于驾驶座用的座椅88的其他的车辆乘客(在本车辆M内会话的对象者)的脸部、身体投影。这样，在第二实施方式中，将与自动驾驶关联的信息向车辆乘客P的视线对象投影，因此车辆乘客P能够迅速地掌握与自动驾驶关联的信息。

<处理流程>

以下，说明本实施方式的车辆控制系统100进行处理的处理的流程。需要说明的是，在以下的说明中，说明车辆控制系统100的各种处理中的主要由HMI控制部170实施的与向车辆乘客的通知相关的HMI控制处理的流程。

[第一实施例]

图20是表示HMI控制处理的第一实施例的流程图。在图20的例子中，可否使用判定部172从自动驾驶控制部120取得与本车辆M的驾驶模式相关的信息(步骤S100)，判定与取得的驾驶模式对应而车辆乘客能够使用的界面装置(步骤S102)。

接着，界面控制部174基于可否使用判定部172的判定结果，判定是否存在与驾驶模式的变更相伴而许可车辆乘客使用的界面装置(步骤S104)。在存在许可使用的界面装置的情况下，界面控制部174对该许可使用的界面装置显示表示许可使用的情况的信息(步骤S106)。作为在步骤S106的处理中显示的内容，例如显示“驾驶模式已切换为自动驾驶模式，因此已能够进行操作。”等消息，但显示内容并不限定于此。

接着，界面控制部174对许可使用的界面装置显示自动驾驶中的事件或交接请求等(步骤S108)。作为在步骤S108的处理中显示的内容，例如显示“正实施车道变更事件。”、上述的“请求进行手动驾驶的准备”等消息，但显示内容并不限定于此。需要说明的是，在上述的步骤S104的处理中，也可以是，即便在不存在与驾驶模式的变更相伴而许可使用的界面装置的情况下，界面控制部174也对已经许可使用的界面装置显示自动驾驶中的事件或交接请求等。

[第二实施例]

图21是表示HMI控制处理的第二实施例的流程图。需要说明的是，图21所示的步骤S200～S204的处理与上述的步骤S100～S104同样，因此省略此处的具体的说明。

在步骤S204的处理中，取得由车室内相机95拍摄到的图像，并基于取得的图像来检测车辆乘客的视线方向(步骤S206)。接着，界面控制部174对在视线方向上且许可使用的界面装置显示表示许可使用的情况的信息(步骤S208)。接着，界面控制部174在显示对象的界面装置上显示自动驾驶中的事件或交接请求等(步骤S210)。在上述的步骤S204的处理中不存在与驾驶模式的变更相伴而许可使用的界面装置的情况下，界面控制部174也可以对已经许可使用的显示对象的界面装置显示自动驾驶中的事件或交接请求等。

接着，界面控制部174在进行步骤S210的显示处理之后，判定不存在车辆乘客的操作的状态是否为规定时间以上(步骤S212)。在不存在车辆乘客的操作的状态为规定时间以上的情况下，界面控制部174在许可使用的其他的界面装置显示事件或交接请求等(步骤S214)。由此，例如在需要基于交接请求等进行的车辆乘客的转向操作、油门操作及制动操作等中的至少一个操作的情况下，能够将该意旨的信息向车辆乘客可靠地通知。需要说明的是，不仅是显示，界面控制部174也可以进行通过声音、对车辆乘客就座的座椅的振动等来使车辆乘客觉察到通知的控制。

[第三实施例]

图22是表示HMI控制处理的第三实施例的流程图。需要说明的是，图22所示的步骤S300～S302的处理与上述的第一实施例的步骤S100～S102同样，因此省略此处的具体的说明。

在进行步骤S302的处理之后，界面控制部174判定是否为通知本车辆的驾驶状态的驾驶模式(步骤S304)。在为通知本车辆M的驾驶状态的驾驶模式的情况下，界面控制部174基于由车室内相机拍摄到的图像来检测车辆乘客的视线方向(步骤S306)，将许可使用的界面装置的信息向处于视线方向上的视线对象物投影(步骤S308)。作为在步骤S308的处理中显示的内容，例如显示“导航装置成为能够使用”等消息，但显示内容并不限定于此。

接着，界面控制部174在对象物上显示自动驾驶中的事件或交接请求等(步骤S310)。需要说明的是，在不是通知本车辆M的驾驶状态的驾驶模式的情况下，界面控制部174不进行基于投影的通知。需要说明的是，作为实施方式，也可以组合上述的各实施例的一部分或全部。

需要说明的是，上述实施方式能够以下这样表现。

一种车辆控制系统，其具备：

摄像部，其对本车辆内的空间进行拍摄；

视线检测部，其基于由所述摄像部拍摄到的图像来检测车辆乘客的视线；

投影部，其将图像向所述本车辆内的空间投影；以及

界面控制部，其从所述投影部将与想要使所述车辆乘客注视的界面装置相关的信息向由所述视线检测部检测出的所述车辆乘客的视线方向投影。

以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

产业上的可利用性

本发明能够利用于机动车制造产业。

符号说明：

20…探测器、30…雷达、40…相机、DD…检测器件、50…导航装置、55…通信装置、60…车辆传感器、70…HMI、100…车辆控制系统、110…目标车道决定部、120…自动驾驶控制部、130…自动驾驶模式控制部、140…本车位置识别部、142…外界识别部、144…行动计划生成部、146…轨道生成部、146A…行驶形态决定部、146B…轨道候补生成部、146C…评价-选择部、150…切换控制部、160…行驶控制部、170…HMI控制部、172…可否使用判定部、174…界面控制部、176…视线检测部、180…存储部、200…行驶驱动力输出装置、210…转向装置、220…制动装置、M…本车辆。

权利要求书(按照条约第19条的修改)

1.(修改后)一种车辆控制系统，其中，

所述车辆控制系统具备：

自动驾驶控制部，其自动地控制本车辆的加减速及转向中的至少一方，且以自动驾驶的程度不同的多个模式中的任一模式进行自动驾驶控制；

界面装置，其输出信息；以及

界面控制部，其根据所述自动驾驶控制部实施的自动驾驶的模式，来限制所述界面装置中的所述信息的输出，

在产生了从所述本车辆对所述本车辆的乘客应通知的信息的情况下，所述界面控制部使与所述自动驾驶的模式的变更相伴而放宽或解除了用于防止驾驶员注意力不集中的所述限制的界面装置输出应通知的所述信息。

2.根据权利要求1所述的车辆控制系统，其中，

所述界面控制部使表示与所述自动驾驶的模式的变更相伴而许可所述界面装置的使用的情况的信息输出。

3.根据权利要求1所述的车辆控制系统，其中，

在手动驾驶中或需要由所述乘客进行周边监视的自动驾驶中，所述界面控制部限制所述界面装置的使用，在不需要由所述乘客进行周边监视的自动驾驶中，所述界面控制部解除所述界面装置的使用的限制。

4.根据权利要求1所述的车辆控制系统，其中，

所述界面控制部使所述界面装置输出包括与所述自动驾驶控制部中的所述本车辆的加减速及/或车道变更相关的事件、以及对所述本车辆的乘客的交接请求中的一方或双方的信息。

5.根据权利要求1所述的车辆控制系统，其中，

所述车辆控制系统还具备：

摄像部，其对所述本车辆内的空间进行拍摄；以及

视线检测部，其基于由所述摄像部拍摄到的图像来检测所述乘客的视线方向，

所述界面控制部使处于由所述视线检测部检测出的所述乘客的视线方向上的界面装置输出信息。

6.根据权利要求5所述的车辆控制系统，其中，

所述界面控制部在使处于由所述视线检测部检测出的所述乘客的视线方向上的界面装置输出信息后的规定时间以内未接受到来自所述乘客的操作的情况下，使输出了所述信息的界面装置以外的界面装置输出所述信息。

7.根据权利要求1所述的车辆控制系统，其中，

所述界面装置包括导航装置、显示装置及通信终端中的至少一个。

8.根据权利要求1所述的车辆控制系统，其中，

所述车辆控制系统还具备：

摄像部，其对所述本车辆内的空间进行拍摄；

视线检测部，其基于由所述摄像部拍摄到的图像来检测所述乘客的视线；以及

投影部，其将图像向所述本车辆内的空间投影，

所述界面控制部从所述投影部将与所述自动驾驶控制部实施的自动驾驶的模式的变更相伴而放宽或解除了所述限制的界面装置所相关的信息向由所述视线检测部检测出的所述乘客的视线方向投影。

9.根据权利要求8所述的车辆控制系统，其中，

所述界面控制部从由所述摄像部拍摄到的图像中取得供与所述本车辆的自动驾驶相关的信息投影的对象物的信息，并基于取得的对象物来设定由所述投影部投影的图像的颜色、大小及动作中的至少一个。

10.根据权利要求8所述的车辆控制系统，其中，

所述界面控制部使与由所述自动驾驶控制部进行的驾驶模式的变更相伴而许可所述乘客进行使用的界面装置所相关的信息向所述乘客的视线方向投影。

11.(修改后)一种车辆控制方法，其中，

所述车辆控制方法使车载计算机执行如下处理：

自动地控制本车辆的加减速及转向中的至少一方，并且以自动驾驶的程度不同的多个模式中的任一模式进行自动驾驶控制；

在界面装置中输出信息；

根据实施所述自动驾驶控制的自动驾驶的模式，来限制所述界面装置中的所述信息的输出；以及

在产生了从所述本车辆对所述本车辆的乘客应通知的信息的情况下，在与所述自动驾驶的模式的变更相伴而放宽或解除了用于防止驾驶员注意力不集中的所述限制的界面装置中输出应通知的所述信息。

12.(修改后)一种车辆控制程序，其中，

所述车辆控制程序用于使车载计算机执行如下处理：

自动地控制本车辆的加减速及转向中的至少一方，并且以自动驾驶的程度不同的多个模式中的任一模式进行自动驾驶控制；

在界面装置中输出信息；

根据实施所述自动驾驶控制的自动驾驶的模式，来限制所述界面装置中的所述信息的输出；以及

在产生了从所述本车辆对所述本车辆的乘客应通知的信息的情况下，在与所述自动驾驶的模式的变更相伴而放宽或解除了用于防止驾驶员注意力不集中的所述限制的界面装置中输出应通知的所述信息。