车辆控制系统、车辆控制方法及车辆控制程序与流程

本发明涉及车辆控制系统、车辆控制方法及车辆控制程序。

背景技术：

以往，已知有一种车辆驾驶支援装置，其在驾驶员的清醒度降低的情况下，使输出部输出警告，或者向警察等持有的终端设备进行通知(例如参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2001-219760号公报

发明要解决的课题

然而，在现有技术中，作为驾驶员的清醒度降低时的处理，存在不充分的情况。

技术实现要素：

本发明是考虑这样的情况而完成的，其目的之一在于，提供一种能够使车辆的乘客的清醒程度在自动驾驶中维持为必要的等级以上的车辆控制系统、车辆控制方法及车辆控制程序。

用于解决课题的方案

技术方案1所记载的发明为车辆控制系统(1)，其具备：自动驾驶控制部(100)，其执行自动地控制车辆的速度控制或转向控制中的至少一方的自动驾驶；推定部(154)，其推定车辆的乘客的清醒程度；以及输出控制部(156)，其在由所述自动驾驶控制部执行所述自动驾驶时，在由所述推定部推定为清醒程度为基准以下的情况下，使输出部输出对车辆的乘客要求主动的行为的第一内容。

技术方案2所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，所述第一内容是与在输出所述第一内容之前输出了的第二内容相比要求更加主动的行为的内容。

技术方案3所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，在通过所述输出控制部将与所述第一内容不同的内容持续输出规定的时间的情况下，所述推定部推定为所述车辆的乘客的清醒程度为基准以下。

技术方案4所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，在通过所述输出控制部将对车辆的乘客要求主动的行为的程度比所述第一内容低的第三内容输出时，所述推定部推定车辆的乘客的清醒程度是否为基准以下。

技术方案5所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，所述车辆控制系统还具备反应检测部(152)，该反应检测部检测车辆的乘客对内容的反应，在由所述反应检测部检测到对所述第一内容的反应的情况下，所述推定部推定为所述车辆的乘客的清醒程度不为基准以下。

技术方案6所记载的发明在技术方案5所记载的车辆控制系统的基础上，其中，在通过所述车辆的乘客对内容作出了反应而由所述推定部推定为所述车辆的乘客的清醒程度不为基准以下的情况下，所述输出控制部使所述输出部输出在所述输出部输出所述第一内容之前输出了的内容。

技术方案7所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，所述车辆控制系统还具备对车辆的乘客的状态进行检测的状态检测部，所述推定部基于所述状态检测部的检测结果，来推定清醒程度的降低。

技术方案8所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，所述输出控制部基于由所述推定部推定出的车辆的乘客的清醒程度，从对车辆的多个乘客要求主动的行为的内容中选择与所述清醒程度对应的内容，并使所述输出部输出该内容。

技术方案9所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，所述输出控制部根据车辆的乘客的构成来选择所述第一内容，并使所述输出部输出所述第一内容。

技术方案10所记载的发明在技术方案1所记载的车辆控制系统的基础上，其中，所述车辆控制系统还具备接受车辆的乘客的输入操作的输入部，从多个内容中，根据对所述输入部的输入操作来设定所述第一内容。

技术方案11所记载的发明为车辆控制方法，其使车载计算机进行如下处理：在由自动驾驶控制部执行自动驾驶时，推定车辆的乘客的清醒程度，所述自动驾驶控制部执行自动地控制所述车辆的速度控制或转向控制中的至少一方的所述自动驾驶；以及在推定为清醒程度为基准以下的情况下，在输出部输出对车辆的乘客要求主动的行为的第一内容。

技术方案12所记载的发明为车辆控制程序，其使车载计算机进行如下处理：在由自动驾驶控制部执行自动驾驶时，推定车辆的乘客的清醒程度，所述自动驾驶控制部执行自动地控制所述车辆的速度控制或转向控制中的至少一方的所述自动驾驶；以及在推定为清醒程度为基准以下的情况下，使输出部输出对车辆的乘客要求主动的行为的第一内容。

发明效果

根据技术方案1至5、7、11或12所记载的发明，在执行自动驾驶时，推定车辆的乘客的清醒程度，在推定为清醒程度为基准以下的情况下，使输出部输出对车辆的乘客要求主动的行为的第一内容，由此能够使车辆的乘客的清醒程度在自动驾驶中维持为必要的等级以上。

根据技术方案6所记载的发明，输出控制部在存在对内容的反应的情况下，使输出部输出在输出部输出第一内容之前输出了的内容，由此即便车辆的乘客不进行复杂的操作，也输出在输出第一内容之前输出了的内容。其结果是，对车辆的乘客来说便利性提高。

根据技术方案8或9所记载的发明，输出控制部即便在存在多个车辆的乘客的情况下，也能够使输出部输出要求多个乘客能够参加的主动的行为的内容，因此对车辆的乘客来说的便利性提高。

根据技术方案10所记载的发明，从多个内容中，根据对输入部的输入操作来设定第一内容，因此车辆的乘客能够设定喜欢的内容。

附图说明

图1是包含自动驾驶控制单元100的车辆系统1的结构图。

图2是表示由本车位置识别部122识别出本车辆m相对于行驶车道l1的相对位置及姿态的情形的图。

图3是表示基于推荐车道来生成目标轨道的情形的图。

图4是表示内容表162的一例的图。

图5是表示由第三控制部150执行的处理的流程的流程图。

图6是用于对图5的处理中的内容的切换进行说明的图。

图7是表示在设定主动内容的情况下显示的图像im4的一例的图。

图8是表示由第二实施方式的第三控制部150执行的处理的流程的流程图。

图9是第二实施方式的自动驾驶控制单元100a的功能结构图。

图10是以内容表162a为中心而示出的图。

图11是表示由第三实施方式的第三控制部150执行的处理的流程的流程图。

具体实施方式

<第一实施方式>

以下，参照附图对本发明的车辆控制系统、车辆控制方法及车辆控制程序的实施方式进行说明。

图1是包含自动驾驶控制单元100的车辆系统1的结构图。搭载有车辆系统1的车辆例如为二轮、三轮、四轮等的车辆，其驱动源为柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。

车辆系统1例如具备相机10、雷达装置12、探测器14、物体识别装置16、通信装置20、hmi(humanmachineinterface)30、生物体传感器40、导航装置50、mpu(micro-processingunit)60、车辆传感器70、驾驶操作件80、车室内相机90、自动驾驶控制单元100、行驶驱动力输出装置200、制动装置210以及转向装置220。这些装置、设备通过can(controllerareanetwork)通信线等多路通信线、串行通信线、无线通信网等而相互连接。需要说明的是，图1所示的结构只不过是一例，可以省略结构的一部分，也可以进一步追加其他的结构。

相机10例如是利用了ccd(chargecoupleddevice)、cmos(complementarymetaloxidesemiconductor)等固体摄像元件的数码相机。相机10在搭载有车辆系统1的车辆(以下称为本车辆m)的任意部位安装有一个或多个。在拍摄前方的情况下，相机10安装于前风窗玻璃上部、车室内后视镜背面等。相机10例如周期性地反复拍摄本车辆m的周边。相机10也可以是立体摄影机。

雷达装置12向本车辆m的周边放射毫米波等电波，并且检测由物体反射后的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在本车辆m的任意部位安装有一个或多个。雷达装置12也可以通过fm-cw(frequencymodulatedcontinuouswave)方式来检测物体的位置及速度。

探测器14是测定相对于照射光的散射光来检测直至对象为止的距离的lidar(lightdetectionandranging或laserimagingdetectionandranging)。探测器14在本车辆m的任意部位安装有一个或多个。

物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理，来识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制单元100输出。

通信装置20例如利用蜂窝网、wi-fi网、bluetooth(注册商标)、dsrc(dedicatedshortrangecommunication)等与存在于本车辆m的周边的其他车辆进行通信，或者经由无线基地站与各种服务器装置进行通信。

hmi30向本车辆m的乘客提示各种信息，并且接受由乘客进行的输入操作。hmi30包含各种显示装置、扬声器、蜂鸣器、开关、按键、话筒等。另外，hmi30将显示部与输入部一体形成，包含设置于仪表板的触摸面板、使前窗反射图像而在车辆的乘客的视野内显示图像的平视显示器。

生物体传感器40设置于车辆的乘客的座位、转向盘等与车辆的乘客的身体的一部分接触的部位。生物体传感器40例如检测心率、体温、脉搏等。

导航装置50例如具备gnss(globalnavigationsatellitesystem)接收机51、导航hmi52及路径决定部53，并将第一地图信息54保持于hdd(harddiskdrive)、闪存器等存储装置。gnss接收机基于从gnss卫星接收到的信号，来确定本车辆m的位置。本车辆m的位置也可以通过利用了车辆传感器70的输出的ins(inertialnavigationsystem)来确定或补充。导航hmi52包括显示装置、扬声器、触摸面板、按键等。导航hmi52可以与前述的hmi30一部分或全部共用化。路径决定部53例如参照第一地图信息54来决定从由gnss接收机51确定出的本车辆m的位置(或者输入的任意的位置)到由乘客使用导航hmi52输入的目的地为止的路径。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现道路形状的信息。第一地图信息54也可以包含道路的曲率、poi(pointofinterest)信息等。由路径决定部53决定出的路径向mpu60输出。另外，导航装置50也可以基于由路径决定部53决定出的路径来进行使用了导航hmi52的路径引导。需要说明的是，导航装置50例如可以通过乘客所持有的智能手机、平板终端等终端装置的功能来实现。另外，导航装置50还可以经由通信装置20向导航服务器发送当前位置和目的地，并取得从导航服务器回复的路径。

mpu60例如作为推荐车道决定部61发挥功能，并将第二地图信息62保持于hdd、闪存器等存储装置。推荐车道决定部61将从导航装置50提供的路径分割为多个区段(例如，在车辆行进方向上按100[m]进行分割)，并参照第二地图信息62按区段来决定目标车道。推荐车道决定部61进行在从左侧起的第几个车道上行驶这样的决定。推荐车道决定部61在路径中存在分支部位、汇合部位等的情况下，决定推荐车道，以使本车辆m能够在用于向分支目的地行进的合理的路径上行驶。

第二地图信息62是比第一地图信息54高精度的地图信息。第二地图信息62例如包含车道的中央的信息或车道的边界的信息等。另外，第二地图信息62中还可以包含道路信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。道路信息中包含高速道路、收费道路、国道、都道府县道这样的表示道路的类别的信息、道路的车道数、各车道的宽度、道路的坡度、道路的位置(包含经度、纬度、高度的三维坐标)、车道的弯道的曲率、车道的汇合及分支点的位置、设置于道路的标识等信息。第二地图信息62可以通过使用通信装置20访问其他装置而随时被更新。

车辆传感器70包含检测本车辆m的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆m的朝向的方位传感器等。

驾驶操作件80例如包括油门踏板、制动踏板、变速杆、转向盘等操作件。在驾驶操作件80上安装有对操作量或操作的有无进行检测的传感器，其检测结果向自动驾驶控制单元100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一方或双方输出。

车室内相机90以就座于驾驶员座的乘客的面部为中心来拍摄上半身。车室内相机90的拍摄图像向自动驾驶控制单元100输出。

自动驾驶控制单元100例如具备第一控制部120、第二控制部140、第三控制部150以及内容存储部160。第一控制部120、第二控制部140以及第三控制部150分别通过cpu(centralprocessingunit)等处理器执行程序(软件)来实现。另外，各功能部中的一部分或全部也可以通过lsi(largescaleintegration)、asic(applicationspecificintegratedcircuit)、fpga(field-programmablegatearray)等硬件来实现，还可以通过软件与硬件的协同配合来实现。

第一控制部120例如具备外界识别部121、本车位置识别部122及行动计划生成部123。

外界识别部121基于从相机10、雷达装置12及探测器14经由物体识别装置16输入的信息，来识别周边车辆的位置及速度、加速度等的状态。周边车辆的位置可以由该周边车辆的重心、角部等代表点来表示，也可以由通过周边车辆的轮廓表现出的区域来表示。周边车辆的“状态”可以包括周边车辆的加速度、加加速度、或者“行动状态”(例如是否正进行车道变更或者是否要进行车道变更)。另外，外界识别部121除了识别周边车辆之外，还可以识别护栏、电线杆、停车车辆、行人、其他物体的位置。

本车位置识别部122例如识别本车辆m行驶的车道(行驶车道)、以及本车辆m相对于行驶车道的相对位置及姿态。本车位置识别部122例如将从第二地图信息62得到的道路划分线的图案(例如实线与虚线的排列)与从由相机10拍摄到的图像中识别出的本车辆m的周边的道路划分线的图案进行比较，来识别行驶车道。在该识别中，也可以将从导航装置50取得的本车辆m的位置、由ins处理的处理结果考虑在内。

并且，本车位置识别部122例如识别本车辆m相对于行驶车道的位置、姿态。图2是表示由本车位置识别部122识别出本车辆m相对于行驶车道l1的相对位置及姿态的情形的图。本车位置识别部122例如识别本车辆m的基准点(例如重心)从行驶车道中央cl的偏离os、以及本车辆m的行进方向相对于将行驶车道中央cl相连的线所成的角度θ，来作为本车辆m相对于行驶车道l1的相对位置及姿态。需要说明的是，也可以取代于此，本车位置识别部122识别本车辆m的基准点相对于本车道l1的任一侧端部的位置等，来作为本车辆m相对于行驶车道的相对位置。由本车位置识别部122识别出的本车辆m的相对位置向推荐车道决定部61及行动计划生成部123提供。

行动计划生成部123决定在自动驾驶中顺次执行的事件，以便能够在由推荐车道决定部61决定出的推荐车道上行驶，且应对本车辆m的周边状况。事件中例如包括以恒定速度在相同的行驶车道上行驶的定速行驶事件、追随于前行车辆的追随行驶事件、车道变更事件、汇合事件、分支事件、紧急停止事件、用于结束自动驾驶而切换为手动驾驶的交接事件等。另外，在这些事件的执行中，也存在基于本车辆m的周边状况(周边车辆、行人的存在、道路施工引起的车道狭窄等)来计划用于回避的行动的情况。

行动计划生成部123生成本车辆m将来行驶的目标轨道。目标轨道例如包含速度要素。例如，每隔规定的采样时间(例如零点几[sec]左右)设定多个将来的基准时刻，并作为在这些基准时刻应到达的目标地点(轨道点)的集合来生成目标轨道。因此，在轨道点彼此的间隔宽的情况下，表示在该轨道点之间的区间高速地行驶。

图3是表示基于推荐车道来生成目标轨道的情形的图。如图所示，推荐车道设定为适合于沿着直至目的地的路径行驶。当来到推荐车道的切换地点的规定距离的近前(可以根据事件的种类来决定)时，行动计划生成部123起动车道变更事件、分支事件、汇合事件等。在各事件的执行中，在需要回避障碍物的情况下，如图所示那样生成回避轨道。

行动计划生成部123例如生成多个目标轨道的候补，并基于安全性和效率性的观点来选择该时间点下的最佳的目标轨道。

第二控制部140具备行驶控制部141。行驶控制部141控制行驶驱动力输出装置200、制动装置210及转向装置220，以使本车辆m按照预定的时刻通过由行动计划生成部123生成的目标轨道。

第三控制部150具备状态检测部152、推定部154以及输出控制部156。“车辆控制系统”包含行动计划生成部123、行驶控制部141以及第三控制部150。

状态检测部152取得表示车辆的乘客(司机)的状态的信息。状态检测部152是“反应检测部”的一例。表示车辆的乘客的状态的信息例如是指由生物体传感器40取得到的信息、或者由车室内相机90拍摄到的图像。

推定部154基于由状态检测部152取得到的信息来推定车辆的乘客的清醒度。清醒度在执行自动驾驶时作为表示车辆的乘客能够监视周边的程度的信息而使用。若清醒度为超过基准的状态，则认为车辆的乘客能够充分地监视周边，若清醒度为基准以下的状态，则认为车辆的乘客无法充分地监视周边。具体而言，清醒度为基准以下的状态是指，车辆的乘客进入浅睡眠的状态、车辆的乘客似乎进入浅睡眠的状态、意识等级降低的状态。与此相对，意识等级未降低的状态是清醒度比基准高的状态。

另外，推定部154在非主动内容(后述)持续输出规定的时间的情况下，也可以推定为车辆的乘客的清醒程度降低到基准以下。这是因为，在非主动内容持续输出规定的时间的情况下，存在车辆的乘客未进行主动的行为的情况。

推定部154例如基于由车室内相机90反复拍摄到的时间序列的图像，来导出车辆的乘客的清醒度。例如，推定部154基于从图像提取出的车辆的乘客的特征点，来检测眼或嘴的轮廓、面部的朝向等，并基于检测到的轮廓的运动、面部的朝向来导出清醒度。例如，推定部154在满足以下的条件中的一个或多个条件的情况下，推定为车辆的乘客的清醒度为基准以下。上述的条件是指(1)每单位时间的眼的轮廓的运动的次数为规定次数以下、(2)使眼的轮廓(例如眼皮)闭合了规定时间以上的状态(闭合着的状态)连续规定次数以上、(3)面部的朝向朝下方倾斜了规定时间以上的状态连续规定次数以上等。另外，推定部154也可以基于由生物体传感器40检测到的信息，来推定车辆的乘客的清醒度。

输出控制部156在由自动驾驶控制单元100执行自动驾驶时，在由推定部154推定为清醒程度为基准以下的情况下，使hmi30输出对车辆的乘客要求主动的行为的内容。关于输出控制部156的处理的详情，在后文叙述。

在内容存储部160中保存有内容表162。内容表162是设定有由hmi30输出的内容的条目的表。图4是表示内容表162的一例的图。例如，由hmi30输出的内容被分类为不要求主动的行为的内容(以下称为“非主动内容”。)和要求主动的行为的内容(以下称为“主动内容”。)。主动的行为是指要求车辆的乘客根据内容而作出某种反应的内容。内容表162示出按照内容的种类而分类为上述内容的哪一种。另外，在内容表162中规定了主动的行为的要求等级。要求等级越高，与要求等级低的情况相比越要求主动的行为。在内容表162中，关于非主动内容，将主动的行为的要求等级设定为“零”。非主动内容例如是显示于显示部的图像、由扬声器输出的声音等。在非主动内容为显示于显示部的图像的情况下，内容的条目为电视、电影、dvd。在非主动内容为由扬声器输出的声音的情况下，内容的条目为广播、cd等。

主动内容在内容表162中规定的要求等级越高，越要求更加主动的行为。主动内容例如是针对显示于显示部的图像、由扬声器输出的声音而需要由车辆的乘客作出某种反应的内容。在主动内容为显示于显示部的图像的情况下，对应于要求等级1的内容的条目例如是要求对触摸面板的显示部的画面进行操作的内容，对应于要求等级2的内容的条目是与对应于要求等级1的对画面进行操作的要求相比要求更为复杂的操作的内容。另外，对应于要求等级3的内容的条目是与对应于要求等级2的内容相比更加需要车辆的乘客主动地进行行为的内容，例如是猜谜、卡拉ok、会话(与计算机的模拟会话)、游戏、电话等。电话是指hmi30与规定的电话自动地连接，使车辆的乘客与持有该电话的对象(可以是人、也可以是自动响应装置)进行通话。

另外，车辆的乘客通过操作hmi30的操作部，能够任意地设定在清醒程度为基准以下的情况下由hmi30输出的主动内容的条目。另外，在内容表162中，也可以通过车辆的乘客的操作来追加或删除设定的主动内容(或非主动内容)。在该情况下，可以经由通信装置20取得主动内容并将其保存于内容存储部160，也可以由车辆的乘客从与自动驾驶控制单元100连接的存储介质取得主动内容并将其保存于内容存储部160。

行驶驱动力输出装置200将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合、以及对它们进行控制的ecu。ecu按照从行驶控制部141输入的信息、或者从驾驶操作件80输入的信息来控制上述的结构。

制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ecu。制动ecu按照从行驶控制部141输入的信息、或者从驾驶操作件80输入的信息来控制电动马达，并将与制动操作相应的制动转矩向各车轮输出。制动装置210也可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构来作为备用。需要说明的是，制动装置210不限于上述说明的结构，也可以是按照从行驶控制部141输入的信息来控制致动器，从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。

转向装置220例如具备转向ecu和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ecu按照从行驶控制部141输入的信息、或者从驾驶操作件80输入的信息来驱动电动马达，使转向轮的朝向变更。

图5是表示由第三控制部150执行的处理的流程的流程图。需要说明的是，本流程图的处理例如在执行自动驾驶的情况下被执行。

首先，状态检测部152取得由车室内相机90反复拍摄到的时间序列的拍摄图像来作为表示车辆的乘客的状态的信息(步骤s100)。接着，推定部154基于在步骤s100中取得到的图像来推定清醒程度(步骤s102)，并判定清醒程度是否为基准以下(步骤s104)。在清醒程度不为基准以下的情况下，车辆的乘客为能够监视周边的状态，因此，本流程图的一个例程的处理结束。

在清醒程度为基准以下的情况下，输出控制部156使hmi30的显示部将主动内容(等级1)输出规定时间的期间(步骤s106)。需要说明的是，括弧内的记载表示主动内容的要求等级。接着，输出控制部156委托推定部154推定车辆的乘客的清醒程度，并判定清醒程度是否为基准以下(步骤s108)。此时，推定部154也可以利用存在对主动内容的反应的情况而判定为清醒程度不为基准以下。与主动内容对应的反应例如是指车辆的乘客对主动内容的要求作出了反应，例如进行了规定的动作、规定的操作。规定的动作是预先设定的动作即可，例如是车辆的乘客的手势、眨眼等使身体的一部分运动的动作。规定的操作可以是对hmi30的输入操作，也可以是车辆的乘客向话筒输入声音的操作。

在清醒程度不为基准以下的情况下，输出控制部156在具有在步骤s106的处理前输出了的内容的情况下，使显示部输出该内容(步骤s110)。在未输出内容的情况下，停止主动内容的输出。

在清醒程度为基准以下的情况下，输出控制部156使显示部将主动内容(等级2)输出规定时间的期间(步骤s112)。接着，推定部154判定清醒程度是否为基准以下(步骤s114)。在清醒程度不为基准以下的情况下，进入步骤s110的处理。需要说明的是，在清醒程度不为基准以下的情况下，也可以返回到步骤s106的处理。

在清醒程度为基准以下的情况下，输出控制部156执行规定的处理(步骤s116)。规定的处理是指，用于叫起乘客的处理、使本车辆m在安全的场所停车的处理、对周边的车辆通知表示车辆的乘客的清醒程度低的情况的信息的处理等。用于叫起乘客的处理例如是指使驾驶员座的座位振动或者使扬声器输出警报的处理。由此，本流程图的一个例程的处理结束。

需要说明的是，在上述的流程图的处理中，说明了在将主动内容(等级1)输出了规定时间的期间之后清醒程度为基准以下时输出主动内容(等级2)的情况，但可以任意地设定输出的主动内容。输出控制部156例如可以在步骤s106中使主动内容(等级1)输出，在步骤s112中使主动内容(等级3)输出，也可以在步骤s106中使主动内容(等级2)输出，在步骤s112中使主动内容(等级3)输出。

另外，输出控制部156也可以在步骤s114的处理中判定为清醒程度为基准以下之后且在步骤s116的处理之前，使主动内容(等级3)输出规定时间的期间。而且，输出控制部156也可以在将主动内容(等级3)输出了规定时间的期间之后判定为清醒程度为基准以下的情况下，执行规定的处理。

通过上述的处理，输出控制部156在车辆的乘客的清醒程度为基准以下的情况下，使对车辆的乘客要求主动的行为的主动内容输出，因此能够将车辆的乘客的清醒度在自动驾驶中维持为必要的等级以上。

图6是用于对图5的处理中的内容的切换进行说明的图。例如，在非主动内容的图像im1显示于显示部的状态下车辆的乘客的清醒程度成为基准以下时，在显示部显示主动内容(等级1)的图像im2。在图示的例子中，主动内容(等级1)是对车辆的乘客要求对图像im2的黑圆圈进行触摸操作的内容。在车辆的乘客对要求进行响应(对要求作出反应)而使清醒程度超过基准的情况下，将显示于显示部的图像从图像im2切换成图像im1。与此相对，在车辆的乘客例如未对要求进行响应而清醒程度为基准以下的情况下，将显示于显示部的图像从图像im2切换成图像im3。

图像im3是与主动内容(等级2)对应的图像，是要求操作显示于显示部的数字输入按钮而输入图像im3所显示的数字(例如“563”)的内容。在车辆的乘客对要求进行响应而使清醒程度不为基准以下的情况下，显示于显示部的图像从图像im3返回到图像im1(或图像im2)。与此相对，在车辆的乘客未对要求进行响应而清醒程度为基准以下的情况下，例如，将与主动内容(等级3)对应的图像显示于显示部，或者自动驾驶控制单元100使本车辆m在安全的场所停车。

图7是表示在设定主动内容的情况下显示的图像im4的一例的图。例如，在内容表162中设定有作为主动内容的游戏a至游戏c。游戏a至游戏c分别是要求等级1至要求等级3。例如，当车辆的乘客执行规定的操作时，将用于设定主动内容的图像im4显示于显示部。该图像im4包含用于选择游戏a至游戏c的选择按钮b1至b3、以及用于决定为选择出的主动内容的决定按钮b4。当对选择按钮b1至b3中的任一选择按钮进行输入操作且由车辆的乘客对决定按钮b4进行输入操作后，在车辆的乘客的清醒程度降低到基准以下的情况下，在显示部上显示由车辆的乘客决定出的主动内容。这样，车辆的乘客能够按照喜好来选择主动内容。

根据以上说明的第一实施方式，输出控制部156在由自动驾驶控制单元100执行自动驾驶时，在由推定部154推定为清醒程度为基准以下的情况下，由hmi30输出对车辆的乘客要求主动的行为的第一内容，由此能够使车辆的乘客的清醒度在自动驾驶中维持为必要的等级以上。

<第二实施方式>

以下，对第二实施方式进行说明。在第一实施方式中，说明了无论是否输出了内容，在清醒程度成为基准值以下时都输出主动内容的情况。与此相对，在第二实施方式中，推定部154在输出了内容时，在清醒程度成为基准值以下的情况下输出主动内容，在未输出内容时，不进行清醒程度是否为基准以下的判定。这里，以与第一实施方式的不同点为中心进行说明，关于与第一实施方式共用的功能等的说明省略。

第二实施方式的推定部154在通过输出控制部156将对车辆的乘客要求主动的行为的程度比主动内容低的内容输出时，基于车辆的乘客的状态，来推定车辆的乘客的清醒程度是否为基准以下。

图8是表示由第二实施方式的第三控制部150执行的处理的流程的流程图。首先，推定部154判定是否通过输出控制部156将对车辆的乘客要求主动的行为的程度比主动内容低的内容输出(步骤s200)。在未输出要求主动的行为的程度低的内容的情况下，本流程图的处理结束，在输出了要求主动的行为的程度低的内容的情况下，进入步骤s202的处理。本流程图的步骤s202至步骤s218的处理分别与图5的流程图的步骤s100至步骤s116的处理相同，因此省略说明。

根据以上说明的第二实施方式，能够以与车辆的乘客在车内的度过方式相适合的方式，使车辆的乘客的清醒程度在自动驾驶中维持为必要的等级以上。这是因为，例如当车辆的乘客使对车辆的乘客要求主动的行为的程度比主动内容低的内容输出时，在车辆的乘客的清醒程度为基准以下的情况下，代替输出的内容而输出主动的内容。

<第三实施方式>

以下，对第三实施方式进行说明。在第一实施方式中，在由hmi30输出主动的内容时，未考虑车辆的乘客的构成(数量、属性)。与此相对，在第三实施方式中，在由hmi30输出主动的内容时，选择地输出考虑了车辆的乘客的构成(数量、属性)的主动的内容。这里，以与第一实施方式的不同点为中心进行说明，关于与第一实施方式共用的功能等的说明省略。

图9是第三实施方式的自动驾驶控制单元100a的功能结构图。车辆控制系统1除了具备第一实施方式的功能结构之外，还具备同乘者用车室内相机92。同乘者用车室内相机92例如以就座于驾驶员座以外的座位的乘客(同乘者)的面部为中心来拍摄上半身。同乘者用车室内相机92的拍摄图像向自动驾驶控制单元100a输出。

另外，自动驾驶控制单元100a的第三控制部150a除了具备状态检测部152、推定部154及输出控制部156之外，还具备乘客构成推定部158、内容存储部160a及乘客信息存储部164。推定部154基于由车室内相机90拍摄到的图像，来推定车辆的司机的清醒程度。另外，推定部154基于由同乘者用车室内相机92拍摄到的图像，来推定车辆的司机以外的其他乘客的清醒程度。

乘客信息存储部164中存储有车辆的乘客的面部图像、性别、年龄等事先由车辆的乘客登记的信息。另外，在乘客信息存储部164中，按照人的属性(年龄、性别等)存储有人的面部的特征量。乘客构成推定部158基于存储于乘客信息存储部164的特征量和从由车室内相机90及同乘者用车室内相机92拍摄到的图像提取出的特征量，来推定车辆的乘客的属性，并且推定车辆的乘客的数量。需要说明的是，乘客构成推定部158也可以不将推定为清醒程度低的车辆的乘客作为在输出内容时使用的车辆的乘客的数量来计数。即，乘客构成推定部158将车辆的司机和清醒程度超过基准的车辆的乘客的数量作为在输出内容时使用的车辆的乘客的数量。由此，不用强行地叫起处于睡眠的(或似乎要睡眠的)车辆的乘客。

另外，在内容存储部160a中保存有内容表162a至162n(“n”是任意的自然数。)。内容表162a至162n是相对于车辆的乘客的数量与属性的组合而设定了由hmi30输出的主动内容的条目的表。该主动内容是一个或多个乘客能够参加的内容。图10是以内容表162a为中心而示出的图。在图示的例子中，是针对车辆的乘客为大人四名且全部为男性的组合而设定的内容的条目。例如，在内容表162a中，作为主动内容(等级1)而设定有“连珠游戏”，作为主动内容(等级2)而设定有“扑克牌”，作为主动内容(等级3)而设定有游戏(例如麻将)。

图11是表示由第三实施方式的第三控制部150a执行的处理的流程的流程图。首先，状态检测部152取得由车室内相机90、同乘者用车室内相机92反复拍摄到的时间序列的拍摄图像，来作为表示车辆的乘客的状态的信息(步骤s300)。接着，推定部154基于在步骤s300中取得到的图像来推定清醒程度(步骤s302)，并判定清醒程度是否为基准以下(步骤s304)。在清醒程度不为基准以下的情况下，本流程图的一个例程的处理结束。

在清醒程度为基准以下的情况下，乘客构成推定部158基于由车室内相机90及同乘者用车室内相机92拍摄到的图像，来推定车辆的乘客的数量及属性(步骤s306)。接着，输出控制部156参照存储于内容存储部160a的内容表，使hmi30的显示部将与由乘客构成推定部158推定出的车辆的乘客数量及属性对应的主动内容(等级1)输出规定时间的期间(步骤s308)。例如，在车辆的乘客为四人且输出控制部156选择了四人参加的内容的情况下，可以使车辆的乘客所持的便携终端的显示部输出选择的内容。例如，便携终端与通信装置20使用bluetooth等近距离无线通信而相互通信。由此，四人能够共享内容且对与内容相对的要求作出反应。

接着，推定部154判定车辆的司机的清醒程度是否为基准以下(步骤s310)。在清醒程度不为基准以下的情况下，输出控制部156在具有在步骤s308的处理前输出了的内容的情况下，使显示部输出该内容(步骤s312)。

在清醒程度为基准以下的情况下，乘客构成推定部158基于由车室内相机90及同乘者用车室内相机92拍摄到的图像，来推定车辆的乘客的数量及属性(步骤s314)。需要说明的是，在车辆的司机以外的乘客的清醒程度降低到基准以下的情况下，将清醒程度降低到基准以下的乘客从在选择内容时使用的车辆的乘客的数量中去除，因此在步骤s306和后述的步骤s314中推定出的车辆的乘客的数量有时发生变化。

接着，输出控制部156参照存储于内容存储部160a的内容表，使hmi30的显示部将与由乘客构成推定部158推定出的车辆的乘客数量及属性对应的主动内容(等级2)输出规定时间的期间(步骤s316)。

接着，推定部154判定清醒程度是否为基准以下(步骤s318)。在清醒程度不为基准以下的情况下，进入步骤s312的处理。在清醒程度为基准以下的情况下，输出控制部156执行规定的处理(步骤s320)。另外，作为规定的处理，也可以由hmi30输出促使司机的换班的信息。由此，本流程图的一个例程的处理结束。

根据以上说明的第三实施方式，输出控制部156根据由乘客构成推定部158推定出的车辆的乘客的构成，来选择由hmi30输出的主动内容，并使选择出的主动内容输出，由此能够提高对于车辆的乘客来说的便利性。

以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

符号说明：

1··车辆系统，100··自动驾驶控制单元，120··第一控制部，121··外界识别部，122··本车位置识别部，123··行动计划生成部，140…第二控制部，141··行驶控制部，150··第三控制部，152··状态检测部，154··推定部，156··输出控制部，158··乘客构成推定部，160、160a…内容存储部，162、162a…内容表。