本发明涉及车辆控制系统、车辆控制方法及存储车辆控制程序的介质。
背景技术：
以往，公开了一种基于来自乘员的音声输入、操作输入及道路信息来推定乘员意图发出的指令，并基于推定出的结果来进行车辆控制的技术(例如参照日本国特开2003-186492号公报)。
技术实现要素：
但是，在以往的技术中，没有考虑与自动驾驶中的车辆状态相应的操作的受理方法。
本发明的方案的目的之一在于提供一种能够实现与自动驾驶中的车辆状况相应的操作的受理方法的车辆控制系统、车辆控制方法及存储车辆控制程序的介质。
(1)本发明的一个方案的车辆控制系统具有：自动驾驶控制部，其执行自动地控制车辆的加减速和转向中的至少一方的自动驾驶；驾驶操作件，其受理乘员对上述车辆的加减速及转向的操作；操作件状态变更部，其在执行基于上述自动驾驶控制部进行的自动驾驶的情况下，将上述驾驶操作件设为无法操作；和代替操作受理部，其在通过上述操作件状态变更部将上述驾驶操作件设为无法操作的情况下，受理与由上述乘员对上述驾驶操作件的操作不同的操作，上述自动驾驶控制部基于由上述代替操作受理部受理的操作来控制上述车辆的加减速和转向中的至少一方。
(2)在上述车辆控制系统中也可以是，上述代替操作受理部具有将上述乘员的动作识别为姿态的姿态识别部，受理基于由上述姿态识别部识别的上述乘员的动作实现的操作。
(3)在上述车辆控制系统中也可以是，上述自动驾驶控制部基于由上述代替操作受理部识别出的上述乘员的身体的规定部位的动作来变更上述车辆的前进道路。
(4)在上述车辆控制系统中也可以是，上述代替操作受理部还具有识别来自上述乘员的音声的音声识别部，受理基于由上述音声识别部识别的音声的内容实现的操作。
(5)在上述车辆控制系统中也可以是，上述代替操作受理部在由上述音声识别部获取到的音声的音量为阈值以上的情况下，受理基于上述音声的内容实现的操作。
(6)在上述车辆控制系统中也可以是，上述代替操作受理部还具有开关部，在对上述开关部进行操作的期间、或在从对上述开关部进行操作到经过了规定时间为止的期间，受理与由上述乘员对上述驾驶操作件的操作不同的操作。
(7)在上述车辆控制系统中也可以是，上述代替操作受理部还具有检测相对于上述车辆的底板面的压力的踏入检测传感器，上述自动驾驶控制部在通过上述操作件状态变更部将上述驾驶操作件设为无法操作的情况下、且在由上述踏入检测传感器检测到压力的情况下，进行针对上述车辆的加减速的控制。
(8)上述车辆控制系统也可以是，还具有识别上述车辆的周边状况来进行上述车辆与外界物体发生碰撞的危险判定的周边状况识别部，上述自动驾驶控制部使通过上述操作件状态变更部将上述驾驶操作件设为无法操作的情况下的基于上述周边状况识别部进行的上述危险判定的程度比上述驾驶操作件为能够操作的情况下的危险判定的程度高。
(9)本发明的一个其他方案是一种车辆控制方法，包含：车载计算机执行自动地控制车辆的加减速和转向中的至少一方的自动驾驶；在执行上述自动驾驶的情况下，将受理乘员针对上述车辆的加减速及转向的操作的驾驶操作件设为无法操作；在上述驾驶操作件为无法操作的情况下，受理与由上述乘员对上述驾驶操作件的操作不同的操作；和基于所受理的与对上述驾驶操作件的操作不同的操作来控制上述车辆的加减速和转向中的至少一方。
(10)本发明的另一其他方案是一种存储车辆控制程序的介质，该车辆控制程序使车载计算机执行自动地控制车辆的加减速和转向中的至少一方的自动驾驶；在执行上述自动驾驶的情况下，将受理乘员对上述车辆的加减速及转向的操作的驾驶操作件设为无法操作；在上述驾驶操作件为无法操作的情况下，受理与由上述乘员对上述驾驶操作件的操作不同的操作；基于所受理的与对上述驾驶操作件的操作不同的操作来控制上述车辆的加减速和转向中的至少一方。
根据上述(1)、(9)及(10)的结构，能够实现与自动驾驶中的车辆状况相应的操作的受理方法。
根据上述(2)及(3)的结构，即使在驾驶操作件为无法操作的情况下，通过对拍摄图像的解析来识别乘员的动作，由此也能够受理乘员的操作。
根据上述(4)及(5)的结构，即使在驾驶操作件为无法操作的情况下，通过对音声的解析来识别乘员的音声内容，由此也能够受理乘员的操作。
根据上述(6)的结构，在存在对开关部的操作的情况下受理与由乘员对驾驶操作件的操作不同的操作，由此能够抑制对乘员的指示的误判定。
根据上述(7)的结构，在驾驶操作件为无法操作的情况下，也能够基于踏入检测传感器的检测结果来受理乘员的操作。
根据上述(8)的结构，在驾驶操作件为无法操作的情况下，通过提高碰撞的危险判定的程度，而能够进行更安全的车辆控制。
附图说明
图1是第1实施方式的车辆控制系统的结构图。
图2是表示通过本车位置识别部来识别车辆相对于行驶车道的相对位置及姿势的状况的图。
图3是表示基于推荐车道来生成目标轨道的状况的图。
图4是用于说明通过操作件状态变更部将驾驶操作件收纳于收纳区域的状况的图。
图5是用于说明指示判定表的内容的图。
图6是用于说明检测乘员的动作的图。
图7是用于说明改变车辆行驶的目标轨道的状况的图。
图8是用于说明第1实施方式中的自动驾驶控制处理的流程的流程图。
图9是第2实施方式的车辆控制系统的结构图。
图10是用于说明在乘员对开关部进行了操作的状态下通过音声进行对自动驾驶的指示的图。
图11是用于说明第2实施方式中的自动驾驶控制处理的流程的流程图。
图12是第3实施方式的车辆控制系统的结构图。
图13是表示踏入检测传感器的设置例的图。
图14是用于说明第3实施方式中的自动驾驶控制处理的流程的流程图。
具体实施方式
以下参照附图来说明本发明的车辆控制系统、车辆控制方法及存储车辆控制程序的介质的实施方式。在实施方式中，车辆控制系统适用于自动驾驶车辆。
[第1实施方式]
[整体结构]
图1是第1实施方式的车辆控制系统1的结构图。搭载了车辆控制系统1的车辆(以下称为车辆M)为例如二轮、三轮或四轮等的车辆。搭载了车辆控制系统1的车辆的驱动源为柴油发动机或汽油发动机等内燃机、电动机或它们的组合。电动机使用基于与内燃机连结的发电机产生的发电电力、或二次电池、燃料电池的放电电力来动作。
车辆控制系统1例如具有：摄像头10、雷达装置12、探测器(finder)14、物体识别装置16、通信装置20、车室内摄像头31、麦克风32、信息输出部40、导航装置50、MPU(Micro-Processing Unit，微处理单元)60、车辆传感器70、驾驶操作件80、自动驾驶控制单元100、行驶驱动力输出装置200、制动装置210和转向装置220。这些装置和设备通过CAN(Controller Area Network，控制器局域网络)通信线等多路通信线或串行通信线、无线通信网等而相互连接。此外，图1所示的结构原则上说是一个例子，可以省略结构的一部分，而且也可以追加其他结构。另外，将车室内摄像头31、麦克风32、后述的开关部33及后述的踏入检测传感器34中的一部分和乘员指示判定部170组合而成的部分为“代替操作受理部”的一个例子。另外，车室内摄像头31为“摄像部”的一个例子，麦克风32为“音声获取部”的一个例子。
摄像头10是例如利用了CCD(Charge Coupled Device，电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等固体拍摄元件的数码摄像头。摄像头10在搭载了车辆控制系统1的车辆M的任意部位安装有一个或多个。在对前方进行拍摄的情况下，摄像头10安装在前挡风玻璃上部或室内后视镜背面等。在对后方进行拍摄的情况下，摄像头10安装在后挡风玻璃上部或尾门等上。在对侧方进行拍摄的情况下，摄像头10安装在车门后视镜等上。摄像头10例如周期性地重复对车辆M的周边进行拍摄。摄像头10也可以为立体摄像头。
雷达装置12向车辆M的周边放射毫米波等电波，并且检测被物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在车辆M的任意部位安装有一个或多个。雷达装置12也可以通过FMCW(Frequency Modulated Continuous Wave，调频连续波)方式来检测物体的位置及速度。
探测器14是测定相对于照射光的散射光来检测到对象为止的距离的LIDAR(Light Detection and Ranging、或Laser Imaging Detection and Ranging，激光探测与测量)。探测器14在车辆M的任意部位安装有一个或多个。
物体识别装置16对基于摄像头10、雷达装置12及探测器14中的一部分或全部而得到的检测结果进行传感器融合(Sensor Fusion)处理，识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制单元100输出。
通信装置20利用例如蜂窝网、Wi-Fi网、蓝牙(注册商标)、DSRC(Dedicated Short Range Communication，专用短程通信)等来与存在于车辆M周边的其他车辆进行通信，或经由无线电基站来与各种服务器装置进行通信。另外，通信装置20与车外的人所持有的终端装置进行通信。
车室内摄像头31例如设置在能够拍摄落座于车室内的驾驶席上的乘员的上半身的位置。车室内摄像头31例如对落座于驾驶席的乘员周期性地重复进行拍摄。车室内摄像头31的拍摄图像被向自动驾驶控制单元100输出。
麦克风32获取车室内的乘员的音声信息。从麦克风32获取到的音声信息被向自动驾驶控制单元100输出。
信息输出部40例如为各种显示装置、扬声器、蜂鸣器等。信息输出部40通过接口控制部150的控制来对车内的乘员输出各种信息。
导航装置50例如具有GNSS(Global Navigation Satellite System，全球导航卫星系统)接收机51、导航HMI(Human Machine Interface，人机界面)52和路径确定部53。导航装置50在HDD(Hard Disk Drive，硬盘驱动器)、闪存等存储装置中保持有第1地图信息54。GNSS接收机基于从GNSS卫星接收到的信号来对车辆M的位置进行特定。车辆M的位置也可以通过利用了车辆传感器70的输出的INS(Inertial Navigation System，惯性导航系统)来进行特定或补充。导航HMI52包含显示装置、扬声器、触摸面板、按键等。路径确定部53例如参照第1地图信息54来确定从由GNSS接收机51特定的车辆M的位置(或输入的任意位置)到由乘员使用导航HMI52输入的目的地为止的路径(例如包含与行驶至目的地为止时的经由地相关的信息)。第1地图信息54是例如通过示出道路的链路、和由链路连接的节点来表现道路形状的信息。第1地图信息54也可以包含道路的曲率和POI(Point Of Interest，信息点)信息等。通过路径确定部53确定出的路径被向MPU60输出。另外，导航装置50也可以基于通过路径确定部53确定出的路径来进行使用了导航HMI52的路径引导。此外，导航装置50也可以例如通过用户保有的智能手机或平板终端等终端装置的功能来实现。另外，导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地，并从导航服务器获取回复的路径。
MPU60例如作为推荐车道确定部61而发挥功能。MPU60在HDD、闪存等存储装置中保持有第2地图信息62。推荐车道确定部61将从导航装置50提供的路径分割成多个块(例如关于车辆行进方向按每100[m]分割)，参照第2地图信息62并按块来确定推荐车道。推荐车道确定部61进行在从左数起第几条车道上行驶这样的确定。推荐车道确定部61在路径中存在分支部位和合流部位等的情况下，以车辆M能够在用于向分支目标行进的合理行驶路径上行驶的方式确定推荐车道。
第2地图信息62是比第1地图信息54高精度的地图信息。第2地图信息62包含例如车道的中央的信息或车道的边界的信息等。另外，在第2地图信息62中也可以包含道路信息、交通管制信息、住所信息(住所/邮政编码)、设施信息、电话号码信息等。在道路信息中包含有表示高速道路、收费道路、国道、都道府县道等道路的类别的信息、道路的车道数、紧急停车带的区域、各车道的宽度、道路的坡度、道路的位置(包含经度、维度、高度在内的三维坐标)、车道的弯道的曲率、车道的合流及分支点的位置、设在道路上的标识等的信息。第2地图信息62也可以通过使用通信装置20来访问其他装置而随时更新。
车辆传感器70包含检测当前时间点的车辆M的速度的车速传感器、检测车辆M的关于行进方向的加速度的加速度传感器、检测绕铅垂轴的角速度的偏航率传感器、检测车辆M的朝向的方位传感器等。加速度例如包含车辆M的关于行进方向的纵向加速度或车辆M的关于横向的横向加速度中的至少一方。
驾驶操作件80包含例如加速踏板、制动踏板、换挡杆、方向盘、其他操作件。在驾驶操作件80上安装有检测操作量或有无操作的传感器。驾驶操作件80的传感器的检测结果被向自动驾驶控制单元100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一方或双方输出。
[自动驾驶控制单元]
自动驾驶控制单元100例如具有：第1控制部120、第2控制部140、接口控制部150、操作件状态变更部160、乘员指示判定部170和存储部180。第1控制部120、第2控制部140、接口控制部150、操作件状态变更部160和乘员指示判定部170分别通过CPU(Central Processing Unit，中央处理器)等处理器执行程序(软件)来实现。另外，以下说明的第1控制部120、第2控制部140、接口控制部150、操作件状态变更部160及乘员指示判定部170的各功能部中的一部分或全部可以通过LSI(Large Scale Integration，大规模集成电路)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)等硬件来实现，也可以通过软件和硬件的协作来实现。另外，将第1控制部120和第2控制部140组合而成的部分为“自动驾驶控制部”的一个例子。另外，外界识别部121为“周边状况识别部”的一个例子。
第1控制部120例如具有外界识别部121、本车位置识别部122和行动计划生成部123。
外界识别部121基于从摄像头10、雷达装置12及探测器14经由物体识别装置16输入的信息来识别周边车辆的位置及速度、加速度等的状态。周边车辆的位置可以通过该周边车辆的重心或角等代表点来表示，也可以通过以周边车辆的轮廓表现的区域来表示。周边车辆的“状态”可以包含周边车辆的加速度、加加速度(jerk)、或“行动状态”(例如是否正在变更车道、或是否要变更车道)。
另外，外界识别部121除了周边车辆以外也可以识别护栏、电线杆、停驻车辆、行人等人物、其他物体的位置。
本车位置识别部122例如识别车辆M正在行驶的车道(行驶车道)、以及车辆M相对于行驶车道的相对位置及姿势。本车位置识别部122例如通过对从第2地图信息62得到的道路标线的图案(例如实线与虚线的排列)、和从由摄像头10拍摄到的图像识别的车辆M周边的道路标线的图案进行比较，来识别行驶车道。在该识别中，也可以采用从导航装置50获取的车辆M的位置和基于INS(Inertial Navigation System，惯性导航系统)得到的处理结果。
并且，本车位置识别部122例如识别车辆M相对于行驶车道的位置和姿势。图2是表示通过本车位置识别部122识别车辆M相对于行驶车道L1的相对位置及姿势的状况的图。本车位置识别部122例如将车辆M的基准点(例如重心)从行驶车道中央CL的偏离OS、以及车辆M的行进方向相对于与行驶车道中央CL并列的线所成的角度θ识别为车辆M相对于行驶车道L1的相对位置及姿势。此外，取而代之，本车位置识别部122也可以将车辆M的基准点相对于行驶车道L1的某一个侧端部的位置等识别为车辆M相对于行驶车道的相对位置。将通过本车位置识别部122识别的车辆M的相对位置向推荐车道确定部61及行动计划生成部123提供。
行动计划生成部123生成用于使车辆M相对于目的地等进行自动驾驶的行动计划。例如，行动计划生成部123以在由推荐车道确定部61确定的推荐车道上行驶的方式、且以能够应对车辆M的周边状况的方式确定在自动驾驶控制下依次执行的事件。在第1实施方式的自动驾驶中的事件中具有例如以恒速在相同的行驶车道上行驶的恒速行驶事件、变更车辆M的行驶车道的车道变更事件、超越前方行驶车辆的超车事件、追随前方行驶车辆而行驶的追随行驶事件、在合流地点使车辆合流的合流事件、在道路的分支地点使车辆M向目的方向行驶的分支事件、使车辆M紧急停车的紧急停车事件、用于结束自动驾驶而切换成手动驾驶的切换事件等。另外，在这些事件的执行中，也存在基于车辆M的周边状况(存在周边车辆或行人、因道路施工导致的车道狭窄等)来计划用于避让的行动的情况。
行动计划生成部123生成车辆M将来行驶的目标轨道。目标轨道例如包含速度要素。例如，按每规定的取样时间(例如零点几[sec]左右)设定多个将来的基准时刻，作为在这些基准时刻应该到达的目标地点(轨道点)的集合而生成目标轨道。因此，在轨道点的间隔大的情况下，表示在该轨道点之间的区间高速地行驶。
图3是表示基于推荐车道来生成目标轨道的状况的图。如图3所示，推荐车道以便于沿着到目的地为止的路径行驶的方式设定。
行动计划生成部123在临近推荐车道的切换地点的规定距离近前(也可以根据事件的种类来确定)时，起动车道变更事件、分支事件、合流事件等。在各事件的执行中需要避让障碍物的情况下，如图示那样生成避让轨道。
行动计划生成部123例如生成多个目标轨道的候选，基于安全性和效率性的观点来选择在该时间点适于到目的地为止的路径的最佳目标轨道。另外，行动计划生成部123例如在车辆M为自动驾驶中且驾驶操作件80无法操作的情况下，基于由代替操作受理部受理的来自乘员的指示内容来变更目标轨道。
第2控制部140例如具有行驶控制部141和切换控制部142。行驶控制部141以车辆M按预定时刻从由行动计划生成部123生成的目标轨道通过的方式控制行驶驱动力输出装置200、制动装置210及转向装置220。
切换控制部142基于由行动计划生成部123生成的行动计划来切换车辆M的驾驶模式。例如，切换控制部142在自动驾驶的开始预定地点将驾驶模式从手动驾驶切换到自动驾驶。另外，切换控制部142在自动驾驶的结束预定地点将驾驶模式从自动驾驶切换到手动驾驶。
在手动驾驶时，将来自驾驶操作件80的输入信息向行驶驱动力输出装置200、制动装置210及转向装置220输出。另外，也可以将来自驾驶操作件80的输入信息经由自动驾驶控制单元100向行驶驱动力输出装置200、制动装置210及转向装置220输出。行驶驱动力输出装置200、制动装置210及转向装置220的各ECU(Electronic Control Unit，电子控制单元)基于来自驾驶操作件80等的输入信息而进行各自的动作。
接口控制部150使车辆M的自动驾驶时或手动驾驶时的行驶状态、自动驾驶和手动驾驶相互切换的时刻、与用于使乘员进行手动驾驶的请求等相关的通知等向信息输出部40输出。另外，接口控制部150也可以使乘员指示判定部170的判定结果向信息输出部40输出。
操作件状态变更部160在车辆M以自动驾驶的程度高的驾驶模式(例如自动地进行复杂的合流控制等的所有车辆控制这样的驾驶模式)执行自动驾驶的情况下，将驾驶操作件80设为无法操作的状态。无法操作的状态是指例如使驾驶操作件80收纳于收纳区域的状态。另外，操作件状态变更部160在车辆M从自动驾驶切换到手动驾驶的情况下、或以自动驾驶的程度低的驾驶模式(例如手动进行一部分的车辆控制这样的驾驶模式)执行自动驾驶的情况下，使收纳于收纳区域的驾驶操作件80返回到原来的位置，而成为能够供乘员操作的状态。关于操作件状态变更部160的功能的详细情况将在后叙述。
乘员指示判定部170在由操作件状态变更部160将驾驶操作件80设为无法操作的情况下，受理与针对驾驶操作件80的操作不同的操作。在该情况下，乘员指示判定部170作为不同的操作而受理例如基于乘员进行的非接触下的操作。乘员指示判定部170例如具有姿态识别部171和音声识别部172。姿态识别部171将乘员的动作识别为姿态，受理与识别出的姿态相对应的操作。例如，姿态识别部171根据由车室内摄像头31拍摄到的图像信息来解析乘员的动作，并根据通过解析识别出的结果来判定来自乘员的指示内容。音声识别部172例如解析由麦克风32获取到的音声信息，并根据通过解析识别出的结果来判定乘员的指示内容。乘员指示判定部170的功能的详细情况将在后叙述。
存储部180是HDD(Hard Disk Drive，硬盘驱动器)、闪存、RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory：只读存储器)等存储装置。在存储部180中保存有与实施方式的自动驾驶控制相关的信息。另外，在存储部180中保存有指示判定表181。关于指示判定表181的详细情况将在后叙述。
行驶驱动力输出装置200将用于供车辆M行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具有内燃机、电动机及变速机等的组合、和对它们进行控制的ECU(Electronic Control Unit，电子控制单元)。ECU遵照从行驶控制部141输入的信息、或从驾驶操作件80输入的信息来控制上述的结构。
制动装置210例如具有制动钳(brake caliper)、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、和制动ECU。制动ECU遵照从行驶控制部141输入的信息、或从驾驶操作件80输入的信息来控制电动马达，将与制动操作相应的制动转矩向各车轮输出。制动装置210也可以作为后备而具有将通过驾驶操作件80所包含的制动踏板的操作产生的液压经由主液压缸向液压缸传递的机构。此外，制动装置210并不限于上述说明的结构，也可以是遵照从行驶控制部141输入的信息、或从驾驶操作件80输入的信息来控制执行机构而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。另外，制动装置210也可以考虑安全方面而具有多个系统的制动装置。
转向装置220例如具有转向ECU和电动马达。
电动马达例如使力作用于齿轮齿条机构来改变转向轮的朝向。转向ECU遵照从行驶控制部141输入的信息、或从驾驶操作件80输入的信息来驱动电动马达而改变转向轮的朝向。
[驾驶操作件80为无法操作的情况下的自动驾驶控制]
接下来具体地说明驾驶操作件80为无法操作的情况下的自动驾驶控制。图4是用于说明通过操作件状态变更部160将驾驶操作件80收纳于收纳区域的状况的图。在图4中，作为驾驶操作件80的一个例子而示出收纳了方向盘80A、加速踏板80B及制动踏板80C的状况。
操作件状态变更部160在以自动驾驶的程度高的驾驶模式(例如自动地执行所有的车辆控制这样的驾驶模式)执行自动驾驶的情况下，使方向盘80A向箭头a方向移动，收纳于装饰件310内部的收纳区域312。此外，在装饰件310上可以形成有能够供方向盘80A向箭头a方向移动的开口部，也可以设置开闭式的门机构。
另外，操作件状态变更部160使加速踏板80B及制动踏板80C向箭头b方向移动，收纳于装饰件310内部的收纳区域314。此外，在装饰件310上可以形成有能够供加速踏板80B及制动踏板80C向箭头b方向移动的开口部，也可以设置开闭式的门机构。
另外，操作件状态变更部160除方向盘80A、加速踏板80B及制动踏板80C以外，也可以收纳换挡杆和其他操作件。
姿态识别部171在通过操作件状态变更部160收纳了方向盘80A、加速踏板80B及制动踏板80C的情况下，根据由车室内摄像头31拍摄到的乘员P的图像来检测乘员P的动作。另外，姿态识别部171参照存储在存储部180中的指示判定表181来获取与乘员P的动作一致的指示内容。
图5是用于说明指示判定表181的内容的图。指示判定表181将乘员的动作及音声、和对车辆M的指示内容相互建立了对应。乘员的动作是指手、脚、脖子等乘员的身体的规定部位的动作。另外，在乘员的动作中也可以包含对象部位的移动速度及移动距离的信息。乘员的音声是指例如由麦克风32获取到的音声。在乘员的音声中也可以包含与音量相关的信息。在指示内容中包含例如用于控制车辆M的加减速和转向中的至少一方来改变在行动计划生成部123中既已生成的目标轨道的信息。
图6是用于说明检测乘员P的动作的图。图6是由车室内摄像头31拍摄到的图像。姿态识别部171根据由车室内摄像头31拍摄到的图像来获取落座于驾驶席300的乘员P的手的位置。例如，姿态识别部171根据由车室内摄像头31拍摄到的图像来解析有无与预先定义的手的形状和/或大小、颜色信息(例如肤色)类似的物体，在图像中包含类似的物体的情况下，识别成该物体为手，对该物体的位置进行特定。另外，姿态识别部171根据时序图像来获取手的移动速度及移动距离，基于获取到的移动速度及移动距离来判定对车辆M的指示内容。
此外，车辆控制系统1也可以代替车室内摄像头31而具有未图示的动作判别用的动作传感器。动作传感器例如具有RGB摄像头和使用了红外线、超声波等的深度传感器。动作传感器基于由RGB摄像头得到的车室内的各物体的颜色信息和由深度传感器得到的与各物体之间的距离信息来识别乘员P的身体的各部位的位置。姿态识别部171根据从动作判别用传感器得到的乘员P的各部位的位置来对乘员的手的位置进行特定。另外，姿态识别部171基于单位时间内的位置变化量来获取手的移动速度。另外，姿态识别部171获取手以阈值以上的移动速度移动了的距离。另外，姿态识别部171基于获取到的移动速度及移动距离来判定对车辆M的指示内容。此外，动作传感器也可以为仅具有多个红外线传感器的简易结构。
例如，在图6中，假设落座于驾驶席300的乘员P使右手Hr及左手Hl中的右手Hr以速度V(V＞Vth)相对于乘员P向右方仅移动了距离d(D1＜d＜D2)。在该情况下，姿态识别部171解析由车室内摄像头31拍摄到的拍摄图像，基于通过解析识别出的乘员P的动作，参照指示判定表181而获取使车辆M靠行驶车道的右侧行驶这一前进道路变更的指示。
另外，乘员指示判定部170也可以代替基于姿态识别部171对乘员P的身体的规定部位的动作的解析(或在此基础上)，而通过音声识别部172解析从麦克风32得到的音声，获取音声内容和音量。在该情况下，音声识别部172基于音声内容和音量，参照指示判定表181而获取与音声内容及音量的条件符合的指示内容。
此外，乘员指示判定部170基于乘员P的动作及音声双方的条件来进行指示判定，由此能够抑制对指示的误判定。在该情况下，乘员指示判定部170也可以除去针对动作的移动速度的阈值和/或针对音声的音量的阈值的条件来判定指示内容。
第1控制部120基于由乘员指示判定部170判定出的指示内容，来生成用于进行靠行驶车道的右侧行驶的自动驾驶的目标轨道，执行变更成新生成的目标轨道而行驶的自动驾驶。
图7是用于说明变更了车辆M行驶的目标轨道的状况的图。目标轨道320是在受理由乘员指示判定部170判定出的指示内容之前由行动计划生成部123生成的目标轨道。行动计划生成部123在受理了由乘员指示判定部170判定出的指示内容的情况下，基于指示内容来变更目标轨道320。例如，行动计划生成部123基于从图6所示的乘员P的动作得到的指示内容而生成靠行驶车道L1的右侧行驶的目标轨道322。
此外，在图6的例子中，在乘员P的右手Hr的移动距离D为阈值D2以上的情况下，乘员指示判定部170判定成受理了车辆M向行驶车道L1的右侧的车道L2进行车道变更的指示。在该情况下，行动计划生成部123生成用于使车辆M向车道L2进行车道变更的目标轨道324。像这样，乘员P通过进行规定动作，能够执行使目标轨道变更的自动驾驶。另外，乘员P能够通过进行在指示判定表181中定义的针对车辆M的加减速的动作或发出音声来进行针对车辆M的加减速控制的指示。
图8是用于说明第1实施方式中的自动驾驶控制处理的流程的流程图。在图8的例子中，示出基于乘员的动作来改变自动驾驶控制的内容的例子。图8的处理以规定的时刻或周期重复执行。第1控制部120判定是否是在执行自动驾驶中(步骤S100)。在执行自动驾驶中的情况下，乘员指示判定部170判定驾驶操作件80是否为无法操作(步骤S102)。在驾驶操作件80为无法操作的情况下，乘员指示判定部170通过车室内摄像头31获取包含乘员P在内的拍摄图像(步骤S104)，解析获取到的拍摄图像，获取通过解析识别出的乘员P的动作(步骤S106)。
接着，乘员指示判定部170从麦克风32获取车室内的音声(步骤S108)，解析获取到的音声，获取通过解析识别出的乘员P的音声内容(步骤S110)。接着，乘员指示判定部170参照指示判定表181，根据乘员P的动作和音声内容的至少一方判定针对车辆M的指示内容(步骤S112)。第1控制部120基于由乘员指示判定部170得到的判定结果来改变自动驾驶的控制内容(步骤S114)，本流程图的处理结束。另外，在不是执行自动驾驶中的情况下，或在驾驶操作件80不为无法操作的情况下，本流程图的处理结束。
根据上述的第1实施方式，车辆控制系统1在驾驶操作件80为无法操作的情况下，受理与由乘员P对驾驶操作件80的操作不同的操作，由此能够进行自动驾驶中的车辆控制。因此，乘员P例如在进行针对障碍物的紧急避让的情况下，不等待将驾驶操作件80从无法操作的状态设为能够操作的状态的时间，就能够对车辆M进行前进道路变更或停止等的指示。
[第2实施方式]
接下来，说明第2实施方式的车辆控制系统。第2实施方式的车辆控制系统在对设于车辆M的开关部进行了操作的情况下，受理与由乘员P对驾驶操作件80的操作不同的操作。以下，关于具有与第1实施方式的车辆控制系统1相同的功能的结构，使用相同的名称及附图标记，省略具体的说明。
图9是第2实施方式的车辆控制系统2的结构图。车辆控制系统2与第1实施方式的车辆控制系统1相比，在具有开关部33且代替乘员指示判定部170而具有乘员指示判定部170A的方面不同。因此，在以下的说明中，主要以开关部33及乘员指示判定部170A的结构为中心进行说明。
开关部33例如受理由驾驶员等进行的操作。开关部33例如为设置于装饰件(仪表板)的机械式的开关。另外，开关部33也可以为设于导航装置50的触摸面板的GUI(Graphical User Interface，图形用户界面)开关，还可以为设于座席的机械式开关。
乘员指示判定部170A在车辆M为自动驾驶中且驾驶操作件80为无法操作的情况下，在由乘员P对开关部33进行操作的期间，进行基于乘员P的动作和音声中的至少一方的指示判定，在没有进行操作的期间不进行指示判定。
另外，也可以是，乘员指示判定部170A在车辆M为自动驾驶中且驾驶操作件80为无法操作的情况下，在从由乘员P对开关部33进行了操作到经过了规定时间为止的期间，进行基于乘员P的动作和乘员P的音声中的至少一方的指示判定，在进行操作后经过了规定时间后不进行指示判定。
图10是用于说明在乘员P对开关部33进行了操作的状态下通过音声进行对自动驾驶的指示的图。在图10中，开关部33设在装饰件310上。开关部33为例如能够切换到开和关的某一个状态的开关。开关部33受理由乘员将开关切换到开状态。乘员指示判定部170A在开关部33切换到开状态的期间，通过姿态识别部171并基于由车室内摄像头31拍摄到的拍摄图像来解析乘员的动作，通过音声识别部172并基于从麦克风32获取到的音声信息来解析音声内容及音量。在此，在乘员P发出了“靠右！”的音声的情况下，乘员指示判定部170A解析音声及音量并且参照指示判定表181，获取与音声的内容及音量符合的指示内容。
第1控制部120基于由乘员指示判定部170A判定出的指示内容而生成进行车辆的加减速的目标轨道，并基于生成的目标轨道来执行自动驾驶。
图11是用于说明第2实施方式中的自动驾驶控制处理的流程的流程图。此外，图11所示的流程图与图8所示的流程图相比，在步骤S102与步骤S104之间追加了步骤S103的方面不同。因此，以下主要以步骤S103的处理为中心进行说明。
在步骤S102的处理中，在驾驶操作件80为无法操作的情况下，乘员指示判定部170A判定是否对开关部33进行了操作(步骤S103)。在对开关部33进行了操作的情况下，乘员指示判定部170A执行步骤S104以后的处理。另外，在没有对开关部33进行操作的情况下，本流程图的处理结束。
如以上说明那样，根据第2实施方式的车辆控制系统2，起到与第1实施方式相同的效果，在此基础上，由于在对开关部33进行了操作的情况下判定来自乘员P的指示内容，因此能够抑制对来自乘员P的指示的误判定。另外，在没有对开关部33进行操作的状态下，无需进行乘员的动作和音声的解析，因此与第1实施方式相比，能够减少与指示判定相关的处理。
[第3实施方式]
接下来说明第3实施方式的车辆控制系统。第3实施方式的车辆控制系统基于设在车辆M上的踏入检测传感器的检测内容来控制车辆M的加减速和转向中的至少一方。以下，关于具有与第2实施方式的车辆控制系统2相同的功能的结构，使用相同的名称及附图标记，省略具体的说明。
图12是第3实施方式的车辆控制系统3的结构图。车辆控制系统3与第2实施方式的车辆控制系统2相比，在具有踏入检测传感器34且代替乘员指示判定部170A而具有乘员指示判定部170B的方面不同。因此，在以下的说明中，主要以踏入检测传感器34及乘员指示判定部170B的结构为中心进行说明。
图13是表示踏入检测传感器34的设置例的图。踏入检测传感器34例如设置在设于车室内的驾驶席300的前方的底板下。踏入检测传感器34可以具有从底板面的前方到后方排列的多个踏入检测传感器34a～34c。踏入检测传感器34也可以设有发光部而使落座于驾驶席300的乘员P能够看到。另外，为了使踏入检测传感器34能够被看到，也可以在底板面上设有开口部。
踏入检测传感器34检测来自底板面的压力的大小。另外，踏入检测传感器34在检测到的压力为阈值以上的情况下，将检测到压力这一情况向乘员指示判定部170B输出。
乘员指示判定部170B在车辆M为自动驾驶中且驾驶操作件80为无法操作的情况下，判定是否由踏入检测传感器34a～34c中的至少一个踏入检测传感器检测到踏入。乘员指示判定部170B在由踏入检测传感器34a～34c中的至少一个踏入检测传感器检测到踏入的情况下，判定是否进行了用于通过自动驾驶来控制车辆M的加减速的指示。
例如，乘员指示判定部170B在检测到踏入检测传感器34b被踏入的情况下，判定成进行了使车辆M减速的减速控制的指示。另外，乘员指示判定部170B在检测到踏入检测传感器34a被踏入的情况下，判定成进行了如下指示：与检测到踏入检测传感器34b被踏入的情况下的减速相比，进行增大了减速程度的减速控制。减速程度大是指例如紧急刹车或紧急停止等的减速控制。另外，乘员指示判定部170B在踏入检测传感器34c被踏入的情况下，判定成进行了通过自动驾驶对车辆M加速控制的指示。另外，乘员指示判定部170B在检测到踏入检测传感器34a～34c中的二个以上的踏入检测传感器被踏入的情况下，使检测到的压力最大的踏入检测传感器优先。
第1控制部120基于由乘员指示判定部170B判定出的指示内容而生成进行车辆的加减速的目标轨道，并基于生成的目标轨道来执行自动驾驶。
图14是用于说明第3实施方式中的自动驾驶控制处理的流程的流程图。此外，图14所示的流程图与图11所示的流程图相比，代替步骤S103～S112而追加了步骤S120及S122。因此，以下，主要以步骤S120及S122的处理为中心进行说明。
在步骤S102的处理中，在驾驶操作件80为无法操作的情况下，乘员指示判定部170B判定是否存在基于踏入检测传感器34的检测(步骤S120)。在存在基于踏入检测传感器34的检测的情况下，基于检测内容来判定针对车辆M的加减速的指示内容(步骤S122)。接着，第1控制部120基于判定结果来改变自动驾驶的控制内容(步骤S114)，本流程图的处理结束。另外，在不存在基于踏入检测传感器34的检测的情况下，本流程图的处理结束。
此外，乘员指示判定部170B也可以基于踏入检测传感器34的检测结果，不仅进行车辆M的加减速的控制，还进行与转向相关的控制。在该情况下，乘员指示判定部170B在踏入检测传感器34a检测到压力的情况下，向行驶车道的右侧进行前进道路变更，在踏入检测传感器34c检测到压力的情况下，向行驶车道的左侧进行前进道路变更。
如以上说明那样，根据第3实施方式的车辆控制系统3，通过使用踏入检测传感器34，能够在与驾驶操作件80非接触的状态下，进行针对车辆M的加减速和转向中的至少一方的指示。另外，也可以将与踏入检测传感器34相同的结构设在供乘员落座的座椅装置的一部分上(例如扶手或落座部的侧面)，而由乘员通过手指进行操作。也可以通过对传感器进行操作来进行针对车辆M的加减速和转向中的至少一方的指示。上述的第1～第3实施方式也可以分别与其他实施方式的一部分或全部组合。
[变形例]
接下来说明第1～第3实施方式的车辆控制系统的变形例。例如，第1控制部120中包含的外界识别部121也可以进行是否存在车辆M会与识别到的周边车辆、护栏、电线杆、停驻车辆、行人等人物、其他物体等发生碰撞的危险的危险判定。在该情况下，外界识别部121在驾驶操作件80为无法操作的情况下，与驾驶操作件80为能够操作的情况下的危险判定相比提高危险判定程度。
例如，外界识别部121在驾驶操作件80为无法操作的情况下，与驾驶操作件80为能够操作的情况下的范围相比扩大识别处于车辆M周边的物体的范围。另外，外界识别部121也可以在驾驶操作件80为无法操作的情况下，使基于物体识别装置16进行的物体识别的准确度比驾驶操作件80为能够操作的情况下的物体识别的准确度低，而识别更多的物体。像这样，在驾驶操作件80为无法操作的情况下，通过提高碰撞的危险判定的程度，而能够进行更安全的车辆控制。
另外，外界识别部121在提高了碰撞的危险判定的程度的状态下判定成存在车辆M周围的物体与车辆M发生碰撞的危险的情况下，将存在车辆M周围的物体会与车辆M发生碰撞的危险这一情况向信息输出部40输出。由此，乘员P在驾驶操作件80为无法操作的情况下，能够使用代替操作受理部来尽早进行用于改变目标轨道的指示。
以上使用附图说明了本发明的实施方式，但本发明丝毫不限定于这样的实施方式，能够在不脱离本发明的要旨的范围内添加各种变形及置换。