识别系统、车辆控制系统、识别方法及存储介质与流程

[0001]
本发明涉及识别系统、车辆控制系统、识别方法及存储介质。


背景技术：

[0002]
以往，公开了如下自动行驶车辆的发明，该自动行驶车辆具备识别道路形状的道路形状识别部、使用识别到的道路形状来制作行驶路径的行驶路径制作部以及按照行驶路径来使自动行驶实现的车辆行驶控制装置，道路形状识别部具备取得将平面坐标和高度信息建立了对应关系的多个坐标信息的坐标信息取得部、从多个所述坐标信息中提取高低差为规定值以上的多个关注坐标的坐标提取部以及通过将提取到的多个关注坐标统计处理而确定道路形状的形状确定部(专利文献1(日本特开2010-250743号公报))。


技术实现要素：

[0003]
【发明要解决的课题】
[0004]
在以往的技术中，将高低差为规定值以上的部分例如识别为路肩、沟，将不是这样的部分识别为道路面。然而，在该方法中，有时由于道路面自身的弯曲而未将道路面的一部分识别为道路面，或者由于增大规定值而忽略尺寸小的障碍物。
[0005]
本发明的目的之一在于提供能够更加准确地确定道路面的识别系统、车辆控制系统、识别方法及存储介质。
[0006]
【用于解决课题的手段】
[0007]
本发明的识别系统、车辆控制系统、识别方法及存储介质采用了以下的结构。
[0008]
(1)：本发明的一方案的识别系统，其搭载于车辆的识别系统，其中，所述识别系统具备：检测部，其检测存在于所述车辆的周边的物体的位置；和确定部，其基于所述检测部的检测结果，来确定所述车辆的周边的道路面，所述确定部针对将所述检测部的检测结果在二维平面上细分化而得到的每个单独区域使用规定的算法来判定是否为平面，将针对每个所述单独区域的判定结果汇集而确定所述车辆的周边的道路面。
[0009]
(2)：在上述(1)的方案中，所述检测部是激光雷达。
[0010]
(3)：在上述(2)的方案中，所述检测部一边改变仰角或俯角和方位角一边将激光向所述车辆的周边照射，所述确定部针对使将由仰角或俯角、方位角及距离至少表示的物体的位置投影于二维平面的点云数据细分化而得到的每个单独区域，使用所述规定的算法来判定是否为平面。
[0011]
(4)：在上述(1)～(3)的任一方案中，所述确定部基于所述二维平面中的距所述车辆的距离，来使所述单独区域的尺寸不同。
[0012]
(5)：在上述(1)～(4)的任一方案中，所述确定部取得表示所述车辆的周边的物体的分布的信息，基于所述取得的表示物体的分布的信息，来变更所述单独区域的尺寸。
[0013]
(6)：在上述(1)～(5)的任一方案中，所述确定部取得与所述车辆所存在的道路的类别相关的信息，在所述取得的与道路的类别相关的信息表示特定类别的道路的情况下，
和所述取得的与道路的类别相关的信息不表示特定类别的道路的情况相比，增大所述单独区域的尺寸。
[0014]
(7)：一种车辆控制系统，其具备上述(1)～(6)的任一方案的识别系统；和行驶控制装置，其基于从所述识别系统中的所述检测部的检测结果将与由所述确定部确定出的道路面相当的部分排除的信息，进行所述车辆的行驶控制。
[0015]
(8)：本发明的其他的方案的识别方法中，搭载于车辆的计算机执行如下处理：取得检测存在于车辆的周边的物体的位置的检测部的检测结果，基于所述检测结果，来确定所述车辆的周边的道路面，在进行所述确定时，针对将所述检测结果在二维平面上细分化而得到的每个单独区域使用规定的算法来判定是否为平面，将针对每个所述单独区域的判定结果汇集而确定所述车辆的周边的道路面。
[0016]
(9)：本发明的其他的方案的存储介质存储有程序，该程序使搭载于车辆的计算机执行如下处理：取得检测存在于车辆的周边的物体的位置的检测部的检测结果，基于所述检测结果，来确定所述车辆的周边的道路面，在所述确定时，针对将所述检测结果在二维平面上细分化而得到的每个单独区域使用规定的算法来判定是否为平面，将针对每个所述单独区域的判定结果汇集而确定所述车辆的周边的道路面。
[0017]
【发明效果】
[0018]
根据上述(1)～(9)的方案，能够更加准确地确定道路面。
附图说明
[0019]
图1是示出在车辆搭载有识别系统及车辆控制系统的情形的图。
[0020]
图2是物体识别装置的构成图。
[0021]
图3是示出点云数据的一例的图。
[0022]
图4是示出设定的格网的图。
[0023]
图5是示出通过比较例的方法将判定为道路面的部分的坐标去除而得到的点云数据的图。
[0024]
图6是示出通过实施方式的方法将判定为道路面的部分的坐标去除而得到的点云数据的图。
[0025]
图7是示出通过实施方式的方法将判定为道路面的部分的坐标去除而得到的点云数据的图。
[0026]
图8是示出由识别系统执行的处理的流程的一例的流程图。
[0027]
【附图标记说明】
[0028]
10 激光雷达
[0029]
50 物体识别装置
[0030]
60 激光雷达数据处理部
[0031]
61 点云数据生成部
[0032]
62 信息取得部
[0033]
63 道路面确定部
[0034]
63a 格网设定部
[0035]
63b 平面提取处理部
[0036]
64
ꢀꢀ
非道路面物体提取部
[0037]
65
ꢀꢀ
道路划分线识别部
[0038]
100 行驶控制装置。
具体实施方式
[0039]
以下，参照附图，对本发明的识别系统、车辆控制系统、识别方法及存储介质的实施方式进行说明。
[0040]
图1是示出在车辆m搭载有识别系统及车辆控制系统的情形的图。在车辆m上例如搭载有激光雷达(light detection and ranging：lidar)10(“检测部”的一例)、相机20、雷达装置30、物体识别装置50以及行驶控制装置100。激光雷达10和物体识别装置50的组合是“识别系统”的一例，对其加上行驶控制装置100则是“车辆控制系统”的一例。作为检测部，也可以使用激光雷达以外的检测装置。
[0041]
激光雷达10照射光并检测反射光，通过测定从照射到检测为止的时间来检测到物体的距离。激光雷达10能够针对仰角或俯角(以下，上下方向的照射方向φ)和方位角(水平方向的照射方向θ)这两者将光的照射方向进行变更。激光雷达10例如反复进行将照射方向φ固定而一边改变照射方向θ一边进行扫描，接着变更上下方向的照射方向φ，以变更后的角度将照射方向φ固定而一边改变照射方向θ一边进行扫描这样的动作。以下，将照射方向φ称作“层”，将使层固定而一边改变照射方向θ一边进行的一次扫描称作“循环”，将针对全部的层进行扫描称作“1扫描”。层例如从l1到ln为止以有限数设定(n为自然数)。层的变更例如以在上次的循环中照射了的光不干涉此次的循环中的检测获知的方式，如l0
→
l4
→
l2
→
l5
→
l1
…
这样关于角度不连续地进行。需要说明的是，不限定于此，层的变更也可以关于角度连续地进行。
[0042]
激光雷达10例如将以{φ，θ，d，p}为一个单位的数据组(激光雷达数据)向物体识别装置50输出。d是距离，p是反射光的强度。物体识别装置50设置于车辆m中的任意部位。在图1中，激光雷达10设置于车辆m的顶棚上，设为能够将照射方向θ以360度变更，但该配置只不过是一例，例如也可以是设置于车辆m的前部而能够以车辆m的前方为中心将照射方向θ以180度变更的激光雷达和设置于车辆m的后部而能够以车辆m的后方为中心将照射方向θ以180度变更的激光雷达搭载于车辆m。
[0043]
相机20设置于能够拍摄车辆m的周边(尤其是前方或后方)的任意的位置。例如，相机20设置于前风窗玻璃的上部。相机20是具备ccd(charge coupled device)、cmos(complementary metal oxide semiconductor)等摄像元件的数码相机，以规定周期反复拍摄车辆m的周边。
[0044]
雷达装置30向车辆m的周边放射毫米波等电波，并且检测由物体反射的电波(反射波)而至少检测物体的位置(距离及方位)。雷达装置30安装于车辆m的任意部位。例如，雷达装置30安装于车辆m的前格栅的内部。
[0045]
图2是物体识别装置50的构成图。物体识别装置50例如具备激光雷达数据处理部60、相机图像处理部70、雷达数据处理部80以及传感器融合部90。激光雷达数据处理部60例如具备点云数据生成部61、信息取得部62、道路面确定部63(“确定部”的一例)、非道路面物体提取部64以及道路划分线识别部65。道路面确定部63例如具备格网设定部63a和平面提
取处理部63b。这些构成要素例如通过cpu(central processing unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部可以通过lsi(large scale integration)、asic(application specific integrated circuit)、fpga(field-programmable gate array)、gpu(graphics processing unit)等硬件(包含电路部；circuitry)来实现，也可以通过软件和硬件的协同配合来实现。程序可以预先保存于hdd(hard disk drive)、闪存器等存储装置(具备非暂时性存储介质的存储装置)，也可以保存于dvd、cd-rom等能够装卸的存储介质(非暂时性存储介质)，通过存储介质被装配于驱动装置而被安装。
[0046]
点云数据生成部61基于激光雷达数据，来生成点云数据。本实施方式中的点云数据是将从激光雷达数据识别的物体的三维空间上的位置投影于从上空观察的二维平面上的位置而得到的数据。图3是示出点云数据的一例的图。规定点云数据的二维平面(图中，由x轴和y轴表示的二维平面)例如是从激光雷达10观察而得到的相对的二维平面。虽然在图中没有显现，但在点云数据的各坐标赋予有高度的信息(与x轴和y轴正交的方向的位移)。高度的信息基于坐标间的连续性、分散和层间的照射角度的差等，由点云数据生成部61计算。
[0047]
信息取得部62取得在格网设定部63a设定格网时利用的各种信息。
[0048]
例如，信息取得部62取得表示车辆m的周边的物体的分布的信息。所谓车辆m的周边的物体的分布是指，例如，取得将识别系统的可识别范围内的车辆的数量、行人的数量、自行车的数量、信号、人行横道、交叉路口的数量等中的一部分或全部指标化而得到的值(拥挤指数)。对于拥挤指数，例如上述的要素越高密度地存在，则表示越高的值。信息取得部62可以自行计算拥挤指数，也可以从相机图像处理部70、雷达数据处理部80等取得。
[0049]
另外，信息取得部62也可以取得与车辆m存在的道路的类别相关的信息。信息取得部62可以从搭载于车辆m的导航装置(未图示)取得与道路的类别相关的信息，也可以根据相机图像处理部70从相机图像识别道路标识出的结果来导出。
[0050]
道路面确定部63的格网设定部63a假想地设定将规定点云数据的二维平面分割而得到的单独区域即多个格网。图4是示出设定的格网g的图。格网设定部63a例如将格网g以矩形(可以是正方形，也可以是长方形)设定。格网设定部63a可以设定相同尺寸的格网g，也可以基于二维平面中的距车辆m的距离，来使格网g的尺寸不同。例如，如图所示，格网设定部63a也可以距车辆m越远则越增大格网g的尺寸。格网设定部63a也可以针对通过参照识别系统的过去的识别结果而得到的不需要识别区域(例如，护栏的对向侧、建筑物等道路外区域)不设定格网g。格网设定部63a可以以三角形、六边形等任意的多边形(也可以包含两种以上的多边形)来设定格网g，也可以以不定形来设定格网g。
[0051]
另外，格网设定部63a也可以基于拥挤指数来决定格网g的尺寸。例如，格网设定部63a也可以拥挤指数越高则越减小格网g的尺寸。
[0052]
另外，格网设定部63a也可以基于道路的类别来决定格网g的尺寸。例如，格网设定部63a在道路的类别为高速道路、机动车专用道路等车辆以外的交通参加者少的特定类别的情况下，与不是特定类别的情况相比，也可以增大格网g的尺寸。
[0053]
平面提取处理部63b针对每个格网g，对格网g所包含的点云数据，进行基于ransac(random sample consensus)等稳健回归推定方法的平面提取处理，判定该格网g是否为道
路面(在其上不存在物体)，将判定结果与各格网g建立对应关系。需要说明的是，平面提取处理部63b也可以取代ransac，而进行其他种类的平面提取处理。
[0054]
ransac例如按照以下的顺序来进行。首先，从数据集合随机地选择模型的决定所需要的数量以上的(并非全部的)样本，从选择出的样本以最小二乘法等导出临时模型，将临时模型填入数据，偏离值若并没有那么多则加入至模型候补。反复执行几次该处理，将与数据集合的整体最吻合的模型候补设为正解模型。在本实施方式中，平面提取处理部63b针对正解模型成为了平面的格网g，判定为是道路面。
[0055]
非道路面物体提取部64针对由平面提取处理部63b判定为道路面的格网g以外的格网g，解析点云数据而提取存在于格网g上的物体的轮廓，基于轮廓来识别与该轮廓对应的物体的位置。或者，非道路面物体提取部64也可以基于激光雷达数据中与由平面提取处理部63b判定为道路面的格网g以外的格网g对应的数据，提取物体的轮廓，基于轮廓来识别与该轮廓对应的物体的位置。
[0056]
道路划分线识别部65着眼于激光雷达数据中的反射光的强度p，将由于道路面与白线、黄线等道路划分线的颜色的差异而产生的强度p的变化率高的部分识别为道路划分线的轮廓。由此，道路划分线识别部65识别白线等道路划分线的位置。
[0057]
非道路面物体提取部64及道路划分线识别部65的处理结果被向传感器融合部90输出。对传感器融合部90，也输入相机图像处理部70、雷达数据处理部80的处理结果。
[0058]
相机图像处理部70对从相机20取得的相机图像进行各种图像处理，识别存在于车辆m的周边的物体的位置、尺寸、种类等。相机图像处理部70进行的图像处理也可以包含对通过机械学习得到的学习完毕模型输入相机图像的处理、从提取边缘点而将边缘点相连得到的轮廓线识别物体的处理。
[0059]
雷达数据处理部80对从雷达装置30取得的雷达数据进行各种物体提取处理，识别存在于车辆m的周边的物体的位置、尺寸、种类等。雷达数据处理部80例如基于来自物体的反射波的强度来推定物体的材质，由此推定物体的种类。
[0060]
传感器融合部90综合分别从激光雷达数据处理部60、相机图像处理部70及雷达数据处理部80输入的处理结果，决定物体、道路划分线的位置并向行驶控制装置100输出。在传感器融合部90的处理中，例如也可以包含针对各个处理结果求出逻辑和、逻辑积、加权和等的处理。
[0061]
通过如上述那样进行处理，从而识别系统能够更加准确地确定道路面。图5是示出通过比较例的方法将判定为道路面的部分的坐标去除而得到的点云数据的图。所谓比较例的方法，是对激光雷达数据的整体(不区分格网g)应用ransac，去除判定为道路面的区域的坐标的方法。如图所示，在比较例的方法中，在与道路面对应的区域a1、a2中，也残留较多的坐标。尤其是区域a1从车辆m观察时成为上坡，在对于数据整体应用了ransac的情况下变得难以识别为道路面。另外，一般的道路构造为道路的中央部高、随着趋向端部而变低，所以在比较例的方法中，存在由于道路的中央部和端部的高低差而判定为不是道路面的可能性。进而，由于在道路上存在细小的凹部等，所以存在局部识别为不是道路面的可能性。
[0062]
与此相对，图6及图7是示出通过实施方式的方法将判定为道路面的部分的坐标去除而得到的点云数据的图。图6示出将作为正方形的格网g的一边设为x1的情况下的结果，图7示出将作为正方形的格网g的一片设为x2的情况下的结果(x1＞x2)。如这些图所示那
样，根据实施方式的方法，在与道路面对应的区域a1、a2中坐标大部分被去除，由此，降低将实际上不存在的物体识别为障碍物的可能性。需要说明的是，将格网g的一边缩小的方法(即将格网g的尺寸缩小的方法)能够提高判定为道路面的精度，但由于将格网g的尺寸设为小的方法使处理负荷变高，所以它们具有权衡的关系。鉴于这一点，通过距车辆m越远则越增大格网g的尺寸，从而即使存在误识别，关于影响小的远方也能够以低负荷进行处理，能够进行识别精度和处理负荷的平衡好的处理。另外，通过拥挤指数越高，则越减小格网g的尺寸，从而在市区等交通参加者多的场所中，进行使识别精度优先的处理，在不是这样的场所中进行使处理负荷的减轻优先的处理，所以能够进行识别精度和处理负荷的平衡好的处理。另外，在道路的类别是特定类别的情况下，与不是特定类别的情况相比，通过增大格网g的尺寸，从而能够在交通参加者少的场所中进行使处理负荷的减轻优先的处理，在不是这样的场所中进行使识别精度优先的处理，所以能够进行识别精度和处理负荷的平衡好的处理。
[0063]
行驶控制装置100例如是控制车辆m的加减速和转向这两者的自动驾驶控制装置。行驶控制装置100基于由物体识别装置50输出的物体、白线等的位置，自动地使车辆m以不与物体接触的方式在设定的车道内行驶，或者根据需要而进行车道变更、超车、分支、汇合、停止等的自动控制。也可以取代于此，行驶控制装置100是在物体接近时进行自动停止的驾驶支援装置等。这样，行驶控制装置100基于非道路面物体提取部64对于由平面提取处理部63b判定为道路面的格网g以外的格网g识别出的物体的位置(将与确定出的道路面相当的部分排除了的信息)经由传感器融合部90而输出的信息，来进行车辆m的行驶控制。
[0064]
图8是示出由识别系统执行的处理的流程的一例的流程图。激光雷达10检测物体，将激光雷达数据反复向激光雷达数据处理部60输出(步骤s100)。
[0065]
激光雷达数据处理部60待机至取得1扫描量的激光雷达数据为止(步骤s102)。当取得1扫描量的激光雷达数据时，使处理前进到步骤s106。
[0066]
另一方面，信息取得部62例如与激光雷达数据处理部60中的信息取得部62以外的构成要素非同步地动作，取得用于进行格网g的设定的信息，并向道路面确定部63提供(步骤s104)。
[0067]
点云数据生成部61从激光雷达数据生成点云数据(步骤s106)。格网设定部63a基于从信息取得部62提供的信息，来设定格网g(步骤s108)。
[0068]
平面提取处理部63b针对每个格网g，确定是否为道路面(步骤s110)。非道路面物体提取部64关于没有被确定为道路面的非道路面的格网g，进行物体识别(步骤s112)。然后，激光雷达数据处理部60将非道路面物体提取部64及道路划分线识别部65的处理结果向传感器融合部90输出(步骤s114)。由此图8的流程图的例程结束。
[0069]
根据以上说明的实施方式的识别系统，具备：检测部(激光雷达10)，其检测存在于车辆(m)的周边的物体的位置；和确定部(道路面确定部63)，其基于检测部的检测结果来确定车辆的周边的道路面，确定部针对将检测部的检测结果在二维平面上细分化而得到的单独区域(格网g)的每个使用规定的算法(ransac)来判定是否为平面，将针对每个单独区域的判定结果汇集而确定车辆的周边的道路面，所以能够更加准确地确定道路面。
[0070]
需要说明的是，识别系统也可以不具备相机20、雷达装置30、相机图像处理部70、雷达数据处理部80、传感器融合部90中的一部分或全部。例如，识别系统也可以包含激光雷
达10和激光雷达数据处理部60，将非道路面物体提取部64及道路划分线识别部65的处理结果向行驶控制装置100输出。
[0071]
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。