汽车周边信息显示系统的制作方法

本发明特别涉及在汽车等车辆中对乘员显示本车辆的周围的状况的汽车周边信息显示系统。

背景技术：

以往，作为汽车周边信息显示系统，已知搭载于汽车等车辆对驾驶员显示地图信息而引导至目的地的导航装置2。导航装置2在地图数据库中储存有地图信息，使用从gps卫星接收到的gps信息来确定车辆的当前位置，读出到达至目的地的地图，伴随本车辆的行驶时时刻刻显示。

但是，地图信息是以道路为主体的信息，在画面中大量存在信息量极其少的部分时，成为不高效的画面。因此，已知除了道路信息以外，在地图的显示画面上将追加的信息重叠显示在画面上的导航装置(参照例如专利文献1以及专利文献2)。

现有技术文献

专利文献1：日本特开2001-99666号公报

专利文献2：日本特开2001-42026号公报

技术实现要素：

但是，在上述专利文献中的现有技术中，提供一种通过除了显示地图外在信息少的区域还显示动画或一般的运动图像、或者静止图像、文本数据等信息，在地图的显示画面中形成变化，使用户难以产生厌烦倦的车载用导航装置。

因此，这样的导航装置显示的信息是如果有可显示的区域则显示这样的附加的信息，所以并不限于在用户驾驶车辆、或者在自动驾驶的车辆中用户确认自动驾驶状况方面上一定必要的信息。

另外，近年来，用于进一步提高道路交通的安全的自动驾驶系统的研究开发得到发展，但该系统是汽车识别周围的环境而自动行驶的技术。在日本，关于汽车等车辆的自动行驶系统，其自动化等级被分成等级1至等级4这四个阶段来定义。在等级1下，汽车进行加速、操作方向盘、制动中的某一个，被称为安全驾驶支援系统。在等级2下，汽车同时进行加速、操作方向盘、制动内的多个操作，被称为准自动行驶系统(半自动驾驶)。在等级3下，汽车进行加速、操作方向盘、制动的全部，仅在紧急时驾驶员对应的状态，其也被称为准自动行驶系统。在等级4下，驾驶员以外进行加速、操舵、制动这全部，在驾驶员完全不参与的状态下，被称为完全自动行驶系统。另外，将等级2至等级4还称为自动行驶系统(“阶段sip(战略创新创新计划)自动行驶系统研究开发计划”、2014年11月13日、内阁府、政策综合官(科学技术/创新担当))。此外，本说明书中的“自动驾驶”基本上是指：从上述等级1至等级4的全自动化等级的自动行驶。

在这样的自动行驶系统中，汽车的乘员有通过预先掌握本车辆识别的周围的状况，希望确认自动驾驶状态的可靠性的期望。

本发明是鉴于上述点而完成的，其目的在于提供一种能够在地图上重叠显示本车辆的周边的真实的状况的汽车周边信息显示系统。

本发明提供一种汽车周边信息显示系统，其特征在于，具备：传感器装置，从本车辆检测外部的状况；导航装置，确定所述本车辆的当前位置及行进方向，从地图数据库读出包括所述当前位置的周边区域的地图数据；对象判别部，根据所述传感器装置检测的传感器信息，检测探测对象物的存在，并且判别其类别；位置检测部，根据所述传感器信息，求出以所述本车辆为基准的所述探测对象物的位置信息；图像生成部，生成在与所述对象判别部检测出的探测对象物有关的所述位置信息表示的所述地图数据上的位置处，重叠与该探测对象物对应的图标的地图图像；以及显示装置，显示所述地图图像。

另外，在所述传感器装置是包括对所述本车辆的外部的图像进行摄像的照相机的结构的情况下，所述对象判别部从所述照相机的摄像图像，通过模式匹配处理，检测所述探测对象物的存在。进而，如果利用立体照相机构成所述照相机，则所述位置检测部根据所述立体照相机的图像，计算所述探测对象物的位置信息即可。

另外，所述对象判别部根据所述图像的亮度信息，检测白线或者黄线所形成的行车道线即可。由此，在所述对象判别部检测到与比所述本车辆先行的先行其它车辆相对而来的对向其它车辆而作为所述探测对象物时，所述图像生成部能够在所述地图数据中的本车辆行驶的道路上示意性地显示所述行车道线，生成区分行车道来显示所述先行其它车辆和所述对向其它车辆的各所述图标的所述地图图像。

如果所述对象判别部去除从所述图像检测出的所述探测对象部以外的目标，则所述位置检测部能够在短时间内仅求出所述探测对象物的位置信息。

另一方面，在所述传感器装置是包括毫米波雷达、微波雷达、激光雷达、红外线传感器、超声波传感器中的某一个或者由其组合构成的雷达传感器的结构的情况下，所述位置检测部能够根据所述雷达传感器探测的所述本车辆与所述探测对象物之间的距离信息，求出该探测对象物的位置信息。

进而，具备在与其它车辆之间进行车辆间通信而获得与该其它车辆有关的位置信息和车辆属性信息的通信装置即可。由此，所述图像生成部能够生成在所述地图数据上的与所述位置信息对应的部位处重叠与所述车辆属性信息对应的图标的地图图像。该车辆间通信还考虑在本车辆与其它车辆之间直接或者通过通信线路经由中继中心间接地进行的任意一个的情况。

根据本发明的汽车周边信息显示系统，通过在导航装置输出的本车辆的当前位置周边的地图数据上重叠显示本车辆的传感器装置识别的周围的状况，汽车的搭乘人员能够俯视地判断周围的状况。

附图说明

图1示出本发明的优选的实施方式所涉及的汽车周边信息显示系统的结构整体的框图。

图2示出说明传感器装置的配置结构的一个例子的俯视图。

图3示出说明本发明所涉及的汽车周边信息显示系统的动作的流程图。

图4(a)示出导航装置表示的利用地图数据的图像的示意性的说明图，(b)示出在该图像上用图标重叠显示周围的状况的图像的说明图。

图5例示性地示出本车辆的前方的周围状况。

图6示出说明车辆间通信的动作的系统结构图。

图7示出示意性表示在车辆间通信中传递的消息的数据帧的结构的说明图。

图8示出说明在地图数据上显示在车辆间通信中获得的其它车辆的状况的动作的流程图。

(符号说明)

1：汽车周边信息显示系统；2：导航装置；3：传感器装置；4：通信装置；5：显示装置；7：对象判别部；8：位置检测部；9：图像生成部；13：立体照相机；18：雷达传感器；20i、21i、22i、23i、24i：图标；24：行车道线；34：中继中心；36：通信线路。

具体实施方式

以下，根据附图，说明本发明的汽车周边信息显示系统的实施方式。

图1是概念性地示出汽车周边信息显示系统1的结构整体的框图。车辆用图像显示系统1具备导航装置2、传感器装置3、通信装置4、显示装置5、控制部件6。

导航装置2根据从gps(全球定位系统)11接受的gps信息，确定搭载的本车辆的位置以及行进方向。另外，导航装置2具备地图数据库2a，从地图数据库2a读出包括所确定的本车辆的位置的区域的地图数据。

传感器装置3探测本车辆的周围的状况，在本例子中如图2所示，具备为了捕捉汽车14的行进方向的前方的视野而配置于前挡风玻璃15的由一对前置照相机16、17构成的立体照相机13、和为了探测汽车14的后续车而配置于后挡风玻璃19的基于毫米波的雷达传感器18。

通过将立体照相机13用于作传感器装置3，能够立体地识别汽车14的前方的探测对象物，另外，通过使照相机16、17的画角广角化，能够可靠地探测到从前方的侧方突然出现的探测对象物。另外，也可以代替雷达传感器18或者追加地配置后置照相机。

通信装置4通过与在本车辆的周围行驶或者泊车停车的其它车辆的通信，接收该其它车辆的位置、前进道路、行驶状态信息。另外，通信装置4构成为能够从设置于信号灯、道路的通信设备(路侧机)还接收信号灯信息、限制信息、行人信息、事故车信息等基础设施的数据。虽然未图示，还能够通过经由因特网、公共广播的与交通信息中心之间的无线通信，获得这样的来自基础设施的信息。

控制部件6由包括cpu、rom、ram的计算机构成，cpu通过执行在rom中储存的控制程序，除了控制上述各装置以外，还作为对象判别部7、位置检测部8、图像生成部9分别发挥功能。

对象判别部7解析从立体照相机13的各照相机16、17分别送来的图像，探测车辆(各种汽车/摩托车/自行车等)、人等(以下称为探测对象物)的存在以及行车道。

在该情况下，关于探测对象物的探测，对象判别部7通过进行模式匹配处理，从图像中检测探测对象物的轮廓来判断其存在。因此，在所述rom中，设定有预先登记有各种车辆、人等探测对象物的图像特征的图案数据文件，通过判别在图像中是否包括该图像特征，从各照相机16、17各自的摄像图像，判别探测对象物的存在和其类别。进而，对象判别部7进行去除探测到的对象物以外的目标的处理。

另外，关于行车道的探测，对象判别部7通过根据利用各照相机16、17摄像的各个图像的亮度信息，检测白线或者黄线所形成的行车道线24，来检测行车道。

位置检测部8根据通过对象判别部7去掉不需要的目标后的照相机16、17的各自的图像，计算探测对象物的位置。另外，位置检测部8根据由雷达传感器18测定出的与后续车之间的距离信息，判别后续车辆的位置。

图像生成部9根据来自导航装置2的地图数据、来自位置检测部8的探测对象物的位置信息，生成显示本车辆的周边状况的图像。此时，图像生成部9在来自导航装置2的地图数据的图像上，重叠对对象判别部7识别出的人、车辆进行符号化而得到的图样即图标，制作表示以本车辆为中心的周边状况的图像。因此，在图像生成部9中，预先设定有与探测对象物的种类对应的多个图标。

显示装置5以使乘员易于目视的方式搭载于汽车14的仪表盘，显示图像生成部8生成的图像。

通过图3所示的流程图，说明基于上述结构的汽车周边信息显示系统1的动作。

导航装置2通过接受来自gps11的gps信息并计算本车辆的当前的位置，并且储存接收到的gps信息的历史，确定本车辆的行进方向(步骤s01)。然后，导航装置2从地图数据库2a读出包括本车辆的当前位置的地图数据，将地图数据输出到对象判别部7(步骤s02)。图4(a)例示此时的地图数据表示的地图图像，用箭头表示本车辆的位置和行进方向。该地图图像是通过导航装置显示的一般的图像。

另外，各照相机16、17对本车辆的前方以及后方的外部的状况进行摄像，对象判别部7通过图像识别处理判别在本车辆的周围是否存在人、车辆等探测对象物。

图5例示本车辆的前方的光景的图像，对象判别部7对照相机16、17捕捉到的各个图像进行模式匹配处理来判别探测对象物的存在，并且检测行车道线24(步骤s03)。由此，分别探测在与本车辆相同的行车道l1上行驶的先行汽车20、在右邻的行车道l2上行驶的对向汽车21、来自左侧方的汽车22、以及来自右侧方的自行车23。

另外，对象判别部7进行去除作为探测对象物的汽车20、21、22以及自行车23之外的建筑物25、26、信号灯27、28等目标的处理(步骤s04)。另外，位置检测部8根据对象判别部7进行去除处理后的立体照相机16、17的图像，通过计算求出从本车辆至各汽车20、21、22以及自行车23的x-y坐标轴中的位置信息(步骤s05)。

另一方面，位置检测部8从传感器装置3获得由雷达传感器18测定出的与后续车之间的距离信息。因此，位置检测部8针对作为后方的探测对象物的后续车辆的以本车辆为基准的直至探测对象物的相对位置，计算x-y坐标轴中的位置信息(步骤s06)。在该情况下，由雷达传感器18探测到的对象物成为后续车辆，但如果与雷达传感器18一起配置后置照相机而将后方的摄影图像送到对象判别部7，则能够针对后方的探测对象物的每个类别检测。

图像生成部9在表示来自对象判别部7的各探测对象物的类别信息时，选择与其类别对应的图标，将选择出的图标20i、21i、22i、23i，沿着从位置检测部8所示的各探测对象物的位置信息，重叠到从导航装置2所示的地图数据上，来生成并显示地图图像(步骤s07)。此时，图像生成部9生成的图像由于检测出来自对象判别部7的行车道线24，所以如图4(b)所示，在本车辆行驶的道路上显示行车道线24来区分行车道l1、l2，区分显示先行车辆20i和对向车辆21i的图标。另外，在该情况下，雷达传感器18探测后续车辆，图像生成部9沿着后续车辆的位置信息将图标24i重叠显示于地图数据上。

显示汽车的图标在通过对象判别部7的模式匹配处理识别出大巴、卡车时，与轿车区分而显示这些图标。或者，也可以是代表所有种类的汽车的共同的图标。另外，在识别出行人时，显示对人进行符号化而得到的图标。

另外，在从导航装置2输出的地图数据中，还有用包括周围的建筑物等的三维图像显示的类型的例子，但在该情况下，还能够在地图数据上重叠显示照相机16、17捕捉到的实际的图像。

根据上述结构的车辆用图像显示系统1，汽车14的乘员能够在显示装置5的画面上确认传感器装置3掌握的本车辆的周围的状况。因此，特别在汽车14是自动驾驶车的情况下，能够对比观察乘员目视的周围的状况和传感器装置3掌握的周围的状况，所以作为能够确认向自动驾驶系统的可靠性的辅助系统而发挥功能。

车辆用图像显示系统1不限于来自传感器装置3的信息，而通过通信装置4在车辆间通信中获得的周围的信息也能够显示于显示装置5。

在此说明车辆间通信时，如图6所示，在车辆31、32各自的通信装置4之间，通过单向多播通信，交换表示本车辆的位置、车辆状态的消息数据。在该情况下，车辆31、32既可以直接进行通信，或者，也可以从设置于道路的天线33、通信芯片(未图示)，通过利用因特网等的通信线路36，经由中继中心34间接地进行通信。在图6所示的情形中，朝向相同的路口行进的车辆31、32由于建筑物35遮挡相互的视野而无法目视确认，但通过双方的车辆31、32利用通信相互传递自身的位置和车速等，成为未然地防止碰撞事故的安全驾驶支援。

图7示意性地示出在车辆间通信中交换的消息的数据帧df的结构例，包括：时刻信息数据帧df1，写入有时/分/秒的数据元素；位置信息数据帧df2，写入有通过gps等取得的纬度/经度的各数据元素；车辆状态信息数据帧df3，写入有车速信息、车辆方位角信息、自动驾驶信息、挡位信息、转弯角度信息的各数据元素；以及车辆属性信息数据帧df4，写入有区分车辆尺寸的(大型、普通、摩托车等)信息、车宽信息、车长信息的各数据元素。

使用图8的流程图，说明显示在车辆间通信中获得的信息的动作。首先，通信装置4输入导航装置2取得的本车辆的位置以及车速(步骤s11)，经由通信装置4取得其它车辆的位置以及车速(步骤s12)。在该情况下如上所述，从搭载与通信装置4相同或者具有互换性的通信装置的其它车辆，输出在数据帧中包括该其它车辆的位置信息、车辆属性信息、速度、方位角的类别等车辆状态信息的消息。

因此，图像生成部8与从导航装置2示出的地图数据进行核对(步骤s13)，根据核对结果，判别在本车辆的周围是否存在其它车辆(步骤s14)。另外，图像生成部8在周围存在能够进行通信的其它车辆的情况下(步骤s14的“是”)，选择与基于车辆属性信息的其它车辆的类别对应的图标，沿着接收到选择出的图标的消息的位置信息，生成并显示在地图数据上重叠的地图图像(步骤s15)。另一方面，通信装置4发送包括与本车辆有关的时刻信息、位置信息、车辆状态信息、车辆属性信息的消息(步骤s16)。

通过进行这样的车辆间通信，即便是图5所示的汽车22由于建筑物的阴影无法目视的状况，在能够进行车辆间通信时，图像生成部8能够探测汽车22的存在而在地图数据上显示图标。另外，通信装置4除了车辆间通信以外，还能够通过经由因特网、公共广播的与交通信息中心之间的无线通信，获得事故车、工程信息等，将表示这些状况的图标显示于地图数据上。

以上，详细说明了本发明的优选的实施方式，但本发明不限定于上述实施方式，能够在该技术性的范围内，施加各种变形或者变更来实施。例如，也可以为了扩大汽车的后方的检测视野，在后挡风玻璃19的两侧配置一对照相机(立体照相机)、雷达传感器。另外，不限于后挡风玻璃19，也可以在一对后视镜的各个配置左右的照相机、雷达传感器。