传感系统及车辆的制作方法

1.本发明涉及传感系统及搭载有该传感系统的车辆。


背景技术：

2.在专利文献1中公开了一种照明单元，其为了提高本车辆的乘员(特别是驾驶员)针对周边环境的视觉识别性，将包含照射区域和非照射区域在内的adb(adaptive driving beam)用配光图案朝向车辆的前方区域射出。在前行车辆、逆向车辆等前方车辆存在于车辆的前方的情况下，照明单元以前方车包含于非照射区域的方式将adb用配光图案朝向前方区域射出。如上所述，在adb用配光图案中，不对前方车辆的乘员赋予眩光，能够确保本车辆的乘员的周边环境的视觉识别性。
3.专利文献1：日本特开2020－026248号公报


技术实现要素：

4.另外，在车辆用灯具的灯室内配置有照相机等传感器，基于由该照相机取得的图像数据对前方车辆等对象物进行检测。然后，对照明单元的驱动进行控制的照明控制部以该检测出的对象物包含于非照射区域的方式将adb用配光图案朝向车辆的前方射出。
5.另外，设想到在车辆用灯具的透光性罩附着有异物的情况下，由于在透光性罩附着的异物(雨滴、雪、泥、尘埃等)，无法基于来自照相机的图像数据而准确地取得与前方车辆相关联的信息(前方车辆的位置信息等)。在该情况下，在adb用配光图案的照射区域的一部分重叠有前方车辆，有可能对前方车辆的乘员造成眩光。如上所述，关于即使在透光性罩附着有异物的情况下，也能够防止针对存在于车辆的外部的对象物(例如，其他车辆等)认知精度降低的车辆用传感系统而存在研究的余地。
6.本发明的目的在于，提供能够防止针对存在于传感系统的外部的对象物的认知精度的降低的传感系统。
7.本发明的一个方式所涉及的传感系统具有：
8.控制部，其构成为取得与存在于所述传感系统的外部的对象物相关的信息；
9.第1传感器，其配置于由透光性罩和壳体形成的空间内，取得表示所述外部的周边环境的第1数据；以及
10.罩清洁器，其构成为将附着于所述透光性罩的异物去除。
11.所述控制部构成为，
12.对在所述透光性罩是否附着有异物进行判定，与在所述透光性罩附着有异物的判定相应地使所述罩清洁器驱动，
13.在所述透光性罩没有附着异物的情况下，基于所述第1数据而取得与所述对象物相关的信息，
14.在所述透光性罩附着有异物的情况下，从配置于所述空间外的第2传感器取得表示所述外部的周边环境的第2数据，在此基础上，基于该所取得的第2数据而取得与所述对
unit)之中的至少一个。存储器包含rom(read only memory)和ram(random access memory)。在rom中可以对车辆控制程序进行存储。例如，车辆控制程序可以包含自动驾驶用的人工智能(ai)程序。ai程序是通过使用多层的神经网络的有教师或无教师机器学习(特别地，深度学习)而构建出的程序(训练好的模型)。在ram中可以对车辆控制程序、车辆控制数据和/或表示车辆的周边环境的周边环境信息暂时地进行存储。处理器可以构成为将从在rom中存储的各种车辆控制程序指定出的程序在ram上展开，通过与ram的协同动作而执行各种处理。
30.如图3所示，左侧传感系统4l具有近光用照明单元45l、adb(adaptive driving beam)用照明单元46l、第1照相机43l、罩清洁器47l和控制部20l。近光用照明单元45l、adb用照明单元46l和第1照相机43l在位于车辆1的左前侧的空间sl内配置(参照图1)。如图1所示，空间sl是由灯壳42l(壳体的一个例子)和透光性的灯罩40l(透光性罩的一个例子)形成的灯室。
31.近光用照明单元45l，例如具有将光射出的发光元件(例如，led)、将从该发光元件射出的光朝向前方反射的反射镜和对由该反射镜反射出的光的一部分进行遮光的遮光罩。近光用照明单元45l构成为对车辆1的前方区域照射近光用配光图案pl(参照图4)。如图4所示，近光用配光图案pl是在假想地配置于车辆1的25m前方的假想铅垂屏幕上形成的配光图案。近光用配光图案pl具有逆向车道侧明暗截止线cl1、本车道侧明暗截止线cl2和与这些明暗截止线cl1、cl2连接的斜明暗截止线cl3。
32.adb用照明单元46l构成为对车辆1的前方区域照射adb用配光图案ph。adb用配光图案ph是在假想铅垂屏幕上形成的配光图案。adb用配光图案ph具有被光照射的照射区域ph1和不被光照射的非照射区域ph2。特别地，在车辆1的前方存在前方车辆1a等对象物的情况下，adb用照明单元46l以该对象物包含于非照射区域ph2内的方式将adb用配光图案ph形成于车辆1的前方。在该情况下，前方车辆1a位于非照射区域ph2的左端部el和右端部er之间。如上所述，适当地防止对前方车辆1a等对象物造成眩光。另一方面，在车辆1的前方不存在对象物的情况下，adb用照明单元46l将仅由照射区域ph1构成的adb用配光图案(即，远光用配光图案)形成于车辆1的前方。如上所述，adb用照明单元46l与有没有对象物相应地，将具有非照射区域ph2的adb用配光图案或远光配光图案朝向前方照射。
33.adb用照明单元46l例如可以具有排列为矩阵状(n行
×
m列，n、m为大于或等于1的整数)的多个发光元件(例如，led)和使从多个发光元件射出的光经过的投影透镜。在该情况下，各发光元件的点灯/熄灯被单独地控制，由此adb用照明单元46l能够将具有照射区域ph1和非照射区域ph2的adb用配光图案ph形成于车辆1的前方。
34.作为adb用照明单元46l的其他结构，adb用照明单元46l例如可以具有将光射出的发光元件、反射镜、mems(micro electro mechanical systems)镜和投影透镜。反射镜构成为将从发光元件射出的光朝向mems镜反射。mems镜构成为将由反射镜反射出的光朝向投影透镜反射。mems镜具有排列为矩阵状(n行
×
m列)的多个微小镜要素。多个微小镜要素各自的角度与来自照明单元控制部23l的控制信号相应地，设定为使光朝向投影透镜反射的第1角度(on状态)或不使光朝向投影透镜反射的第2角度(off状态)。如上所述，通过对mems镜的各微小镜要素的角度进行控制，从而adb用照明单元46l能够将具有照射区域ph1和非照射区域ph2的adb用配光图案ph形成于车辆1的前方。
35.另外，作为adb用照明单元46l的其他结构，adb用照明单元46l也可以是具有将光射出的发光元件和在旋转轴的周围设置有多个反射片的旋转反射镜的反射片扫描方式的照明单元。旋转反射镜一边以旋转轴为中心向一个方向旋转，一边对从发光元件射出的光进行反射，由此能够将该光进行扫描。如上所述，伴随旋转反射镜的旋转，adb用照明单元46l能够将具有照射区域ph1和非照射区域ph2的adb用配光图案ph形成于车辆1的前方。
36.第1照相机43l(第1传感器的一个例子)配置于空间sl内，构成为取得表示车辆1的周边环境的第1图像数据(第1数据的一个例子)。第1照相机43l例如由ccd(charge－coupled device)、cmos(互补型mos)等拍摄元件构成。
37.罩清洁器47l配置于灯罩40l的周边，构成为通过将附着于灯罩40l的异物(例如，雨滴、雪、泥、尘埃等)去除，从而对灯罩40l进行清洗。罩清洁器47l可以构成为通过将清洗液或空气朝向灯罩40l喷射，从而将附着于灯罩40l的异物或污垢去除。
38.控制部20l构成为分别对近光用照明单元45l、adb用照明单元46l、第1照相机43l和罩清洁器47l进行控制。控制部20l例如由至少一个电子控制单元(ecu：electronic control unit)构成。电子控制单元包含计算机系统和电子电路(模拟控制电路)，该计算机系统包含大于或等于1个处理器和大于或等于1个存储器，该电子电路由晶体管等有源元件及无源元件构成。处理器例如包含cpu、mpu、gpu之中的至少一个。存储器包含rom和ram。
39.控制部20l具有照相机控制部21l、清洁器控制部22l和照明单元控制部23l。照相机控制部21l构成为对第1照相机43l的驱动进行控制，并且构成为从第1照相机43l取得第1图像数据。并且，照相机控制部21l如后面所述，构成为从图2所示的车辆控制部3取得由第2照相机6取得的第2图像数据。
40.清洁器控制部22l构成为对罩清洁器47l进行控制。特别地，清洁器控制部22l构成为在基于第1图像数据而判定出是否在灯罩40l附着有异物后，与在罩清洁器47l附着有异物的判定相应地，使罩清洁器47l驱动。
41.照明单元控制部23l构成为对近光用照明单元45l和adb用照明单元46l进行控制。特别地，照明单元控制部23l基于第1图像数据或第2图像数据，取得与存在于车辆1的周边的对象物(前方车辆、行人等)相关的信息。然后，照明单元控制部23l构成为基于与该取得的对象物相关的信息，以存在于车辆1的周边的对象物包含于adb用配光图案ph的非照射区域ph2内的方式对adb用照明单元46l进行控制(参照图4)。与对象物相关的信息例如包含与对象物的角度位置相关的信息。
42.更具体地说，照明单元控制部23l在判定为在车辆1的前方不存在前方车辆1a的情况下，以远光用配光图案(即，仅由照射区域ph1构成的adb用配光图案ph)朝向前方射出的方式对adb用照明单元46l进行控制。另一方面，照明单元控制部23l在判定为在车辆1的前方存在前方车辆1a的情况下，取得前方车辆1a相对于adb用照明单元46l的光轴的角度位置θ(特别地，前方车辆1a的左端的角度位置和前方车辆1a的右端的角度位置)。然后，照明单元控制部23l在基于前方车辆1a的角度位置θ而决定非照明区域ph后，以adb用配光图案ph朝向前方射出的方式对adb用照明单元46l进行控制。
43.右侧传感系统4r具有与上述的左侧传感系统4l相同的结构。具体地说，如图1所示，右侧传感系统4r具有近光用照明单元45r、adb用照明单元46r、第1照相机43r、罩清洁器47r和未图示的控制部。近光用照明单元45r、adb用照明单元46r和第1照相机43r在位于车
辆1的右前侧的空间sr内配置。空间sr是由灯壳42r(壳体的一个例子)和透光性的灯罩40r(透光性罩的一个例子)形成的灯室。在右侧传感系统4r设置的各结构要素，具有与在上述的左侧传感系统4l设置的各结构要素相同的结构及功能，因此，在这里省略说明。在这一点上，在右侧传感系统4r设置的未图示的控制部具有与图3所示的控制部20l相同的功能及结构。
44.返回至图2，传感器5包含加速度传感器、速度传感器及陀螺仪传感器之中的至少一个。传感器5构成为对车辆1的行驶状态进行检测，将行驶状态信息输出至车辆控制部3。传感器5可以还具有对驾驶员是否就座于驾驶席进行检测的就座传感器、对驾驶员的面部的方向进行检测的面部朝向传感器、对外部天气状态进行检测的外部天气传感器及对在车内是否有人进行检测的人体感应传感器等。
45.第2照相机6例如由ccd、cmos等拍摄元件构成。第2照相机6如图1所示，以与车辆1的前窗70相对的方式配置于车辆1的室内。第2照相机6构成为在取得表示车辆1的周边环境的第2图像数据(第2数据的一个例子)后，将该第2图像数据发送至车辆控制部3。车辆控制部3可以基于从第2照相机发送出的第2图像数据和在存储器内保存的训练好的模型，对表示车辆的周边环境的周边环境信息(即，对象物的属性、位置信息等)进行确定。
46.雷达7包含毫米波雷达、微波雷达及激光雷达(例如，lidar单元)之中的至少一个。例如，lidar单元构成为对车辆1的周边环境进行检测。特别地，lidar单元构成为在取得表示车辆1的周边环境的3d映射数据(点群数据)后，将该3d映射数据发送至车辆控制部3。车辆控制部3基于发送出的3d映射数据，对周边环境信息进行确定。
47.hmi 8由接受来自驾驶员的输入操作的输入部和将行驶信息等朝向驾驶员输出的输出部构成。输入部包含方向盘、加速踏板、制动踏板、对车辆1的驾驶模式进行切换的驾驶模式切换开关等。输出部是对各种行驶信息进行显示的显示器(例如，head up display(hud)等)。gps 9构成为取得车辆1的当前位置信息，将该取得的当前位置信息输出至车辆控制部3。
48.无线通信部10构成为从其他车辆对与存在于车辆1的周围的其他车辆相关的信息进行接收，并且将与车辆1相关的信息发送至其他车辆(车车间通信)。另外，无线通信部10构成为从信号机、标志灯等基础设施设备对基础设施信息进行接收，并且将车辆1的行驶信息发送至基础设施设备(路车间通信)。另外，无线通信部10构成为从行人所携带的便携型电子仪器(智能手机、平板、可穿戴设备等)对与行人相关的信息进行接收，并且将车辆1的本车辆行驶信息发送至便携型电子仪器(人车间通信)。车辆1可以通过点对点模式与其他车辆、基础设施设备或者便携型电子仪器直接通信，也可以经由互联网等通信网络进行通信。
49.存储装置11是硬盘驱动器(hdd)、ssd(solid state drive)等外部存储装置。在存储装置11中可以存储有2维或3维的地图信息和/或车辆控制程序。例如，3维的地图信息可以由3d映射数据(点群数据)构成。存储装置11构成为与来自车辆控制部3的请求相应地，将地图信息、车辆控制程序发送至车辆控制部3。地图信息、车辆控制程序可以经由无线通信部10和通信网络进行更新。
50.在车辆1通过自动驾驶模式行驶的情况下，车辆控制部3基于行驶状态信息、周边环境信息、当前位置信息、地图信息等，自动地生成转向控制信号、加速控制信号及制动控
制信号之中的至少一个。转向致动器12构成为从车辆控制部3对转向控制信号进行接收，基于接收到的转向控制信号对转向装置13进行控制。制动致动器14构成为从车辆控制部3对制动控制信号进行接收，基于接收到的制动控制信号对制动装置15进行控制。加速致动器16构成为从车辆控制部3对加速控制信号进行接收，基于接收到的加速控制信号对加速装置17进行控制。如上所述，车辆控制部3基于行驶状态信息、周边环境信息、当前位置信息、地图信息等，对车辆1的行驶自动地进行控制。即，在自动驾驶模式中，车辆1的行驶由车辆系统2自动控制。
51.接下来，参照图5，对由左侧传感系统4l执行的异物附着判定处理进行以下说明。图5是用于对异物附着判定处理进行说明的流程图。此外，设为右侧传感系统4r也执行相同的异物附着判定处理。
52.如图5所示，在步骤s1中，清洁器控制部22l开始对在灯罩40l是否没有附着有异物(雨滴、雪、泥、尘埃等)进行判定的异物附着判定。在步骤s2中，清洁器控制部22l基于由第1照相机43l取得的第1图像数据，对在灯罩40l是否附着有异物进行判定。在这一点上，第1照相机43l配置于空间sl内，因此灯罩40l包含于第1照相机43l的视野内。因此，在灯罩40l存在异物的情况下，能够根据第1图像数据对异物的存在进行确定。
53.具体地说，清洁器控制部22l对与构成第1图像数据的各像素的亮度相关的像素值是否大于或等于规定的阈值进行判定。在这里，像素的像素值与像素的亮度相关。即，像素的亮度越大，则像素的像素值变得越大，另一方面，像素的亮度越小，则像素的像素值变得越小。接下来，清洁器控制部22l在对像素值大于或等于规定的阈值的像素进行确定后，基于与像素值大于或等于规定的阈值的像素相关联的信息，对在灯罩40l是否附着有异物进行判定。在这一点上，异物附着判定优选在车辆1的周围昏暗的状况(例如，黑夜)下执行。在车辆1的周围昏暗的状况下，从近光用照明单元45l和/或adb用照明单元46l(以下为照明单元)将光朝向前方射出。即，从照明单元射出的光经过灯罩40l。在灯罩40l附着有异物的情况下，从照明单元射出的光由异物反射，在此基础上，该反射光射入至第1照相机43l。如上所述，在由第1照相机43l拍摄到的第1图像数据中，属于异物所存在的区域的像素的像素值(亮度)比属于异物不存在的区域的像素的像素值(亮度)变大。如上所述，通过着眼于第1图像数据的各像素的像素值，从而能够对属于异物所存在的区域的像素进行确定。
54.另外，作为与像素值大于或等于规定的阈值的像素相关联的信息，例如是：1)由像素值大于或等于规定的阈值的像素构成的像素组的面积，2)像素值大于或等于规定的阈值的像素的个数，或3)像素值大于或等于规定的阈值的像素相对于构成第1图像数据的全像素的比率。
55.即，清洁器控制部22l如果由像素值大于或等于规定的阈值的像素构成的像素组的面积大于或等于规定的面积，则可以判定为在灯罩40l附着有异物。相反地，清洁器控制部22l如果该像素组的面积小于规定的面积，则可以判定为在灯罩40l没有附着异物。另外，清洁器控制部22l如果像素值大于或等于规定的阈值的像素的个数大于或等于规定的个数，则可以判定为在灯罩40l附着有异物。相反地，清洁器控制部22l如果像素值大于或等于规定的阈值的像素的个数小于规定的个数，则可以判定为在灯罩40l没有附着异物。并且，清洁器控制部22l如果像素值大于或等于规定的阈值的像素相对于构成第1图像数据的全像素的比率大于或等于规定的比率，则可以判定为在灯罩40l附着有异物。相反地，清洁器
控制部22l如果该比率小于规定的比率，则可以判定为在灯罩40l没有附着异物。
56.接下来，清洁器控制部22l在判定为在灯罩40l附着有异物的情况下(步骤s2为yes)，请求对车辆控制部3转发由第2照相机6取得的第2图像数据。然后，清洁器控制部22l从车辆控制部3对第2图像数据进行接收。接下来，照明单元控制部23l基于第2图像数据，取得与前方车辆等对象物相关的信息(特别是与前方车辆的角度位置相关的信息)(步骤s3)。然后，照明单元控制部23l以对象物位于adb用配光图案ph的非照射区域ph2内的方式从adb用照明单元46l照射出adb用配光图案ph。
57.接下来，清洁器控制部22l为了将附着于灯罩40l的异物去除而使罩清洁器47l驱动(步骤s4)。然后，再次执行对在灯罩是否附着有异物进行判定的处理(步骤s2的处理)。
58.另一方面，在清洁器控制部22l判定为在灯罩40l没有附着异物的情况下(步骤s2为no)，照明单元控制部23l基于由第1照相机43l取得的第1图像数据，取得与前方车辆等对象物相关的信息(特别是与前方车辆的角度位置相关的信息)(步骤s5)。然后，照明单元控制部23l以对象物位于adb用配光图案ph的非照射区域ph2内的方式从adb用照明单元46l照射出adb用配光图案ph。
59.接下来，清洁器控制部22l在结束异物附着判定的情况下(步骤s6为yes)，结束图5所示的一系列的处理。另一方面，清洁器控制部22l在不结束异物附着判定的情况下(步骤s6为no)，再次执行步骤s2的处理。
60.根据本实施方式，在灯罩40l没有附着异物的情况下，基于来自在由灯罩40l和灯壳42l形成的空间sl内配置的第1照相机43l的第1图像数据，取得与存在于车辆1的外部的对象物的角度位置相关的信息。然后，基于与对象物的角度位置相关的信息，对adb用配光图案ph的照射进行控制。另一方面，在灯罩40l附着有异物的情况下，基于来自在车辆1的室内配置的第2照相机6的第2图像数据，取得与对象物的角度位置相关的信息。然后，基于与对象物的角度位置相关的信息，对adb用配光图案ph的照射进行控制。如上所述，提供即使在灯罩40l附着有异物的情况下，也能够防止针对对象物的认知精度的降低的左侧传感系统4l。并且，能够适当地防止对前方车辆的乘员照射眩光这样的状况。
61.在这一点上，第2照相机6以与前窗70相对的方式配置于车辆1的室内，因此防止异物附着于第2照相机6的状况。并且，在位于第2照相机6的视野内的前窗70附着的异物，由设置于前窗70的未图示的雨刷器可靠地去除。如上所述，适当地防止在由第2照相机6取得的第2图像数据中映入异物的状况。因此，即使在灯罩40l附着有异物的情况下，控制部20l也能够基于没有映入异物的第2图像数据而可靠地取得与对象物相关的信息。因此，控制部20l能够以前方车辆包含于adb用配光图案ph的非照射区域ph2的方式对adb用配光图案ph的照射进行控制，因此能够适当地防止对前方车辆的乘员造成眩光的状况。
62.另外，根据本实施方式，基于由第1照相机43l取得的第1图像数据而对在灯罩40l是否附着有异物进行判定。并且，在灯罩40l没有附着异物的情况下，基于第1图像数据而取得与前方车辆等对象物相关的信息。如上所述，为了确定对象物及异物这两者的存在能够高效地使用第1图像数据。
63.以上，对本发明的实施方式进行了说明，但当然不应该解释为本发明的技术范围被本实施方式的说明限定。本实施方式只是一个例子，在权利要求书所记载的发明的范围内能够进行各种实施方式的变更，这是本领域技术人员所理解的。本发明的技术范围应该
基于权利要求书所记载的发明的范围及其等同的范围而确定。
64.例如，在本实施方式中，作为透光性罩及壳体的一个例子，举出灯罩及灯壳，但本实施方式的透光性罩和壳体并不限定于上述这些。例如，如图6所示，在车辆1b的后侧设置的后照相机模块43b的透光性罩和壳体可以是透光性罩和壳体的另一个例子。在该情况下，后照相机模块43b构成为取得表示车辆1b的后方区域的周边环境信息。后照相机模块43b具有透光性罩、壳体和第1照相机。第1照相机构成为在由后照相机模块43b的透光性罩和壳体形成的空间内配置，取得第1图像数据。另外，罩清洁器47b构成为设置于后照相机模块43b的周边，将在后照相机模块43b的透光性罩附着的异物去除。并且，取得第2图像数据的第2照相机6a以与车辆1b的后窗80相对的方式配置于车辆1b的室内。
65.另外，车辆传感系统4b由后照相机模块43b、罩清洁器47b和通过ecu构成的控制部(未图示)构成。车辆传感系统4b可以构成为执行图5所示的异物附着判定处理。车辆传感系统4b与在后照相机模块43b的透光性罩是否附着有异物的判定结果相应地，采用由第1照相机取得的第1图像数据或由第2照相机6a取得的第2图像数据之中的任一者。然后，车辆传感系统4b可以基于采用的第1图像数据或第2图像数据的任一者，对表示车辆1b的后方区域的周边环境信息进行确定。
66.如上所述，能够提供即使在后照相机模块43b的透光性罩附着有异物的情况下，也能够防止针对周边环境信息的认知精度的降低的车辆传感系统4b。
67.另外，在本实施方式中，作为第1传感器和第2传感器的一个例子，举出第1照相机及第2照相机，但本实施方式的第1传感器及第2传感器并不限定于照相机。例如，也可以取代第1照相机而采用第1lidar单元，并且取代第2照相机而采用第2lidar单元。图3所示的左侧传感系统4l可以与在灯罩40l是否附着有异物的判定结果相应地，采用由第1lidar单元取得的第1点群数据或由第2lidar取得的第2点群数据之中的任一者。然后，左侧传感系统4l可以基于采用的第1点群数据或第2点群数据的任一者，对表示车辆1的周边区域的周边环境信息进行确定。
68.另外，在本实施方式中，对搭载于车辆的车辆用传感系统进行了说明，但传感系统并不限定于车辆用传感系统。在这一点上，传感系统可以是在道路上设置的监视照相机用的传感系统。在该情况下，监视照相机用的传感系统具有第1监视照相机单元、第2监视照相机单元、控制部和罩清洁器。第1监视照相机单元构成为配置于由透光性罩和壳体形成的空间内，取得表示周边环境的第1图像数据。另一方面，第2监视照相机单元构成为在由透光性罩和壳体形成的空间外配置，取得表示周边环境的第2图像数据。控制部例如由具有处理器和存储器的微控制器构成。罩清洁器构成为设置于透光性罩的周边，将附着于透光性罩的异物去除。控制部在透光性罩没有附着异物的情况下，基于由第1监视照相机单元取得的第1图像数据而取得与行人、车辆等对象物相关的信息。另一方面，控制部在透光性罩附着有异物的情况下，基于由第2监视照相机单元取得的第2图像数据而取得与该对象物相关的信息。如上所述，本实施方式所涉及的传感系统针对监视照相机用的传感系统也充分地发挥功能。
69.本技术适当引用在2020年8月24日申请的日本专利申请(日本特愿2020－141045号)中公开的内容。