门控照相机、车辆用感测系统、车辆用灯具的制作方法

1.本公开涉及一种门控照相机。


背景技术：

2.为了自动驾驶或前照灯的配光的自动控制，会利用对存在于车辆周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包含传感器、以及对传感器的输出进行分析的运算处理装置。关于传感器，考虑用途、要求精度及成本，从照相机、lidar(light detection and ranging，laser imaging detection and ranging：光探测和测距，激光成像探测和测距)、毫米波雷达、以及超声波声呐等中选择。
3.从一般的单眼照相机，无法得到进深的信息。因此，在位于不同距离的多个物体重叠的情况下，难以将它们分离。
4.作为可得到进深信息的照相机，已知tof照相机。tof(time of flight：飞行时间)照相机通过发光设备投射红外光，并对到反射光返回图像传感器为止的飞行时间进行测定，得到将飞行时间转换为距离信息的tof图像。
5.提出了一种代替tof照相机的有源传感器(以下，在本说明书中，称为门控照相机，或选通照相机)(专利文献1、2)。门控照相机将摄影范围划分为多个区间，针对每个区间使曝光定时及曝光时间变化，并进行摄像。由此，针对对象的每个区间，都会得到切片图像，各切片图像仅包含对应的区间所包含的物体。
6.[现有技术文献]
[0007]
[专利文献]
[0008]
专利文献1:日本特开2009-257981号公报
[0009]
专利文献2:国际公开wo2017/110417a1


技术实现要素：

[0010]
[发明要解决的课题]
[0011]
1.本发明人认识到：有时，在使门控照相机动作时，在图像传感器的输出图像(传感器图像)中，会随机地产生横纹的噪声，使切片图像的画质劣化。
[0012]
本公开的一个方案在上述状况下完成，其例示性目的之一在于提供一种可抑制切片图像的劣化的门控照相机。
[0013]
2.门控照相机包括：图像传感器；以及图像处理装置，其对图像传感器的输出图像(传感器图像)进行处理。在此，从图像传感器至图像处理装置之间，多以串行接口连接，其间的传感器图像的传输速度会成为瓶颈，1张切片图像的生成所需的时间会变长，门控照相机的帧速率会被限制。
[0014]
本公开的一个方案在上述状况下完成，其例示性目的之一在于提供一种可缩短切片图像的生成时间的门控照相机。
[0015]
3.现有的门控照相机针对1次发光进行1次曝光，因此，针对每次发光，仅会生成1
个区间的切片图像。因此，为了对n个区间全部进行感测，发光和曝光的设置需要n次，感测时间会变长。在对远方的区间进行拍摄时，在多次重复发光和曝光，并进行累计的情况下，感测时间会进一步变长。
[0016]
本公开的一个方案在上述状况下完成，其例示性目的之一在于提供一种可缩短感测时间的门控照相机。
[0017]
[用于解决技术课题的技术方案]
[0018]
1.本公开的一个方案的门控照相机针对进深方向划分为多个区间，并生成与多个区间对应的多个切片图像。门控照相机包括：照明装置，其照射探测光；图像传感器；控制器，其对照明装置的发光定时和图像传感器的曝光的定时进行控制；以及图像处理装置，其基于从图像传感器传输的传感器图像来生成切片图像。图像处理装置针对传感器图像的每个行(line)，按像素值从小到大的顺序选择m个(m≥2)，算出它们的平均值，并从相同的线的各像素值中减去平均值。
[0019]
2.本公开的一个方案涉及一种门控照相机，该门控照相机针对进深方向划分为多个区间，并生成与多个区间对应的多个切片图像。门控照相机包括：照明装置，其照射探测光；图像传感器，其包含多个像素；控制器，其对照明装置的发光定时和图像传感器的曝光的定时进行控制；以及图像处理装置，其基于从图像传感器传输的传感器图像来生成切片图像。区间越近，从图像传感器传输到图像处理装置的传感器图像的分辨率就越低。
[0020]
3.本公开的一个方案涉及一种门控照相机，该门控照相机针对进深方向划分为多个区间，并生成与多个区间对应的多个切片图像。门控照相机包括：照明装置，其照射探测光；图像传感器，其包含多个像素；以及控制器，其对照明装置的发光定时和图像传感器的曝光的定时进行控制。图像传感器的多个像素被分类为多个像素组，控制器针对照明装置的1次发光，以不同的定时对多个像素组进行曝光。
[0021]
发明效果
[0022]
根据本公开的方案1，能够改善切片图像的画质。根据本公开的方案2，能够缩短切片图像的生成时间。根据本公开的方案3，能够缩短感测时间。
附图说明
[0023]
图1是实施方式1的感测系统的框图。
[0024]
图2是对门控照相机的基本动作进行说明的图。
[0025]
图3的(a)、图3的(b)是对通过门控照相机得到的切片图像进行说明的图。
[0026]
图4是对传感器图像si的噪声进行说明的图。
[0027]
图5是对图像处理装置的噪声消除进行说明的图。
[0028]
图6是表示噪声减法处理前后的传感器图像的图。
[0029]
图7是表示噪声减法处理前后的传感器图像的图。
[0030]
图8是实施方式2的感测系统的框图。
[0031]
图9是对门控照相机的基本动作进行说明的图。
[0032]
图10的(a)、图10的(b)是对通过门控照相机得到的切片图像进行说明的图。
[0033]
图11是对取决于区间的传感器图像si的分辨率的控制的一例进行说明的图。
[0034]
图12的(a)是表示某一行驶场景的图，图12的(b)是表示在图12的(a)的行驶场景
中得到的传感器图像si
x
、siy的图。
[0035]
图13的(a)是表示门控照相机的动作的时序图，图13的(b)是表示对比技术的门控照相机的动作的时序图。
[0036]
图14是对取决于区间的传感器图像si的分辨率的控制的另一例进行说明的图。
[0037]
图15是对取决于区间的传感器图像si的分辨率的控制的又一例进行说明的图。
[0038]
图16是变形例2的门控照相机的框图。
[0039]
图17是对变形例2的门控照相机的曝光进行说明的图。
[0040]
图18是对变形例2的门控照相机的动作进行说明的时序图。
[0041]
图19是实施方式3的感测系统的框图。
[0042]
图20是对图19的门控照相机的动作进行说明的时序图。
[0043]
图21的(a)、图21的(b)是对由图19的门控照相机得到的切片图像进行说明的图。
[0044]
图22的(a)～图22的(d)是表示像素组的例子的图。
[0045]
图23是感测系统的框图。
[0046]
图24的(a)、图24的(b)是表示具备门控照相机的汽车的图。
[0047]
图25是表示具备物体检测系统的车辆用灯具的框图。
具体实施方式
[0048]
(实施方式的概要)
[0049]
以下，对本公开的几个例示性的实施方式的概要进行说明。该概要作为后述的详细说明的前置，以实施方式的基本理解为目的，简化地对1个或多个实施方式中的几个概念进行说明，并不对发明或公开的广度进行限定。此外，该概要并非可考虑到的全部实施方式的总括性的概要，并不对实施方式的不可或缺的构成要素进行限定。为了方便，“一个实施方式”有时会在指代本说明书所公开的一个实施方式(实施例或变形例)或多个实施方式(实施例或变形例)的情况下使用。
[0050]
该概要并非可考虑到的全部实施方式的广泛的概要，既不意味着对全部实施方式的重要要素或重要要素进行确定，也不意味着将一部分或全部方案的范围扩大。其唯一的目的在于，作为在后面要提示的更详细的说明的前置，以将1个或多个实施方式中的几个概念简化的形式进行提示。
[0051]
1.一个实施方式的门控照相机针对进深方向，划分为多个区间，生成与多个区间对应的多个切片图像。门控照相机包括：照明装置，其照射探测光；图像传感器；控制器，其对照明装置的发光定时和图像传感器的曝光的定时进行控制；以及图像处理装置，其基于从图像传感器传输的传感器图像来生成切片图像。图像处理装置针对传感器图像的每一行，按像素值较小的顺序选择m个(m≥2)，算出它们的平均值，并从相同的线的各像素值中减去平均值。
[0052]
根据该构成，能够降低横条纹的噪声，并改善画质。
[0053]
也可以是，在一个实施方式中，m为线的像素数的2～8％。
[0054]
2.一个实施方式的门控照相机针对进深方向，划分为多个区间，生成与多个区间对应的多个切片图像。门控照相机包括：照明装置，其照射探测光；图像传感器，其包含多个像素；控制器，其对照明装置的发光定时和图像传感器的曝光的定时进行控制；以及图像处
理装置，其基于从图像传感器传输的传感器图像，生成切片图像。区间越近，被从图像传感器传输到图像处理装置的传感器图像的分辨率就越低。
[0055]
通过门控照相机，在对相同的被摄体进行拍摄的情况下，在被摄体存在于较远的区间的情况下，被摄体较小，即被以低分辨率拍摄，在被摄体存在于较近的区间的情况下，被摄体较大，即被以高分辨率拍摄。因此，到被摄体的距离越近，换言之，越是近的区间，就越能够通过使从图像传感器传输到图像处理装置的传感器图像的分辨率降低，从而在后级的处理中维持必要的分辨率，并使传感器图像的传输时间变短，能够缩短切片图像的生成时间。
[0056]
也可以是，在一个实施方式中，图像传感器能够针对多个像素，按行来指定有无传输，越是近的区间，被跳过的行的条数就越多。
[0057]
也可以是，在一个实施方式中，图像传感器能够针对多个像素，按列来指定有无传输，越是近的区间，被跳过的列的条数就越多。
[0058]
也可以是，在一个实施方式中，图像传感器能够针对多个像素，按像素来指定有无传输，越是近的区间，被跳过的像素的个数就越多。
[0059]
也可以是，在一个实施方式中，图像传感器在全部区间中，全部像素被曝光。
[0060]
也可以是，在一个实施方式中，图像传感器在各区间中，仅成为传输对象的像素被曝光。
[0061]
也可以是，在一个实施方式中，图像传感器的多个像素被分类为多个组。也可以是，控制器针对照明装置的1次发光，以不同的定时对多个组进行曝光。由此，能够并行地对多个区间进行拍摄。
[0062]
也可以是，在一个实施方式中，图像处理装置以针对每个区间得到相同的纵横比的切片图像的方式，对从图像传感器传输的传感器图像进行缩放。缩放既可以利用插值处理，也可以利用间隔剔除处理。
[0063]
一个实施方式的门控照相机针对进深方向，划分为多个区间，生成与多个区间对应的多个切片图像。门控照相机包括：照明装置，其照射探测光；图像传感器，其包含多个像素；以及控制器，其对照明装置的发光定时和图像传感器的曝光的定时进行控制。图像传感器的多个像素被分类为多个像素组，控制器针对照明装置的1次发光，以不同的定时对多个像素组进行曝光。
[0064]
根据一个实施方式，能够针对1次发光生成多个区间的图像。因此，能够缩短生成全部区间的切片图像所需的感测时间。
[0065]
也可以是，在一个实施方式中，在将多个像素组的个数记为n(n≥2)时，第i个像素组包含第i+n
×
j(j为整数)条行。
[0066]
也可以是，在一个实施方式中，在将多个像素组的个数记为n(n≥2)时，第i个像素组包含第i+n
×
j(j为整数)条列。
[0067]
也可以是，在一个实施方式中，门控照相机还包括图像处理装置，该图像处理装置基于从图像传感器传输的传感器图像来生成切片图像。也可以是，从图像传感器到图像处理装置，能够以按各像素组分别生成的传感器图像为单位来进行传输。
[0068]
(实施方式)
[0069]
以下，针对实施方式，参照附图进行说明。针对各附图所示的相同或等同的构成要
素、构件、处理，标注相同的附图标记，并适当省略重复的说明。此外，实施方式仅为例示，并不对发明进行限定，实施方式所记述的一切特征及其组合并不都是发明的实质性内容。
[0070]
(实施方式1)
[0071]
图1是实施方式1的感测系统10的框图。该感测系统10被搭载于汽车或摩托车等车辆，对存在于车辆周围的物体obj进行检测。
[0072]
感测系统10主要包括门控照相机20。门控照相机20包含照明装置22、图像传感器24、控制器26、以及图像处理装置28。门控照相机20的拍摄针对进深方向被划分为多个(n个，n≥2)区间rng1～rngn进行。相邻的区间彼此也可以在它们的分界处在进深方向上重叠。
[0073]
照明装置22与由控制器26提供的发光定时信号s1同步地，将探测光l1向车辆前方照射。探测光l1优选为红外光，但不限于此，也可以为具有预定的波长的可见光或紫外光。
[0074]
图像传感器24包含多个像素，能够进行与由控制器26提供的曝光定时信号s2同步的曝光控制，生成传感器图像si。图像传感器24对于与探测光l1相同的波长具有灵敏度，对物体obj所反射的反射光(返回光)l2进行拍摄。将与第i个区间rngi相关得到的传感器图像记为sii。
[0075]
控制器26对照明装置22的探测光l1的照射定时(发光定时)、以及图像传感器24的曝光的定时进行控制。控制器26能够以cpu(central processing unit：中央处理器)或mpu(micro processing unit：微处理单元)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。
[0076]
图像传感器24与图像处理装置28介由串行接口来连接，图像传感器24所拍摄的传感器图像sii被传输到图像处理装置28。图像处理装置28基于从图像传感器24传输的传感器图像sii，生成切片图像imgi。
[0077]
图2是对门控照相机20的基本动作进行说明的图。在图2中，示出了对第i个区间rngi进行感测时的情况。照明装置22与发光定时信号s1同步地，在时刻t0～t1之间的发光期间τ1期间发光。在最上方，示出了在横轴取时间，在纵轴取距离的光线的图表。将从门控照相机20到区间rngi的近身侧的边界的距离记为d
mini
，将到区间rngi的里侧的边界的距离记为d
maxi
。
[0078]
在某一时刻，从照明装置22发出的光到达距离d
mini
而其反射光回到图像传感器24为止的往返时间t
mini
为
[0079]
t
mini
＝2
×dmini
/c。
[0080]
c为光速。
[0081]
同样，在某一时刻，从照明装置22发出的光到达距离d
maxi
而其反射光回到图像传感器24为止的往返时间t
maxi
为
[0082]
t
maxi
＝2
×dmaxi
/c。
[0083]
在仅欲对区间rngi所包含的物体obj进行拍摄时，控制器26生成曝光定时信号s2，以使得在时刻t2＝t0+t
mini
开始曝光，在时刻t3＝t1+t
maxi
结束曝光。这是1次曝光动作。
[0084]
也可以是，在拍摄第i个区间rngi时，进行多组发光及曝光。在该情况下，控制器26可以以预定的周期τ2，多次重复上述曝光动作。
[0085]
图3的(a)、图3的(b)是对由门控照相机20得到的切片图像进行说明的图。在图3的(a)的例子中，在区间rng2中，存在物体(行人)obj2，在区间rng3中，存在物体(车辆)obj3。在
图3的(b)中，示出了在图3的(a)的状况下得到的多个切片图像img1～img3。在对切片图像img1进行拍摄时，图像传感器仅会被来自区间rng1的反射光曝光，因此任何物体像都不会被拍摄到切片图像img1中。
[0086]
在拍摄切片图像img2时，图像传感器仅会被来自区间rng2的反射光曝光，因此仅物体像obj2会被拍摄于切片图像img2。同样，在拍摄切片图像img3时，图像传感器仅会被来自区间rng3的反射光曝光，因此仅物体像obj3会被拍摄到切片图像img3中。像这样，根据门控照相机20，能够按每个区间使物体分离并进行拍摄。
[0087]
以下，对图像处理装置28中的图像处理进行说明。图4是对传感器图像si的噪声进行说明的图。在传感器图像si中，包含沿着行的横条纹的噪声。产生噪声的行是随机的，此外，噪声等级也是随机的。
[0088]
图像处理装置28针对传感器图像si的每个行，算出像素值较小的m个(m≥2)的平均值，并从相同的行所包含的像素的像素值减去平均值。
[0089]
m优选为行的像素数的2％～8％，例如能够设为5％左右。
[0090]
图5是对图像处理装置28的噪声消除进行说明的图。图5表示一个行的处理。参照作为某一行的像素值的集合的行数据，按像素值从小到大的顺序选择m个像素值。在该例中，m＝8，像素值10、10、11、11、12、13、14、15被选择。图像处理装置28算出所选择的m个像素值的平均值ave(在该例中，为12)。然后，从原传感器图像si所对应的行数据减去平均值ave。
[0091]
图6是表示噪声减法处理前后的传感器图像的图。图7是表示噪声减法处理前后的传感器图像的图。在图6中，将不包含物体(被摄体)的图像作为对象，图7将包含物体的图像作为对象。在该例中，算出了相当于各行的5％的像素数m的平均值。可知：在包含物体的情况下与在图像包含物体的情况下，都能够良好地仅除去背景噪声。
[0092]
(实施方式2)
[0093]
图8是实施方式2的感测系统10的框图。该感测系统10被搭载于汽车或摩托车等车辆，对存在于车辆周围的物体obj进行检测。
[0094]
感测系统10主要包括门控照相机20。门控照相机20包含照明装置22、图像传感器24、控制器26、以及图像处理装置28。门控照相机20的拍摄针对进深方向被划分为多个(n个，n≥2)区间rng1～rngn来进行。相邻的区间彼此也可以在它们的分界处在进深方向上有重叠。
[0095]
照明装置22与由控制器26提供的发光定时信号s1同步地，将探测光l1向车辆前方照射。探测光l1优选为红外光，但不限于此，也可以为具有预定的波长的可见光或紫外光。
[0096]
图像传感器24包含多个像素，能够进行与由制器26提供的曝光定时信号s2同步的曝光控制，生成传感器图像si。图像传感器24对于与探测光l1相同的波长具有灵敏度，对物体obj所反射的反射光(返回光)l2进行拍摄。将针对第i个区间rngi所得到的传感器图像记为sii。
[0097]
控制器26对照明装置22的探测光l1的照射定时(发光定时)、以及图像传感器24的曝光的定时进行控制。
[0098]
图像传感器24与图像处理装置28介由串行接口来连接，图像传感器24所拍摄的传感器图像sii被传输到图像处理装置28。图像处理装置28基于从图像传感器24传输的传感
器图像sii，生成切片图像imgi。
[0099]
图9是对门控照相机20的基本动作进行说明的图。在图9中，示出了对第i个区间rngi进行感测时的情况。照明装置22与发光定时信号s1同步地，在时刻t0～t1之间的发光期间τ1期间发光。在最上方，示出了在横轴取时间、纵轴取距离的光线的图表。将从门控照相机20到区间rngi的近身侧的边界的距离记为d
mini
，将到区间rngi的里侧的边界的距离记为d
maxi
。
[0100]
在某一时刻，从照明装置22发出的光到达距离d
mini
而其反射光回到图像传感器24为止的往返时间t
mini
为
[0101]
t
mini
＝2
×dmini
/c。
[0102]
c为光速。
[0103]
同样，在某一时刻，从照明装置22发出的光到达距离d
maxi
，其反射光回到图像传感器24为止的往返时间t
maxi
为
[0104]
t
maxi
＝2
×dmaxi
/c。
[0105]
在仅欲对区间rngi所包含的物体obj进行拍摄时，控制器26生成曝光定时信号s2，使得在时刻t2＝t0+t
mini
开始曝光，在时刻t3＝t1+t
maxi
结束曝光。这是1次曝光动作。
[0106]
也可以是，在拍摄第i个区间rngi时，进行多组发光及曝光。在该情况下，控制器26可以以预定的周期τ2，多次重复上述曝光动作。
[0107]
图10的(a)、图10的(b)是对由门控照相机20得到的切片图像进行说明的图。在图10的(a)的例子中，在区间rng2中存在物体(行人)obj2，在区间rng3中存在物体(车辆)obj3。在图10的(b)中，示出了在图10的(a)的状况下得到的多个切片图像img1～img3。在对切片图像img1进行拍摄时，图像传感器仅会被来自区间rng1的反射光曝光，因此任何物体像都不会被拍摄到切片图像img1中。
[0108]
在拍摄切片图像img2时，图像传感器仅会被来自区间rng2的反射光曝光，因此仅物体像obj2会被拍摄于切片图像img2。同样，在拍摄切片图像img3时，图像传感器仅会被来自区间rng3的反射光曝光，因此仅物体像obj3会被拍摄到切片图像img3中。像这样，根据门控照相机20，能够按每个区间使物体分离并进行拍摄。
[0109]
回到图1。在本实施方式中，被从图像传感器24传输到图像处理装置28的传感器图像si的分辨率(即像素数)会根据区间而变化。具体而言，越是近的区间，传感器图像si的分辨率就越低(像素数就越少)，越是远的区间，传感器图像si的分辨率就越高(像素数就越多)。在本实施方式中，在全部区间中，针对图像传感器24的全部像素进行曝光，从全部像素中仅读出必要的像素，并将其作为对象，通过对不要的像素进行间隔剔除来生成传感器图像si。控制器26针对每个区间，生成指示传输对象即像素的控制信号s3，并将其供给到图像传感器24。
[0110]
控制器26能够以cpu(central processing unit：中央处理器)或mpu(micro processing unit：微处理单元)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。
[0111]
图11是对取决于区间的传感器图像si的分辨率的控制的一例进行说明的图。带有阴影的像素表示构成传感器图像si的有效像素(有效行)，中空的像素表示不会被传输的无效像素(无效行)。在该例中，被传输的传感器图像si的垂直方向的分辨率、即行的条数根据
区间来进行控制。例如在最远的区间中，图像传感器24的全部行被置于有效，全部像素作为有效像素被传输。随着区间接近，被间隔剔除的行的比例(条数)会增加，有效像素数会减少。
[0112]
图12的(a)是表示某一行驶场景的图，图12的(b)是表示在图12的(a)的行驶场景中得到的传感器图像si
x
、siy的图。
[0113]
在图12的(a)的行驶场景中，在行驶车道上，在靠近本车的位置，存在前车obj1，在对向车道上，在距本车较远的位置，存在对向车obj2。前车obj1被包含于第x个区间rng
x
，对向车obj2被包含于第y个区间rngy。
[0114]
区间rng
x
的前车obj1被拍摄在图12的(b)的传感器图像si
x
中，区间rngy的对向车obj2被拍摄在传感器图像siy中。图12的(b)的横线表示构成传感器图像的有效的行。
[0115]
各区间中的传感器图像si的分辨率被以如下方式确定为好：在拍摄到相同的物体(在该例中，为车辆)时，其会穿过同程度条数的有效行。
[0116]
图13的(a)是表示门控照相机20的动作的时序图。图13的(b)是表示对比技术的门控照相机的动作的时序图。
[0117]
首先，参照图13的(b)，进行对比技术的说明。在对比技术中，针对全部区间，传输相同分辨率的传感器图像si1～si3。在该情况下，在全部传感器图像si1、si2、si3中，具有相同的传输时间，1个周期所包含的3个区间rng1～rng3的感测所需的时间会变长。
[0118]
接着，参照图13的(a)，对实施方式2的门控照相机20的动作进行说明。在该例中，区间的数量为3，区间rng1覆盖0～25m，区间rng2覆盖25～50m，区间rng3覆盖50～100m。针对最远的第3个区间rng3，将全部行置于有效。第2个区间rng2的距离为第3个区间rng3的距离的大致一半，因此传感器图像si的分辨率被设为1/2。第1个区间rng1的距离为第3个区间rng3的距离的1/4，因此将传感器图像si的分辨率设为1/4。在该情况下，具体而言，传感器图像si3中，图像传感器的全部行被设为有效行。传感器图像si2中，以2条中1条有效的比例选择有效行，传感器图像si1中，以4条中1条有效的比例选择有效行。
[0119]
因为传感器图像si1、si2、si3的像素数与行数成比例，所以大致成立1：2：4的关系。因此，传感器图像si1的传输时间被缩短为传感器图像si3的传输时间的1/4，传感器图像si2的传输时间被缩短为传感器图像si3的传输时间的1/2。因此，能够缩短1个周期所包含的3个区间rng1～rng3的感测所需的时间。
[0120]
另外，如上所述，通过跳行而生成的传感器图像si1、si2与传感器图像si3相比，在垂直方向上变形，纵横比不同。因此，也可以是，图像处理装置28通过图像处理使传感器图像si1～si3的纵横比均匀化，生成切片图像img1～img3。
[0121]
例如，也可以是，图像处理装置28针对传感器图像sij，通过图像处理，对在传输时被进行了间隔剔除的无效行进行补充。在该情况下，能够将全部切片图像img1～img3设为相同的分辨率。
[0122]
或者，也可以是，图像处理装置28在传输时传感器图像sij的垂直分辨率被设为x倍(x＜1)的情况下，将水平方向的分辨率设为x倍。即，也可以是，图像处理装置28通过对接收到的传感器图像sij的多个列进行间隔剔除，从而生成切片图像imgi。
[0123]
在上面的说明中，将传感器图像的垂直方向的分辨率设为可变，但不限于此。图14是对取决于区间的传感器图像si的分辨率的控制的另一例进行说明的图。在该例中，被传
输的传感器图像si的水平方向的分辨率，即列的条数根据区间来控制。例如，在最远的区间中，图像传感器24的全部列被置于有效，全部像素作为有效像素被传输。随着区间接近，被间隔剔除的列的比例(条数)会増加，有效像素数会减少。
[0124]
图15是对取决于区间的传感器图像si的分辨率的控制的又一例进行说明的图。在该例中，被传输的传感器图像si的水平方向及垂直方向的分辨率根据区间来控制。
[0125]
接着，对门控照相机20的变形例进行说明。
[0126]
(变形例1)
[0127]
在上述说明中，与区间无关地，针对图像传感器24的全部像素进行曝光，并选择读出的行或列，由此对传感器图像si的分辨率进行了控制，但不限于此。根据图像传感器24的规格，针对每个行、每个列或每个像素，存在可控制有无曝光的图像传感器。在采用这种规格的图像传感器24的情况下，使得在各区间中，仅曝光成为传输对象的有效像素。
[0128]
(变形例2)
[0129]
像变形例1那样，在利用了能够进行每个像素的曝光控制的图像传感器24的情况下，能够在像素(行/列)的利用率较低的区间中，将像素(行/列)分成多个组，并将其利用于不同的区间的拍摄。图16是变形例2的门控照相机20的框图。针对1次照明装置22的发光，在第1定时，进行图像传感器24的第1像素组(行组或列组)的曝光，在第2定时，进行图像传感器24的第2像素组(行组或列组)的曝光。第1像素组所形成的传感器图像与第2像素组所形成的传感器图像sii、sij会成为对不同的区间rngi、rngj进行拍摄得到的图像。
[0130]
控制器26生成针对照明装置22的发光定时信号s1，并以某一区间rngi的物体被曝光的方式，生成针对第1像素组的曝光定时信号s2a，以另一区间rngj的物体被曝光的方式，生成针对第2像素组的曝光定时信号s2b。
[0131]
图17是对变形例2的门控照相机20的曝光进行说明的图。在该例中，1个区间的拍摄时的像素(行)的利用率为50％。构成图像传感器24的全部像素按行而被分类为奇数行的第1像素组和偶数行的第2像素组，并以不同的定时进行曝光控制。
[0132]
图18是对变形例2的门控照相机20的动作进行说明的时序图。第1像素组被分配给相对较近的第i个区间rngi，第2像素组被分配给第j个区间rngj(j＞i)。照明装置22与发光定时信号s1同步地，在时刻t0～t1之间的发光期间τ1间发光。在最上方示出了横轴取时间、纵轴取距离d的光线的图表。将从门控照相机20到区间rngi的近身侧的边界的距离记为d
mini
，将到区间rngi的里侧边界的距离记为d
maxi
。同样，将从门控照相机20到区间rngj的近身侧的边界的距离记为d
minj
，将到区间rngi的里侧边界的距离记为d
maxj
。
[0133]
为了对区间rngi所包含的物体obji进行拍摄，生成曝光定时信号s2a，使得在时刻t2＝t0+t
mini
，第1像素组的曝光开始，在时刻t3＝t1+t
maxi
，曝光结束。
[0134]
此外，为了利用相同的探测光，对区间rngj所包含的物体objj进行拍摄，生成曝光定时信号s2b，使得在时刻t4＝t0+t
minj
，第2像素组的曝光开始，在时刻t5＝t1+t
maxj
，曝光结束。
[0135]
t
minj
＝2
×dminj
/c
[0136]
t
maxj
＝2
×dmaxj
/c
[0137]
另外，也可以是，同时拍摄的2个区间rngi、rngj相邻(j＝i+1)。
[0138]
根据该变形例，在拍摄较近的区间时，能够通过使传感器图像si的分辨率降低来
缩短传输时间。
[0139]
此外，在照明装置22的1次发光中，可取得2个区间的图像，因此硬件资源的利用效率会变高。
[0140]
将其一般化，在像素的利用效率成为1/n的状况下，也能够将图像传感器24的像素分类为n个像素组，并进行n个区间的拍摄。此外，像素组的分类不被限定于行单位，既可以为列单位，也可以为像素单位。
[0141]
(实施方式3)
[0142]
图19是实施方式的感测系统10的框图。该感测系统10被搭载于汽车或摩托车等车辆，对存在于车辆周围的物体obj进行检测。
[0143]
感测系统10主要包括门控照相机20。门控照相机20包含照明装置22、图像传感器24、控制器26、以及图像处理装置28。门控照相机20的摄像针对进深方向划分为多个(n个，n≥2)区间rng1～rngn来进行，并针对每个区间生成切片图像。相邻区间彼此也可以在它们的分界处在进深方向上有重叠。
[0144]
图像传感器24包含多个像素，并被构成为能够针对每个像素，每个行，或每个列单独地控制曝光定时。多个像素被分类为多个像素组。在以下的说明中，将像素组的个数设为2，称为第1像素组和第2像素组。
[0145]
门控照相机20针对1次照明装置22的发光，在第1定时，进行图像传感器24的第1像素组(行组或列组)的曝光，在第2定时，进行图像传感器24的第2像素组(行组或列组)的曝光。第1像素组所形成的传感器图像与第2像素组所形成的传感器图像sii、sij会成为对不同的区间rngi、rngj进行拍摄得到的图像。
[0146]
具体而言，控制器26针对照明装置22的1次发光，以不同的定时对第1像素组与第2像素组进行曝光。
[0147]
控制器26能够以cpu(central processing unit：中央处理器)或mpu(micro processing unit：微处理单元)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。
[0148]
也可以是，图像传感器24与图像处理装置28介由串行接口来连接，传感器图像sii与传感器图像sij作为不同的图像来传输，该传感器图像sii由图像传感器24的第1像素组拍摄，该传感器图像sij由图像传感器24的第2像素组拍摄。图像处理装置28基于从图像传感器24传输的传感器图像sii来生成切片图像imgi。图像处理装置28中的图像处理并不被特别地限定，但例如也可以是，进行改变纵横比的插值处理或间隔剔除处理。
[0149]
也可以是，在对第i个区间rngi和第j个区间rngj进行拍摄时，进行多组的发光及曝光。在该情况下，控制器26可以多次重复发光及曝光动作。在该情况下，也可以是，图像处理装置28对针对相同的区间rngi得到的多个传感器图像sii进行合成，生成1张切片图像imgi。
[0150]
以上是门控照相机20的构成。接着，对其动作进行说明。
[0151]
图20是对图19的门控照相机20的动作进行说明的时序图。第1像素组被分配到相对较近的第i个区间rngi，第2像素组被分配到第j个区间rngj(j＞i)。照明装置22与发光定时信号s1同步地，在时刻t0～t1之间的发光期间τ1间发光。在最上方示出了横轴取时间、纵轴取距离d的光线的图表。将从门控照相机20到区间rngi的近身侧的边界的距离记为d
mini
，将到区间rngi的里侧边界的距离记为d
maxi
。同样，将从门控照相机20到区间rngj的近身侧的
边界的距离记为d
minj
，将到区间rngi的里侧边界的距离记为d
maxj
。
[0152]
在某一时刻，从照明装置22发出的光到达距离d
mini
而其反射光回到图像传感器24为止的往返时间t
mini
为
[0153]
t
mini
＝2
×dmini
/c。
[0154]
c为光速。
[0155]
同样，在某一时刻，从照明装置22发出的光到达距离d
maxi
而其反射光回到图像传感器24为止的往返时间t
maxi
为
[0156]
t
maxi
＝2
×dmaxi
/c。
[0157]
在仅欲对区间rngi所包含的物体obj进行拍摄时，控制器26生成曝光定时信号s2，使得在时刻t2＝t0+t
mini
开始曝光，在时刻t3＝t1+t
maxi
结束曝光。这是1次曝光动作。
[0158]
因此，为了对区间rngi所包含的物体obji进行拍摄，生成曝光定时信号s2a，使得在时刻t2＝t0+t
mini
，第1像素组的曝光开始，在时刻t3＝t1+t
maxi
，曝光结束。
[0159]
此外，为了利用相同的探测光，对区间rngj所包含的物体objj进行拍摄，生成曝光定时信号s2b，使得在时刻t4＝t0+t
minj
，第2像素组的曝光开始，在时刻t5＝t1+t
maxj
，曝光结束。
[0160]
t
minj
＝2
×dminj
/c
[0161]
t
maxj
＝2
×dmaxj
/c
[0162]
另外，也可以是，同时拍摄的2个区间rngi、rngj相邻(j＝i+1)。
[0163]
图21的(a)、图21的(b)是对由图19的门控照相机20得到的切片图像进行说明的图。在图21的(a)的例子中，在区间rng2中，存在物体(行人)obj2，在区间rng3中，存在物体(车辆)obj3。在图21的(b)中，示出了在图21的(a)的状况下得到的多个切片图像img1～img3。在对切片图像img1进行拍摄时，图像传感器仅会被来自区间rng1的反射光曝光，因此任何物体像都不会被拍摄到切片图像img1中。
[0164]
使得将区间rng2分配给第1像素组，将区间rng3分配给第2像素组。此时，第1像素组仅会被来自区间rng2的反射光曝光，因此物体像obj2仅会被摄入到传感器图像si2。同样，第2像素组仅会被来自区间rng3的反射光曝光，因此物体像obj3仅会被摄入到传感器图像si3。像这样，根据门控照相机20，能够针对每个区间分离物体并进行拍摄。
[0165]
在照明装置22的1次发光中，可取得2个区间rngi、rngj的图像，因此能够缩短拍摄全部区间所需的感测时间。此外，在1次发光仅拍摄一个区间的系统中，来自拍摄对象区间以外的物体的反射光是浪费的，而在本实施方式中，也会对来自其他区间的物体的反射光进行检测，因此能量的利用效率会提高。
[0166]
接着，针对像素组的分割进行说明。图22的(a)～图22的(d)是表示像素组的例子的图。在图22的(a)中，跳过1个行地被分配给第1像素组和第2像素组。在将多个像素组的个数记为n(n≥2)时，第i个像素组包含第i+n
×
j(j为整数)个行。该例适于能够针对每个行来控制曝光的定时的图像传感器。
[0167]
在图22的(b)中，跳过1个列地被分配给第1像素组和第2像素组。在将多个像素组的个数记为n(n≥2)时，第i个像素组包含第i+n
×
j(j为整数)个列。该例适于能够针对每个列来控制曝光的定时的图像传感器。
[0168]
在图22的(c)中，全部像素的左半部分被分配给第1像素组，右半部分被分配给第2
像素组。作为变形例，也可以将全部像素的上半部分分配给第1像素组，将下半部分分配给第2像素组。
[0169]
在图22的(d)中，像素组的数量为4。全部像素被分割为包含相邻的4个像素的框，从各框中各选择1个，由此来形成第1像素组～第4像素组。
[0170]
在实施方式1～3中说明的技术能够任意地组合实现。
[0171]
(用途)
[0172]
图23是感测系统10的框图。除了在实施方式1～3中说明的任意一个门控照相机20外，感测系统10还包括运算处理装置40。该感测系统10被搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体obj的种类(也称类别或类)进行判定。
[0173]
通过门控照相机20，生成与多个区间rng1～rngn对应的多个切片图像img1～imgn。仅对应的区间rngi所包含的物体会被拍摄到第i个切片图像imgi中。
[0174]
运算处理装置40被构成为能够基于多个切片图像img1～imgn来识别物体的种类，该多个切片图像img1～imgn与由门控照相机20得到的多个区间rng1～rngn对应。运算处理装置40包括分类器42，该分类器42基于通过机器学习生成的已学习模型来实现。运算处理装置40也可以包含针对每个区间优化的多个分类器42。分类器42的算法并不被特别地限定，但能够采用yolo(you only look once：你只看一次)、ssd(single shot multibox detector：单发多边框检测器)、r-cnn(region-based convolutional neural network：基于区域的卷积神经网络)、sppnet(spatial pyramid pooling：空间金字塔池化)、faster r-cnn、dssd(deconvolution-ssd：反卷积单发多边框检测器)、以及mask r-cnn等，或者能够采用将来被开发出来的算法。
[0175]
运算处理装置40能够以cpu(central processing unit：中央处理器)或mpu(micro processing unit：微处理器)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40也可以为多个处理器的组合。或者，也可以是，运算处理装置40仅以硬件来构成。也可以是，将运算处理装置40的功能与图像处理装置28的功能安装于相同的处理器。
[0176]
图24的(a)、图24的(b)是表示具备门控照相机20的汽车300的图。参照图24的(a)。汽车300包括前照灯(灯具)302l、302r。图24的(a)的汽车300在车辆的中央设置有1个照明装置22，在左右前照灯302l、302r中的一者或两者，内置有图像传感器24。照明装置22的位置并不被特别地限定，但例如既可以设置于前保险杠(i)或前格栅(ii)，也可以安装于前窗的内侧的室内镜的里侧(iii)。此外，控制器26的位置也不被特别地限定，既可以设置于发动机室，也可以设置于车厢内，还可以内置于前照灯。
[0177]
参照图24的(b)。照明装置22包含多个(例如2个)光源22a、22b。多个光源22a、22b以相同的定时发光，它们的出射光形成1个探测光。多个光源22a、22b被内置于左右前照灯302l、302r。
[0178]
图像传感器24被内置于前照灯302l、302r中的一者或两者。或者，也可以是，图像传感器24设置于前照灯302l、302r的外侧，例如也可以是，设置于照明装置22的附近。
[0179]
图25是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ecu304一同构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、以及光学系统206。进而，在车辆用灯具200，设置有物体检测系统210。物体检测系统210与上述感测系
统10对应，包含门控照相机20及运算处理装置40。
[0180]
运算处理装置40所检测到的与物体obj有关的信息也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ecu208基于运算处理装置40所生成的与物体obj的种类及其位置有关的信息来生成适当的配光图案。点亮电路204及光学系统206以会得到灯具侧ecu208所生成的配光图案的方式进行动作。
[0181]
此外，也可以是，将运算处理装置40所检测到的与物体obj有关的信息发送到车辆侧ecu304。也可以是，车辆侧ecu基于该信息来进行自动驾驶。
[0182]
虽然基于实施方式，用具体的语句来对本发明进行了说明，但实施方式仅表示本发明的原理及应用的一个侧面，对于实施方式，在不脱离权利要求书所规定的本发明的思想的范围内，允许许多变形例或配置的变更。
[0183]
[工业可利用性]
[0184]
本发明涉及一种门控照相机。
[0185]
[附图标记说明]
[0186]
s1
ꢀꢀꢀ
发光定时信号
[0187]
s2
ꢀꢀꢀ
曝光定时信号
[0188]
10
ꢀꢀꢀꢀ
感测系统
[0189]
20
ꢀꢀꢀꢀ
门控照相机
[0190]
22
ꢀꢀꢀꢀ
照明装置
[0191]
24
ꢀꢀꢀꢀ
图像传感器
[0192]
26
ꢀꢀꢀꢀ
控制器
[0193]
28
ꢀꢀꢀꢀ
图像处理装置
[0194]
40
ꢀꢀꢀꢀ
运算处理装置
[0195]
42
ꢀꢀꢀꢀ
分类器
[0196]
200
ꢀꢀꢀ
车辆用灯具
[0197]
202
ꢀꢀꢀ
光源
[0198]
204
ꢀꢀꢀ
点亮电路
[0199]
206
ꢀꢀꢀ
光学系统
[0200]
300
ꢀꢀꢀ
汽车
[0201]
302
ꢀꢀꢀ
前照灯
[0202]
304
ꢀꢀꢀ
车辆侧ecu
[0203]
310
ꢀꢀꢀ
灯具系统