摄像装置的制作方法

1.本发明涉及摄像装置，特别是涉及车载用图像处理装置。


背景技术：

2.为了管理驾驶员等目的，提出了拍摄车辆厢内或者周边等的、车辆用的拍摄装置。作为其中之一，提出了由多个红外线光源照射拍摄对象并由红外线摄像机拍摄图像的装置(例如，参照专利文献1)。
3.专利文献1记载的装置构成为，个别地设定多个光源各自的亮度，使红外线摄像机得到的拍摄图像中按各场所的明亮度偏差减小。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2017-105431号公报


技术实现要素：

7.发明所要解决的问题
8.专利文献1中，如果限于被红外线照射的范围则明亮度的偏差会减小，但是在拍摄范围中包括照射范围之外的被摄体、例如车辆的厢外的光景的情况下，难以对那部分减小明亮度的偏差。
9.本发明是鉴于上述现有例而做出的，目的在于提供将车辆的厢内以及厢外作为拍摄对象时能够以适当的曝光对其分别进行拍摄的摄像装置。
10.用于解决问题的方案
11.为了实现上述目的，本发明具有以下结构。即，提供一种摄像装置，是在车厢内设置的摄像装置，其特征在于，
12.能够切换不同的感光度来拍摄图像，
13.摄像时，以高感光度拍摄用于对所述车厢内进行识别的图像，以低感光度拍摄用于对车厢外进行识别的图像。
14.发明的效果
15.根据本发明，能够提供将车辆的厢内以及厢外作为拍摄对象时能够以适当的曝光对其分别进行拍摄的摄像装置。
附图说明
16.图1是安装有实施方式涉及的行车记录仪的摄像机的车辆的图。
17.图2是实施方式涉及的行车记录仪的控制结构的框图。
18.图3是示出车内摄像机进行的拍摄以及图像处理的示意图。
19.图4是示出所拍摄到的图像以及识别对象的图像例的图。
20.图5是示出拍摄以及图像识别处理的顺序的流程图。
21.图6是示出所拍摄到的图像以及识别对象的图像的例子的图。
22.图7是示出拍摄以及图像识别处理的顺序的流程图。
具体实施方式
23.以下，参照附图，详细说明实施方式。而且，以下的实施方式并非用于限定权利要求要保护的技术方案，并且实施方式中所说明的特征的组合也并非全部都是技术方案所必须的。也可以是，实施方式中所说明的多个特征中的两个以上的特征任意地组合。另外，对相同或同样的结构附加相同的附图标记，省略重复的说明。
24.[第一实施方式]
[0025]
安装有行车记录仪的车辆的结构
[0026]
图1是示出将本实施方式的行车记录仪安装于车辆100的样子的图。图1的(a)示出从前席左侧附近观察车辆的前窗的上部的样子，在前窗中央上方设置有客厢内后视镜111。另外，在其左侧设置有行车记录仪的摄像机单元110。在摄像机单元110设置有：车内摄像机101，其朝向车辆的后方并拍摄车厢内；以及车外摄像机102，其朝向车辆的前方并越过前窗来拍摄车辆前方。本例中，车内摄像机以及车外摄像机均具备单眼透镜。车内摄像机101与车外摄像机102分别能够独立地调整拍摄范围。但是，由于车内摄像机101采用广角镜头或者魚眼透镜，因而也可以是拍摄范围固定。
[0027]
包括控制部的主体可以被组装入摄像机单元110，也可以设置在与摄像机单元分离的位置并经由线缆来与摄像机单元110连接。
[0028]
图1的(b)是透过车顶从上方观察车辆100的图。该例中，车辆100的前方(行进前方)为图的左侧，朝向前方在客厢内后视镜111的左侧设置有摄像机单元110。在车辆100的厢内设置有右前席(右方向盘时也称为驾驶席)104r、左前席(右方向盘时也称为助手席)104l、后席105。在车辆100的侧方存在窗作为透过部，能够透过窗从车厢的内部观察外部。而且，窗由玻璃制成，无论其开闭均作为透过部发挥功能。另外，摄像机单元110的车内摄像机101除了能够拍摄落坐于前席104r、104l、后席105的乘员以外，还能够透过窗来拍摄车辆的外部的风景。即，拍摄到的图像中包括车辆100的内部的图像和外部的图像，也拍摄包括位于外部的车辆等移动体。
[0029]
而且，摄像机单元110也可以设置于客厢内后视镜111的右侧。其中，期望以厢内摄像机101的透镜的光轴沿着面对称地设置的窗的对称面的方式、即以平行的方式，调整厢内摄像机101的拍摄范围。另外，期望摄像机单元110设置于尽可能接近客厢内后视镜111的位置。这些均是为了减小因摄像机的方向与对称面偏离而引起的、基于分别透过左右窗拍摄到的外部的影像而估计出的速度的左右差。这样摄像机单元110设置在与外界隔离的车辆100的空间内部。
[0030]
行车记录仪的结构例
[0031]
图2示出实施方式涉及的行车记录仪的控制结构的一例。该行车记录仪后安装于车辆，也可以没有来自外部的输入信号。其中，行车记录仪的电源依存于车辆100，另外，用户接口也能够利用搭载于车辆100的设备。本实施方式中，因为说明由行车记录仪进行图像处理来实现驾驶辅助的结构以及顺序，所以关注于该点，有时也将行车记录仪称为图像处理装置或者驾驶辅助装置。
[0032]
在图2中，行车记录仪包括控制部200、车内摄像机101、车外摄像机102。这些摄像机，特别是车内摄像机101也称为图像获取部等。摄像机接口(if)201、202分别是车内摄像机101、车外摄像机102的信号的接口。各个摄像机以既定的帧率、例如以29fps(帧/秒)拍摄影像(运动图像)。拍摄到的图像由图像处理部203实施图像处理，再由cpu 204执行需要的处理，在可删除rom209中保存为影像文件夹。影像文件夹包括既定时间、例如30秒至60秒长度程度的影像，当既定时间的记录结束时，记录新的影像文件夹。影像文件夹至少为两个，当可删除rom 209中没有空余空间时，删除最早的影像文件夹来确保空余空间，并且记录新的影像文件夹。
[0033]
为了实现作为行车记录仪的功能，行车记录仪还包括加速度传感器等，当探测到超过既定值的加速度时进行停止记录影像文件夹等控制。但是，本实施方式中，为了关注于该行车记录仪的驾驶辅助功能进行说明，省略关于作为行车记录仪的功能或设备的说明。
[0034]
通信部208提供有线或者无线通信功能。也可以是，例如为了输出后述的警告，经由通信部208来连接于智能手机等，并且输出警告。另外，当然也能够进行用于其它目的的通信。
[0035]
输入部206以及输出部207包括作为用户接口的输入输出部，输入输出部例如可以是由构成操作部的触摸面板等实现。或者也可以是，提供与车辆100具备的显示器音频设备连接的接口。ram 205作为cpu 204、图像处理部203的动作所需要的数据存储器、用于存储由cpu 204执行的程序的存储器被使用。电源部210被连接于从车辆100提供的电源，向行车记录仪提供适当的电源电力。
[0036]
拍摄时的感光度以及色彩的控制
[0037]
图3示出由车内摄像机101进行拍摄时控制感光度和色彩的样子。车内摄像机101在固定的状态下，以将包括驾驶员的脸部的厢内、从在车厢的侧方以及后方设置的窗透过的厢外的风景作为拍摄对象的视角，在行驶中进行拍摄。车内摄像机101例如具有调整摄像元件的增益由此将其感光度从高感光度变为低感光度、或者相反变化的功能。感光度可以是能够连续地变更，但也可以是如本例中在所确定的两种感光度之间切换。
[0038]
高感光度拍摄时，即使厢内、特别是驾驶员的脸部为纯黑的状态，也以能够拍摄良好图像的感光度来进行拍摄。另一方面，低感光度拍摄时，即使透过窗拍摄的厢外为过曝光的状态，也以能够拍摄良好图像的感光度来进行拍摄。良好图像是指在作为图像识别的对象的情况下能够确定识别对象的被摄体的图像。关于车厢内以及车外，认为适当的感光度特别是基于车外的明亮度而变动。因而，例如可以在发动机启动时等，关于车厢内和窗外分别测定明亮度，确定分别匹配的增益。在拍摄中，可以使用此时所确定的增益进行拍摄。另外也可以是，定期地再测定明亮度，再进行增益的设定。还可以是，每当以各感光度进行拍摄时，再设定增益。
[0039]
另外，车内摄像机101具有切换为彩色(例如rgb)拍摄和黑白(也称为黑白色或者单色)拍摄中的任一者并拍摄的功能。也可以是，例如车内摄像机101的摄像元件构成为用于彩色拍摄，在拍摄黑白色图像时由图像处理部203变换为仅有亮度成份的黑白色图像。按由车内摄像机101拍摄的运动图像的每个帧来进行上述的感光度的切换以及色彩(彩色或者黑白)的切换。可以由控制部200进行感光度以及彩色的切换。而且，由车内摄像机101拍摄的图像可以是以既定的间隔来间歇地拍摄的静止图像，但本例中是作为以既定的帧率所
拍摄的运动图像进行说明。
[0040]
图3的(a)是示出以时间顺序按每个间隔tint来拍摄帧的样子的图。车内摄像机101按每个间隔tint来交替地进行拍摄(或者获取)黑白的高感光度图像与拍摄(或者获取)彩色的低感光度图像。还可以是，以相同的定时来切换焦距(焦点)。在拍摄彩色低感光度图像时，可以将焦距设定为车厢外的距离、例如无限远点，在摄像单色高感光度图像时，可以将焦距设定为车厢内的距离、例如驾驶员的脸部的距离(例如50cm程度)。
[0041]
图3的(b)示意示出由车内摄像机101拍摄到的黑白的高感光度图像和彩色的低感光度图像的处理。如上所述交替地拍摄这些图像，当获取黑白高感光度图像时(301)，以将车内区域留下的方式进行裁剪(302)，将留下的图像区域作为对象来进行图像识别处理(303)。在以高感光度拍摄到的图像中，包括特别是画质上良好的厢内的光景。因此，能够提高对厢内、例如乘员的脸部进行识别的精度。特别是驾驶员的脸部应该存在的区域成为识别的对象。关于脸部识别，可以是例如对照已登录的特征数据库来确定驾驶员，将由车外摄像机102拍摄的影像与驾驶员相关联地保存。另外可以是，基于脸部区域还识别眼睛，特别是基于瞳孔的位置来确定视线。这里，例如如果遍及既定个数的帧，判定为视线没有看前方，则用声音等对驾驶员输出警告。还可以是，识别驾驶员以外的乘员的脸部，能够确定后记录为乘员。
[0042]
另一方面，当获取彩色低感光度图像时(311)，以将窗部、即车外的风景留下的方式进行裁剪(312)，将留下的图像区域作为对象来进行图像识别处理(313)。在以低感光度拍摄到的图像中，特别是包括画质上良好的厢外的光景。因此，能够提高透过窗对在厢外的道路设施、建筑物的物体目标进行识别的精度。关于识别物体目标，例如遍及多个帧来预测该物体目标的尺寸、基于图像内的位置等确定距离并由此估计搭载了摄像机单元110的车辆100的速度等。这样，交替地拍摄低感光度图像与高感光度图像，由此能够在短时间内分别大量地获取低感光度图像与高感光度图像。因此，能够分别在低感光度图像的帧之间以及高感光度图像的帧之间，进行与驾驶员相关的分析、运动分析等图像分析。
[0043]
图4示出所拍摄到图像与识别对象的区域的例子。图像401是以高感光度进行黑白拍摄的图像的例子。图像401中，以成为能进行良好图像识别的画质的方式拍摄车辆100的厢内。这里，特别是将包括驾驶员的脸部的区域4012作为对象来进行图像识别处理，特别是进行脸部区域的识别处理。例如可以将图像整体作为对象来检索脸部的轮廓，将包括相应轮廓的区域决定为成为对象的区域4012。或者也可以是，在设置车内摄像机101时，预先设定驾驶员的脸部位于的区域。
[0044]
另一方面，图像411是以低感光度进行彩色拍摄的图像的例子。以成为能进行良好图像识别的画质的方式拍摄透过窗的车外的光景。这里，特别是将包括窗部的区域4112作为对象来进行图像识别处理，特别是对道路周边的设施、建筑物等进行识别处理。虽然在此未示出，但也可以是还将车两侧面的窗作为图像识别的对象。例如可以检索亮度高的区域，将相应的区域决定为成为对象的区域4112。或者也可以是，在设置车内摄像机101时，设定窗位于的区域。
[0045]
处理顺序的例子
[0046]
图5示出表示例如由cpu 204对已拍摄的图像(帧)执行的处理顺序的流程图。可以每当拍摄各帧时都执行图5的顺序。首先，获取所拍摄到的帧图像(s501)。并且，将所获取到
的图像作为对象，如图4所示那样进行裁剪(s503)。而且这里图像为，如果是单色高感光度图像则留下包括脸部区域的车内来进行裁剪，如果是彩色低感光度图像则留下包括车外的窗来进行裁剪。例如，可以是如图3的(a)所示那样，以摄像的定时来决定哪个图像。如果能决定最初的图像是以黑白高感光度所拍摄到的图像和以彩色低感光度所拍摄到的图像中的哪一种图像，则那一种图像会以此为基点而交替地显现，因此能够基于拍摄的定时来判定任一种图像。然后，将裁剪的结果而留下的区域作为对象来进行图像识别处理(s505)。识别处理如下进行，根据图像的种类来识别脸部或者车外的物体目标。进行图像识别后，根据识别结果，进行与对驾驶员的监视、车外的物体目标相应的驾驶辅助等(s507)。
[0047]
而且，虽然在本实施方式中对图像进行裁剪，但是也可以不进行裁剪，而是对区域进行限定来进行图像识别处理。
[0048]
如以上说明那样，根据本实施方式，由一个车载摄像机拍摄车厢内，在根据拍摄到的图像将厢内以及厢外作为对象来进行图像识别的情况下，对任一者均能够设定适当的曝光，能够获得良好图像识别结果。还有，不进行将低感光度图像与高感光度图像合成的hdr(高动态范围合成)处理，能够减轻图像处理负担。
[0049]
其它实施方式
[0050]
然后，说明代替裁剪而进行遮蔽的处理。本实施方式中，代替图3的(b)的裁剪302、312，而进行遮蔽。该例中，对不成为识别对象的区域进行遮蔽，因而将拍摄到的图像整体作为对象来进行识别处理。
[0051]
图6是示出本例中的图像处理的一例的图。另外，图7是示出本例中的图像处理顺序的流程图。当获取黑白高感光度图像401或者彩色低感光度图像411时(s701)，进行遮蔽处理(s703)。可以根据固定的摄像机的视角来预先作成遮蔽图像，也可以通过图像处理来作成遮蔽图像。图6的遮蔽图像402是例如将既定的像素值作为阈值来对黑白高感光度图像401进行二值化并进行反转而成的图像。使用该遮蔽图像402进行遮蔽处理而成的图像为图像403，透过窗的车外的区域被遮蔽。另一方面，图6的遮蔽图像412是例如将既定的像素值作为阈值来对黑白高感光度图像401进行二值化而作成的遮蔽图像。使用该遮蔽图像412对彩色低感光度图像411进行遮蔽处理而成的图像为图像413，车内的区域被遮蔽。
[0052]
这里，例如可以是如图3的(a)所示那样，以摄像的定时来决定处理对象的图像为哪一种图像。如果能决定最初的图像是以黑白高感光度所拍摄到的图像和以彩色低感光度所拍摄到的图像中的哪一种图像，则那一种图像会以此为基点而交替地显现。然后，将遮蔽了的图像作为对象来进行图像识别处理(s705)。识别处理如下进行，根据图像的种类来识别脸部或者车外的物体目标。进行图像识别后，根据识别结果，进行与对驾驶员的监视、车外的物体目标相应的驾驶辅助等(s707)。
[0053]
如以上说明那样，根据本实施方式，由一个车载摄像机拍摄车厢内，在根据拍摄到的图像将厢内以及厢外作为对象来进行图像识别的情况下，对任一者均能够设定适当的曝光，能够获得良好的图像识别结果。还有，不进行将低感光度图像与高感光度图像合成的hdr(高动态范围合成)处理，能够减轻图像处理负担。还有，对低感光度图像以及高感光度图像分别进行适当的遮蔽处理，由此能够实现将不是识别对象区域排除的、适当的图像识别。
[0054]
实施方式的总结
[0055]
将以上说明的实施方式总结如下。
[0056]
根据本发明的第一方式，提供一种摄像装置，是在车厢内设置的摄像装置，其特征在于，
[0057]
能够切换不同的感光度来拍摄图像，
[0058]
摄像时，以高感光度拍摄用于对所述车厢内进行识别的图像，以低感光度拍摄用于对车厢外进行识别的图像。
[0059]
根据该结构，能够以与车厢内和车厢外分别相应的曝光来拍摄图像。
[0060]
根据本发明的第二方式，提供基于第一方式的摄像装置，其特征在于，
[0061]
交替地进行低感光度的摄像与高感光度的摄像。
[0062]
根据该结构，能够在短时间内分别获取低感光度图像与高感光度图像。
[0063]
根据本发明的第三方式，提供基于第一或者第二方式的摄像装置，其特征在于，
[0064]
在低感光度的摄像和高感光度的摄像时，变更焦距的设定。
[0065]
根据该结构，能够以与拍摄对象匹配的焦距来获取图像。
[0066]
根据本发明的第四方式，提供基于第三方式的摄像装置，其特征在于，
[0067]
在以低感光度摄像时将焦距设定为车厢外的距离，在以高感光度摄像时将焦距设定为车厢内的距离。
[0068]
根据该结构，能够在特别良好的状态下以低感光度获取车厢外的图像，以高感光度获取车厢内的图像。
[0069]
根据本发明的第五方式，提供基于第一至第四方式的摄像装置，其特征在于，
[0070]
在低感光度的摄像和高感光度的摄像时，变更色彩的设定。
[0071]
根据该结构，能够以与低感光度图像和高感光度图像的用途相应的色彩来获取图像。
[0072]
根据本发明的第六方式，提供基于第五方式的摄像装置，其特征在于，
[0073]
在以低感光度摄像时将色彩设定为彩色拍摄，在以高感光度摄像时将色彩设定为黑白色拍摄。
[0074]
根据该结构，能够以易于识别车外的对象的彩色获取低感光度图像，能够以节省色彩成份的黑白色来获取高感光度图像。
[0075]
根据本发明的第七方式，提供基于第一至第六方式的摄像装置，其特征在于，
[0076]
在以低感光度摄像时将在车厢设置的窗部分作为图像识别的对象，在以高感光度摄像时将所述车厢内的驾驶员的脸部作为图像识别的对象。
[0077]
根据该结构，能够从低感光度图像中识别车外，能够从高感光度图像中识别驾驶员的脸部。
[0078]
根据本发明的第八方式，提供基于第七方式的摄像装置，其特征在于，
[0079]
在以低感光度摄像时对将在车厢设置的窗部分排除的车厢内进行遮蔽，在以高感光度摄像时对所述窗部分进行遮蔽，来进行图像识别。
[0080]
根据该结构，能够对不需要的区域进行遮蔽，将需要的区域作为识别对象。
[0081]
发明不限定于上述的实施方式，能够在发明的要旨的范围内进行各种的变形、变更。
[0082]
附图标记说明
[0083]
101：车内摄像机；102：车外摄像机；110：摄像机单元；200：控制部。