拍摄图像显示系统、电子镜系统以及拍摄图像显示方法与流程

本发明涉及显示通过摄影机拍摄到的图像的拍摄图像显示系统。

背景技术：

作为显示通过摄影机拍摄到的图像的拍摄图像显示系统，已知有如下电子镜系统：代替车室内后视镜而在前挡风玻璃的上方的位置配置显示器，将用对汽车后方进行拍摄的摄影机拍摄到的图像显示在显示器上(例如，专利文献1、2)。

另外，作为拍摄图像显示系统中的技术，已知有如下技术：就拍摄包括汽车前照灯的图像的系统而言，在摄影机拍摄到的图像中存在亮度值饱和的像素的区域的情况下，减小摄影机的增益或者加快摄影机的快门速度，来抑制二个前照灯由于饱和而作为一个光源出现在拍摄到的图像中的技术(例如，专利文献3)。

现有技术文献

专利文献

专利文献1：日本特开2016-60411号公报

专利文献2：日本特开2007-214749号公报

专利文献3：日本特开2006-339994号公报

在上述的摄影机拍摄到的图像中存在亮度值饱和的像素的区域的情况下，若根据通过减小摄影机的增益或者加快摄影机的快门速度来抑制二个前照灯作为一个光源表现的情况的技术，则由于图像的整体变暗，因此有时会产生如下问题：被拍摄区域的暗的部分阴影过黑(blockedupshadows)，变得无法视觉辨认。

技术实现要素：

因此，本发明的课题在于，在显示通过摄影机拍摄到的图像的拍摄图像显示系统中，以能够抑制二个光源作为一个光源表现并且对于被拍摄区域的暗的部分也能够比较良好地视觉辨认的方式显示通过摄影机拍摄到的图像。

为了完成上述课题，本发明为，将通过摄影机拍摄到的图像显示于显示器的拍摄图像显示系统，具备：显示候选图像生成单元，将上述摄影机的增益作为拍摄设定值，生成用相互不同的拍摄设定值使上述摄影机进行拍摄而得到的多个图像即多个显示候选图像；以及合成图像显示单元，在上述多个显示候选图像中包括多个光源作为连续的高亮度的像而表现的显示候选图像和上述多个光源作为分离的多个光源的像而表现的多个显示候选图像的情况下，在上述显示器上显示合成图像，该合成图像是仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。

这里，在这样的拍摄图像显示系统中，可以是，代替上述摄影机的增益，而将上述摄影机的曝光时间作为拍摄设定值。或者，可以是，代替上述摄影机的增益，将上述摄影机的增益×上述摄影机的曝光时间作为拍摄设定值。

根据这样的拍摄图像显示系统，仅对使摄影机的增益、或者摄影机的曝光时间、或者摄影机的增益×摄影机的曝光时间不同地、通过摄影机拍摄到的图像中的、多个光源作为分离的多个光源的像而表现的图像进行合成并进行显示，所以能够显示如下图像，即能够抑制二个光源作为一个连续的高亮度的像而表现的情况，并且高动态范围较宽的、对于被拍摄区域的暗的部分也能够比较良好地视觉辨认的图像。

这里，这样的拍摄图像显示系统，可以构成为，在上述显示候选图像生成单元中，关于预先确定的相互不同的多个拍摄设定值的范围的每个范围，搜索该范围内的拍摄设定值中的、能够通过上述摄影机将多个光源拍摄为分离的多个光源的像的最大的拍摄设定值，在搜索成功的情况下，将用该最大的拍摄设定值通过摄影机拍摄到的图像作为上述显示候选图像。

通过这样，关于多个拍摄设定值的范围的每个范围，能够拍摄到多个光源作为分离的多个光源的像而表现的显示候选图像的情况下，能够生成尽可能明亮的图像作为显示候选图像，能够提高显示图像的视觉辨认性。

另外，以上的拍摄图像显示系统，可以构成为，在上述显示候选图像生成单元中，提取用上述多个拍摄设定值的范围中包括的拍摄设定值中的最大的拍摄设定值通过摄影机拍摄到的图像中包括的高亮度的区域，作为对象高亮度区域，关于预先确定的相互不同的多个拍摄设定值的范围的每个范围，搜索该范围内的拍摄设定值中的、能够将上述对象高亮度区域分离为分离的多个高亮度的区域的最大的拍摄设定值，作为能够通过上述摄影机将多个光源拍摄为分离的多个光源的像的最大的拍摄设定值。

另外，以上的拍摄图像显示系统，可以构成为，在上述合成图像显示单元中，在上述显示器上显示合成图像，该合成图像是通过包括高动态范围合成的合成处理仅将作为该多个光源的像而表现的多个显示候选图像合成而得到的。

另外，本发明一并提供具备拍摄图像显示系统的电子镜系统。这里，在本电子镜系统中，上述摄影机是搭载于汽车的对汽车的后方或左后方或右后方进行拍摄的摄影机，上述显示器配置在从上述汽车的驾驶员能够视觉辨认的位置。

发明的效果

如以上那样，根据本发明，在显示通过摄影机拍摄到的图像的拍摄图像显示系统中，能够以能够抑制二个光源作为一个光源而表现的情况并且关于被拍摄区域的暗的部分也能够比较良好地视觉辨认的方式显示通过摄影机拍摄到的图像。

附图说明

图1是表示本发明的实施方式的电子镜系统的构成的框图。

图2是表示本发明的夜间显示处理的流程图。

图3是表示本发明的实施方式的曝光调整图像拍摄处理的流程图。

图4是表示本发明的夜间显示处理的处理例的图。

符号说明

1…摄影机，2…显示控制装置，3…显示器。

具体实施方式

以下，对本发明的实施方式进行说明。

图1a中示出了本实施方式的电子镜系统的构成。

电子镜系统是搭载于汽车的系统，如图所示，具备摄影机1、显示控制装置2以及显示器3。

这里，摄影机1如例如图1b所示那样，配置在汽车的后部，对汽车的后方的状况进行拍摄。另外，显示器3如图1c所示那样，使显示面朝向后方侧地配置在前挡风玻璃的上方的位置，即传统上配置有车室内后视镜的位置。

接着，对于在这样的电子镜系统中在夜间由显示控制装置2进行的夜间显示处理进行说明。此外，当前是否是夜间，根据通过摄影机1拍摄到的图像的整体上的亮度、另外收到的通过照度传感器检测到的照度、汽车的车灯的开/关的状态等来检测。

图2中示出了夜间显示处理的工序。

首先，对于本夜间显示处理中使用的常数进行表示。

在本夜间显示处理中，作为对摄影机1的增益进行表示的常数，使用满足minig1＜maxg1＜minig2＜maxg2＜minig3＜maxg3的minig1、maxg1、minig2、maxg2、minig3、maxg3的常数。

另外，如图所示，在夜间显示处理中，显示控制装置2首先将摄影机1的增益设定为maxg3，进行图像的拍摄(步骤202)。

然后，检查在拍摄到的图像中是否有规定的尺寸以上的、亮度值为预先确定的阈值thl以上的高亮度的像素的区域(步骤204)。这里，关于阈值thl，设定亮度的饱和值或者小于亮度的饱和值的接近饱和值的值。另外，规定的尺寸设为，例如包含拍入了位于距摄影机1为250m的位置的相隔1.3m的2点的拍摄图像中的2点的尺寸。

然后，如果没有阈值thl以上的像素的区域(步骤204)，则将在步骤202中拍摄到的图像显示于显示器3(步骤206)，并返回到从步骤202起的处理。

另一方面，如果有阈值thl以上的像素的区域(步骤204)，则关于i＝1,i＝2,i＝3(步骤208，214，216)，分别进行步骤210、212的处理。

即，在步骤210中，将minig设定为常数minigi，将maxg设定为常数maxgi，在此基础上，在步骤212中，进行使用了minig、maxg的曝光调整图像拍摄处理。

这里，图3中示出了在步骤212中进行的曝光调整图像拍摄处理的工序。

如图所示，在曝光调整图像拍摄处理中，显示控制装置2首先将摄影机1的增益设定为maxg(步骤302)。然后，通过摄影机1进行图像的拍摄(步骤304)。

然后，检查在拍摄到的图像中、图2的步骤204中检测到的阈值thl以上的高亮度的像素的区域，是否通过亮度比较低的像素的区域被分离为分裂的多个亮度比较高的像素的区域，即，检查是否被分离为多个光源的像(步骤306)。

然后，如果未分离为多个光源的像(步骤306)，则将thm设为thl以下的规定的阈值，并检查在拍摄到的图像中是否残留thm以上的像素区域(步骤312)，如果未残留，则最后将步骤304中拍摄到的图像设定为使用图像(步骤316)，结束曝光调整图像拍摄处理。

另一方面，在拍摄到的图像中残留有thm以上的像素区域的情况下(步骤312)，检查从摄影机1的当前的增益减少了预先设定的步长量s而得到的值，是否小于ming(步骤314)。

然后，在从摄影机1的当前的增益减少了预先设定的步长量s而得到的值小于ming的情况下(步骤314)，最后将步骤304中拍摄到的图像设定为使用图像(步骤316)，结束曝光调整图像拍摄处理。

另一方面，如果从摄影机1的当前的增益减少了预先设定的步长量s而得到的值不小于ming(步骤314)，则使摄影机1的增益减少步长量s(步骤318)，并返回到从步骤304起的处理。

然后，在步骤306中，判定为阈值thl以上的高亮度的像素的区域能够分离为多个光源的像的情况下，最后将步骤304中拍摄到的图像设定为使用图像(步骤308)，并且对使用图像设定光源分离标志(步骤310)。

然后，结束曝光调整图像拍摄处理。

根据这样的曝光调整图像拍摄处理，关于minig1到maxg1的增益的范围、minig2到maxg2的增益的范围、minig3到maxg3的增益的范围的每个范围，在用该增益的范围内的增益，能够将图2的步骤204中检测到的阈值thl以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成用能够拍摄为多个光源的像的增益中的最大的增益拍摄到的图像，作为使用图像，对使用图像设定光源分离标志。

另外，关于上述的增益的范围的每个范围，用该增益的范围内的增益，无法将图2的步骤204中检测到的阈值thl以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成在该增益的范围中的拍摄到的图像不残留thm以上的像素区域且用增益或最小的增益拍摄到的图像，作为使用图像，对该使用图像，不设定光源分离标志。

另外，返回到图2，关于i＝1,i＝2,i＝3(步骤208，214，216)的每一个，如果步骤210的将minig设定为maxg、步骤212的曝光调整图像拍摄处理已结束，则检查在通过对于i＝1,i＝2,i＝3分别进行的曝光调整图像拍摄处理而生成的3个使用图像中，是否有被设定了光源分离标志的使用图像(步骤218)。

然后，在有被设定了光源分离标志的使用图像的情况下(步骤218)，生成通过规定的图像处理f仅将被设定了光源分离标志的使用图像合成而得到的图像，并显示于显示器3(步骤220)，并返回到从步骤202起的处理。此外，在步骤220中，在仅有一个被设定了光源分离标志的使用图像的情况下，将该使用图像显示于显示器3。

另一方面，在没有被设定了光源分离标志的使用图像的情况下(步骤218)，将通过关于i＝1进行的曝光调整图像拍摄处理所生成的使用图像显示于显示器3(步骤222)，并返回到从步骤202起的处理。

以上，对由显示控制装置2进行的夜间显示处理进行了说明。

这里，图4表示在夜间存在后续车辆时，关于各增益的范围所生成的使用图像的例子，图4a表示关于minig1到maxg1的增益的范围所生成的使用图像，图4b表示关于minig2到maxg2的增益的范围所生成的使用图像，图4c表示关于minig3到maxg3的范围所生成的使用图像。

如图所示，在该例中，对于关于图4a的minig1到maxg1的增益的范围所生成的使用图像、关于图4b的minig2到maxg2的增益的范围所生成的使用图像，后续车的二个前照灯被分离为二个光源的像而表现，但在图4c的关于minig3到maxg3的范围所生成的使用图像中，由于饱和，后续车的二个前照灯作为连续的一个光源的像而表现。

并且，根据本夜间显示处理，通过规定的图像处理f，仅将这样生成的3个使用图像中的、后续车的二个前照灯分离为二个光源的像而表现的图4a的使用图像和图4b的使用图像合成而得到的图4d所示那样的图像显示于显示器3。

这里，作为图像处理f，例如能够进行根据曝光不同的多个图像生成与该多个图像相比高动态范围更宽的图像的hdr(高动态范围合成；high-dynamic-rangerendering)及将通过hdr生成的图像的高动态范围缩小为显示器3的高动态范围的色调映射等。

另外，作为图像处理f，也能够进行平均、加法运算等的其他的图像处理。

这里，在除了后续车的二个前照灯分离为二个光源的像而表现的图4a的使用图像和图4b的使用图像以外，还包含后续车的二个前照灯作为一个光源的像而表现的图4c的使用图像在内进行合成的情况下，显示的图像有时为，以后续车的二个前照灯不分离为二个光源的像、或分离的有无并不清楚的方式而表现的图像。

但是，在夜间显示处理中，仅将后续车的二个前照灯分离为二个光源的像而表现的使用图像合成并显示于显示器3，所以在显示的图像中也是，后续车的二个前照灯清楚地分离为二个光源的像而表现。

另外，使用图像，是以各增益的范围内、能够将后续车的二个前照灯拍摄为二个光源的像的增益中的最大的增益拍摄到的图像，所以为尽可能明亮的图像。

因此，通过夜间显示处理，能够显示能够抑制二个前照灯等的二个光源作为一个光源而表现的情况，并且高动态范围较宽的、对于被拍摄区域的暗的部分也能够比较良好地视觉辨认的图像。

以上，对本发明的实施方式进行了说明。

但是，在以上的实施方式，在夜间显示处理中，关于摄影机1的增益不同的多个范围进行了曝光调整图像拍摄处理，但这也可以关于摄影机1的曝光时间(快门速度)、或者摄影机1的曝光时间(快门速度)×增益不同的多个范围来进行曝光调整图像拍摄处理。

即，也可以是，进行与摄影机1的曝光时间(快门速度)不同的多个范围的各范围对应的曝光调整图像拍摄处理，在各曝光调整图像拍摄处理中，以对应的范围内的曝光时间能够将图2的步骤204中检测到的阈值thl以上的高亮度的像素的区域拍摄为多个光源的像的情况下，能够生成以能够拍摄到的曝光时间中的最长的曝光时间拍摄到的图像，作为设定了光源分离标志的使用图像，在以对应的范围内的曝光时间不能将图2的步骤204中检测到的阈值thl以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成在对应的范围中的拍摄到的图像中不残留thm以上的像素区域且以曝光时间或最小的曝光时间能够拍摄到的图像，作为未设定光源分离标志的使用图像。

或者，也可以是，进行与摄影机1的曝光时间(快门速度)×增益不同的多个范围的各范围对应的曝光调整图像拍摄处理，在各曝光调整图像拍摄处理中，以对应的范围内的曝光时间×增益能够将图2的步骤204中检测到的阈值thl以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成以能够拍摄的曝光时间×增益中的最大的曝光时间×增益拍摄到的图像，作为设定了光源分离标志的使用图像，在以对应的范围内的曝光时间×增益不能将图2的步骤204中检测到的阈值thl以上的高亮度的像素的区域拍摄为多个光源的像的情况下，生成在对应的范围中的拍摄到的图像中不残留thm以上的像素区域且以最小的曝光时间×增益或最小的曝光时间×增益拍摄到的图像，作为未设定光源分离标志的使用图像。

另外，以上，对将通过摄影机1拍摄到的图像在配置于前挡风玻璃的上方的位置的显示器3上显示的电子镜系统进行了说明，但以上的夜间显示处理，同样能够应用于将通过摄影机1拍摄到的左后方/右后方的图像在配置于左/右的显示器3上显示的电子镜系统、即代替传统的两侧的后视镜的电子镜系统等的用摄影机1拍摄到包含光源的图像进行显示的其他的任意的拍摄图像显示系统中。