车辆周围监控装置及车辆周围监控方法与流程

本发明涉及一种车辆周围监控装置及车辆周围监控方法。

背景技术：

近年来，通过安装在车辆上的摄像机对主车辆(本车体)周围的图像(景物)进行摄像并显示在显示单元的车辆周围监控装置的开发正在被推进(例如，参照专利文献1)。在这样的车辆周围监控装置中例如具有侧边监控器等。

在上述专利文献1中描述的车辆用周围监视装置中，使用表示主车辆与周围的景物之间的边界的边界信息来实施澄清边界的处理。

(现有技术文献)

(专利文献)

专利文献1：日本特开第2014-116756号公报

技术实现要素：

发明所要解决的问题

但是，在上述专利文献1中描述的车辆用周围监视装置中，由于仅明确了主车辆与周围的景物之间的边界，因此，不能够消除图像的闪烁，例如，由主车辆周围的景物引起的闪烁(图像闪烁)。

因此，本发明的主要目的是解决上述问题。

用于解决问题的手段

为了解决上述课题，本发明是一种车辆周围监控装置，其特征在于：

其包括：摄像单元，其能够对主车辆周围的图像进行拍摄；

图像处理单元，其对该摄像单元拍摄的图像进行图像处理；

显示单元，其显示该图像处理单元图像处理的图像；

所述图像处理单元设置有闪烁校正单元，所述闪烁校正单元在所述摄像单元拍摄的图像中存在闪烁的情况时，能够以减少显示在所述显示单元上的图像的闪烁的方式进行校正，并且

所述闪烁校正单元将由所述摄像单元拍摄的图像中的规则排列的物体的与所述主车辆之间的相对位移确认为闪烁；。另外，提供一种使用该车辆周围监控装置的车辆周围监控方法。

发明的效果

根据本发明，通过上述构成，能够减少例如由主车辆周围的景物所引起的闪烁。

附图说明

图1是安装有本实施方式涉及的车辆周围监控装置的车辆的整体平面图。

图2是图1的车辆周围监控装置的结构图。

图3是图1的闪烁校正单元的结构图。

图4是表示由摄像单元拍摄的图像的示例的图。

图5是示出能够由物体检测单元检测物体的方式转换了图4的图像的状态的图。

图6是示出由频率转换单元对图5的数据进行频率转换的状态的图。

图7是示出减少了闪烁的图像的示例的图。

图8是示出物体检测单元中的处理(对于每个网格)的状态的图。

图9是示出物体检测单元处理的数据的状态的图。

图10是示出由频率转换单元转换的频率的波形和处理该波形的图。

图11a是在铁桥骨架出现闪烁的情况时的具体示例中的原始图像。

图11b是表示在铁桥骨架出现闪烁的情况时的具体示例中检测物体的状态的图。

图12a是当点标记出现闪烁的情况时的具体示例中的原始图像。

图12b是表示当点标记出现闪烁的情况时的具体示例中检测物体的状态的图。

图12c是当点标记出现闪烁的情况时的具体示例中的闪烁被减少的图像。

图13a是在隧道中几乎等距排列的照明出现闪烁的情况时的具体示例中的原始图像。

图13b是表示在隧道中几乎等距排列的照明出现闪烁的情况时的具体示例中检测物体的状态的图。

图13c是在隧道中几乎等距排列的照明出现闪烁的情况时的具体示例中的闪烁被减少的图像。

图14是表示闪烁校正单元中的处理的流程图。

具体实施方式

下面，结合附图对本实施方式进行详细说明。

图1～图14是用于说明本实施方式的附图。

实施例1

＜构成＞下面，对本实施例的构成进行说明。

设置有通过安装在车辆上的摄像机对主车辆周围的图像进行摄像并显示在显示单元的车辆周围监控装置。该车辆周围监控装置例如由侧边监控器等构成。

具体而言，如图1和图2所示，车辆周围监控装置1包括：摄像单元4，其能够对主车辆2周围的图像3(环境)进行拍摄；图像处理单元5，其对该摄像单元4拍摄的图像3进行图像处理；显示单元7，其显示该图像处理单元5图像处理的图像6。

在此，摄像单元4是相对于主车辆2以左右成对设置的监控摄像机等。摄像单元4在主车辆2的前门11的前缘部并相对于门主体12与前窗玻璃13之间的边界部分的位置的周围朝向车辆后方分别设置1台。因此，由摄像单元4拍摄的图像3是从主车辆2的左右的侧部分别映照车辆后方的图像。图像处理单元5是具备图像处理功能的计算机等的控制单元(演算)。

显示单元7是，根据左右一对监控摄像机而设置的左右一对显示屏(液晶面板和有机el面板)等的显示面板。左右一对显示单元7设置在驾驶席的前方配置的仪表板等的部分(例如，驾驶席前方的位置)。因此，由显示单元7显示的车辆后方的图像6在面朝前方的驾驶员的视野范围内，靠近中心的位置处能够看得见(能够确认)，相比现有的设置在视野范围外的侧镜(后视镜)更容易看得见，并根据情况，容易成为障碍的可能性较高。但是，显示单元7的设置数量和设置位置不限于上述结构。

对于以上的基本构成，本实施例中具备以下的构成。

(1)如图2(图3)所示，图像处理单元5设置有闪烁校正单元22，该闪烁校正单元22在摄像单元4拍摄的图像3存在闪烁的情况时，能够以减少显示在显示单元7上的图像6的闪烁的方式校正。

例如，闪烁校正单元22将由摄像单元4拍摄的图像3(参照图4)中的规则排列的物体24的与主车辆2之间的相对位移确认为闪烁。

在此，例如，“闪烁”是指由摄像单元4拍摄的图像3中的明暗(亮度和暗度)交替反复的状态被映照的情况。在此情况下，物体24的闪烁，特别是将由规则排列的物体24的明暗交替反复作为主要对象。另外，对于明暗的差异足够小的物体而言，即使是规则排列的物体24也存在不会被感知为闪烁的情况。

规则排列的物体24可以考虑为如图4所示的铁桥的骨架24a或者在高速公路两旁被植入的植物等。其他示例将在后面描述。在规则排列的物体24中，随着物体24之间的距离变窄而闪烁趋于增加。

相对位移，例如包括：物体24静止且主车辆2正在移动的情况；物体24移动且主车辆2静止的情况；以及物体24和主车辆2同在移动的情况。相对位移速度越快，闪烁趋于越大。

(2)闪烁校正单元22构成为通过使如图4的图像3中的闪烁部分31、32(经过如图5、图6所示的处理而得到的如图7所示)模糊而减少显示于显示单元7的闪烁(模糊部35、36)。

在此，闪烁部分31、32，主要将图像3中的由物体24直接产生的闪烁(闪烁部分31)作为对象，但是根据情况，也可以包括，由在前窗玻璃13上反射的物体24的图像形成的间接的闪烁(闪烁部分32)，或者，在门主体12上反射的物体24的图像等。是否包括间接的部分能够通过对比明暗的差异的大小来决定。

在“模糊”中，针对图像3，能够预想例如适用运动模糊技术(对运动进行残像处理)、透明化处理、低对比度处理(模糊处理)等效果。但是，模糊处理不限于此。

(3)如图3所示，闪烁校正单元22包括：采样单元41，其对由摄像单元4拍摄的图像3进行采样；

物体检测单元42(参照图5及图8、图9)，其从由上述采样单元41采样的图像3中检测相对于主车辆2相对位移的物体24；

频率转换单元43(参照图10)，其对在上述物体检测单元42用于检测相对位移的物体24的数据42a进行频率转换；

闪烁确定单元45(参照图6及图10)，其在上述频率转换单元43的频率转换的数据43a中感知(发现)存在的不良频率成分超过预先设定的临界值44时，确定为闪烁。

在此，采样单元41，物体检测单元42，频率转换单元43和闪烁确定单元45可以被配置为图像处理单元5中的软件功能块。采样单元41对图像3进行采样约几秒钟。例如，在摄像单元4能够每秒拍摄15帧的情况时，在3秒内对45帧的图像3进行采样。但是，摄像单元4拍摄的帧的数量或者图像3的采样时间或者采样数量不限于此。

感知的不良频率成分主要是高频侧的成分。在图6中，白色部分是感知的不良频率成分，黑色部分是除上述之外的低频侧成分。另外，在图10中示出了将上述之外的低频侧成分分割，并仅用于感知的不良频率成分的临界值44。

能够在参考最终的图像6的同时，以不引起不适的方式适当地调整临界值44。

闪烁确定单元45由于图10中的数据43a中的频率成分超过临界值44而确定存在闪烁。然后，当确定存在闪烁时，闪烁校正单元22对闪烁部分31、32进行模糊处理。

(4)更具体地，物体检测单元42通过由采样单元41采样的图像3的离散余弦变换来检测相对于主车辆2的相对位移的物体24。

此外，频率转换单元43通过使用傅立叶变换对用在物体检测单元42检测相对位移的物体24的数据42a进行频率转换。

在此，如图5所示，首先将采样单元41采样的图像3，划分为细网格并将每一帧(框架)以较细的横竖的网格3a区域分割。而且，在该状态下，物体检测单元42对每个网格3a(方格)进行离散余弦变换。网格3a的大小能够根据图像处理单元5的处理能力和显示单元7所需的分辨率任意设置。

离散余弦变换是用于将离散信号转换为频域的转换方法之一。离散余弦变换广泛用于数据压缩等，因为离散余弦变换能够在不损坏大部分原始信号的情况下降低数据容量。在离散余弦变换中，具有转换后的信号的频率成分集中在低频区域的特征。在此情况下，如上所述的离散余弦变换用于检测相对于主车辆2相对位移的物体24。

更具体地说，当对每个网格3a进行离散余弦变换时，成为如图8所示的状态。这是，将纵向方向(上下方向)是图像3的纵向轴，横向方向(左右方向)是图像3的横向轴，并使左上侧成为低频成分，右下侧成为高频成分的方式使用白黑表示。其中，变更的物体24表示为白色部分。并且，物体24的变化越大，白色部分变得越大。

然后，将相同位置的网格3a以沿着时间序列排列，并获得各网格3a的白色部分的面积时，得到如图9所示的图表。例如，通过在该图的数据42a中检查是否观察到纵向扩展·收缩的波形变化(如重复(1)的状态和(2)的状态)，从而能够获得是否存在规则排列的物体24的相对位移。在该数据42a的波形中，通过出现周期性的峰值而了解到出现规则排列的物体24。

接下来，由频率转换部分43对如上获得的波形数据42a进行傅里叶变换，并获得如图10所示的波形的数据43a。傅里叶变换是对波形通过正弦波的叠加而表示的转换方法。

这些处理分别对每个网格3a进行处理。另外，这样的处理，具体而言，除了如上所述的铁桥的框架24a的情况(参见图11a和图11b)之外，例如，还对如图12a至12c所示的点标记24b，或者，如图13a至图13c所示的在隧道中以基本相等的间隔布置的照明装置24c等的情况也有效。

此后，由闪烁确定单元45实施模糊处理。

(5)下面，使用上述的车辆周围监控装置对车辆周围监控方法进行说明。

该车辆周围监控方法中，通过摄像单元4对主车辆2周围的图像3进行拍摄；

通过图像处理单元5(控制单元)对摄像单元4拍摄的图像3执行图像处理；

通过显示单元7将由图像处理单元5处理的图像6显示。

然后，图像处理单元5通过闪烁校正单元22，当在摄像单元4摄像的图像3中存在闪烁时，以降低显示单元7上显示的图像6的闪烁的方式进行校正。

此时，闪烁校正单元22将由摄像单元4拍摄的图像3中规则排列的物体24与主车辆2的相对位移确认为闪烁。

(6)然后，闪烁校正单元22通过模糊图像3的闪烁部分31、32来减少在显示单元7上显示的闪烁。

(7)在闪烁校正单元22中，通过采样单元41对由摄像单元4拍摄的图像3进行采样；

通过物体检测单元42从由采样单元41采样的图像3中检测相对于主车辆2相对位移的物体24；

通过频率转换单元43对物体检测单元42中用于检测相对位移的物体24的数据进行频率转换；

通过闪烁确定单元45在频率转换单元43的频率转换的数据中被感知为不良的频率成分超过预先设置的临界值44时，确定为闪烁。

具体而言，如图14所示的流程图所示，在步骤s1中，获取相机(摄像单元4)的图像数据(图像3)；

在步骤s2中，通过采样单元41对若干帧(图文框)进行采样；

在步骤s3中，通过物体检测单元42提取以相等间隔出现的对象(物体24)；

在步骤s4中，如果没有以相等间隔出现的对象，则在步骤s6中按原样输出屏幕；

如果存在以相等间隔出现的对象，则在步骤s5中对以相等间隔出现的点(位置)进行效果处理(模糊处理)；

在步骤s6中，输出屏幕并返回到最初步骤，重复上述处理。

(8)物体检测单元42通过对由采样单元41采样的图像3执行离散余弦变换，从而进行相对主车辆2的相对位移的物体24的检测；

频率转换单元43通过使用傅里叶变换对在物体检测单元42用于检测相对位移的物体24的数据进行频率转换。

＜效果＞根据本实施例，能够得到如下的效果。

车辆周围监控装置利用安装在车辆上的摄像机拍摄主车辆周围的环境(图像)，并在显示单元上显示图像。车辆周围监控装置例如是侧镜监视器等。

具体而言，通过摄像单元4对主车辆2周围的图像3进行拍摄，并通过图像处理单元5对由摄像单元4拍摄的图像3进行图像处理，以及通过显示单元7显示由图像处理单元5处理(图像处理)的图像6。

(效果1)而且，当由摄像单元4拍摄的图像3中存在闪烁时，图像处理单元5能够通过闪烁校正单元22减少在显示单元7上显示的图像6的闪烁。其结果是，能够将由闪烁而出现的繁琐部分从显示单元7的显示中部分地消除(或减少)，例如，即使显示单元7被配置在视野范围内容易看到的位置的情况时，也能够消除或减少由闪烁引起的烦恼。能够专注于驾驶。

此时，闪烁校正单元22将由摄像单元4拍摄的图像3中的规则排列的外部物体24的与主车辆2的相对位移确定为闪烁。其结果是，在行进期间，例如，能够校正由铁桥的骨架24a、以大致均匀的间隔植入在高速公路的两侧的植物、点标记24b、在隧道中以基本相等的间隔布置的灯24c等构成主车辆2周围的风景的物体24等引起的闪烁。

此外，在停止期间，例如，在主车辆2附近通过火车或者货车等引起的闪烁也能够通过上述方式进行校正。

(效果2)闪烁校正单元22使图像3的闪烁部分31、32模糊并将其显示在显示单元7上。据此，能够可靠地减少显示在显示单元7上的闪烁。图像3能够通过如模糊技术(对运动进行残像处理)、透明化处理或者低对比度处理(模糊处理)等来实施模糊处理。通过实施上述模糊处理，能够减轻显示中的不适。另外，能够防止因持续目视具有闪烁的显示器而引起的晕车等。

(效果3)在闪烁校正单元22中，采样单元41对由摄像单眼4拍摄的图像3进行采样，并且物体检测单元42从由采样单元41采样的图像3中检测相对于主车辆2的相对位移的物体24，频率转换单元43对用于由物体检测单元42检测相对位移的物体24的数据进行频率转换，闪烁确定单元45在频率转换单元43的频率转换的数据中感知(发现)存在的不良频率成分超过预先设定的临界值44时，确定为闪烁。据此，能够具体地检测由摄像单元4拍摄的图像3的闪烁，并进行模糊处理。

(效果4)物体检测单元42通过对由采样单元41采样的图像3实施离散余弦变换，而实施相对于主车辆2的相对位移的物体24的检测，以及频率转换单元43使用傅里叶变换对用于在物体检测单元42检测相对位移的物体24的数据进行频率转换。据此，能够实际检测出存在闪烁的物体24。

附图标记说明

1车辆周围监控装置

2主车辆

3图像

4摄像单元

5图像处理单元

7显示单元

22闪烁校正单元

24规则排列的物体

31闪烁部分

32闪烁部分

35模糊部

36模糊部

41采样单元

42物体检测单元

42a数据

43频率转换单元

43a数据

44临界值

45闪烁确认单元

相关申请的相互参照

本发明基于2016年7月28日向日本特许厅申请的特愿2016-148058主张优先权，其公开内容全部通过引用而并入本说明书。