周边检查装置的制作方法

本国际申请主张基于在2016年8月12日向日本专利厅申请的日本专利申请第2016－158753号的优先权，并通过参照将日本专利申请第2016－158753号的全部内容引用至本国际申请。

本公开涉及搭载于车辆的周边检查装置。

背景技术：

在专利文献1中，公开了将通过设置于车辆上的多个不同位置的多台照相机获得的多个拍摄图像显示于设置于车辆的显示装置的周边检查装置。该周边检查装置以路面等平面为基准将具有拍摄范围的一部分相互重复的重复部的多个拍摄图像使各个重复部重叠从而合成为一个图像，并将该合成的图像显示于显示装置。

专利文献1:日本专利第3286306号公报

上述多个拍摄图像是由设置于车辆的多个不同位置的多台照相机拍摄的，所以拍摄图像的重复部中的人、车辆等具有高度的物体的显示方式分别不同。发明人的详细研究的结果，发现在具有高度的物体存在于重复部的情况下，应显示于重复部的物体的一部分从显示画面中消失等，驾驶员难以在显示画面中视觉确认物体的技术问题。另外，发现了显示画面中所显示的物体的大小较小，而驾驶员难以发现物体的技术问题。

技术实现要素：

本公开的一个方面在于提供一种能够抑制驾驶员难以在显示画面中视觉确认车辆周边的物体的周边检查装置。

本公开的一个方式，周边检查装置具备显示处理部和判定部。显示处理部将通过设置于车辆上的多个不同位置的多台照相机获得的具有拍摄范围的一部分相互重复的重复部的多个拍摄图像，以保持着留有重复部的状态，分别显示于设置于车辆的显示装置。判定部对多个拍摄图像的每一个判定是否存在待检测的规定的对象物。另外，显示处理部具备放大处理部。放大处理部在通过判定部判定为在多个拍摄图像中的至少一个拍摄图像中存在对象物的情况下，将多个拍摄图像中的被判定为存在对象物的至少一个拍摄图像放大并显示于显示装置。

根据这样的结构，保持着留有拍摄图像的重复部的状态将多个拍摄图像分别显示于显示装置。因此，即使在拍摄图像的重复部存在具有高度的物体的情况下，也难以发生物体的一部分从显示画面中消失的情况。由此，能够抑制驾驶员在显示画面中难以视觉确认物体的情况。此外，放大显示被判定为存在对象物的拍摄图像。因此，难以发生在显示画面中显示的对象物的大小变小的情况。由此，能够抑制驾驶员在显示画面中难以注意到对象物的情况。因此，能够抑制驾驶员在显示画面中难以视觉确认车辆周边的对象物的情况。

附图说明

图1是表示周边检查系统的结构的框图。

图2是表示各照相机的设置位置以及后方显示功能的部分拍摄图像的拍摄范围与重复范围的图。

图3是表示以默认的显示比例显示的显示用图像的图。

图4是对象物检测处理的流程图。

图5是表示以放大时的显示比例显示的显示用图像的图。

具体实施方式

以下，参照附图对本公开的示例性的实施方式进行说明。

[1.结构]

图1所示的周边检查系统1搭载于车辆，具备前方照相机21、后方照相机22、左侧照相机23、右侧照相机24、声纳25、ecu3以及显示装置4。以下，将搭载有周边检查系统1的车辆称为“本车辆”。

前方照相机21、后方照相机22、左侧照相机23以及右侧照相机24将表示拍摄图像的信号输出至ecu3。如图2所示，各照相机21～24设置于本车辆的多个不同位置。具体而言，前方照相机21设置于本车辆的前部，后方照相机22设置于本车辆的后部，左侧照相机23设置于本车辆的左侧部，而且右侧照相机24设置于本车辆的右侧部。

各照相机21～24被设置为在本车辆的前方区域以及后方区域的各区域，可拍摄的范围的一部分相互重复。具体而言，各照相机21～24是能够以约180度的视角进行拍摄的广角照相机。因此，通过左侧照相机23以及右侧照相机24可拍摄的范围在本车辆的前方侧，与通过前方照相机21可拍摄的范围部分重复，并在本车辆的后方侧，与通过后方照相机22可拍摄的范围部分重复。

在本实施方式中，后方照相机22、左侧照相机23以及右侧照相机24用于实现将对本车辆的后方拍摄的拍摄图像显示于显示装置4的后方显示功能。另外，前方照相机21、左侧照相机23以及右侧照相机24用于实现将对本车辆的前方拍摄的拍摄图像显示于显示装置4的前方显示功能。

此外，在以下的说明中，将与通过各照相机21～24能够拍摄的范围对应的拍摄图像称为“原拍摄图像”，将显示于显示装置4的拍摄图像，换言之作为原拍摄图像的一部分的拍摄图像称为“部分拍摄图像”。

图2是表示后方照相机22、左侧照相机23以及右侧照相机24各自的可拍摄的范围中与通过后方显示功能显示的部分拍摄图像对应的范围亦即拍摄范围。后方照相机22的拍摄范围53内的左侧的一部分与左侧照相机23的拍摄范围51内的后方侧的一部分在重复范围54重复。另外，后方照相机22的拍摄范围53中的右侧的一部分与右侧照相机24的拍摄范围52内的后方侧的一部分在重复范围55重复。

此外，对于前方显示功能也同样地，前方照相机21的拍摄范围内的左侧的一部分以及右侧的一部分与左侧照相机23的拍摄范围内的前方侧的一部分以及右侧照相机24的拍摄范围内的前方侧的一部分分别重复。

返回到图1，声纳25是用于检测存在于本车辆的周边的物体的超声波传感器。具体而言，在本车辆上设置有多个声纳25，以能够检测与通过后方显示功能以及前方显示功能分别显示的部分拍摄图像对应的拍摄范围内的物体，。声纳25将检测结果输出至ecu3。

ecu3具备输入信号处理部31、图像处理部32、输出信号处理部33、存储器34以及电源电路35。此外，所谓的ecu是electroniccontrolunit的简称。

输入信号处理部31是用于将从各照相机21～24输入的表示部分拍摄图像的信号分别输出至图像处理部32的接口。

图像处理部32以具有未图示的cpu、ram以及rom等的公知的微型计算机为中心构成。图像处理部32执行作为非过渡性实体记录介质的存储器34中储存的程序。通过执行该程序，来执行与该程序对应的方法。具体而言，图像处理部32根据该程序，执行后述的图5所示的对象物检测处理。图像处理部32将表示用于显示于显示装置4的显示用图像的信号输出至输出信号处理部33。

输出信号处理部33是用于将表示通过图像处理部32输入的显示用图像的信号输出至显示装置4的接口。

存储器34是用于记录上述的程序、部分拍摄图像等的记录介质。

电源电路35将从未图示的蓄电池输入的电压转换为规定的电压，并供给至ecu3的各部。

显示装置4是用于显示图像的显示器，设置于本车辆的驾驶员等能够视觉确认所显示的图像的位置。如图3所示，本实施方式的显示装置4是在半透半反镜的内侧具备液晶显示器的后视镜。显示装置4构成为能够通过驾驶员操作专用的按钮，切换作为通常的镜子发挥功能的镜像模式、和镜子的一部分作为一个显示画面6发挥功能的显示模式。

显示画面6为横向较长的大致长方形。在后方显示功能以及前方显示功能的每一个中，在显示画面6上，横向排列地显示3个部分拍摄图像。图3是后方显示功能中的显示用图像的一个例子，从驾驶员的角度来看从左至右依次显示左侧照相机23的部分拍摄图像62、后方照相机22的部分拍摄图像61以及右侧照相机24的部分拍摄图像63。此外，在前方显示功能下，从驾驶员的角度来看从左至右依次显示左侧照相机23的部分拍摄图像、前方照相机21的部分拍摄图像以及右侧照相机24的部分拍摄图像。

后方显示功能以及前方显示功能在上述的显示模式下，通过变速杆来切换。具体而言，后方显示功能是在档位为倒档的状态下利用的功能，前方显示功能是在档位为驱动的状态下利用的功能。

如图3所示，部分拍摄图像61以及部分拍摄图像62在显示画面6中，通过作为沿上下方向延伸的带状的图像的分离部64左右划分，而相互分离配置。同样地，部分拍摄图像61以及部分拍摄图像63在显示画面6中，与分离部64相同通过分离部65左右划分，而相互分离配置。具体而言，分离部64、65是随着向下方加宽的形状。

在分离部64、65的下部，显示有表示拍摄范围的图标66、67，以使得驾驶员能够容易地识别显示画面6中的左右两侧的部分拍摄图像62、63是左侧照相机23以及右侧照相机24中的哪个部分拍摄图像。具体而言，在分离部64显示有表示本车辆的左侧方的拍摄范围51的图标66，并在分离部65显示有表示本车辆的右侧方的拍摄范围52的图标67。此外，分离部64、65将除了图标66、67以外的部分例如显示为黑色的图像，以容易把握部分拍摄图像61、62、63的划分。

[2.处理]

接下来，使用图4的流程图对由图像处理部32执行的对象物检测处理进行说明。对象物检测处理是实现后方显示功能的处理，在显示装置4的模式为显示模式并且变速杆的档位为倒档期间周期性地执行。

在s11中，图像处理部32经由输入信号处理部31，获得表示后方照相机22、左侧照相机23以及右侧照相机24的原拍摄图像的信号、以及声纳25的检测结果。

在s12中，图像处理部32对通过后方照相机22、左侧照相机23以及右侧照相机24获得的表示信号的原拍摄图像的一部分亦即部分拍摄图像的每一个，也利用声纳25的检测结果判定是否存在待检测的规定的物体亦即对象物。具体而言，如上所述，对于后方照相机22、左侧照相机23以及右侧照相机24的每一个，将表示可拍摄的范围的一部分的拍摄图像作为部分拍摄图像显示于显示画面6。本实施方式中的所谓的上述的对象物是人、车辆等移动体。

移动体通过对部分拍摄图像进行图像解析处理来检测。具体而言，移动体通过根据时间序列上连续的部分拍摄图像并使用公知的光流法计算运动矢量来检测。另外，对于位于后方照相机22、左侧照相机23以及右侧照相机24的正前方并朝向本车辆的移动体、静止的移动体等通过光流法无法检测的移动体而言，使用公知的图案匹配法从部分拍摄图像中检测。

进一步，在本实施方式中，基于声纳25的检测结果，判定通过针对部分拍摄图像的图像解析处理检测出的移动体实际是否存在于检测出的位置。其结果，判定为实际存在的移动体被定为是对象物。

在s12中判定为不存在对象物的情况下，图像处理部32将处理移至s13。然后，图像处理部32将显示画面6中的后方照相机22、左侧照相机23以及右侧照相机24的部分拍摄图像的显示区域的比例亦即显示比例决定为默认的显示比例，并将处理移至s15。在本实施方式中，如图3所示，默认的显示比例被设定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为1:3:1的比例。

另一方面，在上述的s12中判定为存在对象物的情况下，图像处理部32将处理移至s14。而且，图像处理部32将显示画面6中的后方照相机22、左侧照相机23以及右侧照相机24的部分拍摄图像的显示比例决定为用于放大被判定为存在对象物的部分拍摄图像，并缩小判定为不存在对象物的部分拍摄图像来显示的显示比例，并将处理移至s15。

具体而言，在上述的s12中，在判定为对象物仅存在于部分拍摄图像62的情况下，如图5所示，决定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为2:2:1的显示比例。相反，在判定为对象物仅存在于部分拍摄图像63的情况下，决定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为1:2:2的显示比例。另一方面，在判定为对象物仅存在于部分拍摄图像61的情况下，决定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为1:3:1的显示比例，换句话说与默认的显示比例相同的显示比例。未放大部分拍摄图像61是因为即使是默认的显示比例，部分拍摄图像61的显示区域也比其它部分拍摄图像62、63宽。但是，不变更显示比例只是一个例子，也可以以部分拍摄图像61被放大的方式变更显示比例。

在这里，在对象物存在于重复范围54、55的情况下，该对象物存在于二个部分拍摄图像中。具体而言，在对象物存在于重复范围54的情况下，在上述的s12中，判定为对象物存在于部分拍摄图像62以及部分拍摄图像61双方。在该情况下，决定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为2:2:1的显示比例。同样地，在对象物存在于重复范围55的情况下，在上述的s12中，判定为对象物存在于部分拍摄图像61以及部分拍摄图像63双方。在该情况下，决定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为1:2:2的显示比例。

另一方面，在本车辆的周边存在多个对象物的情况下，在对象物未存在于重复范围54、55的情况下，对象图像也可能存在于多个部分拍摄图像中。具体而言，在上述的s12中，在判定为对象物存在于部分拍摄图像62以及部分拍摄图像63双方的情况下，决定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为2:1:2的显示比例。另外，在上述的s12中，在判定为对象物存在于各部分拍摄图像61～63的全部中的情况下，决定为部分拍摄图像62、部分拍摄图像61以及部分拍摄图像63的各显示区域在横向上为1:3:1的显示比例。此外，即使在任意一个例子中，各部分拍摄图像61～63的纵向的显示区域的比例全部相同，未变动。另外，各部分拍摄图像61～63的拍摄范围与显示比例无关相同。

这样，图像处理部32通过维持显示画面6中的各部分拍摄图像61～63的拍摄范围，并且改变显示用图像中的各部分拍摄图像61～63的显示区域的横向上的显示比例，放大被判定为存在对象物的部分拍摄图像，并缩小被判定为不存在对象物的部分拍摄图像。

在s15中，图像处理部32以在s13或者s14中决定出的显示比例将显示用图像显示于显示画面6。具体而言，图像处理部32在决定出的显示比例与前一次的显示比例不同的情况下，使用使显示比例阶段性地变化的公知的变形方法，将显示用图像显示于显示画面6。例如，前一次的显示比例为1:3:1，在本次的显示比例为2:2:1的情况下，不使显示比例瞬时变化，而是使部分拍摄图像62的横向宽度缓缓地增加，并使部分拍摄图像61的横向宽度缓缓地减少。之后，图像处理部32结束对象物检测处理。

此外，在显示装置4的模式为显示模式并且变速杆的档位为驱动期间，周期性地执行实现前方显示功能的处理且与图4所示的对象物检测处理相同的处理。

[3.效果]

根据以上详细叙述的实施方式，可得到以下的效果。

(3a)在本实施方式中，3个部分拍摄图像61～63保持着留有与重复范围54、55对应的重复部的状态，分别显示于显示装置4。因此，即使在各部分拍摄图像61～63的重复部存在具有高度的物体的情况下，也难以发生物体的一部分从显示画面6中消失的情况。由此，能够抑制驾驶员在显示画面6中难以视觉确认物体的情况。此外，放大显示被判定为存在对象物的部分拍摄图像。因此，难以发生在显示画面6中显示的对象物的大小变小的情况。由此，能够抑制驾驶员在显示画面6中难以注意对象物的情况。因此，能够抑制驾驶员在显示画面6中难以视觉确认本车辆周边的对象物的情况。

(3b)在本实施方式中，图像处理部32通过改变有关显示装置4的一个显示画面6中的各部分拍摄图像61～63的显示比例，与默认的显示比例相比较，放大被判定为存在对象物的部分拍摄图像，并缩小被判定为不存在对象物的部分拍摄图像。换句话说，与判定为各部分拍摄图像61～63的任意一个都不存在对象物的情况下的显示比例相比较，图像处理部32放大被判定为存在对象物的部分拍摄图像，并缩小被判定为不存在对象物的部分拍摄图像。由此，与未缩小被判定为不存在对象物的部分拍摄图像，而放大被判定为存在对象物的部分拍摄图像的情况相比较，能够有效地利用显示画面6。即，在想要不缩小被判定为不存在对象物的部分拍摄图像，而放大被判定为存在对象物的部分拍摄图像的情况下，需要在默认的显示用图像中，预先准备出用于放大被判定为存在对象物的部分拍摄图像的留白。与此相对，在本实施方式中，由于缩小被判定为不存在对象物的部分拍摄图像，所以在默认的显示用图像以及放大时的显示用图像的任意一个中都能够有效地利用显示画面6的整体。

(3c)在本实施方式中，图像处理部32通过以保持着维持显示画面6中的拍摄范围的状态改变部分拍摄图像的显示比例，放大显示在对象物检测处理中检测出对象物的部分拍摄图像。由此，与仅放大显示包含部分拍摄图像中的对象物的一部分范围的情况，换句话说通过变焦减小拍摄范围的情况不同，驾驶员能够容易地在显示画面6中识别出对象物。即，由于以保持着维持拍摄范围的状态进行放大，所以能够掌握被判定为存在对象物的部分拍摄图像的整个图像，并且在放大后的部分拍摄图像中容易地识别出对象物。

(3d)在本实施方式中，图像处理部32将各部分拍摄图像61～63相互分离地显示于显示画面6。由此，由于区分地显示各照相机21～24的各部分拍摄图像61～63，所以能够容易识别所显示的各部分拍摄图像61～63是哪个照相机的部分拍摄图像。

(3e)在本实施方式中，分离部64、65为随着向下方行进而加宽的形状。因此，能够使驾驶员直观地把握各部分拍摄图像61～63的远近感。

(3f)在本实施方式中，在分离部64、65中显示有表示拍摄范围51、52的图标66、67。由此，驾驶员能够容易识别显示画面6中的左右两侧的部分拍摄图像62、63是否是左侧照相机23以及右侧照相机24中的哪一个的部分拍摄图像。

(3g)在本实施方式中，在检测对象物时并用各照相机21～24以及声纳25。因此，与仅利用各照相机21～24来检测对象物的结构相比较，能够提高在通过各照相机21～24获得的信号所表示的原拍摄图像中的显示画面6所显示的部分拍摄图像中，是否存在待检测的规定的对象物的检测精度。

此外，在本实施方式中，图像处理部32相当于周边检查装置，s13～15相当于显示处理部的处理，s12相当于作为判定部的处理，s14相当于作为放大处理部的处理。

[4.其它实施方式]

以上，对本公开的实施方式进行了说明，但本公开并不限于上述的实施方式，能够进行各种变形来实施。

(4a)在上述实施方式中，作为待检测的规定的对象物例示出了人、车辆等移动体，但对象物并不限于此。对象物例如也可以包含电线杆等静止物。

(4b)在上述实施方式中，显示画面6中的默认的显示比例从驾驶员的角度来看从左至右依次为1:3:1，但默认的显示比例并不限于此。默认的显示比例例如也可以为1:1:1、1:2:1等。另外，默认的显示比例以外的显示比例也并不限定在上述实施方式中示出的显示比例。

(4c)在上述实施方式中，例示出了图像处理部32代替放大在对象物检测处理中判定为存在对象物的部分拍摄图像的显示区域，而缩小被判定为不存在对象物的部分拍摄图像的显示区域的结构。然而，被判定为不存在对象物的部分拍摄图像的显示方式并不限于此。例如，也可以为不缩小被判定为不存在对象物的部分拍摄图像的显示区域，而仅放大被判定为存在对象物的部分拍摄图像的显示区域。这样的显示方式例如能够通过在默认的显示用图像中预先准备出用于放大被判定为存在对象物的部分拍摄图像的显示区域的留白来实现。

(4d)在上述实施方式中，例示出了通过改变显示用图像中的各部分拍摄图像61～63的显示区域的横向的显示比例，来放大被判定为存在对象物的部分拍摄图像的显示区域的结构。然而，显示比例的变更的方式并不限于此。例如，也可以变更部分拍摄图像的显示区域的横向以及纵向双方的显示比例。具体而言，例如，也可以保持维持部分拍摄图像的显示区域的纵横比的状态，放大被判定为存在对象物的部分拍摄图像的显示区域，并缩小被判定为不存在对象物的部分拍摄图像的显示区域。这样的显示方式例如也通过预先准备用于放大被判定为在默认的显示用图像中存在对象物的部分拍摄图像的显示区域的留白来实现。另外，也可以仅变更部分拍摄图像的显示区域的纵向的显示比例。例如，在显示画面上沿纵向排列地配置有多个部分拍摄图像的情况下，与上述实施方式相同，能够不在显示用图像上设置留白地变更部分拍摄图像的显示比例。

(4e)在上述实施方式中，例示出即使放大或者缩小部分拍摄图像的显示区域也维持拍摄范围的结构，但并不限于此，也可以变更部分拍摄图像的拍摄范围。例如，也可以仅放大显示部分拍摄图像中的包含对象物的一部分范围，换句话说通过变焦来缩小拍摄范围。

(4f)在上述实施方式中，显示装置4构成为能够通过操作专用的按钮，切换镜像模式和显示模式，但显示装置4的模式的切换方法并不限于此。例如，也可以在档位为倒档的状态、本车辆的行驶速度为阈值以下的状态等移至特定的状态的情况下，从镜像模式自动地切换至显示模式。另外，也可以像所谓的电子镜那样常时作为显示模式发挥功能。

(4g)在上述实施方式中，分离部64、65为随着向下方行进而加宽的形状，而能够使驾驶员直观地容易地把握各部分拍摄图像61～63的远近感，但分离部的形状并不限于此。例如，分离部的宽度也可以为一定。

(4h)在上述实施方式中，在分离部64、65的下部显示有图标66、67，但图标的显示位置并不限于此。例如，图标也可以显示于分离部的上部、分离部以外的场所等分离部的下部以外的场所。另外，也可以不显示图标。

(4i)在上述实施方式中，部分拍摄图像在显示用图像中通过分离部64、65左右划分来显示，但显示用图像的显示并不限于此。例如，部分拍摄图像也可以不通过分离部来划分。

(4j)在上述实施方式中，在决定出的显示比例与前一次的显示比例不同的情况下，使用使显示比例阶段性地变化的变形方法，但显示比例的变更方法并不限于此。例如，也可以使显示比例瞬时变化。

(4k)在上述实施方式中，作为显示装置，例示在半透半反镜的内侧具备液晶显示器的后视镜，但显示装置并不限于此。显示装置例如也可以是导航装置、导航装置以外的搭载于本车辆的显示器等。

(4l)在上述实施方式中，为了检测本车辆的周边的规定的对象物，而使用各照相机21～24以及声纳25，但用于检测对象物的装置并不限于此。例如，也可以代替声纳25与各照相机21～24并用毫米波雷达、激光雷达等。另外，例如，也可以仅通过各照相机21～24来检测对象物。

(4m)在上述实施方式中，对象物检测处理在显示装置4的模式是显示模式时，执行通过变速杆的档位来实现前方显示功能以及后方显示功能的处理，但对象物检测处理并不限于此。对象物检测处理例如也可以执行仅实现后方显示功能的处理。

(4n)在上述实施方式中，通过4台照相机21～24对车辆的周边进行拍摄，但照相机的台数并不限于此。例如，照相机的台数也可以是4台以外。在这种情况下，例如，照相机的台数也可以是对前方区域进行拍摄的前方照相机21、左侧照相机23以及右侧照相机24这3台，或者对后方区域进行拍摄的后方照相机22、左侧照相机23以及右侧照相机24这3台。

(4o)在上述实施方式中，也可以通过一个或多个ic等硬件地构成由图像处理部32执行的功能的一部分或者全部。

(4p)除了上述的图像处理部32以外，也能够以将该图像处理部32作为构成要素的周边检查系统1、用于使计算机作为图像处理部32发挥功能的程序、存储有该程序的半导体存储器等非过渡性实体存储介质、判定为存在对象物的情况下的部分拍摄图像的放大方法等各种方式来实现本公开。

(4q)也可以通过多个构成要素来实现上述实施方式中的一个构成要素所具有的多个功能、或通过多个构成要素来实现一个构成要素所具有的一个功能。另外，也可以通过一个构成要素来实现多个构成要素所具有的多个功能、或通过一个构成要素来实现由多个构成要素来实现的一个功能。另外，也可以省略上述实施方式的结构的一部分。另外，也可以将上述实施方式的结构的至少一部分附加至或置换为其它上述实施方式的结构。此外，仅通过权利要求书所记载的语句确定的技术思想所包含的所有的方式是本公开的实施方式。