图像制成装置以及图像制成方法与流程

相关申请的交叉引用

本国际申请主张于2018年3月5日在日本专利厅申请的日本专利申请第2018－38581号的优先权，并在此引用日本专利申请第2018－38581号的全部内容。

本公开涉及根据拍摄车辆的周边而得的拍摄图像制成俯瞰图像的图像制成装置以及图像制成方法。

背景技术：

已知有如下的系统：将使用多个车载照相机拍摄车辆的周边而得的图像转换为从车辆的上方的虚拟照相机映出车辆的周围而得的俯瞰图像，并通过显示于该车辆具备的显示装置来提示驾驶员，以辅助安全的驾驶。

从拍摄图像向俯瞰图像的转换亦即俯瞰转换将拍摄图像中的全部的点作为存在于路面上的点进行坐标转换。因此，存在于图像中的立体物越离开路面越被识别为存在于远处。其结果，存在拍摄图像中的立体物的显示通过俯瞰转换被转换为以车载照相机的位置为中心拉伸的形状，而实际上从上面观察车辆的样子与俯瞰图像产生不同，所以给予驾驶员不协调感的可能性。

对此，在专利文献1公开了预先存储表示立体物的图像亦即立体物图像，在检知到立体物的情况下，在与检知到该立体物的位置对应的俯瞰图像上的位置显示合成立体物图像的合成图像的技术。该情况下，立体物图像合成于俯瞰转换后的俯瞰图像，所以不产生上述那样的俯瞰转换所引起的拉伸，消除上述的不协调感。

专利文献1：日本特开2007－295043号公报

然而发明者的详细的研究的结果发现了在专利文献1所记载的方法中，有在合成图像中显示的立体物与实际存在的立体物的形状以及颜色等不一致的可能性。发现了如下的问题：若显示这样的合成图像，则有驾驶员感到起因于该形状以及颜色等的不一致的不协调感的可能性。

技术实现要素：

本公开的目的在于提供抑制显示的立体物给予驾驶员不协调感的技术。

本公开的一方式涉及的图像制成装置被安装于车辆。图像制成装置具备图像获取部和俯瞰制成部。图像获取部构成为获取由拍摄装置拍摄到的图像亦即拍摄图像，其中，该拍摄装置构成为拍摄该车辆的周边的预先决定的范围亦即周边范围。俯瞰制成部构成为通过基于由图像获取部获取到的拍摄图像，通过进行俯瞰转换从而制成俯瞰图像，其中，该俯瞰转换是将拍摄图像转换为从车辆的上方观察到的图像亦即俯瞰图像的处理。另外，俯瞰制成部具备轮廓提取部、区域辨别部、第一制成部、第二制成部以及图像合成部。轮廓提取部构成为在由图像获取部获取到的拍摄图像中，基于拍摄图像中的亮度以及色度，提取存在于拍摄图像中的物体的轮廓形状。区域辨别部构成为基于由轮廓提取部提取出的轮廓形状，辨别该轮廓形状表示的区域是表示立体物的区域亦即立体物区域还是表示立体物以外的路面区域。第一制成部构成为对立体物区域进行立体视转换，制成立体视图像，其中，该立体视转换是通过投影到立体投影面来进行坐标转换的处理，该投影面具有预先决定的曲率亦即立体曲率且表示从拍摄装置的拍摄位置朝远方且向上方倾斜的虚拟的面。第二制成部构成对路面区域进行俯视转换，制成俯视图像，其中，该俯视转换是通过投影到路面投影面来进行视点转换的处理，该路面投影面是表示实际空间上的车辆存在的路面的预先设定的虚拟的平面。图像合成部构成为合成由第一制成部制成的立体视图像和由第二制成部制成的俯视图像。

本公开的另一方式涉及的图像制成方法是使安装于车辆的图像制成装置制成图像的图像制成方法。图像制成方法包括图像获取步骤和俯瞰制成步骤。在图像获取步骤中，构成为获取由拍摄装置拍摄到的图像亦即拍摄图像，其中，该拍摄装置构成为拍摄该车辆的周边的预先决定的范围亦即周边范围。在俯瞰制成步骤中，构成为通过基于由图像获取步骤获取到的拍摄图像，通过进行俯瞰转换从而制成俯瞰图像，其中，该俯瞰转换是将拍摄图像转换为从车辆的上方观察到的图像亦即俯瞰图像的处理。另外，俯瞰制成步骤包括轮廓提取步骤、区域辨别步骤、第一制成步骤、第二制成步骤、以及图像合成步骤。在轮廓提取步骤中，构成为在由图像获取步骤获取到的拍摄图像中，基于拍摄图像中的亮度以及色度，提取存在于拍摄图像中的物体的轮廓形状。在区域辨别步骤中，构成为基于通过轮廓提取步骤提取出的轮廓形状，辨别该轮廓形状表示的区域是表示立体物的区域亦即立体物区域还是表示立体物以外的路面区域。在第一制成步骤中，构成为对立体物区域进行立体视转换，制成立体视图像，其中，该立体视转换是通过投影到立体投影面来进行坐标转换的处理，投影面具有预先决定的曲率亦即立体曲率且表示从拍摄装置的拍摄位置朝远方且向上方倾斜的虚拟的面。在第二制成步骤中，构成为对路面区域进行俯视转换，制成俯视图像，其中，该俯视转换是通过投影到路面投影面来进行视点转换的处理，该路面投影面是表示实际空间上的车辆存在的路面的预先设定的虚拟的平面。在图像合成步骤中，构成为合成由第一制成步骤制成的立体视图像和由第二制成步骤制成的俯视图像。

根据这样的构成，能够抑制在俯瞰图像中立体物的显示拉伸，能够抑制立体物的拉伸的显示给予驾驶员不协调感。

附图说明

图1是表示图像显示系统的构成的框图。

图2是表示在本车中安装各构成的位置的例子的图。

图3是表示图像显示处理的流程图。

图4是对拍摄图像进行了立体物检知的结果的例子的图。

图5是表示俯视处理中使用的路面投影面的形状的图。

图6是表示整体俯瞰图像的图。

图7是表示立体视处理的流程图。

图8是表示映入立体物的前方俯瞰图像101a以及后方俯瞰图像101b的例子的图。

图9是表示映入立体物的左俯瞰图像101c以及右俯瞰图像101d的例子的图。

图10是表示映入立体物的整体俯瞰图像的图。

图11是表示重复范围的图。

图12是表示立体视处理中使用的立体投影面的形状的图。

图13是表示在立体视处理中使用的立体投影面的形状整体的图。

图14是表示通过立体视处理制成的立体视图像的图。

图15是表示通过俯视处理和立体视处理制成的像的形状不同的图。

具体实施方式

以下，参照附图，对本公开的实施方式进行说明。

[1.构成]

如图1所示，图像显示系统1被安装于车辆，且具备前照相机10a、后照相机10b、左照相机10c、右照相机10d、图像制成装置20以及显示装置30。此外，以下将具备图像显示系统1的车辆称为本车。

前照相机10a、后照相机10b、左照相机10c以及右照相机10d分别是拍摄预先决定的范围亦即拍摄范围的拍摄装置，彼此基本的构成相同。以下，在不分别区分前照相机10a、后照相机10b、左照相机10c以及右照相机10d时，均称为拍摄装置10。

如图2所示，前照相机10a以及后照相机10b分别被安装于本车的前方部分以及本车的后方部分。这里，本车的前方部分例如是指车辆的前保险杠，本车的后视镜附近以及本车的仪表板附近等。另外，本车的后方部分例如是指本车的后保险杠以及两厢车的后门附近等。左照相机10c以及右照相机10d分别安装于本车的车体的前后方向的中央附近。

前照相机10a、后照相机10b、左照相机10c以及右照相机10d被安装为其光轴方向分别朝向本车的前进方向、本车的后退方向、相对于本车的前进方向左侧90°的方向以及相对于本车的前进方向右侧90°的方向。

另外，前照相机10a以及后照相机10b例如分别拍摄本车的前方以及后方的视角180°左右的角度范围。左照相机10c以及右照相机10d例如分别拍摄本车的左侧方以及右侧方的视角180°左右的范围。

以下将前照相机10a以及左照相机10c、左照相机10c以及后照相机10b、后照相机10b以及右照相机10d、右照相机10d以及前照相机10a的位置关系称为相邻的位置关系。处于相邻的位置关系的拍摄装置10分别被设置在其拍摄范围一部分重叠(重合)的位置。

显示装置30被安装于驾驶员能够从本车的驾驶席视觉确认显示的位置，从图像制成装置20获取并显示合成图像。显示装置30例如是设置于本车的仪表盘的显示器、安装于本车的汽车导航系统的显示器等公知的装置。

图像制成装置20以具有cpu(中央处理单元)21、和ram(随机存取存储器)、rom(只读存储器)、闪存等半导体存储器(以下，称为存储器22)的公知的微型计算机为中心构成。通过由cpu21执行储存于非瞬态有形记录介质的程序来实现图像制成装置20的各种功能。在本例子中，存储器22相当于储存程序的非瞬态有形记录介质。另外，通过执行该程序，从而执行与程序对应的方法。此外，构成图像制成装置20的微型计算机的数目既可以是一个也可以是多个。

图像制成装置20虽然通过由cpu21执行程序来实现，但该方法并不限定于软件，也可以使用一个或者多个硬件来实现其一部分或者全部的要素。例如，在通过作为硬件的电子电路实现上述功能的情况下，也可以通过包括许多的逻辑电路的数字电路或者模拟电路、或者它们的组合实现该电子电路。

[2.处理]

＜图像显示处理＞

接下来，使用图3的流程图，对cpu21执行的图像显示处理进行说明。在变速杆设定为“r”的位置的情况下反复执行图像显示处理。这里所说的“r”的位置是指倒退挡，是在使车辆后退时使变速杆移动到的位置。

在s110，cpu21获取由各拍摄装置10即前照相机10a、后照相机10b、左照相机10c以及右照相机10d拍摄到的拍摄图像。

在s120中，cpu21在s110获取到的各拍摄图像中分别进行立体物的检知。这里所说的立体物例如是指街道树、标志塔等具有高度的物体，也包含行人等人。另外，例如通过对在s110获取到的各拍摄图像进行语义分割来进行立体物的检知。具体而言，语义分割如图4所示基于拍摄图像的每个像素的亮度以及色度来进行分区，并根据通过分区分出的区域的轮廓形状，决定行人、街道树等这样的该区域表示的物体的种类。基于通过机械学习生成的学习数据决定区域表示的物体的种类。此外，在检知到多个表示同一种类的物体的区域的情况下，例如也可以如行人a、行人b那样，按照区域分开进行识别。而且在区域表示的物体的种类分类为立体物的情况下，判定为立体物。此外，立体物的检测方法并不限定于使用语义分割的方法，也可以通过各种方法进行。

在s130，cpu21基于s110进行俯视处理。

这里俯视处理是指通过对获取到的各拍摄图像进行俯视转换并合成来制成整体俯瞰图像103的处理。这里所说的整体俯瞰图像103是转换为从本车的上方俯视本车所存在的路面的图像。

具体而言，俯视转换是指cpu21如图5所示那样进行视点转换从而从虚拟点pi观察与本车所存在的平面对应的面亦即路面投影面。此外，虚拟点pi是虚拟地设定在车辆的上方的点。

另外，将对通过前照相机10a拍摄到的拍摄图像进行俯视转换而得的图像称为前方俯瞰图像103a，将对通过后照相机10b拍摄到的拍摄图像进行俯视转换而得的图像称为后方俯瞰图像103b。另外，同样地将对通过左照相机10c拍摄到的拍摄图像进行俯视转换而得的图像称为左俯瞰图像103c，并将对通过右照相机10d拍摄到的拍摄图像进行俯视转换而得的图像称为右俯瞰图像103d。此外，也将前方俯瞰图像103a、后方俯瞰图像103b、左俯瞰图像103c以及右俯瞰图像103d分别称为独立俯瞰图像。

然后，如图6所示，cpu21将通过各拍摄装置10拍摄到的拍摄图像亦即前方俯瞰图像103a、后方俯瞰图像103b、左俯瞰图像103c以及右俯瞰图像103d合成为与本车的位置对应。

在s140，cpu21判定是否通过s120中的立体物检知，在各拍摄图像的任意一个图像中显示立体物。

在s140判定为在各拍摄图像的任意一个图像中显示立体物的情况下，cpu21使处理移至s150。

在s150，cpu21进行立体视处理。

这里立体视处理是指对映入拍摄图像的立体物，进行与俯视转换不同的立体视转换，抑制立体物在俯瞰图像中被伸长显示的基础上而与整体俯瞰图像合成的处理。

另一方面，在s140判定为在拍摄图像内不存在立体物的情况下，cpu21使处理移至s160。

在s160，cpu21将在s130或者s150制成的图像显示于显示装置30，并结束图像显示处理。另外，也可以显示制成的图像的一部分例如车辆的周边的预先决定的范围内的图像。

此外，在s110的处理相当于图像获取部以及图像获取步骤，从s120到s160的处理相当于俯瞰制成部以及俯瞰制成步骤，s120中的处理相当于轮廓提取部、轮廓提取步骤、区域辨别部以及区域辨别步骤。s130中的处理相当于第二制成部、第二制成步骤以及整体合成部。

＜立体视处理＞

接下来，使用图7的流程图对由cpu21在s150中执行的立体视处理进行说明。

这里，在s130的俯视处理中，以得到图8所示那样的映入俯视立体物301k以及俯视立体物301l的前方俯瞰图像201a以及图9所示那样的映入俯视立体物301m的右俯瞰图像201d的情况为例进行说明。这里，俯视立体物是指表示进行了俯视转换的立体物的范围。

另外，对得到上述的前方俯瞰图像201a以及右俯瞰图像201d的结果是得到图10所示的整体俯瞰图像203的情况进行说明。这里，设为在整体俯瞰图像203存在与俯视立体物301k对应的俯视立体物303k以及与俯视立体物301m对应的俯视立体物303m进行说明。

在s210，cpu21消除整体俯瞰图像203中的俯视立体物。

这里，例如也可以通过将对在s120判定为立体物的区域进行俯视转换的范围作为俯视立体物进行消除，从而进行俯视立体物的消除。

具体而言，消除如图10所示存在于整体俯瞰图像203的俯视立体物303k、303m。

在s220，cpu21选择在s210被消除的俯视立体物中任意一个作为选择立体物。

具体而言，例如选择图10所示的存在于整体俯瞰图像203的俯视立体物303k、303m中任意一个作为选择立体物。

在s230，cpu21判定在s220选择的选择立体物在整体俯瞰图像203中，是否存在于重复范围r。如图11所示，这里所说的重复范围r是指独立俯瞰图像彼此重复的范围。

例如，对俯视立体物303m判定为是包含于重复范围r的俯视立体物，对俯视立体物303k判定为是不包含于重复范围r的俯视立体物。

此外，既可以根据俯视立体物所包含的最接近本车的点是否包含于重复范围r来判定俯视立体物是否包含于重复范围r，也可以根据俯视立体物的重心位置是否包含于重复范围r来判定俯视立体物是否包含于重复范围r。

在s230中，cpu21判定为选择立体物在整体俯瞰图像203不存在于重复范围r的情况下，使处理移至s240。

在s240，cpu21从拍摄图像提取与选择立体物对应的立体物映入拍摄图像的区域亦即立体物区域，并使处理移至s270。例如，也可以通过在拍摄图像中，将映入与选择立体物相同的种类的立体物的范围提取为立体物区域来进行立体物区域的提取。此外，在拍摄图像中映入多个同一种类的立体物的情况下，也可以提取按照立体物分开识别的识别结果示出的选择立体物所对应的立体物区域。

另外，也可以通过对整体俯瞰图像203中合成的独立俯瞰图像进行逆转换，并提取与选择立体物对应的区域作为立体物区域来进行。这里逆转换是指相对于从拍摄图像向独立俯瞰图像的转换亦即俯视转换而从独立俯瞰图像向拍摄图像的转换。

另一方面，在s230中，cpu21判定为选择立体物在整体俯瞰图像203中存在于重复范围r的情况下，使处理移至s250。

具体而言，在将俯视立体物303m选择作为选择立体物的情况下，判定为选择立体物在整体俯瞰图像203中存在于重复范围r。

在s250中，将选择立体物包含于拍摄范围的拍摄图像中任意一个拍摄图像选择为选择图像。

这里，对于选择图像来说，例如选择在拍摄图像映入选择立体物的位置更接近该拍摄图像的下端的拍摄图像。即，选择由与映入的立体物的距离更近的拍摄装置10拍摄到的拍摄图像作为选择图像。

在s260，cpu21将在s250选择出的选择图像映入与选择立体物对应的立体物的区域亦即立体物区域作为提取区域，从选择图像提取提取区域，并使处理移至s270。与在s240进行了的从拍摄图像的立体物区域的提取相同地进行从选择图像的提取区域的提取。

在s270，cpu21基于在s240或者s260提取出的立体物区域或者提取区域，通过进行立体视转换而制成立体视图像。

这里，通过将在s240或者s260提取出的立体物区域或者提取区域投影到如图12所示那样预先决定的示出曲面的立体投影面sr来制成立体视图像。另外，立体投影面sr是具有图13所示那样的预先决定的曲率亦即立体曲率，并且，从拍摄装置的拍摄位置朝向远方向上方倾斜的虚拟的曲面。

立体投影面sr设定为原点位置与本车的中心位置一致。另外，x轴方向表示本车的车宽方向，y轴方向表示本车的行进方向，z轴方向表示本车的高度方向。

在s280，cpu21判定在整体俯瞰图像203中是否存在未在s220选择的立体物。

cpu21在s280判定为在整体俯瞰图像203中有在s220未选择的立体物的情况下，使处理移至s220，并进行以后的处理。

即，反复进行从s220到s280的处理，直至在整体俯瞰图像203中存在的立体物全部进行立体视转换为止。此外，从未选择的俯视立体物选择在s220进行选择的立体物。

另一方面，cpu21在s280判定为在整体俯瞰图像203中没有在s220未选择的立体物，即全部选择了在整体俯瞰图像203中存在的立体物的情况下，使处理移至s290。

在s290，cpu21在整体俯瞰图像203中的相当于立体物存在的位置的位置合成在s270制成的立体视图像，并结束处理。此外，在存在多个立体视图像的情况下，分别在整体俯瞰图像203进行合成。

这里，例如如图14所示，也可以通过使立体视图像的下端部分与显示在s210中消除的立体物的范围的最接近本车的点一致来进行立体视图像的合成。但是，立体视图像的合成并不限定于这样的方法，例如也可以合成为整体俯瞰图像203中的映入立体物的范围的重心位置与立体视图像的重心位置一致。

s230中的处理相当于物体确定部，s250以及s260中的处理相当于区域提取部，s270中的处理相当于第一制成部、第一制成步骤以及选择转换部，s290中的处理相当于作为图像合成部、图像合成步骤以及合成执行部的处理。

[3.效果]

根据以上详述的实施方式，起到以下的效果。

(1)在上述的实施方式中，通过显示的立体视图像，能够抑制驾驶员感到的不协调感。

即，在本实施方式中，基于由拍摄图像拍摄到的立体物制成立体视图像。因此，例如能够抑制由于显示与实际存在的立体物不同的颜色的立体物的俯瞰图像而给予驾驶员的不协调感。

(2)另外，在本实施方式中，对立体物映入拍摄图像的区域亦即立体物区域进行与俯视转换不同的立体视转换。通过进行该立体视转换，从而抑制拉伸显示立体物。由此，与在立体物和平面进行相同的俯瞰转换的情况相比，能够抑制给予驾驶员不协调感。

具体而言，如图15所示，可知若对将立体物mi投影到路面投影面sc的像mc与实际存在的立体物mi的形状进行比较，则像mc与立体物mi相比拉伸，特别是，尤其立体物远离地面的前端部分，立体物为行人则相当于头部的部分与其以外的部分相比较大地拉伸。与此相对，投影到立体投影面sr的像mr与像mc相比即使拉伸也较小，能够抑制前端部分与其以外的部分相比较大地拉伸。

通过对立体物区域进行这样的立体视转换，从而能够抑制给予驾驶员的不协调感。

[4.其它的实施方式]

以上，对本公开的实施方式进行了说明，但本公开并不限定于上述的实施方式，能够进行各种变形来实施。

(1)在上述实施方式中，通过语义分割，根据轮廓形状判定到该区域表示的立体物的种类，但也可以仅判定是否为立体物。

(2)在上述实施方式中，从多个拍摄装置10获取拍摄图像，但拍摄装置10的数目并不限定于多个，也可以是一个。即，也可以对一个拍摄图像进行上述的俯瞰转换。

(3)也可以通过多个构成要素实现上述实施方式中的一个构成要素具有的多个功能，或者通过多个构成要素实现一个构成要素具有的一个功能。另外，也可以通过一个构成要素实现多个构成要素具有的多个功能，或者通过一个构成要素实现由多个构成要素实现的一个功能。另外，也可以省略上述实施方式的构成的一部分。另外，也可以将上述实施方式的构成的至少一部分附加给或者置换为其它的上述实施方式的构成。

(4)除了上述的图像制成装置之外，也能够以将该图像制成装置作为构成要素的系统、用于使计算机作为该图像制成装置发挥作用的程序、记录了该程序的半导体存储器等非瞬态有形记录介质、图像制成方法等各种方式来实现本公开。