车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的指令构成的持 ...的制作方法
【专利摘要】车辆周围图像显示控制装置具备：取得装置(110、115)，取得车辆的周围的摄影图像；亮度分析装置(120)，计算各摄影图像中的多个判定区域(R21～R26)内的各亮度变化量；履历制作用区域决定装置(125)，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域；以及显示控制装置(135、140、145)，使图像显示装置(3)以从上述车辆的上方俯视的视点显示上述履历制作用区域内的履历制作用图像和车辆用图像，根据上述车辆的运动量，使上述履历制作用图像相对于上述车辆用图像的相对的配置发生变化而显示。
【专利说明】
车辆周围图像显示控制装置、车辆周围图像显示控制方法、
由包含该方法的指令构成的持续性有形计算机可读介质
[0001]关联申请的相互参照
[0002]本公开基于2012年7月4日提出的日本专利申请第2012 — 150363号主张优先权，这里引用其记载内容。
【技术领域】
[0003]本发明涉及车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的指令构成的持续性有形计算机可读介质。
【背景技术】
[0004]以往，已知有用安装在车辆上的照相机将车辆的周围反复摄影、以从车辆的上方俯视的视点使摄影图像显示于图像显示装置的技术。
[0005]在这样的技术中，已知有使本车辆的周围的过去的摄影图像对应于本车辆的运动量移动而显示的履历合成技术(参照专利文献I)
[0006]例如，在照相机是将车辆的后方摄影的后照相机的情况下，如图10所示，在存储器上设置用来将除了车辆90的后方以外的周围的俯瞰图像保存的履历区域H、和用来将车辆90的后方的俯瞰图像保存的实时区域R。并且，将最新的摄影图像的俯瞰图像覆写到存储器上的实时区域R上，使图像显示装置显示履历区域H及实时区域R的显示用图像，利用车辆信息(转向角、车速等)计算车辆90的运动，在履历区域H及实时区域R中使图像移动，以使其做与计算出的车辆90的运动相反的运动。
[0007]通过重复这样的处理，例如当车辆90后退时，显示在图像显示装置上的图像以图1lA?图1lD的顺序，随着车辆90的后退，处于实时区域R的图像依次移动到履历区域H。因而，履历区域H中包含的俯瞰图像的范围依次扩大，车辆90的周围的显示范围扩大。
[0008]但是，在上述那样的技术中，如在图12A?图12D中例示那样，在有由于车辆90存在而在车辆90的附近发生的亮度变化图案91?94(例如，通过车辆90的影子、由车辆90将光反射或部分地遮挡而发生的浓淡变化)的情况下，随着车辆90的移动，其亮度变化图案被复制到履历区域H中而继续移动。因而，在显示在图像显示装置上的显示用图像中，亮度变化图案(pattern)的图像扩大而成为条纹样式，车辆90的周围成为难以观察的显示用图像。
[0009]现有技术文献
[0010]专利文献
[0011]专利文献1:特开2002 - 373327号公报
【发明内容】
[0012]本公开的目的是提供一种车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的指令构成的持续性有形计算机可读介质。在车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的指令构成的持续性有形计算机可读介质中，在使本车辆的周围的摄影图像对应于本车辆的运动量移动而以从上方观察的视点进行显示的履历合成技术中，降低在显示用图像中随着车辆的移动而本车辆附近的亮度变化图案扩大的可能性。
[0013]在本公开的第一技术方案中，车辆周围图像显示控制装置具备:取得装置，从对车辆的周围进行反复摄影的车载照相机依次取得摄影图像；亮度分析装置，计算各摄影图像中的多个判定区域内的各亮度变化量；履历制作用区域决定装置，基于上述亮度分析装置的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除；显示控制装置，使图像显示装置以从上述车辆的上方俯视的视点显示各摄影图像中的上述履历制作用区域内的履历制作用图像和车辆用图像，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，使上述履历制作用图像相对于上述车辆用图像的相对的配置发生变化而显示。
[0014]在上述车辆周围图像显示控制装置中，通过计算摄影图像中的多个判定区域内的亮度变化量，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域并将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除，能够降低随着车辆的移动而在显示用图像中本车辆附近的亮度变化图案扩大的可能性。
[0015]在本公开的第二技术方案中，车辆周围图像显示方法具备如下步骤:从对车辆的周围进行反复摄影的车载照相机依次取得摄影图像；计算各摄影图像中的多个判定区域内的亮度变化量；基于上述亮度变化量的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除；使图像显示装置以从上述车辆的上方俯视的视点显示各摄影图像中的上述履历制作用区域内的履历制作用图像和车辆用图像，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，使上述履历制作用图像相对于上述车辆用图像的相对的配置发生变化而显示。
[0016]在上述车辆周围图像显示方法中，通过计算摄影图像中的多个判定区域内的亮度变化量，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域并将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除，能够降低随着车辆的移动而在显示用图像中本车辆附近的亮度变化图案扩大的可能性。
[0017]在本公开的第三技术方案中，持续性有形计算机可读介质具备由计算机实施的指令，该指令包括控制车辆周围图像的显示的计算机实施方法，所述指令具备如下实施方法:从对车辆的周围进行反复摄影的车载照相机依次取得摄影图像；计算各摄影图像中的多个判定区域内的亮度变化量；基于上述亮度变化量的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除；使图像显示装置以从上述车辆的上方俯视的视点显示各摄影图像中的上述履历制作用区域内的履历制作用图像和车辆用图像，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，使上述履历制作用图像相对于上述车辆用图像的相对的配置发生变化而显示。
[0018]在上述的持续性有形计算机可读介质中，通过计算摄影图像中的多个判定区域内的亮度变化量，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域并将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除，能够降低随着车辆的移动而在显示用图像中本车辆附近的亮度变化图案扩大的可能性。
[0019]在本公开的第四技术方案中，车辆周围图像显示控制装置具备:取得装置，从对车辆的周围进行反复摄影的车载照相机依次取得摄影图像；存储器，具有保存从上述车载照相机取得的各摄影图像的实时区域、和保存履历图像的履历区域；亮度分析装置，计算保存在上述实时区域内的各摄影图像中的多个判定区域内的各亮度变化量；履历制作用区域决定装置，基于上述亮度分析装置的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除；显示控制装置，将上述履历制作用区域内的履历制作用图像向存储器的履历区域的第I子履历区域保存，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，将上述第I子履历区域内的上述履历制作用图像向存储器的履历区域的第2子履历区域覆盖，使图像显示装置以从上述车辆的上方俯视的视点显示上述第2子履历区域内的履历图像和上述第I子履历区域内的履历图像。
[0020]在上述车辆周围图像显示控制装置中，通过计算摄影图像中的多个判定区域内的亮度变化量，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域并将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除，能够降低随着车辆的移动而在显示用图像中本车辆附近的亮度变化图案扩大的可能性。
【专利附图】
【附图说明】
[0021]关于本公开的上述目的及其他目的、特征及优点，参照附图并通过下述详细的记述，会变得更加明确。
[0022]图1是有关实施方式的车辆周围图像显示系统的结构图。
[0023]图2是表示在存储器中的实时区域R中保存的图像相对于车辆的位置关系的图。
[0024]图3是表示在存储器中的履历区域中保存的图像相对于车辆的位置关系的图。
[0025]图4是显示用图像的结构图。
[0026]图5是控制装置所执行的处理的流程图。
[0027]图6是第2子实时区域的平均亮度分布曲线图的一例。
[0028]图7是表示将履历制作用区域向第I子履历区域中的哪个区域复制的图。
[0029]图8A是表示在第I次的执行机会中所制作的显示用图像的图。
[0030]图8B是表示在第2次的执行机会中所制作的显示用图像的图。
[0031]图SC是表示在第3次的执行机会中所制作的显示用图像的图。
[0032]图8D是表示在第4次的执行机会中所制作的显示用图像的图。
[0033]图8E是表示在第5次的执行机会中所制作的显示用图像的图。
[0034]图8F是表示在第6次的执行机会中所制作的显示用图像的图。
[0035]图9A是表示在第I次的执行机会中将第2实时区域的图像向第I子履历区域复制的状况的图。
[0036]图9B是表示在第2次的执行机会中将第2实时区域的图像向第I子履历区域复制的状况的图。
[0037]图9C是表示在第3次的执行机会中将第2实时区域的图像向第I子履历区域复制的状况的图。
[0038]图9D是表示在第4次的执行机会中将第2实时区域的图像向第I子履历区域复制的状况的图。
[0039]图9E是表示在第5次的执行机会中将第2实时区域的图像向第I子履历区域复制的状况的图。
[0040]图9F是表示在第6次的执行机会中将第2实时区域的图像向第I子履历区域复制的状况的图。
[0041]图10是表示以往的存储器中的履历区域和实时区域的图。
[0042]图1lA是作为以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
[0043]图1lB是作为以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
[0044]图1lC是作为以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
[0045]图1lD是作为以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
[0046]图12A是作为以往技术表示在有由车辆引起的亮度变化图案的情况下随着车辆的后退而变化的合成俯瞰图像的图。
[0047]图12B是作为以往技术表示在有由车辆引起的亮度变化图案的情况下随着车辆的后退而变化的合成俯瞰图像的图。
[0048]图12C是作为以往技术表示在有由车辆引起的亮度变化图案的情况下随着车辆的后退而变化的合成俯瞰图像的图。
[0049]图12D是作为以往技术表示在有由车辆引起的亮度变化图案的情况下随着车辆的后退而变化的合成俯瞰图像的图。
【具体实施方式】
[0050]以下，对一实施方式进行说明。如图1所示，有关本实施方式的车辆周围图像显示系统被搭载在车辆中，具备车载照相机1、控制装置2(相当于车辆周围图像显示控制装置的一例)、图像显示装置3。
[0051]车载照相机I固定搭载在车辆的后端附近，将车辆的周围，具体而言将车辆的后方的规定范围反复摄影(例如以1/30秒的周期)，将作为摄影的结果而得到的该规定范围的摄影图像的数据向控制装置2依次输出。
[0052]对于控制装置2，从车载照相机I反复输入上述摄影图像，并且从本车辆反复输入挡位范围的信息、车速的信息及转向角(或偏航角速度(Yaw Rate))的信息。
[0053]并且，控制装置2通过执行预先设定的处理，从而作为俯瞰变换部21、图像合成部22、车辆运动计算部23、履历制作用区域决定部24发挥功能。
[0054]俯瞰变换部21通过对从车载照相机I输入的摄影图像实施周知的俯瞰变换,将该摄影图像变换为从本车辆的上方(向正下方或斜下方)俯视的视点的俯瞰图像。
[0055]图像合成部22如后述那样，将最新的摄影图像的俯瞰图像与过去的摄影图像的俯瞰图像合成，将作为合成的结果而得到的合成俯瞰图像作为显示用图像向图像显示装置3输出。
[0056]车辆运动计算部23基于从本车辆输入的挡位范围的信息、车速的信息及转向角(或偏航角速度)的信息，计算遵循周知的Ackerman模型的本车辆的运动(移动量及姿态变化量)。
[0057]履历制作用区域决定部24决定将最新的摄影图像中的哪个区域作为履历制作用区域。作为以上那样的结构的控制装置2，例如也可以使用周知的微型计算机。
[0058]图像显示装置3是显示从控制装置2输入的显示用图像的装置，配置在车内的驾驶员能够看到所显示的显示用图像(即合成俯瞰图像)那样的位置。
[0059]以下，对这样的结构的车辆周围图像显示系统的动作进行说明。在搭载在控制装置2中的可写入的存储器(例如RAM)中，预先确保了图2所示那样的实时区域R及图3所示那样的履历区域H。
[0060]这些实时区域R及履历区域H内的各地址被预先分配了相对于虚拟配置的本车辆10的相对位置。在图2、图3中，表示这些实时区域R及履历区域H的各地址与规定的本车辆10的位置关系。
[0061]实时区域R如后述那样，是用来保存将由车载照相机I摄影的最新的摄影图像的一部分俯瞰变换后的图像的区域，被划分为第I子实时区域Rl和第2子实时区域R2。
[0062]如图2所示，实时区域R的各地址与本车辆10的紧接着的后方的实线矩形范围内的路面的某个位置I对I地对应，用实时区域R的地址整体将该实线矩形范围整体涵盖。
[0063]并且，第I子实时区域Rl将实时区域R中的远方侧的路面的矩形区域涵盖，第2子实时区域R2将实时区域R中的附近侧的路面的矩形区域涵盖。
[0064]履历区域H是用来保存将车载照相机I的摄影图像中的最新的摄影图像和不是最新的摄影图像这两者俯瞰变换后的图像的区域，被划分为第I子履历区域Hl和第2子履历区域H2。
[0065]如图3所示，履历区域H的各地址与本车辆10的紧接着的后方的实线矩形范围内的路面的某个位置I对I地对应，用履历区域H的地址整体将该实线矩形范围整体涵盖。
[0066]并且，第I子履历区域Hl将履历区域H中的本车辆10的紧接着的后方的路面的矩形区域涵盖，第I子履历区域Hl的涵盖范围的相对于本车辆10的相对位置范围与第2子实时区域R2的涵盖范围相同。
[0067]此外，如图3所示，第2子履历区域H2将履历区域H中的不能由车载照相机I当前摄影的位置的路面的矩形范围、即本车辆10的正下方的路面、本车辆10的前方及侧方的路面的范围涵盖。因而，第2子履历区域H2所保存的俯瞰图像是将由车载照相机I摄影的摄影图像中的不是最新的过去的摄影图像俯瞰变换后的俯瞰图像。
[0068]基于保存在这些实时区域R及履历区域H中的图像，合成图4所示的显示用图像D，用图像显示装置3显示。具体而言，将第2子履历区域H2中的俯瞰图像、第I子实时区域Rl中的俯瞰图像及第2子实时区域R2中的俯瞰图像以图4那样的配置并进行了接合，该接合而得到的图像为显示用图像D。
[0069]控制装置2使用这样的实时区域R、履历区域H，将在图5中用流程图表示的处理反复执行(具体而言，按照每个规定的控制周期)。作为控制周期，例如可以是250毫秒。控制装置2通过执行该图5的处理，作为上述俯瞰变换部21、图像合成部22、车辆运动计算部23、履历制作用区域决定部24发挥功能。
[0070]以下，对该图5的处理进行说明。首先，当控制装置2开始图5的处理时，实时区域R及履历区域H的各自的区域内为完全不包含俯瞰图像的数据的空(空白)的状态，换言之，为仅包含表示空的数据的状态。
[0071]控制装置2在图5的处理的各执行机会中，首先在步骤105中，基于所输入的最新的挡位范围信息，判定本车辆的挡位位置是否是倒挡(后退位置)，如果不是倒挡，则停止向图像显示装置输出显示用图像D，并将实时区域R及履历区域H的各自的区域内的数据清空，然后结束此次的图5的处理。
[0072]当驾驶员要使本车辆停车到停车场的停车位中时，将挡位范围放入到R(倒挡)。于是，控制装置2在步骤105中判定挡位位置是倒挡，向步骤110前进。
[0073]在步骤110中，从车载照相机I受理并取得I张最新的摄影图像的输入。接着，在步骤115中，对在之前的步骤110中取得的最新的摄影图像实施周知的俯瞰变换。通过该俯瞰变换，将摄影图像变换为从本车辆的上方(向正下方或斜下方)俯视的视点的俯瞰图像。
[0074]另外，在该俯瞰变换时，如周知那样，假定摄影图像中的物体存在于高度零的位置(即平坦的路面)。在俯瞰变换中使用的变换式被预先记录在控制装置2的存储器(例如ROM)中。
[0075]此外，由于该俯瞰图像是将摄影图像的像素配置通过俯瞰变换变更而成的，所以是摄影图像的一形态。
[0076]在步骤115中，还从制作的俯瞰图像切割出作为图2的实时区域R的涵盖范围的规定的部分的俯瞰图像，将切割出的部分中的各像素向实时区域R保存，以使其与分配给实时区域R的各个地址的相对位置一致。
[0077]更具体地讲，将切割出的部分在本车辆10的前后方向上2分割后的2个区域中的距本车辆10更远的区域(例如从本车辆10离开1.Sm以上者)的规定的范围的图像向第I子实时区域Rl保存，将2分割后的2个区域中的距本车辆10较近者(例如距本车辆10不到1.Sm者)的规定的范围的图像向第2子实时区域R2保存。
[0078]控制装置2通过执行该步骤115的处理，作为俯瞰变换部21发挥功能。
[0079]接着，在步骤120中，以保存在第2子实时区域R2中的俯瞰图像为对象进行亮度分析。该亮度分析是用来计算第2子实时区域R2中的多个判定区域内的亮度变化量(不是时间上的变化量而是空间上的变化量)的处理。
[0080]在本实施方式中，作为亮度分析，以在第2子实时区域R2中以纵横矩阵状的配置保存的像素群为对象，计算在图6中例示那样的平均亮度L的分布30。
[0081]图6的曲线图的横轴表示向图2的O后方前进的方向，纵轴表示各Y坐标值(沿着Y坐标轴方向的距本车辆10的距离)的平均亮度L (Y)。这里，某个Y坐标值的平均亮度L是配置在该Y坐标值的位置、在图2中的X坐标轴方向(与Y坐标轴正交的方向，本车辆10的左右方向)上排列的像素群的平均亮度。
[0082]并且，将该第2子实时区域R2的Y坐标值的范围(从Ocm到180cm)用距离6等分而设定6个判定区域R21?R26。并且，在判定区域R21?R26的各自中，计算上述平均亮度L(Y)的该判定区域内的变化量。
[0083]在本实施方式中，作为该变化量而采用上述平均亮度L(Y)的该判定区域内的最大值与最小值的差(亮度差)。例如，在图6的例子中，判定区域R21的亮度差为ΛΗ1，判定区域R22的亮度差为ΛΗ2。另外，作为上述平均亮度L(Y)的该判定区域内的变化量，例如也可以使用上述平均亮度L(Y)的该判定区域内的亮度的标准偏差。
[0084]接着，在步骤125中，基于之前的步骤120中的计算结果(即，各判定区域R21?R26中的平均亮度L(Y)的变化量)，决定履历制作用区域。控制装置2通过执行该步骤125的处理，作为履历制作用区域决定部24发挥功能。
[0085]步骤125中的履历制作用区域的决定如以下这样进行。首先，将判定区域R21?R26的全部作为履历制作用区域。接着，将判定区域R21?R26中的距本车辆10最近的区域R21作为判定对象。
[0086]并且，判定作为判定对象的判定区域R21中的平均亮度L (Y)的变化量是否是规定的阈值以上。并且，如果是该阈值以上，则将该判定区域R21从履历制作用区域中排除，并将判定对象改变为当前的判定对象的区域R21的下个距本车辆10较近的判定区域R22。
[0087]在这以后同样，重复以下处理直到对判定区域21?26的全部都比较了平均亮度L(Y)的变化量与阈值，然后，结束步骤125的处理。上述处理包括:判定作为判定对象的判定区域中的平均亮度L(Y)的变化量是否是规定的阈值以上，如果是该阈值以上，则将该判定区域从履历制作用区域中排除，并将判定对象改变为当前的判定对象的区域的下个距本车辆10较近的判定区域。
[0088]但是，在关于判定区域21?26的某个判断为判定对象的判定区域中的平均亮度L(Y)的变化量不是该阈值以上(不到阈值)的情况下，在该时点立即结束步骤125的处理。
[0089]通过这样的步骤125的处理，以判定区域21?26中的平均亮度L(Y)的变化量为该阈值以上的区域从判定区域21起向本车辆10的后方连续存在的量，将这些连续存在的判定区域从履历制作用区域中排除。并且，以从距本车辆10较近侧起的顺序，关于判定区域21?26中的最先平均亮度L(Y)的变化量成为不到该阈值的判定区域、及比其距本车辆10更远的判定区域，设为包含在履历制作用区域中的状态。
[0090]例如，在判定区域21?26的平均亮度L(Y)的变化量中的判定区域21、22、26的变化量为该阈值以上的情况下，不将判定区域21、22作为履历制作用区域，而将判定区域23?26包含在履历制作用区域中。
[0091]接着，在步骤130中，将判定区域21?26中的作为履历制作用区域的区域中的俯瞰图像向第I子履历区域Hl复制。
[0092]具体而言，如图7所示，对于第I子履历区域H1，将沿着图7的Y坐标轴方向(沿着本车辆10的前后方向，向本车辆10的后方前进的方向)的Y坐标值的范围(从Ocm到180cm)用距离6等分,设定6个复制目标区域Hll?H16。
[0093]并且，选择判定区域R21?R26中的作为履历制作用区域的判定区域中的俯瞰图像作为履历制作用图像，将所选择的履历制作用图像向距本车辆10的距离相同的复制目标区域进行覆写复制。在图7的例子中，判定区域R21?R26中的仅区域R22?R26是履历制作用区域，区域R22?R26中的俯瞰图像分别被向涵盖第I子履历区域Hl中的相同位置的复制目标区域H12?H16以相同的相对配置进行复制。
[0094]接着，在步骤135中，制作显示用图像D。具体而言，如图4所示，将第2子履历区域H2、第I子实时区域R1、第2子实时区域R2如图4的那样接合而合成各区域H2、RU R2内的图像，使表示本车辆10的规定的本车辆用图像10叠加到合成后的图像的虚拟的本车辆10的位置。
[0095]另外，在叠加了本车辆用的图像的位置，还透过显示第2子履历区域H2内的俯瞰图像(过去由车载照相机I摄影的图像)。
[0096]作为这样的合成及叠加的结果而得到的显示用图像D，每当被制作出时就从控制装置2向图像显示装置3输入，结果，图像显示装置3将该显示用图像D显示给驾驶员。
[0097]驾驶员通过观看该显示用图像D，能够以将本车辆10从上方俯视那样的视点确认本车辆10的周围。进而，实际被本车辆10覆盖而遮挡的部分也能够透过本车辆10从上方看到。控制装置2通过执行该步骤135的处理，作为图像合成部22发挥功能。
[0098]接着，在步骤140中，基于从本车辆10输入的各种车辆动态信息，即挡位范围的信息、车速的信息及转向角(或偏航角速度)的最新的信息(追加使用过去的信息)，计算遵循周知的Ackerman模型的本车辆的运动量(移动矢量及姿态变化角度)。另外，这里所述的运动量，是表示从上次的摄影图像的取得定时(上次的图5的处理的执行机会)起到此次的摄影图像的取得定时(此次的图5的处理的执行机会)为止的期间(即，之前的控制周期)中的车辆的运动(即，摄影图像的取得间隔中的运动量)的运动量。控制装置2通过执行该步骤140的处理，作为车辆运动计算部23发挥功能。
[0099]接着，在步骤145中，基于在之前的步骤140中计算出的本车辆的运动量，计算相对移动量，该相对移动量表示本车辆的周围(假设为固定在路面上)相对地相对于本车辆怎样移动。
[0100]具体而言，计算与在之前的步骤140中计算出的本车辆的运动量相反的运动。例如，当本车辆的移动矢量是(α，β)、姿态变化角度是Θ时，作为周围相对于本车辆的相对移动量，假设移动矢量是(一 Ct , 一 β )、姿态变化角度是一 Θ。
[0101]并且，在履历区域H内，按照如上述那样计算出的周围的相对移动量，使保存在该履历区域H内的全部的像素(当然也包括履历制作用图像的像素)移动，以使该履历区域H内的俯瞰图像反映出下个显示定时(下个图5的处理的执行机会的步骤135的执行定时)的本车辆的周围的配置。这样，根据车辆的运动量，决定履历制作用图像相对于虚拟的车辆10的位置的相对的配置。
[0102]由此，根据该相对移动量，在第I子履历区域Hl和第2子履历区域Η2的边界，俯瞰图像的一部分从第I子履历区域Hl移动到第2子履历区域Η2，或从第2子履历区域Η2移动到第I子履历区域Η1。在本事例中，由于本车辆在后退，所以为前者。因而，随着车辆的后退，在图3的处理的开始最初为空的第2子履历区域Η2内，俯瞰图像增加。在步骤145后，图5的I次的处理结束。
[0103]控制装置2通过将以上那样的图5的处理按照每个控制周期反复执行，从车载照相机按照每个控制周期依次取得摄影图像(步骤110)，将依次取得的摄影图像按照每个控制周期依次向俯瞰图像进行俯瞰变换而覆写保存到实时区域R中(步骤115)，对于依次俯瞰变换后的结果的俯瞰图像，按照每个控制周期依次进行亮度分析(步骤120)。在各次的亮度分析中，计算实时区域R中的多个判定区域R21?R26内的亮度变化量。
[0104]并且，控制装置2基于亮度分析的结果，按照每个控制周期依次进行选择多个判定区域R21?R26中的亮度变化量不到规定的阈值的判定区域作为履历制作用区域、将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除的处理(步骤125)。
[0105]并且，控制装置2将依次选择的履历制作用区域内的俯瞰图像作为履历制作用图像，按照每个控制周期依次向第I子履历区域Hl复制(步骤130)，使图像显示装置3按照每个控制周期依次显示将第2子履历区域H2中的图像、实时区域R中的图像和本车合成后的显示用图像D (步骤135)，基于从车辆反复输入的车辆动态信息，按照每个控制周期依次计算车辆10的运动量(步骤140)，通过根据计算出的运动量使图像在履历区域H内移动、以使复制后的履历制作用图像相对于本车辆10的相对的配置变化，从而按照每个控制周期依次决定该相对的配置(步骤145)。
[0106]以下，关于控制装置2按照每个控制周期来反复进行以上那样的图5的处理的动作，取I个事例为例，参照图8A?图8F、图9A?图9F进行说明。
[0107]首先，驾驶员为了停车到停车位(图8A的停车位P2)，在该停车位P2的附近使本车辆10停止，挡位位置切换为倒挡。
[0108]于是，控制装置2在从挡位位置切换为倒挡起第I次的图5的处理的执行机会中，在步骤105中判定挡位位置是倒挡，向步骤110前进，在步骤110中从车载照相机I取得最新的摄影图像，在步骤115中将摄影图像俯瞰变换，将其结果的俯瞰图像的一部分切割出，向实时区域R覆写保存。
[0109]此时，在记录在第2子实时区域R2中的俯瞰图像中，如图8A所示，在车辆10的紧接着的后方包含有亮度变化较剧烈的亮度变化图案图像50。该亮度变化图案图像50是拍摄了因车辆10存在而在车辆10的附近发生的亮度变化(例如，通过车辆的影子、由车辆将光反射或部分地遮挡而发生的浓淡变化)的图像。这样的亮度变化图案图像50具有随于车辆10而与车辆10 —起移动的性质。
[0110]在接着步骤115的步骤120中，对包含这样的亮度变化图案图像50的第2子实时区域R2进行亮度分析。在本事例中，该亮度变化图案图像50包含在第2子实时区域R2中的判定区域R21中，结果，判定区域R21中的平均亮度L (Y)的变化量超过上述阈值，另一方面，判定区域R22?R26中的平均亮度L(Y)的变化量不到上述阈值。
[0111]因而，在接着的步骤125中，作为履历制作用区域而将判定区域R21排除，仅将判定区域R22?R26选择为履历制作用区域。于是，在步骤130中，如图9A所示，仅将判定区域R22?R26中的俯瞰图像分别向复制目标区域H12?H16覆写复制。
[0112]在接着的步骤135中，如图8A所示，制作在当前的实时区域R中的图像上合成第2子履历区域H2中的图像并进而在虚拟的本车辆10的位置透过地叠加车辆用图像的图像，作为显示用图像D。
[0113]另外，在该时点，第2子履历区域H2为完全不包含俯瞰图像的数据的空的状态。因而，显示用图像D的第2子履历区域H2的部分仅显示白、黑、蓝等的背景色。
[0114]在接着的步骤140中，如已经说明地那样，计算之前的控制周期大小的期间中的车辆的运动。在本事例中，假设在该期间中车辆10笔直地后退了 24cm(相当于判定区域的前后宽度的0.8倍)。因而，在步骤145中，在履历区域H内使图像向前方移动与该车辆10的移动量对应的量(24cm)。这样，根据车辆的运动量，决定履历制作用图像相对于虚拟的车辆10的位置的相对的配置。
[0115]然后，如果从挡位位置切换为倒挡起第2次的图5的处理的执行机会到来，则控制装置2从步骤105向步骤110前进，在步骤110中从车载照相机I取得最新的摄影图像，在步骤115中将摄影图像俯瞰变换，将其结果的俯瞰图像的一部分切割出，向实时区域R覆写保存。
[0116]在此时记录在第2子实时区域R2中的俯瞰图像中，如图8B所示，在车辆10的紧接着的后方包含有亮度变化剧烈的亮度变化图案图像51。该亮度变化图案图像51是由于与上次的图5的处理的执行机会中出现在第2子实时区域R2中的亮度变化图案图像50相同的原因而发生的图像，所以相对于车辆10的配置与亮度变化图案图像50大致相同。
[0117]在接着步骤115的步骤120中，对包含这样的亮度变化图案图像51的第2子实时区域R2进行亮度分析。在本事例中，假设亮度分析的结果是，各判定区域R21?R26中的平均亮度L(Y)的变化量与上述阈值的大小关系和上次的执行机会的步骤120相同。
[0118]因而，在接着的步骤125中，作为履历制作用区域而将判定区域R21排除，仅选择区域R22?R26作为履历制作用区域。于是，在步骤130中，如图9B所示，仅将判定区域R22?R26中的俯瞰图像分别向复制目标区域H12?H16覆写复制。
[0119]另外，通过上次的图5的处理的执行机会的步骤145的处理，从而在上次的图5的处理的执行机会中从第2子实时区域R2复制的俯瞰图像移动到此次不为覆写复制目标的复制目标区域Hll中。
[0120]在接着的步骤135中，如图SB所示，制作在当前的实时区域R中的图像上合成第2子履历区域H2中的图像并进一步透过地叠加车辆用图像10的图像，作为显示用图像D。
[0121]另外，在该时点，在上次的图5的执行机会的步骤145中，在履历区域H中，履历制作用图像的位置(相对于虚拟的车辆10的位置的相对的配置)发生变化。因而，图像从第I子履历区域Hl向第2子履历区域H2移动。
[0122]但是，移动的是之前没有复制俯瞰图像的复制目标区域Hll的图像(空的图像)。因而，在该时点，第2子履历区域H2是完全不包含俯瞰图像的数据的空的状态。
[0123]如果在上次的图5的执行机会的步骤125中，判定区域R21被包含在履历制作用区域中，则在步骤130中，判定区域R21的俯瞰图像(包括亮度变化图案图像50)被复制到复制目标区域H11，在步骤145中该俯瞰图像(包括亮度变化图案图像50)应该进入到第2履历区域H2内。
[0124]如果变成这样，则在此次的图5的执行机会中的步骤135中，显示用图像中会包含亮度变化图案图像50，导致如以往那样，将实际不在那里的表示亮度变化的图像(亮度变化图案图像50)与车辆10的移动一起、边移动边持续显示。
[0125]在本实施方式中，通过将判定区域中的平均亮度L(Y)的变化量与阈值比较，找出在车辆10的附近通过车辆10的存在而发生的亮度变化图案图像50，将包含找出的亮度变化图案图像50在内的判定区域从履历制作用区域中排除。由此，能够降低亮度变化图案图像50持续留在显示用图像D内而使显示用图像D的辨识性恶化的可能性。
[0126]在接着的步骤140中，如已经说明的那样，计算之前的控制周期大小的期间中的车辆的运动。在本事例中，假设在该期间中车辆10笔直地后退了 45cm(相当于判定区域的前后宽度的1.5倍)。因而，在步骤145中，在履历区域H内使图像向前方移动与该车辆10的移动量对应的量(45cm)。这样，根据车辆的运动量决定履历制作用图像相对于虚拟的车辆10的位置的相对的配置。
[0127]然后，如果从挡位位置切换为倒挡起第3次的图5的处理的执行机会到来，则控制装置2从步骤105向步骤110前进，在步骤110中从车载照相机I取得最新的摄影图像，在步骤115中将摄影图像进行俯瞰变换，将其结果的俯瞰图像的一部分切割出，向实时区域R
覆写保存。
[0128]在此时记录在第2子实时区域R2中的俯瞰图像中，如图8C所示，在车辆10的紧接着的后方包含有亮度变化剧烈的亮度变化图案图像52。由于该亮度变化图案图像52是由于与在上次的图5的处理的执行机会中出现在第2子实时区域R2中的亮度变化图案图像51相同的原因而发生的图像，所以相对于车辆10的配置与亮度变化图案图像51大致相同。
[0129]在接着步骤115的步骤120中，对包含这样的亮度变化图案图像52的第2子实时区域R2进行亮度分析。在本事例中，假设亮度分析的结果是，各判定区域R21?R26中的平均亮度L(Y)的变化量与上述阈值的大小关系和上次的执行机会的步骤120相同。
[0130]因而，在接着的步骤125中，作为履历制作用区域而将判定区域R21排除，仅选择区域R22?R26作为履历制作用区域。于是，在步骤130中，如图9C所示，仅将判定区域R22?R26中的俯瞰图像分别向复制目标区域H12?H16覆写复制。
[0131]另外，通过上次的图5的处理的执行机会的步骤145的处理，从而在上次的图5的处理的执行机会中从第2子实时区域R2复制的俯瞰图像移动到此次不为覆写复制目标的复制目标区域Hll中。
[0132]在接着的步骤135中，如图SC所示，制作在当前的实时区域R中的图像上合成第2子履历区域H2中的图像并进一步透过地叠加了车辆用图像10的图像，作为显示用图像D。
[0133]另外，在该时点，在上次的图5的执行机会的步骤145中，在履历区域H中履历制作用图像的位置(相对于虚拟的车辆10的位置的相对的配置)发生变化。并且，由此俯瞰图像从第I子履历区域Hl (具体而言是复制目标区域H11、H12)向第2子履历区域H2移动。
[0134]因而，在此次的步骤135中，通过与在上次的图5的执行机会的步骤145中在履历区域H中变化的履历制作用图像的相对配置相对应的配置，将第2子履历区域H2中的履历制作用图像显示在图像显示装置上。
[0135]这里也同样地，如果在上次的图5的执行机会的步骤125中，判定区域R21包含在履历制作用区域中，则在步骤145中该俯瞰图像(包括亮度变化图案图像51)应该进入到第2履历区域H2内。如果不是这样，则在此次的图5的执行机会的步骤135中，在显示用图像D中包含亮度变化图案图像51。
[0136]但是，在本实施方式中，找出亮度变化图案图像51，将包含找出的亮度变化图案图像51在内的判定区域R21从履历制作用区域中排除。由此，能够降低亮度变化图案图像51持续留在显示用图像D内而使显示用图像D的辨识性恶化的可能性。
[0137]在接着的步骤140中，如已经说明那样，计算之前的控制周期大小的期间中的车辆的运动。在本事例中，假设在该期间中车辆10笔直地后退了 30cm(相当于判定区域的前后宽度)。因而，在步骤145中，在履历区域H内使图像向前方移动与该车辆10的移动量对应的量(30cm)。这样，根据车辆的运动量，决定履历制作用图像相对于虚拟的车辆10的位置的相对的配置。
[0138]然后，如果从挡位位置切换为倒挡起第4次的图5的处理的执行机会到来，则控制装置2从步骤105向步骤110前进，在步骤110中从车载照相机I取得最新的摄影图像，在步骤115中将摄影图像进行俯瞰变换，将其结果的俯瞰图像的一部分切割出而向实时区域R覆写保存。
[0139]在此时记录在第2子实时区域R2中的俯瞰图像中，如图8D所示，在车辆10的紧接着的后方包含有亮度变化剧烈的亮度变化图案图像53。该亮度变化图案图像53是由于与在上次的图5的处理的执行机会中出现在第2子实时区域R2中的亮度变化图案图像52相同的原因而发生的图像。
[0140]但是，亮度变化图案图像50、51、52整体包含在判定区域R21内，相对于此，变化图像53从判定区域R21溢出、也进入到判定区域R21中。这样，作为变化图像53随着时间变化的原因，可以考虑车辆10的方向转换、周围的光源相对于车辆10的相对移动等。
[0141]在接着步骤115的步骤120中，对包含这样的亮度变化图案图像53在内的第2子实时区域R2进行亮度分析。在本事例中，假设亮度分析的结果是，各判定区域R21、R23?R26中的平均亮度L(Y)的变化量与上述阈值的大小关系和上次的执行机会的步骤120相同，但亮度变化图案图像53溢出到判定区域R22内，结果判定区域R22中的平均亮度L(Y)的变化量超过了上述阈值。
[0142]因而，在接着的步骤125中，作为履历制作用区域不仅判定区域R21、将判定区域R22也排除，仅区域R23?R26被选择为履历制作用区域。于是，在步骤130中，如图9D所示，仅将判定区域R23?R26中的俯瞰图像分别向复制目标区域H13?H16覆写复制。
[0143]另外，通过上次的图5的处理的执行机会的步骤145的处理，从而在上次的图5的处理的执行机会中从第2子实时区域R2复制的俯瞰图像移动到此次不为覆写复制目标的复制目标区域H11、H12中。
[0144]在接着的步骤135中，如图8D所示，制作在当前的实时区域R中的图像上合成第2子履历区域H2中的图像并进一步透过地叠加了车辆用图像10的图像，作为显示用图像D。
[0145]在该时点，在上次的图5的执行机会的步骤145中，在履历区域H中履历制作用图像的位置(相对于虚拟的车辆10的位置的相对的配置)发生变化。并且，由此俯瞰图像进一步从第I子履历区域Hl (具体而言是复制目标区域Hll)移动到第2子履历区域H2中。结果，在第2子履历区域H2中，包含俯瞰图像的区域增大。
[0146]因而，在此次的步骤135中，以与在上次的图5的执行机会的步骤145中在履历区域H中变化后的履历制作用图像的相对配置相对应的配置，将第2子履历区域H2中的履历制作用图像显示在图像显示装置上。
[0147]这里也同样地，如果在上次的图5的执行机会的步骤125中判定区域R21包含在履历制作用区域中，则在步骤145中该俯瞰图像(包含亮度变化图案图像52)应该进入到第2履历区域H2内。如果是这样，则在此次的图5的执行机会的步骤135中，在显示用图像D中包含亮度变化图案图像52。
[0148]但是，在本实施方式中，找出亮度变化图案图像52，并将包含找出的亮度变化图案图像52在内的判定区域从履历制作用区域中排除。由此，能够降低亮度变化图案图像52持续留在显示用图像D内而使显示用图像D的辨识性恶化的可能性。
[0149]在接着的步骤140中，如已经说明的那样，计算之前的控制周期大小的期间中的车辆的运动。在本事例中，假设在该期间中车辆10笔直地后退了 36cm(相当于判定区域的前后宽度的1.2倍)。因而，在步骤145中，在履历区域H内使图像向前方移动与该车辆10的移动量对应的量(36cm)。这样，根据车辆的运动量，决定履历制作用图像相对于虚拟的车辆10的位置的相对的配置。
[0150]然后，如果从挡位位置切换为倒挡起第5次的图5的处理的执行机会到来，则控制装置2从步骤105向步骤110前进，在步骤110中从车载照相机I取得最新的摄影图像，在步骤115中将摄影图像进行俯瞰变换，将其结果的俯瞰图像的一部分切割出，向实时区域R
覆写保存。
[0151]在此时记录在第2子实时区域R2中的俯瞰图像中，如图8E所示，在车辆10的紧接着的后方包含有亮度变化剧烈的亮度变化图案图像54。该亮度变化图案图像54是由于与在上次的图5的处理的执行机会中出现在第2子实时区域R2中的亮度变化图案图像53相同的原因而发生的图像，配置、大小及亮度变化都大致与亮度变化图案图像53相同。
[0152]在接着步骤115的步骤120中，对包含这样的亮度变化图案图像54的第2子实时区域R2进行亮度分析。在本事例中，假设亮度分析的结果是，各判定区域R21?R26中的平均亮度L(Y)的变化量与上述阈值的大小关系和上次的执行机会的步骤120相同。
[0153]因而，在接着的步骤125中，作为履历制作用区域而将判定区域R21、R22排除，仅区域R23?R26被选择为履历制作用区域。于是，在步骤130中，如图9E所示，仅将判定区域R23?R26中的俯瞰图像分别向复制目标区域H13?H16覆写复制。
[0154]另外，通过上次及上上次的图5的处理的执行机会的步骤145的处理，从而上次及上上次的图5的处理的执行机会中从第2子实时区域R2复制的俯瞰图像移动到此次不为覆写复制目标的复制目标区域Hll、H12中。
[0155]在接着的步骤135中，如图8E所示，制作在当前的实时区域R中的图像上合成第2子履历区域H2中的图像并进一步透过地叠加了车辆用图像10的图像，作为显示用图像D。
[0156]在该时点，在上次的图5的执行机会的步骤145中，在履历区域H中履历制作用图像的位置(相对于虚拟的车辆10的位置的相对的配置)发生变化。并且，由此俯瞰图像进一步从第I子履历区域Hl (具体而言是复制目标区域Hl 1、H12)移动到第2子履历区域H2。结果，在第2子履历区域H2中包含俯瞰图像在内的区域增大。
[0157]因而，在此次的步骤135中，以与在上次的图5的执行机会的步骤145中在履历区域H中变化的履历制作用图像的相对配置相对应的配置，将第2子履历区域H2中的履历制作用图像显示到图像显示装置上。
[0158]这里也同样地，如果在上次的图5的执行机会的步骤125中判定区域R21包含在履历制作用区域中，则在步骤145中该俯瞰图像(包含亮度变化图案图像53)应该进入到第2履历区域H2内。如果是这样，则在此次的图5的执行机会的步骤135中，在显示用图像D中包含亮度变化图案图像53。
[0159]进而，如果在上上次的图5的执行机会的步骤125中判定区域R22包含在履历制作用区域中，则在步骤145中该俯瞰图像(包含亮度变化图案图像52)应该进入到第2履历区域H2内。如果是这样，则在此次的图5的执行机会的步骤135中，在显示用图像D中包含亮度变化图案图像52。
[0160]但是，在本实施方式中，找出亮度变化图案图像52、53，并将包含找出的亮度变化图案图像52、53在内的判定区域从履历制作用区域中排除。由此，能够降低亮度变化图案图像52、53持续留在显示用图像D内而使显示用图像D的辨识性恶化的可能性。
[0161]在接着的步骤140中，如已经说明那样，计算之前的控制周期大小的期间中的车辆的运动。在本事例中，假设在该期间中车辆10笔直地后退了 30cm(相当于判定区域的前后宽度)。因而，在步骤145中，在履历区域H内使图像向前方移动与该车辆10的移动量对应的量(30cm)。这样，根据车辆的运动量，决定履历制作用图像相对于虚拟的车辆10的位置的相对的配置。
[0162]然后，如果从挡位位置切换为倒挡起第6次的图5的处理的执行机会到来，则控制装置2从步骤105向步骤110前进，在步骤110中从车载照相机I取得最新的摄影图像，在步骤115中将摄影图像进行俯瞰变换，将其结果的俯瞰图像的一部分切割出，向实时区域R
覆写保存。
[0163]在此时记录在第2子实时区域R2中的俯瞰图像中，如图8F所示，在车辆10的紧接着的后方包含有亮度变化剧烈的亮度变化图案图像55。该亮度变化图案图像55是由于与在上次的图5的处理的执行机会中出现在第2子实时区域R2中的亮度变化图案图像54相同的原因而发生的图像，配置、大小及亮度变化都大致与亮度变化图案图像54相同。
[0164]在接着步骤115的步骤120中，对包含这样的亮度变化图案图像54的第2子实时区域R2进行亮度分析。在本事例中，假设亮度分析的结果是，各判定区域R21?R26中的平均亮度L(Y)的变化量与上述阈值的大小关系和上次的执行机会的步骤120相同。
[0165]因而，在接着的步骤125中，作为履历制作用区域而将判定区域R21、R22排除，仅区域R23?R26被选择为履历制作用区域。于是，在步骤130中，如图9F所示，仅将判定区域R23?R26中的俯瞰图像分别向复制目标区域H13?H16覆写复制。
[0166]另外，通过上次及上上次的图5的处理的执行机会的步骤145的处理，从而上次及上上次的图5的处理的执行机会中从第2子实时区域R2复制的俯瞰图像移动到此次不为覆写复制目标的复制目标区域H11、H12中。
[0167]在接着的步骤135中，如图8F所示，制作在当前的实时区域R中的图像上合成第2子履历区域H2中的图像并进一步透过地叠加了车辆用图像10的图像，作为显示用图像D。
[0168]在该时点，在上次的图5的执行机会的步骤145中，在履历区域H中履历制作用图像的位置(相对于虚拟的车辆10的位置的相对的配置)发生变化。并且，由此俯瞰图像进一步从第I子履历区域Hl (具体而言是复制目标区域Hll)移动到第2子履历区域H2中。结果，在第2子履历区域H2中，包含俯瞰图像的区域增大。
[0169]因而，在此次的步骤135中，以与在上次的图5的执行机会的步骤145中在履历区域H中变化后的履历制作用图像的相对配置相对应的配置，将第2子履历区域H2中的履历制作用图像显示到图像显示装置上。
[0170]这里也同样地，如果在上次的图5的执行机会的步骤125中判定区域R21包含在履历制作用区域中，则在步骤145中该俯瞰图像(包含亮度变化图案图像54)应该进入到第2履历区域H2内。如果是这样，则在此次的图5的执行机会的步骤135中，在显示用图像D中包含亮度变化图案图像54。
[0171]进而，如果在上上次的图5的执行机会的步骤125中判定区域R22包含在履历制作用区域中，则在步骤145中该俯瞰图像(包含亮度变化图案图像53)应该进入到第2履历区域H2内。如果是这样，则在此次的图5的执行机会的步骤135中，在显示用图像D中包含亮度变化图案图像53。
[0172]但是，在本实施方式中，找出亮度变化图案图像53、54，并将包含找出的亮度变化图案图像53、54的判定区域从履历制作用区域中排除。由此，能够降低亮度变化图案图像53,54持续留在显示用图像D内而使显示用图像D的辨识性恶化的可能性。
[0173]在接着的步骤140中，如已经说明那样，计算之前的控制周期大小的期间中的车辆的运动，在步骤145中，在履历区域H内使图像向前方移动与该车辆10的运动对应的量。这样，根据车辆的运动量，决定履历制作用图像相对于虚拟的车辆10的位置的相对的配置。
[0174]然后，也在挡位位置持续是倒挡的期间中，按照每个控制周期而重复图5的步骤105?145的处理。
[0175]如以上说明的那样，本实施方式的控制装置2从车载照相机I依次取得摄影图像而进行俯瞰变换(步骤110、115)，计算俯瞰图像中的多个判定区域R21?R26内的亮度变化量(步骤120)，基于该计算结果，选择多个判定区域中的亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将从判定区域R21连续而亮度变化量为规定的阈值以上的判定区域从履历制作用区域排除(步骤125)，使图像显示装置3以从车辆的上方俯视的视点显示履历作用区域内的图像和车辆用图像，根据车辆的运动量，使履历制作用区域中的图像相对于车辆用图像的相对的配置变化(步骤135、140、145)。
[0176]这样，在使图像显示装置以从车辆的上方俯视的视点显示履历制作用区域内的摄影图像和车辆用图像、根据车辆的运动量使履历制作用区域中的摄影图像相对于车辆用图像的相对的配置发生变化的车辆周围图像显示控制装置中，通过计算摄影图像中的多个判定区域R21?R26内的亮度变化量，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，并且将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除，能够降低随着车辆的移动而在显示用图像中本车辆附近的亮度变化图案扩大的可能性。
[0177]此外，控制装置2将从车载照相机I取得的摄影图像向规定的实时区域R保存，将基于在实时区域R内设定的多个判定区域R21?R26内的图像的亮度变化量而选择的履历制作用图像保存到履历区域值H中的第I子履历区域Hl，根据车辆的上述运动量，使第I子履历区域Hl内的履历制作用图像向履历区域值H中的第2子履历区域H2移动，使图像显示装置3显示第2子履历区域内的图像和实时区域R内的图像。
[0178]因而，与以往同样，能够使用实时区域R和履历区域值H进行履历合成，所以能够抑制存储器使用量的增大并抑制处理负荷的增大。
[0179](其他实施方式)
[0180](I)在上述实施方式中，设定将第2子实时区域R2进行6等分而得到的6个判定区域R21?R26，以这些设定的判定区域R21?R26为单位，进行亮度分析及履历制作用区域的选择。并且，这些判定区域R21?R26相互不重叠。
[0181]但是，作为亮度分析及履历制作用区域的选择的单位的多个判定区域并不限于上述那样的区域，也可以采用范围与相邻的判定区域一部分重叠那样的多个判定区域。
[0182](2)在上述实施方式中，显示用图像D是将第2子履历区域H2中的图像、实时区域R中的图像和车辆用图像10合成后的图像，但也可以并不一定这样。
[0183]例如，显示用图像D也可以为将第2子履历区域H2中的图像、第I子履历区域Hl中的图像、第I子实时区域Rl中的图像和车辆用图像10合成后的图像。即，能够由车载照相机I摄影的范围也可以使用最新的摄影图像以外的图像显示。
[0184]此外，显示用图像D也可以为仅将第2子履历区域H2中的图像和车辆用图像10合成的图像。
[0185](3)此外，在上述实施方式中，亮度分析是对俯瞰变换后的摄影图像(即，俯瞰图像)中进行的，但亮度分析及履历制作用区域的选择也可以对俯瞰变换前的摄影图像进行。但是，前者由于判定区域为矩形，所以处理负荷较低。
[0186](4)此外，在上述实施方式中，作为各判定区域内的亮度变化量而采用上述平均亮度L(Y)的该判定区域内的变化量，但并不一定限于这样的形态。
[0187](5)此外，在上述实施方式中，在图5的处理的各执行机会中，进行将由步骤110取得的摄影图像俯瞰变换后的俯瞰图像(它也是摄影图像的一形态)的亮度分析，根据其亮度分析结果决定履历制作用区域。
[0188]但是，也可以并不一定是这样。例如在图5的处理中，也可以在从挡位位置成为倒挡起最初的执行机会中执行步骤110?145的处理，在第2次以后的执行机会中，不进行步骤120、125的处理而仅进行步骤110、115、130、135、140、145的处理。在此情况下，在第2次以后的执行机会中，将在最初的执行机会中由步骤125决定的履历制作用区域反复使用。
[0189]在从挡位位置成为倒挡起最初的执行机会中，也可以不执行步骤130?145的处理。在此情况下，用于决定履历制作用区域的对象的摄影图像(俯瞰图像)，是与实际作为履历制作用图像而向第I子履历区域Hl复制的摄影图像(俯瞰图像)不同的摄影图像。
[0190](6)在上述各实施方式中，车载照相机I将车辆的后方的规定范围反复摄影，但车载照相机I也可以将车辆的前方的规定范围反复摄影。在此情况下，在上述说明书中，将车辆的前后替换而重读。
[0191]本公开依据实施例进行了记述，但应理解的是本公开并不限定于该实施例或构造。本公开还包含各种各样的变形例或等价范围内的变形。除此以外，各种各样的组合或形态、还有在它们中包含仅一要素、其以上或其以下的其他组合或形态也包含在本公开的范畴或思想范围中。
【权利要求】
1.一种车辆周围图像显示控制装置，其特征在于，具备: 取得装置(110、115)，从对车辆的周围进行反复摄影的车载照相机(I)依次取得摄影图像； 亮度分析装置(120)，计算各摄影图像中的多个判定区域(R21?R26)内的各亮度变化量; 履历制作用区域决定装置(125)，基于上述亮度分析装置的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除；以及 显示控制装置(135、140、145)，使图像显示装置(3)以从上述车辆的上方俯视的视点显示各摄影图像中的上述履历制作用区域内的履历制作用图像和车辆用图像，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，使上述履历制作用图像相对于上述车辆用图像的相对的配置发生变化而显示。
2.如权利要求1所述的车辆周围图像显示控制装置，其特征在于， 上述取得装置(110、115)将从上述车载照相机取得的摄影图像向存储器中的规定的实时区域(R)保存； 上述亮度分析装置计算保存在上述实时区域(R)内的摄影图像的上述多个判定区域内的亮度变化量； 上述显示控制装置将上述履历制作用区域内的上述履历制作用图像向存储器中的履历区域(H)中的第I子履历区域(Hl)保存； 上述显示控制装置根据上述车辆的上述运动量，使上述第I子履历区域(Hl)内的上述履历制作用图像向上述履历区域中的第2子履历区域(H2)移动； 上述显示控制装置使上述图像显示装置显示上述第2子履历区域内的图像。
3.如权利要求1或2所述的车辆周围图像显示控制装置，其特征在于， 将亮度变化量为上述阈值以上的判定区域中的、从与距上述车辆最近的位置对应的判定区域向上述车辆的后方连续存在的判定区域，从履历制作用区域中排除； 将距上述车辆最近且亮度变化量不到上述阈值的判定区域、以及与比其距上述车辆远的位置对应的判定区域，包含在履历制作用区域中。
4.一种车辆周围图像显示方法，其特征在于，具备如下步骤: 从对车辆的周围进行反复摄影的车载照相机(I)依次取得摄影图像； 计算各摄影图像中的多个判定区域(R21?R26)内的亮度变化量； 基于上述亮度变化量的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除； 使图像显示装置(3)以从上述车辆的上方俯视的视点显示各摄影图像中的上述履历制作用区域内的履历制作用图像和车辆用图像，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，使上述履历制作用图像相对于上述车辆用图像的相对的配置发生变化而显示。
5.一种持续性有形计算机可读介质，其特征在于，具备由计算机实施的指令，该指令包括控制车辆周围图像的显示的计算机实施方法，所述指令具备如下步骤: 从对车辆的周围进行反复摄影的车载照相机(I)依次取得摄影图像； 计算各摄影图像中的多个判定区域(R21?R26)内的亮度变化量； 基于上述亮度变化量的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除； 使图像显示装置(3)以从上述车辆的上方俯视的视点显示各摄影图像中的上述履历制作用区域内的履历制作用图像和车辆用图像，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，使上述履历制作用图像相对于上述车辆用图像的相对的配置发生变化而显示。
6.一种车辆周围图像显示控制装置，其特征在于，具备: 取得装置(110、115)，从对车辆的周围进行反复摄影的车载照相机(I)依次取得摄影图像； 存储器，具有:保存从上述车载照相机取得的各摄影图像的实时区域(R)、和保存履历图像的履历区域⑶； 亮度分析装置(120)，计算保存在上述实时区域(R)内的各摄影图像的多个判定区域(R21?R26)内的各亮度变化量； 履历制作用区域决定装置(125)，基于上述亮度分析装置的计算结果，选择亮度变化量不到规定的阈值的判定区域作为履历制作用区域，将亮度变化量为规定的阈值以上的判定区域从履历制作用区域中排除；以及 显示控制装置(135、140、145)，将上述履历制作用区域内的履历制作用图像向存储器的履历区域(H)的第I子履历区域(Hl)保存，根据基于从上述车辆输入的车辆动态信息的上述车辆的运动量，将上述第I子履历区域(Hl)内的上述履历制作用图像向存储器的履历区域(H)的第2子履历区域(H2)覆写，使图像显示装置(3)以从上述车辆的上方俯视的视点显示上述第2子履历区域内的履历图像和上述第I子履历区域内的履历图像。
【文档编号】H04N7/18GK104429059SQ201380035388
【公开日】2015年3月18日 申请日期:2013年3月14日 优先权日:2012年7月4日
【发明者】王丙辰, 柳川博彦, 竹市真和 申请人:株式会社电装