图像合成装置和图像合成方法与流程

本发明涉及将由多个车载摄像头拍摄的图像接合来合成为一系列图像的图像合成装置和图像合成方法。

背景技术：

如下的系统已投入使用：所述系统将多个摄像头搭载在车辆上，对在从各摄像头俯视的方向上拍摄得到的图像进行坐标变换并生成俯视图像，以使得摄像头位置像位于在比车辆要高的位置，并将该多个俯视图像接合，以合成出如同从高处眺望车辆的整个周边那样的图像。

这样的将由多个摄像头拍摄得到的图像合成为1张图像的系统中，虽然通常使用同一机种的摄像头，但由于各摄像头的制造偏差，或者在每一个摄像头中进行自动露出校正、自动增益控制、自动白平衡等控制，因此，尤其存在画像的接缝处明亮度(亮度)或者色调不连续、导致在合成的图像中产生违和感这样的问题。

因此，例如，在专利文献1中，为了使得相邻的摄像头共通拍摄的合成画像的接缝附近的区域的平均明亮度或色调相一致，对由各摄像头拍摄得到的图像的明亮度或颜色平衡进行校正。通过上述校正，由于在某种程度上可获取连续且平滑的合成图像，因此，合成的图像的违和感可在某种程度上得到抑制。

现有技术文献

专利文献

专利文献1：日本专利第3297040号公报

技术实现要素：

发明所要解决的技术问题

然而，在该专利文献1的现有技术中，用于计算校正值的参照的合成图像的接缝附近的共通区域被固定。例如，上述校正值根据上述共通区域的像素的平均值来求出。因此，在共通区域中存在立体物时，在对俯视视频进行坐标变换时，对立体部分进行投影以使其在连结摄像头和立体物的线上延伸，并且相邻的摄像头的共通成像区域的投影后的图像不一致。因此，在该专利文献1的现有技术中，存在没有进行适当校正这一问题。

本发明的目的在于，在合成多个图像时，在各图像之间的边界附近产生与以往的技术相比更连续且平滑的图像。

解决技术问题所采用的技术方案

本发明的图像合成装置的特征在于，在包括搭载于车辆且对所述车辆的周围进行拍摄的多个周边监视摄像头装置；将由所述周边监视摄像头装置拍摄得到的多个图像合成从而生成合成图像的图像处理装置；以及显示所述合成图像的图像显示装置，该图像合成装置中，包括：亮度颜色图像校正装置，该亮度颜色图像校正装置对校正值进行计算，以使得相邻的所述图像的重叠的亮度颜色校正参照区域中的亮度颜色的差异变小；以及车辆周边立体物判定装置，该车辆周边立体物判定装置检测所述车辆的周边的立体物，所述图像处理装置根据所述车辆周边立体物判定装置的所述立体物的检测结果，来利用所述校正值进行图像处理的控制。

发明效果

本发明可以在合成多个图像时，使各图像之间的边界附近的图像与以往的图像显示装置相比成为更接近自然的连续且平滑的图像。

附图说明

图1是本发明的实施方式1所涉及的图像合成装置的框图。

图2是说明本发明的实施方式1的动作的流程图。

图3是本发明的实施方式2所涉及的图像合成装置的框图。

图4是说明本发明的实施方式2的动作的流程图。

图5是本发明的实施方式3所涉及的图像合成装置的框图。

图6是说明本发明的实施方式3的动作的流程图。

图7是表示实现框图的功能的硬件的结构图。

具体实施方式

实施方式1

图1中示出本发明的实施方式1的图像合成装置的结构。

由周边监视摄像头装置100拍摄得到的图像通过本发明的图像处理装置200来进行变换，对从上空的假想视点俯视的图像进行合成，并且在图像显示装置300中显示。此外，为了与因车辆周边的立体物而产生的影响相对应，具备传感器装置400。

周边监视摄像头装置100中，前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104等光学摄像头360°覆盖本车周边，并且在车辆上安装多台从而使得拍摄范围部分重复。各个摄像头安装在俯视的方向上，并且获取各个方向的图像。

在该图1中，虽然示出为用1条信号线连接周边监视摄像头装置100与图像处理装置200，但实际上，连接为多个摄像头中的每一个将图像信息并行地发送至图像处理装置200。并且，在由各个摄像头拍摄得到的图像的两端，存在与由其他摄像头拍摄得到的图像重合的区域。图像处理装置200的作用为，通过调整该重合的区域(亮度颜色校正参照区域)的图像的明亮度与色调，来使得图像的连接变得平滑。另外，在本实施方式中，虽然设为有4台摄像头，但是可以使用任何数量的摄像头，只要是用于俯视本车周边的多台摄像头即可。即使在该情况下，也可以通过与本实施方式相同的作用来实施本发明。

在图像处理装置200中，包括摄像头图像坐标变换装置201、亮度颜色图像校正装置202、合成图像生成装置204、车辆周边立体物判定装置205、亮度颜色校正参照区域判定装置206。

摄像头图像坐标变换装置201进行对从周边监视摄像头装置100获取的车辆周边的图像的坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像。该坐标变换处理基于表示安装于车辆上的各摄像头的位置·姿态的外部参数、透镜焦点距离等内部参数、透镜的失真系数等校准(校正)参数、假想视点的位置或显示范围等视角(view)参数来进行计算。

另外，也可以基于表示安装于车辆上的各摄像头的位置·姿态的外部参数、透镜焦点距离等内部参数、透镜的失真系数等校准参数、假想视点的位置或显示范围等视角(view)参数，来预先生成坐标变换表格，并且基于该坐标变换表格来进行对所获取的图像的坐标变换处理。将生成的俯视图像通知给亮度颜色图像校正装置202。

亮度颜色图像校正装置202根据从亮度颜色校正参照区域判定装置206获取的亮度颜色校正参照区域信息来计算出校正值，以使得相邻的摄像头的亮度颜色校正参照区域的平均亮度颜色相一致，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域中的亮度颜色进行校正。

传感器装置400被构成为将一个或多个超声波雷达、毫米波雷达和激光雷达(lidar)等有源传感器401安装在车体的前方、侧方或后方。该传感器装置400照射超声波或毫米波、激光等，并且将其反射波的接收信号通知给车辆周边立体物判定装置205。

车辆周边立体物判定装置205对从传感器装置400获取的传感器信息和从周边监视摄像头装置100获取的图像进行图像识别处理，并且根据传感器装置400的检测结果与图像识别的检测结果，来进行本车周边有无立体物的判定、并且计算在存在立体物时立体物的位置。

另外，图像识别处理可以通过hog或深层学习(成为形成人工智能的基本，并与目前为止的图案相组合从而对复杂的思考进行人工智能)等机器学习来检测立体物，也可以使用光流(该光流在视觉表现(通常在时间上连续的数字图像)中用矢量来表示物体的动作。)或运动视觉(在1台摄像头移动时、基于向以微小的时间间隔拍摄得到的连续图像转移的被拍摄体的“画面上的移动”和“拍摄位置的位移量”来计算出到被拍摄体的距离的方法)等流程来检测立体物。车辆周边立体物判定装置205将计算出的本车周边立体物信息通知给亮度颜色校正参照区域判定装置206。所谓亮度颜色校正参照区域，是指用于计算在校正亮度颜色图像时的校正值的相邻的摄像头图像的共通区域。

亮度颜色校正参照区域判定装置206基于从车辆周边立体物判定装置205获取的本车周边立体物信息，来判定用于计算在亮度颜色图像校正装置202中校正亮度颜色图像时的校正值的参照区域。当相邻的摄像头图像的共通区域中没有立体物时，将预先设定的共通区域设为亮度颜色校正参照区域。当相邻的摄像头图像的共通区域(亮度颜色校正参照区域)内存在立体物时，将去除与立体物的位置相对应的俯视图像上的区域而得到的共通区域、即不存在立体物的区域设为亮度颜色校正参照区域。

另外，若将立体物坐标变换为俯视图像，则立体部分被投影为在将摄像头与立体物相连结的线上延伸。因此，在将立体部分从共通区域去除时，当没有立体物的高度信息时，在将摄像头与立体物相连结的线上，将比立体物的位置更靠后方的区域全部去除。通过这样，在有源传感器401中，在立体物的位置可知、但是高度不可知时，可以将立体物可靠地从共通区域去除。将计算出的亮度颜色校正参照区域通知给亮度颜色图像校正装置202。

例如，为了进行校正以使前置摄像头101与左侧摄像头104的合成图像的接缝附近的区域的明亮度或色调相一致，计算出由前置摄像头101得到的图像与由左侧摄像头104得到的图像的亮度颜色校正参照区域的全部像素与颜色的平均值。根据计算出的由前置摄像头101得到的图像与由左侧摄像头104得到的图像的亮度与颜色的平均值之差，对在合成由左侧摄像头104得到的图像时的接缝附近的区域的所有像素，进行明亮度或色调的校正，从而使左侧摄像头104(在该实施方式中，若将基准摄像头设为前置摄像头101则为不是基准摄像头的一个摄像头)的平均值为前置摄像头101的平均值。同样地，对前置摄像头101与右侧摄像头103、后置摄像头102与左侧摄像头104、后置摄像头102与右侧摄像头103的合成图像的接缝附近的区域，进行明亮度或色调的校正。

另外，虽然通过对接缝附近的区域的校正来使合成时的相邻的摄像头之间变得平滑，但是由于单独在经校正的图像中，在经校正的区域与未校正的区域的边界部分处产生差异，因此对该边界部分也进行校正以使其变得平滑。通过这样，可以生成各摄像头的亮度颜色校正图像。将生成的亮度颜色校正图像输出给合成图像生成装置204。

合成图像生成装置204将从亮度颜色校正装置202获取的由前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104得到的各个图像的亮度颜色校正图像合成为1张图像，同时合成从来自车辆上空的假想视点俯视的图像，生成输出显示图像。将生成的输出显示图像输出至图像显示装置300。

图像显示装置300为车载导航(导航系统)或后视镜监视器等，且构成为获取从合成图像生成装置204输出的输出显示图像并进行显示。

接着，在图2中示出了该实施方式1的动作的流程。这里，对与车辆的换挡杆的操作联动从而图像处理装置200进行动作的情况进行说明。

首先，若将车辆的换挡位置设为后退位置(步骤s1-1)，则获取周边监视摄像头图像与传感器信息。周边监视摄像头图像由前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104等多台安装在车外的光学摄像头所构成的周边监视摄像头装置100来获取(步骤s1-2)，并通知给摄像头图像坐标变换装置201和车辆周边立体物判定装置205。对于传感器信息，通过由一个或多个安装在车体的前方、侧方或后方的超声波雷达、毫米波雷达和激光雷达等有源传感器401构成的传感器装置400照射超声波或毫米波、激光等，获取其反射波的接收信息(步骤s1-3)，并通知给车辆周边立体物判定装置205。

根据从周边监视摄像头装置100获取的车辆周边的图像，摄像头图像坐标变换装置201进行坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像(步骤s1-4)。将生成的俯视图像通知给亮度颜色图像校正装置202。

根据从传感器装置400获取的传感器信息和从周边监视摄像头装置100获取的周边监视摄像头图像，车辆周边立体物判定装置205根据传感器装置400的检测结果和进行图像识别处理而得到的图像识别的检测结果，来进行本车周边有无立体物的判定、并且计算在存在立体物时立体物的位置(步骤s1-5)。将计算出的本车周边立体物信息通知给亮度颜色校正参照区域判定装置206。

根据从车辆周边立体物判定装置205获取的本车周边立体物信息，亮度颜色校正参照区域判定装置206判定用于计算在校正亮度颜色图像时的校正值的相邻摄像头图像的共通区域中是否存在立体物(步骤s1-6)。当不存在立体物时，将预先设定的共通区域设为亮度颜色校正参照区域(步骤s1-7)。当存在立体物时，将去除与立体物的位置相对应的俯视图像上的区域而得到的共通区域设为亮度颜色校正参照区域(步骤s1-8)。将计算出的亮度颜色校正参照区域通知给亮度颜色图像校正装置202。

亮度颜色图像校正装置202根据从亮度颜色校正参照区域判定装置206获取的亮度颜色校正参照区域信息来计算出校正值，以使相邻的摄像头的亮度颜色校正参照区域的平均亮度颜色相一致(步骤s1-9)，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色(步骤s1-10)。将生成的亮度颜色校正图像通知给合成图像生成装置204。

根据从亮度颜色校正装置202获取的前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104的亮度颜色校正图像，合成图像生成装置204在合成为1张图像的同时，进一步地合成从上空的假想视点俯视本车辆而得到的图像，生成输出显示图像(步骤s1-11)。将生成的输出显示图像通知给图像显示装置300。

若图像显示装置300从合成图像生成装置204获取输出显示图像，则显示在车载导航或后视镜监视器等显示装置上(步骤s1-12)。

在图2的输出图像显示处理(步骤s1-12)之后，判定车辆的换挡位置是否仍为后退位置(步骤s1-13)，如果车辆的换挡位置仍为后退位置，则再次返回s1-2，重复从步骤s1-2起的处理，直到车辆的换挡位置为除了后退位置以外的位置为止。若车辆的换挡位置为除了后退位置以外的位置，则结束整个处理。另外，虽然在本实施方式中，将车辆的换挡位置为后退位置的情况设为启动和结束的触发器，但是例如，除此以外，也可以从导航等接受到顶视显示的通知从而开始，接受到顶视显示的结束通知从而结束，也可以为若换挡位置为前进位置并且车速在规定值以下时则开始，在车速在规定值以上时则结束。

通过使用本实施方式1所示的结构和动作来将立体物从用于计算在校正亮度颜色时的校正值的相邻摄像头图像的共通区域去除，从而不会产生因在以往的坐标变换图像中以使立体物延伸的方式进行投影、且相邻的摄像头的共通拍摄区域的投影后的图像不一致而导致的校正偏差，可提供在各图像之间的边界附近为连续的平滑的拼接的合成图像。

实施方式2

图3中表示本发明中的实施方式2的结构图。

在该实施方式2中，相比于实施方式1，没有亮度颜色校正参照区域判定装置206，添加了亮度颜色信息存储装置203。因此，除了变更的部分以外，与实施方式1是相同的。

车辆周边立体物判定装置205根据传感器400的检测结果与图像识别的检测结果，来进行本车周边有无立体物的判定、并且计算在存在立体物时立体物的位置。将计算出的本车周边立体物信息通知给亮度颜色图像校正装置202。

亮度颜色图像校正装置202基于从车辆周边立体物判定装置205获取的与本车周边的立体物相关的信息，在不存在立体物时，计算出相邻的摄像头的亮度颜色校正参照区域的亮度颜色的平均值，并且计算校正值，以使得计算出的亮度颜色的平均值在相邻的摄像头彼此中相一致。使用计算出的校正值，来对在合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色。将在亮度颜色图像校正装置202中计算出的校正值输出至亮度颜色信息存储装置203。在车辆的周边存在立体物时，从亮度颜色信息存储装置203获取最新适用的校正值，并且基于获取到的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色。将生成的亮度颜色校正图像通知给合成图像生成装置204。

亮度颜色信息存储装置203若从亮度颜色图像校正装置202接受到亮度颜色校正值，则将接受到的亮度颜色校正值作为最新的亮度颜色校正值覆盖并保存于已存储的亮度颜色校正值。此外，亮度颜色信息存储装置203当在用于计算校正值的相邻摄像头图像的共通区域中存在立体物时，将最新的亮度颜色校正值通知给亮度颜色图像校正装置202。

接着，在图4中示出了实施方式2的动作的流程。

首先，若将车辆的换挡位置设为后退位置(步骤s2-1)，则获取周边监视摄像头图像与传感器信息。周边监视摄像头图像由前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104等多台安装在车外的光学摄像头所构成的周边监视摄像头装置100来获取(步骤s2-2)，并通知给摄像头图像坐标变换装置201和车辆周边立体物判定装置205。对于传感器信息，通过由一个或多个安装在车体的前方、侧方或后方的超声波雷达、毫米波雷达和激光雷达等有源传感器401构成的传感器装置400照射超声波或毫米波、激光等，获取其反射波的接收信息(步骤s2-3)，并通知给车辆周边立体物判定装置205。

根据从周边监视摄像头装置100获取的车辆周边的图像，摄像头图像坐标变换装置201进行坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像(步骤s2-4)。将生成的俯视图像通知给亮度颜色图像校正装置202。

基于从传感器装置400获取的传感器信息和从周边监视摄像头装置100获取的周边监视摄像头图像，车辆周边立体物判定装置205进行本车周边有无立体物的判定、并且计算在存在立体物时立体物的位置(步骤s2-5)。将计算出的本车周边立体物信息输出至亮度颜色图像校正装置202。

基于来自车辆周边立体物判定装置205的本车周边立体物信息，亮度颜色校正装置202判定用于计算在校正亮度颜色图像时的校正值的摄像头图像的共通区域中是否存在立体物(步骤s2-6)。当不存在立体物的情况下(“否”的情况下)，计算相邻摄像头的亮度颜色校正参照区域的亮度颜色的平均值，并且计算校正值，以使得计算出的亮度颜色的平均值在相邻的摄像头彼此中相一致(步骤s2-7)。

使用计算出的校正值，来对在合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域校正亮度颜色(步骤s2-8)，将计算出的校正值通知给亮度颜色信息存储装置203(步骤s2-9)。若从亮度颜色图像校正装置202发送来亮度颜色校正值，则亮度颜色信息存储装置203将接受到的亮度颜色校正值作为最新的亮度颜色校正值进行覆盖并保存(步骤s2-10)。在存在立体物的情况下(“是”的情况下)，亮度颜色图像校正装置202从亮度颜色信息存储装置203获取刚刚适用的校正值(步骤s2-11)，并且基于获取到的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色(步骤s2-12)。将生成的亮度颜色校正图像通知给合成图像生成装置204。

根据从亮度颜色校正装置202获取的前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104的亮度颜色校正图像，合成图像生成装置204在合成为1张图像的同时，进一步地合成从上空的假想视点俯视本车辆而得到的图像，生成输出显示图像(步骤s2-13)。将生成的输出显示图像输出至图像显示装置300。

图像显示装置300若从合成图像生成装置204获取输出显示图像，则将其显示于车载导航或后视镜监视器等显示装置(步骤s2-14)。

在图4的输出图像显示处理(步骤s2-14)之后，判定车辆的换挡位置是否仍为后退位置(步骤s2-15)，若车辆的换挡位置仍为后退位置，则再次返回到s2-2，重复从步骤s2-2起的处理，直到车辆的换挡位置为除了后退位置以外的位置为止。若车辆的换挡位置为除了后退位置以外的位置，则结束整个处理。另外，虽然在本实施方式2中，与实施方式1相同地，将车辆的换挡位置为后退位置的情况设为启动和结束的触发器，但是例如，除此以外，也可以从导航等接受到顶视显示的通知从而开始，接受到顶视显示的结束通知从而结束，也可以在若换挡位置为前进位置并且车速在规定值以下时开始，在车速在规定值以上时结束。

通过使用本实施方式2中说明的结构和动作，在立体物存在于用于计算在校正亮度颜色时的校正值的相邻摄像头图像的共通区域时，不更新校正值，并且使用在没有障碍物的情况下的校正值来进行校正，从而不会产生因在以往的坐标变换图像中以使立体物延伸的方式进行投影、且相邻的摄像头的共通拍摄区域的投影后的图像不一致而导致的校正偏差，可提供在各图像之间的边界附近为连续的平滑的拼接的合成图像。

实施方式3

图5中示出了本发明中的实施方式3的结构图。

在该实施方式3中，相比于实施方式2，没有传感器装置400、车辆周边立体物判定装置205。在该实施方式3中，对在车辆周围是否存在立体物的判定从由传感器装置400和车辆周边立体物判定装置205进行的直接判定变为根据参照区域的亮度颜色的平均值的变化程度来推断在车辆周边存在立体物这一情况。即，使亮度颜色图像校正装置202具有判定在车辆周边是否存在立体物的功能，由此，使根据亮度颜色的平均值的变化程度来判定立体物的存在。

因此，在本实施方式3中，除了变更的部分以外，与实施方式2是相同的。

在本实施方式3中，构成为由周边监视摄像头装置100拍摄得到的图像通过本发明的图像处理装置200来进行变换，合成从上空的假想视点俯视的图像，并且在图像显示装置300中显示。

周边监视摄像头装置100中，前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104等光学摄像头360°覆盖本车周边，并且在车辆上安装多台从而使得拍摄范围部分重复。各个摄像头安装在俯视的方向上，并且获取各个方向的图像。

在该图5中，虽然表示为用1条信号线连接周边监视摄像头装置100与图像处理装置200，但实际上，连接为从多个摄像头中的每一个将图像信息并行地发送至图像处理装置200。并且，在由各个摄像头拍摄得到的图像的两端，存在与由其他摄像头拍摄得到的图像重合的区域。图像处理装置200的作用在于，通过调整该重合的区域(亮度颜色校正参照区域)的图像的明亮度与色调，来使得图像的连接变得平滑。

另外，在本实施方式3中，虽然设为有4台摄像头，但是可以使用任意数量的摄像头，只要它们是用于俯视本车周边的多台摄像头即可。即使在该情况下，也可以通过与本实施方式相同的作用来实施本发明。

在图像处理装置200中，包括摄像头图像坐标变换装置201、亮度颜色图像校正装置202、亮度颜色信息存储装置203、合成图像生成装置204。

摄像头图像坐标变换装置201对周边监视摄像头装置100的多个摄像头中的各个摄像头的图像进行坐标变换处理，从而变换成从上空的假想视点俯视的状态的图像。

亮度颜色图像校正装置202计算校正值，以使得相邻的摄像头的亮度颜色校正参照区域的平均亮度颜色相一致，并且对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色。

具体地，例如，为了进行校正以使得前置摄像头101与左侧摄像头104的合成图像的接缝附近的区域的明亮度或色调相一致，计算出由前置摄像头101得到的图像与由左侧置摄像头104得到的图像的亮度颜色校正参照区域的全部像素与颜色的平均值。根据计算出的由前置摄像头101得到的图像与由左侧置摄像头104得到的图像的亮度与颜色的平均值之差，为了使左侧置摄像头104(在该实施方式中，若将基准摄像头设为前置摄像头101则为不是基准摄像头的一个摄像头)的平均值为前置摄像头101的平均值，对在合成由左侧摄像头104得到的图像时的接缝附近的区域的所有像素进行明亮度或色调的校正。同样地，对前置摄像头101与右侧摄像头103、后置摄像头102与左侧摄像头104、后置摄像头102与右侧摄像头103的合成图像的接缝附近的区域，进行明亮度或色调的校正。

另外，虽然通过对接缝附近的区域进行校正来使合成时的相邻的摄像头之间变得平滑，但由于在单独经校正的摄像头图像中，在经校正的区域与未校正的区域的边界部分处产生差异，因此对此边界部分也进行校正以使得其变得平滑。通过这样，可以生成各摄像头的亮度颜色校正图像。将生成的亮度颜色校正图像输出给合成图像生成装置204。

合成图像生成装置204将从亮度颜色校正装置202获取的由前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104得到的各个图像的亮度颜色校正图像合成为1张图像，同时合成从来自车辆上空的假想视点俯视得到的图像，生成输出显示图像。将生成的输出显示图像输出至图像显示装置300。

此外，亮度颜色图像校正装置202使用计算出的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色，并且将计算出的校正值输出至亮度颜色信息存储装置203。

若从亮度颜色图像校正装置202发送来亮度颜色校正值，则亮度颜色信息存储装置203将接受到的亮度颜色校正值作为最新的亮度颜色校正值进行覆盖并保存。此外，根据来自亮度颜色图像校正装置203的要求，输出覆盖并保存的最新的亮度颜色校正值。

图像显示装置300为车载导航或后视镜监视器等，且被构成为获取从合成图像生成装置204输出的输出显示图像并进行显示。

接着，在图6中示出了该实施方式3的动作的流程。这里，对图像处理装置200与车辆的换挡杆的操作联动地进行动作的情况进行说明。

首先，若将车辆的换挡杆的位置(换挡位置的位置)设为后退位置(步骤s3-1)，则获取周边监视摄像头图像。周边监视摄像头图像由前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104的多台安装在车外的光学摄像头所构成的周边监视摄像头装置100拍摄各个图像来获取(步骤s3-2)，并通知给摄像头图像坐标变换装置201。

根据从周边监视摄像头装置100获取的车辆周边的图像，摄像头图像坐标变换装置201进行坐标变换处理，生成如从上空的假想视点俯视那样的俯视图像(步骤s3-3)。将生成的俯视图像通知给亮度颜色图像校正装置202。

根据从摄像头图像坐标变换装置201获取的摄像头图像，亮度颜色图像校正装置202计算相邻的摄像头的亮度颜色校正参照区域的亮度颜色的平均值(步骤s3-4)。从亮度颜色信息存储装置203获取在适用校正值时的最新的亮度颜色的平均值(步骤s3-5)，并且判定计算出的亮度颜色校正参照区域的亮度颜色的平均值的变化是否在规定值以上(步骤s3-6)。在亮度颜色的平均值的变化低于规定值的情况下(“否”的情况下)，计算校正值，以使得亮度颜色的平均值在相邻的摄像头彼此中相一致。

此外，使用计算出的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域的像素数据，校正亮度颜色(步骤s3-8)，并且将计算出的校正值和亮度颜色的平均值通知给亮度颜色信息存储装置203(步骤s3-9)。若存在来自亮度颜色图像校正装置202的亮度颜色校正值及亮度颜色平均值的发送，则亮度颜色信息存储装置203将接受到的亮度颜色校正值及亮度颜色平均值作为最新的亮度颜色校正值及亮度颜色平均值覆盖并保存(步骤s3-10)。在亮度颜色的平均值的变化在规定值以上的情况下(“是”的情况下)，从亮度颜色信息存储装置203获取最新适用的校正值(步骤s3-11)，并且基于获取的校正值，对合成从摄像头图像坐标变换装置201获取的各摄像头的俯视图像时的接缝附近的区域，校正亮度颜色(步骤s3-12)。将生成的亮度颜色校正图像通知给合成图像生成装置204。

根据从亮度颜色校正装置202获取的前置摄像头101、后置摄像头102、右侧摄像头103、左侧摄像头104的亮度颜色校正图像，合成图像生成装置204在合成为1张图像的同时，进一步地合成从车辆的上空的假想视点俯视的图像，生成输出显示图像(步骤s3-13)。将生成的输出显示图像通知给图像显示装置300。

图像显示装置300若从合成图像生成装置204获取输出显示图像，则显示于车载导航或后视镜监视器等显示装置(步骤s3-14)。

在图6所示的输出图像显示处理(步骤s3-14)之后，判定车辆的换挡杆的位置是否仍为后退位置(步骤s3-15)，若车辆的换挡位置仍为后退位置，则再次返回到s3-2，重复从步骤s3-2起的处理，直到车辆的换挡位置为除了后退位置以外的位置为止。若车辆的换挡位置为除了后退位置以外的位置，则结束整个处理。另外，虽然在本实施方式中，将车辆的换挡位置为后退位置的情况设为启动和结束的触发器，但是例如，除此以外，也可以从导航等接受到顶视显示的通知从而开始，接受到顶视显示的结束通知从而结束，也可以在若换挡位置为前进位置并且车速在规定值以下时开始图像处理的动作，在车速在规定值以上时结束。

通过使用本实施方式3中说明的结构和动作，在用于计算在校正亮度颜色时的校正值的相邻摄像头图像的共通区域的变化量较大时，接手变化量较小的过去的校正值，且进行亮度颜色校正，从而避免变化量变较大的原因即立体物的影响，可继续适用在道路等的变化量较小的情况下的校正值，不会发生坐标变换图像中以使立体物延伸的方式进行投影的这一情况，此外，不会发生因相邻的摄像头的共通拍摄区域的投影后的图像不一致而导致的校正偏差，从而可以提供在各图像之间的边界附近为连续且平滑的拼接的合成图像。

另外，图1、图2及图5所示的结构图中的各个装置由图7所示的硬件来实现。即，通过设备503来连接处理器500、存储程序及存储数据的存储器501、和输入输出设备502，通过由处理器500进行的控制，进行数据的处理及数据的传输。

此外，本发明在其发明的范围内，能将实施方式所示的结构要素自由地组合，并能将实施方式的任意的结构要素进行适当地变形或省略。