图像生成装置以及图像生成方法与流程

本申请是基于2014年10月9日申请的日本国专利申请2014-208430号的申请，在此通过参照来引用公开内容。

技术领域

本公开应用于具备车载相机的车辆，涉及用于将拍摄车辆的周围得到的图像进行视线转换并显示于车载监视器的技术。

背景技术：

将利用车载相机拍摄得到的图像转换成像从与该车载相机的视线不同的虚拟的视线(例如从车辆的正上方往下看的视线)拍摄得到的图像，并将得到的视线转换图像显示于车载监视器正被广泛施行。该视线转换图像如以下这样生成。首先，若已决定实际拍摄时的视线的朝向和虚拟的视线的朝向，则实际拍摄得到的拍摄图像的像素与视线转换图像中的像素一对一对应。因此，对于视线转换图像的一个个的像素，设定对应的拍摄图像的像素的图像数据(亮度、彩度等)。这样一来，能够基于拍摄图像生成视线转换图像。

在此，例如若视线转换图像的大小为800像素×500像素，则像素数达到40万像素。若对于40万个像素计算拍摄图像中的对应的像素，则难以以拍摄周期(例如30Hz)显示视线转换图像。因此，一般采用预先制作表示对于视线转换图像的像素分配拍摄图像的哪个像素这样的对应关系的转换表的方法。若以能够读出的方式存储预先制作的转换表，则能够仅通过参照转换表，确定出拍摄图像中的对应的像素，因此，能够更加迅速地对拍摄图像进行视线转换。

然而，若以路面为基准的车载相机的安装位置或者安装角度改变，则存储的转换表不能使用。例如，在弯曲的道路的行驶中、加减速时、重量物的装载时等，车辆倾斜，因此，以路面为基准的车载相机的安装位置、安装角度变化。或者，也存在由于车载相机的紧固部分的松弛等，相对于车辆的车载相机的安装位置、安装角度变化的情况。这样，若在以路面为基准的车载相机的安装位置、安装角度改变后，也使用存储的转换表进行视线转换，则导致不自然的视线转换图像。

因此，提出一种用于在以路面为基准的相机的安装位置以及安装角度变化的情况下，与新的安装位置以及安装角度匹配地更新转换表的技术(专利文献1)。

专利文献1：日本特开2013-222302号公报

但是，由于转换表的数据量较大，更新花费时间，因此存在直到转换表的更新完成为止的期间，生成不自然的视线转换图像的顾虑。

技术实现要素：

本公开的目的之一在于提供一种即使在需要更新转换表的情况下，也能够从生成不自然的视线转换图像的状态迅速恢复的技术。

本公开的一个例子所涉及的图像生成装置被应用于搭载有车载相机的车辆，通过将由该车载相机拍摄得到的拍摄图像视线转换为从与该车载相机不同的方向拍摄得到的图像，生成视线转换图像，并具备：对应关系存储部，其存储有将上述视线转换图像上的像素位置与上述拍摄图像上的像素位置建立对应的对应关系，上述对应关系根据以路面为基准的上述车载相机的安装位置以及安装角度来决定；图像生成部，其参照上述对应关系，根据上述拍摄图像生成上述视线转换图像；偏移产生检测部，其检测上述车载相机的上述安装位置或者上述安装角度的至少一方产生了偏移的情况；安装状态计算部，若检测出上述偏移的产生，则上述安装状态计算部计算检测不出上述偏移的新的上述安装位置以及安装角度；第一区域更新部，若计算出上述新的安装位置以及安装角度，则上述第一区域更新部将关于设定在上述视线转换图像中的规定的第一区域内的图像的上述对应关系更新为与该新的安装位置以及安装角度相应的对应关系；以及第二区域更新部，在关于上述第一区域的上述对应关系更新后，若满足规定的更新条件，则上述第二区域更新部将关于上述视线转换图像中除上述第一区域以外的第二区域的上述对应关系更新为与上述新的安装位置以及安装角度相应的对应关系。

本公开的一个例子所涉及的图像生成方法应用于搭载有车载相机的车辆，通过将由该车载相机拍摄得到的拍摄图像视线转换为从与该车载相机不同的方向拍摄得到的图像，生成视线转换图像，并具备：参照将上述视线转换图像上的像素位置与上述拍摄图像上的像素位置建立对应的对应关系，根据上述拍摄图像来生成上述视线转换图像，上述对应关系根据以路面为基准的上述车载相机的安装位置以及安装角度来决定的工序；检测上述车载相机的上述安装位置或者上述安装角度的至少一方产生了偏移的的情况的工序；若检测出上述偏移的产生，则计算检测不出上述偏移的新的上述安装位置以及安装角度的工序；若计算出上述新的安装位置以及安装角度，则将关于设定在上述视线转换图像中的规定的第一区域内的图像的上述对应关系更新为与该新的安装位置以及安装角度相应的对应关系的工序；以及在关于上述第一区域的上述对应关系更新后，若满足规定的更新条件，则将关于上述视线转换图像中除上述第一区域以外的第二区域的上述对应关系更新为与上述新的安装位置以及安装角度相应的对应关系的工序。

根据上述的图像生成装置以及图像生成方法，即使在车载相机产生了偏移的情况下，也能够迅速地更新视线转换图像中的第一区域的对应关系。因此，若将视线转换图像中的适当的区域(例如易显眼的区域、重要的区域)设定为第一区域，则在车载相机产生了偏移时，能够从显示不自然的视线转换图像的状态迅速地恢复。

附图说明

对于关于本公开的上述以及其它的目的、特征、优点，根据参照了附图的下述的详细说明，变得更加明确。在附图中，

图1A是搭载有本实施例的图像生成装置的车辆的大致说明图。

图1B是表示鸟瞰图像的图。

图2是表示图像生成装置的内部构成的框图。

图3是表示图像生成装置使用转换表而根据拍摄图像生成鸟瞰图像的状况的说明图。

图4是图像生成装置所执行的鸟瞰图像生成处理的流程图。

图5是表示车载相机产生了偏移时的拍摄图像的说明图。

图6是优先区域更新处理的流程图。

图7是非优先区域更新处理的流程图。

图8是与转换表的更新的进展状况相应的鸟瞰图像。

图9A是表示变形例一的车辆1向后倾斜的状况的说明图。

图9B是例示未准确反映拍摄得到的实际的景色而成为异常的显示的鸟瞰图像的图。

图10是变形例二中用于进行优先区域的变更的处理的流程图。

图11A是表示车辆横穿白线的状况的说明图。

图11B是表示变更优先区域的状况的说明图。

具体实施方式

以下，对图像生成装置的实施例进行说明。

A-1.本实施例的装置构成：

图1A示出搭载有图像生成装置10的车辆1的大致构造。如图所示，车辆1除图像生成装置10外，还具备在车辆1的前后左右分别各设置有一台的车载相机2a～2d、能够从驾驶座位视觉确认的车载监视器3、以及车速传感器4。车载相机2a获取从车辆1拍摄前方的状况而得到的前方拍摄图像。同样，车载相机2b获取从车辆1拍摄后方的状况而得到的后方拍摄图像，车载相机2c获取从车辆1拍摄左方的状况而得到的左方拍摄图像，车载相机2d获取从车辆1拍摄右方的状况而得到的右方拍摄图像。

利用这些车载相机2a～2d获取到的拍摄图像被提供给图像生成装置10，在被实施规定的图像处理后，从图像生成装置10输出至车载监视器3。如上述那样，从车载相机2a得到的拍摄图像是从车辆1拍摄前方的状况得到的图像，而图像生成装置10转换成如同从上方往下看车辆1的前方拍摄得到的图像。在此，将车载相机2a～2d的拍摄图像转换为从上方往下看的拍摄方向的图像的处理称作“鸟瞰转换”。另外，将实施鸟瞰转换得到的图像称作“鸟瞰图像”。

需要说明的是，在本实施例中，作为将车载相机2a～2d的拍摄图像转换(鸟瞰转换)为从上方往下看的拍摄方向的图像进行说明，但转换的拍摄方向并非必须是从上方往下看的方向，是与实际的拍摄方向不同的方向即可。另外，存在将车载相机的拍摄图像转换为与实际不同的拍摄方向的图像的处理称作“视线转换”的情况。因此，能够认为鸟瞰转换是视线转换的一个方式。

从车载相机2a～2d得到车辆1的前后左右的拍摄图像，因此，若对这些拍摄图像进行鸟瞰转换，则能够得到车辆1的前后左右的鸟瞰图像。并且，若将车载相机2a～2d的视场角设定得足够宽，则能够通过将从车载相机2a～2d得到的鸟瞰图像相互拼接，如图1B所示，将车辆1的周围以从上方往下看的状态显示于车载监视器3。

图2示出将鸟瞰图像显示于车载监视器3的图像生成装置10的内部构造。如图所示，图像生成装置10具备拍摄图像获取部11、图像生成部12、显示部13、以及转换表存储部14。其中的拍摄图像获取部11获取车载相机2a～2d以固定的拍摄周期(例如30Hz)拍摄得到的图像，并输出至图像生成部12。需要说明的是，转换表存储部14与对应关系存储部对应。

图像生成部12通过参照存储于转换表存储部14的转换表对拍摄图像实施鸟瞰转换来生成鸟瞰图像。如上述那样，鸟瞰转换是将车载相机2a～2d的拍摄图像转换为如同从上方往下看车辆1的方向拍摄得到的那样的图像(鸟瞰图像)的处理。下面，以从车辆1拍摄前方的车载相机2a的情况作为例子，对图像生成部12参照转换表对根据拍摄图像生成鸟瞰图像的方法进行说明。

图3示出了图像生成部12对拍摄图像进行鸟瞰转换时参照转换表的状况。图3表示了车载相机2a拍摄得到的车辆1的前方的拍摄图像，并且表示了对该拍摄图像进行转换后的鸟瞰图像。需要说明的是，在图3中，为了便于理解，不仅表示了鸟瞰图像，也一并表示了车辆1的位置。另外，图3示出了用于将拍摄图像转换为鸟瞰图像的转换表。

如图所示，在转换表中设定有与鸟瞰图像的像素对应的拍摄图像的像素。例如，针对鸟瞰图像的坐标(Xe，Yf)的像素，设定有拍摄图像的坐标(Ag，Bh)的像素。另外，针对鸟瞰图像的坐标(Xp，Yq)的像素，设定有拍摄图像的坐标(Ar，Bs)的像素。这样，在转换表中，对于鸟瞰图像的多个(或者全部)像素记录有该像素与拍摄图像中的像素的对应关系。因此，若一边参照转换表，一边对于鸟瞰图像中的全部的像素反映拍摄图像中的对应的像素的图像数据(例如亮度、彩度)，则能够生成对拍摄图像进行视线转换得到的鸟瞰图像。

由于转换表的制作方法是公知的，因此省略详细的说明，但转换表大致基于如下的原理来制作。

首先，若利用车载相机2a拍摄路面，则处于该拍摄区域的路面上的任意的一点必定与拍摄图像的某一点对应。由于鸟瞰图像是转换成如同以从上方往下看该路面的视线拍摄得到的那样的图像，因此，对于鸟瞰图像的任意的一点，也必定与拍摄图像的某一点对应。由此，若以车载相机2a的路面为基准的安装位置以及安装角度的关系固定，则鸟瞰图像上的点与拍摄图像上的点的对应关系被唯一决定。因此，通过对于鸟瞰图像的像素的一个个像素计算其对应关系来制作转换表。在图2所示的转换表存储部14存储有在车载相机2a的安装位置以及安装角度相对于车辆1固定的状态下计算出的转换表。

在转换表存储部14不仅存储有对于车载相机2a的转换表，还存储有对于车载相机2b的转换表、对于车载相机2c的转换表、对于车载相机2d的转换表。并且，图像生成部12对于车载相机2b～2d的拍摄图像也参照对于各车载相机2b～2d的转换表来生成鸟瞰图像。

显示部13从图像生成部12接受车辆1的前后左右的鸟瞰图像，并输出至车载监视器3。结果，如图1B所示，在车载监视器3以从上方往下看车辆1的周围那样的状态显示鸟瞰图像。

另外，如图2所示，本实施例的图像生成装置10除上述的拍摄图像获取部11、图像生成部12、显示部13、转换表存储部14外，也具备偏移产生检测部15、安装状态计算部16、优先区域更新部17、非优先区域更新部18。需要说明的是，该优先区域更新部17与第一区域更新部的一个例子对应，非优先区域更新部18与第二区域更新部的一个例子对应。

另外，图像生成装置10具备的8个“部”是从功能的观点将图像生成装置10的内部分类的概念，并不表示图像生成装置10在物理上被划分为8个部分。因此，这些“部”既能够作为利用CPU执行的计算机程序来实现，也能够作为包括LSI、存储器的电子电路来实现，还能够通过将它们组合来实现。

其中的偏移产生检测部15基于从拍摄图像获取部11获取到的车载相机2a～2d的拍摄图像，检测在搭载于车辆1的车载相机2a～2d的安装位置或者安装角度产生了偏移的情况。如上述那样，由于转换表是以车载相机2a～2d相对于车辆1固定的状态来设定的，因此，对于相对于车辆1产生了偏移的车载相机，有必要更新转换表。

因此，若利用偏移产生检测部15检测出产生了偏移的车载相机2a～2d，则安装状态计算部16计算该车载相机2a～2d相对于车辆1的安装位置以及安装角度。然后，基于计算出的安装位置以及安装角度更新关于产生了偏移的车载相机的转换表。

在此，在本实施例的图像生成装置10中，在转换表的更新时，并不是相同地更新转换表整体，而是优先更新规定的区域。即，在本实施例的转换表中设定有优先区域和非优先区域，在更新转换表时优先更新优先区域。在此，转换表的优先区域是为了生成鸟瞰图像中的规定范围而参照的区域。在图3所例示的鸟瞰图像中，以包括白线的点划线包围的范围与鸟瞰图像中的规定范围对应，因此，在图3所例示的转换表中使用虚线包围的区域与转换表的优先区域对应。另外，转换表中优先区域以外的部分为非优先区域。

需要说明的是，与该优先区域对应的鸟瞰图像中的上述的规定范围与第一区域的一个例子对应，鸟瞰图像中的其它的范围与第二区域的一个例子对应。

与在转换表设置优先区域和非优先区域对应地，在本实施例的图像生成装置10设置有优先区域更新部17和非优先区域更新部18。并且，若在车载相机2a～2d的任意一个中产生了偏移并由安装状态计算部16计算出该车载相机的安装位置以及安装角度，则优先区域更新部17立即更新转换表中的优先区域。然后，非优先区域更新部18在确认满足规定的更新条件后，更新转换表中的非优先区域。

通过采用上述方式，即使是在车辆1的行驶中在车载相机2a～2d的任意一个中产生了偏移，车载监视器3所显示的鸟瞰图像产生了异常的情况(例如，白线错位显示，白线折弯显示等)，也能够抑制异常的影响，并使之迅速恢复至正常的状态。以下，对为了使这样的情况能够实现而在图像生成装置10内进行的鸟瞰图像生成处理详细地进行说明。

A-2.鸟瞰图像生成处理：

图4示出了本实施例的图像生成装置10所执行的鸟瞰图像生成处理的流程图。该鸟瞰图像生成处理是基于从车载相机2a～2d获取到的拍摄图像生成鸟瞰图像并显示于车载监视器3的处理。由于车载相机2a～2d以规定的周期(例如30Hz)反复进行拍摄，所以鸟瞰图像生成处理以与该周期对应的周期反复执行。

若开始鸟瞰图像生成处理，则首先从车载相机2a～2d获取拍摄图像(S101)。在本实施例中，作为拍摄图像获取前方拍摄图像、后方拍摄图像、左方拍摄图像以及右方拍摄图像。接下来，判断在任意一个车载相机2a～2d中是否检测出偏移(S102)。

通常，在任意一个车载相机2a～2d中均检测不出偏移，因此，在S102判断为“否”，接着，判断非优先区域的未更新标志是否被设定为有效(S103)。在此，非优先区域的未更新标志是指表示转换表中的非优先区域尚未被更新的标志。即，如下述那样，若有必要更新转换表，则本实施例的图像生成装置10对于转换表的优先区域立即进行更新，但对于非优先区域，则在满足规定的更新条件后进行更新。因此，在不满足更新条件的情况下，即使更新转换表的优先区域，非优先区域也保持不被更新的状态。未更新标志是为了表示像这样非优先区域保持不被更新的状态而设定的标志，未更新标志被设定为有效的状态表示优先区域更新完毕但非优先区域保持未更新状态的状态。

若如上述那样，在任意一个车载相机2a～2d中均未检测出偏移(S102：否)，则连优先区域更新处理也不进行，因此，非优先区域的未更新标志为无效(S103：否)。因此，对获取到的拍摄图像进行鸟瞰转换(S104)。如上述那样，鸟瞰转换是指将车载相机2a～2d的拍摄图像转换成从如同从上方往下看车辆1的方向拍摄得到那样的图像(鸟瞰图像)的处理。在此，通过按照转换表分别对前方拍摄图像、后方拍摄图像、左方拍摄图像以及右方拍摄图像进行鸟瞰转换并将它们相互拼接，合成从正上方往下看车辆1的周围的一个鸟瞰图像。接着，将得到的鸟瞰图像输出至车载监视器3(S105)。

然后，判断是否结束鸟瞰图像生成处理(S106)，在不结束的情况下(S106：否)，返回至处理的开头，获取来自车载相机2a～2d的拍摄图像(S101)。如上述那样，由于车载相机2a～2d以规定的周期(例如30Hz)拍摄图像，所以在S101中，也以相同的周期(例如30Hz)获取拍摄图像。在停止车载监视器3的显示等结束鸟瞰图像生成处理(S106：是)之前，反复执行至此的处理(S101～S106)。

上面，对在车载相机2a～2d的安装位置或者安装角度未产生偏移的情况下(S102：否)，根据拍摄图像生成鸟瞰图像并输出至车载监视器3的处理进行了说明。

然而，存在车载相机2a～2d的安装位置、安装角度因一些理由产生了偏移的情况。若在车载相机2a～2d的任意一个中产生了偏移，则在S102判断为“是”。对于检测车载相机2a～2d的偏移的有无的方法，能够应用各种方法，但本实施例的图像生成装置10利用如下方法来检测车载相机2a～2d的偏移的有无。

图5示出了作为一个例子利用车载相机2a拍摄得到的拍摄图像(在此为前方拍摄图像)。由于在车载相机2a～2d安装有广角透镜(鱼眼透镜等)，因此，如图所示，在拍摄图像中拍入有车辆1的保险杠。当然，若车载相机2a～2d相对于车辆1以准确的安装位置以及安装角度安装，则在拍摄图像中拍入的保险杠的位置自然地成为决定的正规的位置。相反，若车载相机2a～2d相对于车辆1的安装位置或者安装角度产生了偏移，则在拍摄图像中拍入的保险杠的位置从正规的位置移动。因此，在车载相机2a～2d中存储在未产生偏移的状态下拍摄图像中拍入的保险杠的位置(正规的位置)。并且，若检测出在这之后拍摄得到的拍摄图像中的保险杠的位置，并与正规的位置进行比较，则能够判断在车载相机2a～2d中是否产生了偏移。

在图5所示的例子中示出在车载相机2a中未产生偏移的情况下的前方拍摄图像，并且示出在车载相机2a中产生了偏移的情况下的前方拍摄图像。另外，在图5的下部重叠示出未产生偏移的情况下的保险杠的位置(以实线表示)和产生了偏移的情况下的保险杠的位置(以虚线表示)。因此，在图5的下部中标注斜线而示出的部分的面积为由车载相机2a的偏移引起的保险杠的移动量。因此，在本实施例中，在该面积为规定的阈值以上的情况下，判断为在车载相机2a产生了偏移。对于其它的车载相机2b～2d，也能够同样地检测是否产生了偏移。

若像这样检测出车载相机的偏移(S102：是)，则开始优先区域更新处理(S110)。

图6示出了优先区域更新处理(S110)的流程图。在此，首先，再次计算车载相机的安装位置以及安装角度(S111)。再次计算车载相机的安装位置以及安装角度有各种方法，采用任意方法均可。举例的话，有将在拍摄图像中拍到的白线作为指标物的方法。在车载相机的安装位置或者安装角度中的至少一方产生了偏移的情况下，在该拍摄图像中，应被检测为沿着车线相互平行的左右的白线被检测为八字形(或者倒八字形)。该情况下，能够通过最佳化为左右的白线被检测为平行来再次计算车载相机的安装位置以及安装角度。另外，列举其它的例子，有在车载相机的安装位置以及安装角度产生了偏移的情况下，在两个车载相机的拍摄区域重复的区域，应一致显示的白线不一致的情况。该情况下，能够通过最佳化为该白线一致显示来再次计算车载相机的安装位置以及安装角度。

若再次计算车载相机的安装位置以及安装角度(S111)，则更新优先区域的转换表(S112)。如上述那样，在本实施例中，将与鸟瞰图像中白线表示的车辆1的左右两侧的规定范围对应的转换表的区域作为优先区域(参照图3)。该优先区域在前方的拍摄区域整体的转换表中仅仅是比较小的一部分，大部分是剩余的非优先区域。因此，该优先区域的转换表的更新能够在再次计算车载相机的安装位置以及安装角度后迅速完成。若更新了优先区域的转换表(S112)，则使非优先区域的未更新标志为有效(S113)，返回至图4的鸟瞰图像生成处理。

在返回后的鸟瞰图像生成处理中，由于非优先区域的未更新标志为有效(S103：是)，因此，判断是否满足非优先区域的更新条件(S107)。

在此，对非优先区域的转换表的更新条件(S107)进行说明。在本实施例中，使用从车速传感器4获取的车辆1的行驶速度来设定非优先区域的更新条件。例如，能够在车速为40km/h以下时更新非优先区域的转换表，在比40km/h大时不更新非优先区域的转换表。这样一来，通过在车辆1的速度上升，为了鸟瞰图像的生成以及输出而在CPU中产生较大的处理负荷时，不对非优先区域进行更新，由此能够确保CPU的处理能力。需要说明的是，在本实施例中，基于车辆1的行驶速度设定非优先区域的更新条件，但不限于此。在下文中描述其它的更新条件。

上述那样的非优先区域的更新条件的判断(S107)的结果为不满足更新条件的情况下(S107：否)，按照此时的转换表对拍摄图像进行鸟瞰转换(S104)，并输出该鸟瞰图像(S105)。并且，由于非优先区域的未更新标志为有效(S103：是)，因此，之后每当执行鸟瞰图像生成处理时，继续判断是否满足非优先区域的更新条件(S107)。结果，最终会判断为满足非优先区域的更新条件(S107：是)，开始非优先区域更新处理(S120)。

图7示出了非优先区域更新处理(120)的流程图。在此，首先，更新规定数据量的非优先区域的转换表(S121)。作为规定数据量例如考虑预先设定有更新转换表的任意的像素数。若更新了规定数据量，则确认非优先区域的更新未完成(S122：否)，还不是拍摄时刻(S123：否)，继续满足非优先区域的更新条件(S124：是)。在将这三个条件全部满足的情况下，再次更新规定数据量的优先区域的转换表(S121)。并且，如以下这样，在不满足这3个条件中的任意一个的情况下，返回至图4的鸟瞰图像生成处理。

关于第一个条件，在非优先区域的更新完成的情况下(S122：否)，已经不存在应更新的转换表，因此，在使非优先区域的未更新标志为无效后(S125)，返回至图4的鸟瞰图像生成处理。

关于第二个条件，在成为拍摄时刻的情况下(S123：是)，为了无延迟地向车载监视器3输出鸟瞰图像而返回至图4的鸟瞰图像生成处理。这里所说的拍摄时刻是在下一个鸟瞰图像生成处理中获取的拍摄图像的拍摄时刻。这样，设定中断非优先区域更新处理的时限，能够以备于下一拍摄图像的获取(S101)，之后也能够无延迟地向车载监视器3输出鸟瞰图像。需要说明的是，为了更加可靠地防止该延迟，在该S123的判断中，也可以设定为在比拍摄时刻靠前的时刻中断非优先区域更新处理。

关于第三个条件，该非优先区域的更新条件(S124)与在图4中示出的鸟瞰图像生成处理的S107判断的条件相同。换句话说，在开始非优先区域更新处理(S120)前，确认满足非优先区域的更新条件(S107：是)，且在非优先区域更新处理(S120)的执行中，也定期确认满足非优先区域的更新条件(S124：是)。并且，在非优先区域更新处理(S120)的执行中不再满足非优先区域的更新条件的情况下(S124：否)，即使非优先区域的更新尚未完成(S122：否)，未成为拍摄时刻(S123：否)，也返回至图4的鸟瞰图像生成处理。

在上述的第二个条件成为拍摄时刻的情况(S123：是)以及在第三个条件不满足非优先区域的更新条件的情况(S124：否)下，虽然返回至图4的鸟瞰图像生成处理，但非优先区域的更新尚未完成(S122：否)。因此，在之后的鸟瞰图像生成处理中，判断为非优先区域的未更新标志为有效(S103：是)，判断是否满足非优先区域的更新条件(S107)。然后，在完成非优先区域的更新(S122：是)并使非优先区域的未更新标志为无效(S125)之前，在确认满足非优先区域的更新条件(S107：是)的基础上，反复执行非优先区域更新处理(S120)。

在按照这样的处理顺序，反复执行图4的鸟瞰图像生成处理中在车载相机的安装产生了偏移的情况下，通过执行图6的优先区域更新处理和图7的非优先区域更新处理来更新转换表。下面，对转换表的更新过程中的鸟瞰图像的显示状态进行说明。

图8示出了与转换表的更新的进展状况相应的鸟瞰图像的状况。在图8的上段，在向右方向前进的时间轴上表示从检测出前方的车载相机2a的偏移到完成转换表整体的更新为止的进展状况。如上述那样，若检测出车载相机2a的偏移，则无间隔地更新优先区域的转换表，但是，在图8中例示了在检测出车载相机2a的偏移后，在更新优先区域的转换表之前的时刻A时的鸟瞰图像。需要说明的是，为了容易视觉确认转换表的更新状况，将在该附图中例示的鸟瞰图像的路面表示为石板路。

如图8所示，在时刻A时的鸟瞰图像中，在前方的车载相机2a的拍摄区域与左右的车载相机2b、2c的拍摄区域的边界线，在白线、石板路的显示上产生了偏移。在驾驶员看到映出这样的鸟瞰图像的车载监视器3的情况下，驾驶员是否注意到石板路的显示偏移，也基于注视车载监视器3的程度等，但存在对于白线的显示偏移，驾驶员一眼就注意到的顾虑。另外，从产生了白线的显示偏移的前方的拍摄区域，难以在鸟瞰图像上准确地检测出白线的位置。那样一来，也存在例如在车辆1被控制成维持车线的情况下，存在还给车线的检测带来妨碍的顾虑。因此，按照上述的处理顺序更新关于车载相机2a的转换表。

如上述那样，对于转换表，首先从优先区域更新。由于优先区域是在整体的转换表中连一半也不到的区域，因此，从检测出车载相机的偏移开始不久即结束(参照图8的上段)。之后，在上述的车速等规定条件下更新非优先区域的转换表，但图8所示的鸟瞰图像是在开始该非优先区域的转换表的更新前一刻的时刻B时的例示。

在图8中，像以由时刻B的鸟瞰图像中的虚线部包围的区域表示的那样，优先区域被设定在车辆1的左右的白线周边，该优先区域的转换表已经被更新，因此，在时刻A的鸟瞰图像时看到的白线的显示偏移被消除。

另一方面，由于非优先区域的转换表在该阶段尚未被更新，因此，在前方的车载相机2a拍摄到的区域显示的石板路的大部分依然保持产生了偏移的状态。但是对于驾驶员来说，容易注意到的白线的显示偏移已经被消除，对于检测白线的位置也没有妨碍。剩下的是石板路的显示偏移的问题，但认为这由于以下原因不会成为大的妨碍。如上述那样，在图8中，作为路面为石板路来图示，但实际上路面的大部分为柏油铺路面。柏油铺路与石板路相比，是外观一致的铺路面，因此，认为即使在图8的时刻B时的鸟瞰图像的阶段尚残留着路面的显示偏移，看到该鸟瞰图像的驾驶员也识别不到显示偏移。

如图8所示，在更新优先区域的转换表后，若满足规定条件，则更新非优先区域的转换表。如图8的上段所示，非优先区域的更新每次在拍摄时刻时被中断更新处理(S123：是)，在不满足非优先区域的更新条件的期间也被中断(S124：否)。由此，对于非优先区域的转换表的更新，若与从更新优先区域的转换表后(图8所指的时刻B)到转换表整体的更新完成时(图8所指的时刻C)为止的优先区域相比，需要一定程度较长的时间。

但是，如上述那样，在更新优先区域的转换表的时刻B的时刻，白线的显示偏移已经被消除，且不包括白线的路面部分的显示偏移不易显眼，因此，即使对于非优先区域的更新需要一些时间，也没有较大妨碍。

随着非优先区域的转换表的更新，在图8的时刻B所示出的非优先区域中产生的显示偏移也被依次消除，最终成为图8的时刻C所示的鸟瞰图像的状态。

图8例示出非优先区域的更新完成的时刻C时的鸟瞰图像。若处于非优先区域的转换表的更新完成，则转换表整体的更新完成。结果，在鸟瞰图像中，处于前方的拍摄区域与左右的拍摄区域的边界线的左右的白线、石板路的显示偏移被全部消除。

如上述那样，在本实施例中，由于对于包括白线这样的道路标识等的路面部分，外观几乎一致，所以通过着眼于即使在鸟瞰图像中产生一些显示偏移也不易显眼这样的情况，推迟非优先区域的更新。由此，将为了生成在鸟瞰图像中显示偏移显眼的范围而参照的转换表的区域设定为优先区域，将为了生成其它的显示偏移不显眼的范围而参照的转换表的区域设定为非优先区域即可。作为鸟瞰图像中显示偏移显眼的范围，能够列举白线、人行横道、停车线这样的道路标识等。在本实施例中，通过将为了生成在鸟瞰图像中显示白线的车辆1的左右两侧的周边范围而参照的转换表的区域设定为优先区域，在检测出车载相机的偏移的情况下，能够迅速地消除在车辆1的左右的白线的显示偏移。

B.变形例一：

在上述的本实施例中，对在相对于车辆1的车载相机2a的安装位置或者安装角度产生了偏移的情况下更新转换表进行了说明。但是，不限于相对于车辆1产生了偏移的情况，也能够对于相对于路面产生了偏移的情况更新转换表。因此，在本变形例中，对接收在以路面为基准的车载相机2a～2d的安装位置以及安装角度产生了偏移，更新转换表的情况进行说明。

图9A和图9B示出了车辆1向后倾斜的状况。图9A的以实线表示的车辆1是未倾斜的通常的状态。若体重较重的人乘坐在车辆1的后部座位，车辆1的重量的平衡从该状态发生变化，则如图9A的以虚线部表示，车辆1倾斜为后方下沉，前方上浮。相应地，安装于车辆1的车载相机2a～2d分别朝向图9A的以箭头表示的方向动作，因此，若车辆1向后倾斜，则产生以路面为基准的安装位置以及安装角度的偏移。

在此，考虑车辆1向后倾斜而在鸟瞰图像中产生的影响。在车辆1不倾斜的状态下，若参照适当地更新的转换表，则生成准确地反映拍摄到的实际的景色的鸟瞰图像。例如，若车辆1在笔直的车线行驶，则在此时的鸟瞰图像以与行进方向平行地沿一条直线延伸的方式显示处于车辆1的左右两侧的白线。

但是，若在车辆1倾斜的情况下，也参照车辆1倾斜前更新的旧的转换表，则生成与拍摄到的实际的景色不同的鸟瞰图像。在图9B示出了未准确地反映拍摄到的实际的景色而成为异常的显示的鸟瞰图像的例子。由应沿着车辆1的行进方向沿一条直线延伸的白线在车载相机2a～2d的拍摄区域的边界线错位显示的情况可知，拍摄到的实际的景色并未准确地反映。因此，在本变形例中，也与上述的本实施例同样地更新与车载相机2a～2d的各自的拍摄区域对应的转换表，消除白线的显示偏移。下面，以与本实施例不同的事项为重点进行说明。

作为开始转换表的更新的条件，在上述的本实施例中，判断出了检测出车载相机的偏移的情况(图4的S102：是)。但是，在本变形例中，由于相对于车辆1，车载相机2a～2d的安装位置以及安装角度未产生偏移，因此，不能够像使用图5说明的那样，基于拍车辆1(保险杠)的区域的变化来检测车载相机的偏移。

因此，在本变形例中，在从鸟瞰图像检测出与拍摄到的实际的景色不同的显示的情况下，判断为在以车载相机2a～2d的路面为基准的安装位置以及安装角度产生了偏移。若以图9B所示的例子进行说明，能够通过检测在车辆1的左右两侧应相互平行的白线不平行、左右的白线在宽度方向间断来检测车载相机2a～2d相对于路面的偏移。

也可以代替检测这样的鸟瞰图像的异常而使用高度传感器来检测车载相机2a～2d的偏移。需要说明的是，如图9A所示，车辆1倾斜并不限于装载重量的平衡的变化等一定程度的时间持续的情况，也存在由于因车辆1的加减速、路线变更等产生的负载变化而导致车辆1倾斜极短的时间的情况。因此，即使车辆1倾斜，若其为极短的时间，则也可以不变更转换表。

在此，若考虑更新的转换表的范围，则在上述的本实施例中，与在车载相机2a产生了偏移的情况对应地仅在相当于车载相机2a的拍摄区域的部分更新转换表。在本变形例中，如上文中使用图9A和图9B说明的那样，由于车辆1倾斜，对于车载相机2a～2d的任意一个拍摄区域均更新转换表。即使是该情况，也与在车载相机2a～2d中的任意一个车载相机产生了偏移的情况同样地考虑，能够按照各车载相机的拍摄区域独立地设定优先区域。但是，并不局限于此，也可以以如下方式设定优先区域。

即，本变形例的优先区域并非按照各车载相机2a～2d的拍摄区域而分开，而是以一体地处理车载监视器3所显示的鸟瞰图像整体的方式设定即可。若以图9B的例子进行说明，则像以车辆1的左右两个虚线部包围的区域表示的那样，不依赖于车载相机2a～2d的拍摄区域，在鸟瞰图像整体中遍及车辆1的前后设定优先区域。这样一来，消除进行的转换表的更新在拍摄区域的边界线中断的情况，能够更加迅速地消除白线的显示偏移。

并且，在本变形例中，也可以以如下方式设定优先区域。

参见图9B可知，在优先区域存在两个关闭的区域。也可以不对它们进行区分地更新转换表，但也可以将两个优先区域中的任意一方作为进一步优先更新的最优先区域来处理。例如，将车辆1的左侧的优先区域作为最优先区域更新其转换表，接下来更新车辆1的右侧的优先区域的转换表，然后，在与上述的本实施例同样的规定条件下更新其它的非优先区域的转换表。

这样一来，对于车辆1的左侧，能够更加迅速且准确地检测出白线的位置，因此，例如，在车辆1中进行车线维持等驾驶辅助控制时有利。

C.变形例二：

在上述的本实施例中说明的优先区域被预先设定为容易在车辆1的左右检测出白线的周边区域。在本变形例中，对根据需要变更优先区域的设定区域进行说明。

如在上文中使用图4说明的那样，在本实施例的鸟瞰图像生成处理中，若判断为检测出车载相机的偏移(S102：是)，则接下来执行优先区域更新处理(S110)。与此相对，在本变形例中，若判断为检测出车载相机的偏移(S102：是)，则开始图10所示的处理。

图10示出了用于进行优先区域的变更的处理的流程图。在此，首先，判断是否检测出白线(S131)。白线检测的对象可以根据在此时的鸟瞰图像生成处理的S101获取到的拍摄图像来获得，也可以根据在之前的鸟瞰图像生成处理的S104生成的鸟瞰图像来获得。

在未检测出白线的情况下(S131：否)，与上述的本实施例同样，开始图6的优先区域更新处理(S110)。

另一方面，在检测出白线的情况下(S131：是)，在判断优先区域的设定相对于检测出的白线的位置是否妥当后(S132)，在必要的情况下变更所设定的优先区域(S133)。对此，使用图11A以及图11B进行说明。

图11A以及图11B示出了变更优先区域的状况。车辆1并不总是沿着白线行驶，例如在路线变更时，如图所示，存在横穿白线的情况。此时，若与上述的本实施例同样，在车辆1的左右设置优先区域(图11A的以虚线包围的区域)，则由于优先区域不处于与白线的显示范围对应的位置，因此，即使更新优先区域的转换表，白线的显示偏移也不被消除。在这样的情况下，判断为相对于检测出的白线的位置，优先区域的设定不妥当(S132：否)。

因此，如图11B所示，以检测出的白线收纳于优先区域的方式变更优先区域的设定(S133)。这样一来，能够在更新转换表时，更加可靠地消除白线的显示偏移。

在每当变更优先区域的设定时，并不限于像上述那样变更其位置，也可以变更该区域的广度。例如，在车辆1的行驶速度较大时，鸟瞰图像中的显示白线的位置频繁变动。若在这时将优先区域设定得较宽，则容易更加可靠地将白线收纳在优先区域。

反之，也可以在车辆1的行驶速度越大时，将优先区域设定为越窄，行驶速度越小，将优先区域设定得越宽。这是考虑到在车辆1的行驶速度越大时，为了鸟瞰图像的生成以及显示而需要较多的CPU的处理能力的设定。

至此，对于在鸟瞰图像中显示白线的周边范围对应地设定优先区域的情况进行了说明。但是，对于优先区域，能够不限于显示白线的周边范围地进行设定。例如，除白线外，对于将人行横道、停车线这样的道路标识整体作为对象，与在上述的本实施例中说明的相同。人行横道、停车线等道路标识在车辆1行驶时，在鸟瞰图像中显示的位置不确定，时刻变化。因此，如本变形例那样，每当更新转换表时，设定优先区域即可。这样，能够更加可靠地，与在鸟瞰图像中显示位置时刻变化的道路标识的周边对应地设定优先区域。

并且，并不局限于道路标识，也能够与显示车辆、步行者、障碍物等显示于鸟瞰图像的所希望的观测对象的周边范围对应地设定优先区域。例如，为了执行避免碰撞、前行车辆追踪等驾驶辅助功能，在从鸟瞰图像中检测先行车的情况下，若与该先行车的显示范围对应地设定优先区域，则在更新转换表时，能够更加迅速地恢复先行车的检测精度。像这样执行S131～S133的图像生成装置10与第一区域变更部的一个例子对应。

D.变形例三：

在此，对关于非优先区域的更新条件的变形例进行说明。在上述的本实施例中说明的非优先区域的更新条件(图4的处理S107)从确保CPU的处理能力的观点考虑，在车辆1的行驶速度比40km/h大时不更新非优先区域的转换表。但是，非优先区域的更新条件不限于此。

例如，也可以还包括为了其它的应用程序的执行而占有的处理时间，监视图像生成装置10的执行程序的CPU的使用率，在该CPU的使用率比规定值高时，不更新非优先区域的转换表。

另外，也能够为在车速为10km/h以下时更新非优先区域的转换表，在比10km/h大时不更新非优先区域的转换表。虽然如利用图8在上文中说明的那样，在非优先区域产生的显示偏移不易显眼，但在车辆1的速度小至相当程度时，认为为了停车而注视车载监视器3的可能性以一定程度较高。另外，从在停车时，白线(停车位置的划分线)的显示位置变化较大考虑，也存在迅速地更新鸟瞰图像整体的转换表的必要性。

另外，在车辆1的变速机进入倒车档时，同样，认为为了停车而注视车载监视器3的可能性以一定程度较高，因此，也可以更新非优先区域的转换表。

另外，若处于在非优先区域不显示白线而仅显示柏油铺路面的状况，则可以说紧急更新非优先区域的转换表的必要性较低。因此，在持续规定时间检测车辆1的左右两侧的白线时，根据操舵角等信息，车辆1前进时，也可以不更新非优先区域的转换表。

另外，同样考虑，在车辆1在高速道路行驶时，在非优先区域几乎只有柏油铺路面一致显示。因此，在根据GPS信息等判断为车辆1在高速道路等汽车专用道路行驶时，也能够不进行非优先区域的更新。

并且，也可以结合上述的更新条件综合地进行判断。

本公开依据实施例进行描述，理解为本公开并不局限于该实施例、构造。本公开也包括各种变形例、等同范围内的变形。除此之外，各种组合、方式、以及在它们仅包括一要素、其以上、或者其以下的其它的组合、方式也在本公开的范畴、思想范围内。