图像处理装置、图像处理方法、以及程序与流程

本国际申请要求于2016年3月22日在日本专利局提交的日本专利申请第2016－056975号的优先权，并通过参照在此引用其全部内容。

本公开涉及图像处理装置、图像处理方法、以及程序。

背景技术

已知有以下那样的图像处理装置。图像处理装置使用安装于车辆的照相机，隔着时间差获取多个车辆的周边的图像。图像处理装置将多个图像中的每一个图像转换为鸟瞰图图像。图像处理装置从车载网络获取表示车辆的运行情况的车辆信号。图像处理装置基于车辆信号，决定多个鸟瞰图图像的位置关系。图像处理装置按照如上述那样决定的位置关系配置多个鸟瞰图图像而生成合成图像。这样的图像处理装置公开在下述专利文献1。

专利文献1：日本专利第4156214号公报

发明者的详细研究的结果发现了以下的课题。从车载网络获取的车辆信号延迟。在车辆的运行情况不恒定的情况下，若使用延迟的车辆信号利用上述的方法生成合成图像，则在合成图像与实际状况之间产生偏差。

技术实现要素：

优选本公开的一方面能够提供能够抑制合成图像与实际状况之间的偏差的图像处理装置、图像处理方法、以及程序。

本公开的一方面中的图像处理装置具备：图像获取单元，其构成为使用安装于车辆的照相机，隔着时间差获取多个车辆的周边的图像；转换单元，其构成为将多个图像中的每一个图像转换为鸟瞰图图像而生成多个鸟瞰图图像；信号获取单元，其构成为在图像获取单元获取图像时，从车载网络获取表示车辆的运行情况的车辆信号；位置决定单元，其构成为使用由信号获取单元获取的车辆信号，决定多个鸟瞰图图像的位置关系；以及合成单元，其构成为生成按照由位置决定单元决定的位置关系配置了多个鸟瞰图图像的至少一部分的合成图像。

本公开的一方面中的图像处理装置还具备：预测单元，其构成为使用由信号获取单元获取的车辆信号的相对于时间的变化，预测车载网络的信号延迟时间之前的时刻的车辆的车速；以及停止判断单元，其构成为在由预测单元预测出的车速在预先设定的阈值以下的情况下，通过对使用照相机在不同的时刻获取的多个图像进行对比，来判断车辆是否停止。位置决定单元构成为在停止判断单元判断为车辆停止的情况下，决定车辆停止的情况下的位置关系。

根据本公开的一方面中的图像处理装置，即使在车辆的运行情况不恒定的情况下，也能够抑制合成图像与实际状况之间的偏差。

本公开的其它方面中的图像处理方法使用安装于车辆的照相机，隔着时间差获取多个车辆的周边的图像，将多个图像中的每一个图像转换为鸟瞰图图像而生成多个鸟瞰图图像，在使用照相机获取图像时，从车载网络获取表示车辆的运行情况的车辆信号，使用车辆信号，决定多个鸟瞰图图像的位置关系，并生成按照上述位置关系配置了多个鸟瞰图图像的至少一部分的合成图像。

本公开的其它方面中的图像处理方法还使用车辆信号的相对于时间的变化，预测车载网络的信号延迟时间之前的时刻的车辆的车速，并在预测出的车速在预先设定的阈值以下的情况下，通过对使用照相机在不同的时刻获取的多个图像进行对比，来判断车辆是否停止，在判断为车辆停止的情况下，决定车辆停止的情况下的位置关系。

根据本公开的其它方面中的图像处理方法，即使在车辆的运行情况不恒定的情况下，也能够抑制合成图像与实际状况之间的偏离。

此外，权利要求书所记载的括号内的附图标记表示出与作为一个方式后述的实施方式所记载的具体单元的对应关系，并不对本公开的技术范围进行限定。

附图说明

图1是表示图像处理装置的构成的框图。

图2是表示图像处理装置的功能构成的框图。

图3是表示本车辆中的照相机以及显示器的配置的说明图。

图4是表示图像处理装置执行的处理的流程图。

图5是表示预测在当前时刻的时刻t之前δt的时刻的本车辆的车速的方法的说明图。

图6是表示生成当前时刻的合成图像g(i)的方法的说明图。

图7是表示在移动量δx为0的情况下，生成当前时刻的合成图像g(i)的方法的说明图。

图8是表示显示器的显示例的说明图。

图9是表示对图像p(i)与图像p(i－1)进行对比的方法的说明图。

图10是表示本车辆、杆、以及停止线的说明图。

图11是表示从停止时刻开始δt后的合成图像，且为一直基于车辆信号生成移动量δx的情况下的合成图像的说明图。

图12是表示在从停止时刻开始δt后，图像处理装置生成的合成图像g(i)的说明图。

图13是表示基于物标的位置对图像p(i)与图像p(i－1)进行对比的方法的说明图。

具体实施方式

基于附图对本公开的实施方式进行说明。

＜第一实施方式＞

1.图像处理装置1的构成

基于图1～图3对图像处理装置1的构成进行说明。图像处理装置1是安装于车辆的车载装置。以下，将安装图像处理装置1的车辆作为本车辆。图像处理装置1具备具有cpu3、和ram、rom、闪存等半导体存储器(以下，作为存储器5)的微型计算机。通过由cpu3执行储存于非瞬态有形记录介质的程序来实现图像处理装置1的各种功能。在该例子中，存储器5相当于储存有程序的非瞬态有形记录介质。另外，通过该程序的执行，与程序对应的方法被执行。此外，图像处理装置1既可以具备一个微型计算机，也可以具备多个微型计算机。

如图2所示，图像处理装置1具备图像获取单元7、转换单元9、信号获取单元11、位置决定单元13、合成单元15、预测单元17、停止判断单元19、以及显示单元20，作为通过由cpu3执行程序而实现的功能构成。实现图像处理装置1所包含的这些要素的方法并不限定于软件，也可以使用组合了逻辑电路、模拟电路等硬件实现其一部分或者全部的要素。

本车辆除了图像处理装置1之外，还具备照相机21、显示器23、以及车载网络25。如图3所示，照相机21安装在本车辆27的后部。照相机21拍摄从本车辆27观察处于后方的风景，并生成图像。本车辆的后方对应于本车辆的周边。

在从上方观察本车辆27时，照相机21的光轴29与本车辆27的前后轴平行。另外，光轴29具有俯角。在以本车辆27为基准时，光轴29一直恒定。因此，若没有本车辆27的倾斜，且道路平坦，则照相机21拍摄到的图像所包含的范围31相对于本车辆27一直处在恒定的位置。在范围31包含路面。

如图3所示，显示器23设在本车辆27的车厢内。本车辆27的驾驶员能够视觉确认显示器23。显示器23被图像处理装置1控制，显示图像。

车载网络25与图像处理装置1连接。图像处理装置1能够从车载网络25获取表示本车辆的运行情况的车辆信号。具体而言，车辆信号是表示本车辆的车速的信号。作为车载网络25，例如能够列举can(注册商标)。

通过车载网络25发送的车辆信号延迟了信号延迟时间δt。即，图像处理装置1在时刻t从车载网络25获取的车辆信号是表示时刻(t－δt)的本车辆的运行情况的车辆信号。信号延迟时间δt是车载网络25固有的正的值，是已知的值。

2.图像处理装置1执行的图像处理

基于图4～图9对图像处理装置1以恒定的周期i反复执行的图像处理进行说明。周期i的单位是时间。以下，可以将执行一次图4所示的处理称为一个周期。

在图4的步骤1中，图像获取单元7使用照相机21获取一个图像。此外，图像处理装置1以恒定的周期i反复进行循环。因此，图像获取单元7隔着相当于周期i的时间差，获取多个图像。例如，图像获取单元7在时刻t0执行的周期中获取第一图像，在时刻(t0+i)执行的周期中获取第二图像，在时刻(t0+2i)执行的周期中获取第三图像，在时刻(t0+3i)执行的周期中获取第四图像。

在步骤2中，信号获取单元11从车载网络25获取车辆信号。此外，各周期将本步骤2与上述步骤1一起包含，所以在图像获取单元7获取图像时，信号获取单元11获取车辆信号。

在步骤3中，信号获取单元11将在上述步骤2获取的车辆信号与获取该车辆信号的时刻建立关联并存储于存储器5。

在步骤4中，转换单元9将在这次的周期的上述步骤1获取的图像转换为鸟瞰图图像。作为转换为鸟瞰图图像的方法，能够使用公知的方法。作为转换为鸟瞰图图像的方法的例子，例如能够使用日本特开平10－211849号公报所记载的方法等。

此外，图像处理装置1按照周期反复执行步骤4的处理。转换单元9每次进行步骤4的处理，都将在相同的周期的上述步骤1获取的图像转换为鸟瞰图图像。由此，转换单元9将在上述步骤1获取的多个图像中的每一个图像转换为鸟瞰图图像。转换单元9将鸟瞰图图像存储于存储器5。

在步骤5中，判断开始合成图像的生成的定时是否已经到来。开始合成图像的生成的定时是指从在上述步骤4第一次存储鸟瞰图图像开始，本车辆移动了预先设定的距离的定时。在开始合成图像的生成的定时已经到来的情况下进入步骤6，在除此以外的情况下结束本处理。

在步骤6中，预测单元17如以下那样，预测在当前时刻的时刻t之前δt的时刻的本车辆的车速。

首先，预测单元17读出在这次的周期的上述步骤3以及此前的周期的上述步骤3存储的车辆信号。如上述那样，车辆信号表示本车辆的车速。接下来，如图5所示，预测单元17将读出的车辆信号曲线化为纵轴为车速，横轴为获取车辆信号的时刻的图表。

接下来，预测单元17使用该图表所示的车速的相对于时间的变化，计算表示获取车辆信号的时刻与车速的关系的近似曲线33。近似曲线33既可以是与时刻相关的一次函数，也可以是二次函数，也可以是三次函数。接下来，预测单元17使用近似曲线33，预测在当前时刻的时刻t之前δt的时刻的本车辆的车速。

在步骤7中，停止判断单元19判断在上述步骤62预测出的车速是否在预先设定的阈值以下。在预测出的车速超过阈值的情况下进入步骤8，在预测出的车速在阈值以下的情况下进入步骤12。

在步骤8中，计算从上一次的周期到这次的周期为止的期间的本车辆的移动量δx。移动量δx是将在这次的周期的上述步骤2获取的车辆信号所表示的车速与周期i相乘后的值。例如，在车速为60km/h，周期i为33msec的情况下，δx为0.55m。

在步骤9中，如以下那样，合成单元15生成合成图像。合成单元15在上一次以前的周期已经开始合成图像的生成的情况下，读出在上一次的周期的步骤10存储于存储器5的合成图像的内容、以及合成图像的位置。合成图像的位置是指显示在显示器23上时的位置。另外，在这次的周期开始合成图像的生成的情况下，不进行合成图像的读出。

图6示出读出的合成图像的例子。在图6中，合成图像g(i－1)是在上一次的周期中生成并存储的合成图像。合成图像g(i－1)例如是组合了鸟瞰图图像tv(i－1)、tv(i－2)、tv(i－3)、以及tv(i－4)的图像。tv(i－1)是指在(n+1)次前的周期的步骤4生成的鸟瞰图图像，tv(i－2)是指在(n+2)次前的周期的步骤4生成的鸟瞰图图像，tv(i－3)是指在(n+3)次前的周期的步骤4生成的鸟瞰图图像，tv(i－4)是指在(n+4)次前的周期的步骤4生成的鸟瞰图图像。n是1以上的自然数，是恒定的数。

此外，该合成图像g(i－1)通过以下的经过生成。首先，在四次前的周期的步骤9中，生成由鸟瞰图图像tv(i－4)构成的合成图像g(i－4)。接下来，在三次前的周期的步骤9中，对合成图像g(i－4)添加鸟瞰图图像tv(i－3)，生成合成图像g(i－3)。接下来，在两次前的周期的步骤9中，对合成图像g(i－3)添加鸟瞰图图像tv(i－2)，生成合成图像g(i－2)。接下来，在上一次的周期的步骤9中，对合成图像g(i－2)添加鸟瞰图图像tv(i－1)，生成合成图像g(i－1)。

接下来，合成单元15使合成图像g(i－1)的位置向与本车辆的行进方向d相反的方向移动kδx。kδx是将常数k与移动量δx相乘后的值。常数k是像素间距。像素间距的单位为m/pix。

接下来，合成单元15将与合成图像g(i－1)所包含的最新的鸟瞰图图像tv(i－1)相比在后一次的周期中生成的鸟瞰图图像tv(i)添加到合成图像g(i－1)，生成这次的周期的合成图像g(i)。例如，在tv(i－1)是在(n+1)次前的周期的步骤4生成的鸟瞰图图像的情况下，tv(i)是在n次前的周期的步骤4生成的鸟瞰图图像。

新添加的鸟瞰图图像tv(i)的位置一直恒定。由此，根据kδx决定鸟瞰图图像tv(i)与鸟瞰图图像tv(i－1)、tv(i－2)、tv(i－3)、以及tv(i－4)的位置关系。即，kδx与多个鸟瞰图图像的位置关系对应。

鸟瞰图图像tv(i)的位置是与鸟瞰图图像tv(i－1)相比向方向d侧偏移kδx后的位置。在鸟瞰图图像tv(i)与合成图像g(i－1)具有重复的区域的情况下，该重复的区域的合成图像g(i)的内容是鸟瞰图图像tv(i)的内容。

合成图像g(i)的上下方向上的长度有恒定的上限值。到合成图像g(i)的上下方向上的长度达到上限值为止，即使添加鸟瞰图图像tv(i)，也不删除旧的鸟瞰图图像。

另一方面，在添加鸟瞰图图像tv(i)的结果是合成图像g(i)的上下方向上的长度超过上限值的情况下，删除合成图像g(i)所包含的鸟瞰图图像中最旧的图像。在图6所示的例子中，删除鸟瞰图图像tv(i－4)。

在后述的步骤14中，在移动量δx为0的情况下，如图7所示，合成图像g(i－1)的位置不移动。合成图像g(i－1)中的鸟瞰图图像tv(i－1)的位置与追加的鸟瞰图图像tv(i)的位置相同。由此，鸟瞰图图像tv(i－1)与鸟瞰图图像tv(i)在它们的整体重复。合成图像g(i)是以鸟瞰图图像tv(i)置换合成图像g(i－1)中的鸟瞰图图像tv(i－1)的部分后的合成图像。

在步骤10中，合成单元15将在上述步骤9生成的合成图像g(i)的内容、以及位置存储于存储器5。

在步骤11中，显示单元20将包含在上述步骤9生成的合成图像g(i)的图像显示于显示器23。该显示例如图8所示。合成图像g(i)显示在显示器23中的左侧中段。在图8中显示为“行进方向的图像”的区域是显示照相机21的实时的图像的区域。显示为“实际图像”的区域是显示在这次的周期的上述步骤4生成的鸟瞰图图像的区域。显示为“空白”的区域是不显示任何图像的区域。

此外，显示器23中的左上的区域是显示转换使用前置照相机获取的图像而成的鸟瞰图图像的区域。图8是在本车辆后退时显示的图像。在本车辆后退时，不使用前置照相机。因此，在图8中，在显示器23的左上的区域成为“空白”。在本车辆前进时，在显示器23的左上的区域显示转换使用前置照相机获取的图像而成的鸟瞰图图像。

在上述步骤7做出肯定判断的情况下进入步骤12。在步骤12中，停止判断单元19对在这次的周期的上述步骤1获取的图像p(i)与在上一次的周期的上述步骤1获取的图像p(i－1)进行对比。图像p(i)以及图像p(i－1)与使用照相机21在不同的时刻获取的多个图像对应。

如以下那样进行对比。如图9所示，对图像p(i)与图像p(i－1)中的同一坐标的像素彼此进行对比，计算它们的亮度、颜色等的差。对图像p(i)以及图像p(i－1)中的所有像素进行该处理，计算作为整个图像的差。

在步骤13中，停止判断单元19基于在上述步骤12的对比结果，判断本车辆是否停止。即，若在上述步骤12计算出的作为整个图像的差在预先设定的阈值以下，则判断为本车辆停止，在除此以外的情况下，判断为本车辆未停止。在判断为本车辆停止的情况下进入步骤14，在判断为本车辆未停止的情况下进入上述步骤8。

在步骤14中，使移动量δx为0。移动量δx为0与本车辆停止对应。然后，进入上述步骤9。

3.图像处理装置1起到的效果

(1a)图像处理装置1预测信号延迟时间δt之前的时刻的本车辆的车速。然后，图像处理装置1在预测出的车速在预先设定的阈值以下的情况下，通过对使用照相机21在不同的时刻获取的多个图像进行对比，来判断本车辆是否停止。并且，图像处理装置1在判断为本车辆停止的情况下，使移动量δx为0。

由此，即使在本车辆的运行情况变化的情况下，也能够抑制合成图像与实际状况的偏差。结合图10～图12所示的例子对该效果进行说明。

如图10所示，本车辆27在左右两侧的杆35之间后退，并在停止线37的近前停止。即，本车辆27的运行情况从后退的状态变化为停止状态。图像处理装置1在本车辆27后退时、以及停止时，反复生成合成图像，并显示于显示器23。

假设不进行上述步骤6、7、12、13、14中的处理，一直在上述步骤8计算移动量δx的情况。该情况下，从本车辆27在停止线37的近前停止的时刻(以下，作为停止时刻)开始δt后的时刻的合成图像如图11所示。在该合成图像中，杆35中距离停止线37最近的杆35a的位置与实际的位置39相比显示在上侧。即，合成图像与实际状况发生偏差。

这是由于以下的理由。图像处理装置1获取回溯信号延迟时间δt的时刻的车辆信号。由此，从停止时刻到δt后的时刻为止的期间的车辆信号是表示本车辆27还在持续后退时的车速的车辆信号。即，图像处理装置1在从停止时刻到δt后的时刻的期间，虽然实际上本车辆27停止，却获取表示后退时的车速的车辆信号。因此，在从停止时刻开始δt后的时刻计算出的移动量δx成为比实际大的值。

而且，如图6所示，在从停止时刻开始δt后的时刻生成合成图像g(i)时，合成图像g(i－1)与实际相比较大地向上方移动。其结果，如图11所示，合成图像g(i－1)所示出的杆35a向上侧移动，在合成图像g(i)中，与实际的位置39相比显示在上侧。此外，图11以及后述的图12中的本车辆27是通过计算机图形显示的图像。

另一方面，图像处理装置1在停止时刻以后，通过在上述步骤7进行肯定判断，并在上述步骤13进行肯定判断，能够使移动量δx为0。而且，图像处理装置1在生成从停止时刻开始δt后的时刻的合成图像g(i)时，如图7所示，不使合成图像g(i－1)移动。其结果，如图12所示，合成图像g(i－1)所示出的杆35a不向上侧移动，在合成图像g(i)中，正确地显示在实际的位置39。即，抑制合成图像与实际状况的偏差。

(1b)图像处理装置1获取的车辆信号表示本车辆的车速。因此，移动量δx的计算容易。

(1c)图像处理装置1通过对多个图像中的同一坐标的像素彼此进行对比，判断本车辆是否停止。由此，能够容易并且正确地判断本车辆是否停止。

＜第二实施方式＞

1.与第一实施方式的不同点

第二实施方式的基本构成与第一实施方式相同，所以对共同的构成省略说明，并以不同点为中心进行说明。此外，与第一实施方式相同的附图标记表示相同的构成，参照先前的说明。

在上述步骤12中，停止判断单元19利用以下的方法对图像p(i)与图像p(i－1)进行对比。

如图13所示，停止判断单元19在图像p(i)以及图像p(i－1)的各个图像中，识别同一物标41。物标41的识别能够使用公知的图像识别技术。作为物标41，优选为相对于地球不移动的物标。作为那样的物标，例如能够列举白线、建筑物、结构物等。能够根据两者的形状、大小、颜色等的相似性来判断在图像p(i)识别出的物标与在图像p(i)识别出的物标是否相同。

接下来，停止判断单元19对在图像p(i)识别出的物标41的位置与在图像p(i－1)识别出的物标41的位置进行对比，计算它们的距离。

在上述步骤13中，停止判断单元19基于在上述步骤12的对比结果，判断本车辆是否停止。即，若在上述步骤12计算出的距离在预先设定的阈值以下，则判断为本车辆停止，在除此以外的情况下，判断为本车辆未停止。在判断为本车辆停止的情况下进入步骤14，在判断为本车辆未停止的情况下进入上述步骤8。

2.图像处理装置1起到的效果

根据以上详述的第二实施方式，除了上述的第一实施方式的效果(1a)、(1b)之外，还能够得到以下的效果。

(2a)图像处理装置1在图像p(i)以及图像p(i－1)的各个图像中，识别同一物标41。然后，图像处理装置1通过对图像p(i)以及图像p(i－1)中的物标41的位置进行对比，来判断本车辆是否停止。由此，能够容易并且正确地判断本车辆是否停止。

＜其它的实施方式＞

以上，对用于实施本公开的方式进行了说明，但本公开并不限定于上述的实施方式，能够进行各种变形来实施。

(1)照相机21也可以安装在本车辆27的前端。在该情况下，图像处理装置1能够使用照相机21，获取拍摄了本车辆的前方的图像。本车辆的前方与本车辆的周边对应。图像处理装置1能够使用拍摄了本车辆的前方的图像生成合成图像。

(2)车辆信号也可以是表示本车辆的位置、或者本车辆的移动量的信号。例如，车辆信号也可以是表示从脉冲计数器的值、本车辆的行进方向、以及本车辆的转向角中选择的至少一个的信号。

(3)在上述步骤12进行对比的图像也可以是鸟瞰图图像。

(4)也可以通过多个构成要素实现上述实施方式中的一个构成要素具有的多个功能，或者通过多个构成要素实现一个构成要素具有的一个功能。另外，也可以通过一个构成要素实现多个构成要素具有的多个功能，或者通过一个构成要素实现由多个构成要素实现的一个功能。另外，也可以省略上述实施方式的构成的一部分。另外，也可以将上述实施方式的构成的至少一部分附加给或者置换为其它的上述实施方式的构成。此外，仅根据权利要求书所记载的语句确定的技术思想所包含的所有方式都是本公开的实施方式。

(5)除了上述的图像处理装置之外，也能够以将该图像处理装置作为构成要素的系统、用于使计算机作为该图像处理装置发挥作用的程序、记录了该程序的半导体存储器等非瞬态有形记录介质、图像处理方法等各种方式实现本公开。