图像处理装置、图像处理方法以及程序与流程

本国际申请要求基于在2016年4月26日向日本专利厅申请的日本专利申请第2016-088203号的优先权，并将日本专利申请第2016-088203号的全部内容通过参照纳入本国际申请中。

本公开涉及图像处理装置、图像处理方法以及程序。

背景技术

以往，已知使用车载相机获取车辆的周边的图像并使用该图像进行各种处理的技术。例如，已知在获取到的图像中识别车道标志(lanemarker)的技术。

另外，已知如下的图像处理。首先，使用车载相机，隔开时间差将车辆的周边的图像获取多个。接下来，将多个图像分别转换为鸟瞰图图像。接下来，对多个鸟瞰图图像进行合成来制作合成图像。在专利文献1中公开了这样的图像处理。

专利文献1：日本专利第4156214号公报

发明人经过详细研究后，发现了以下的课题。有在使用车载相机获取的图像中，存在亮度比周围低的区域、亮度比周围高的区域的情况。作为亮度比周围低的区域，例如有车辆的阴影的区域。另外，作为亮度比周围高的区域，例如有前照灯等的照明光所照射的区域等。在使用车载相机获取的图像中存在亮度比周围低的区域、亮度比周围高的区域的情况下，存在不能合理进行使用图像的处理的情况。

技术实现要素：

本公开的一个方面优选提供一种能够判断在使用相机获取的图像中是否存在亮度比周围低的区域、亮度比周围高的区域的图像处理装置、图像处理方法以及程序。

作为本公开的一个方式的图像处理装置具备：图像获取单元，使用搭载于车辆的至少一个相机，获取表示相对于车辆处于第一相对位置的区域的第一图像以及表示处于第二相对位置的区域的第二图像，其中，第二相对位置位于比第一相对位置靠车辆的行进方向侧；以及判断单元，通过对第一图像和比第一图像获取得早且表示与第一图像重叠的区域的第二图像对比亮度和/或规定的颜色成分的强度，判断在第一图像中是否存在亮度比周围高或者亮度比周围低的特定区域。

根据本公开的一个方式的图像处理装置，能够容易判断在第一图像内是否存在亮度比周围高或者亮度比周围低的特定区域。

作为本公开的另一方式的图像处理方法使用搭载于车辆的相机，获取表示相对于车辆处于第一相对位置的区域的第一图像以及表示处于第二相对位置的区域的第二图像，其中，第二相对位置位于比第一相对位置靠车辆的行进方向侧；以及通过对第一图像和比第一图像获取得早且表示与第一图像重叠的区域的第二图像对比亮度和/或规定的颜色成分的强度，判断在第一图像中是否存在亮度比周围高或者亮度比周围低的特定区域。

根据作为本公开的另一方式的图像处理方法，能够容易判断在第一图像内是否存在亮度比周围高或者亮度比周围低的特定区域。

此外，权利要求书所记载的括号内的附图标记表示与在作为一个方式后述的实施方式中记载的具体单元的对应关系，并不对本公开的技术范围进行限定。

附图说明

图1是表示图像处理装置的结构的框图。

图2是表示图像处理装置的功能性结构的框图。

图3是表示前相机、后相机、第一相对位置、第二相对位置的位置关系的说明图。

图4是表示图像处理装置以一定的周期反复执行的图像处理的流程图。

图5是表示本车辆、第一相对位置、第二相对位置、第一图像、第二图像的位置关系的说明图。

图6是表示本车辆、第一相对位置、第二相对位置、第一图像、第二图像、第二合成图像的位置关系的说明图。

图7是表示本车辆、第一相对位置、第二相对位置、第一图像、第二图像、第一合成图像的位置关系的说明图。

图8是表示图像处理装置的结构的框图。

图9是表示图像处理装置的功能性结构的框图。

图10是表示图像处理装置以一定的周期反复执行的图像处理的流程图。

图11是表示本车辆、第二相对位置、第二图像、鸟瞰图图像的位置关系的说明图。

图12是表示本车辆、第二相对位置、第二图像、第二合成图像的位置关系的说明图。

图13是表示图像处理装置的功能性结构的框图。

图14是表示图像处理装置以一定的周期反复执行的图像处理的流程图。

具体实施方式

基于附图对本公开的实施方式进行说明。

＜第一实施方式＞

1.图像处理装置1的结构

基于图1～图3对图像处理装置1的结构进行说明。图像处理装置1是搭载于车辆的车载装置。以下，将搭载图像处理装置1的车辆作为本车辆。图像处理装置1以具有cpu3、ram、rom、闪存等半导体存储器(以下为存储器5)的公知的微型计算机为中心而构成。图像处理装置1的各种功能通过cpu3执行非易失性实体记录介质中储存的程序来实现。在本例中，存储器5相当于储存有程序的非易失性实体记录介质。另外，通过该程序的执行，执行与程序对应的方法。此外，构成图像处理装置1的微型计算机的数量可以是一个也可以是多个。

图像处理装置1作为通过cpu3执行程序来实现的功能性结构，如图2所示，具备图像获取单元7、车辆信号处理单元9、判断单元11、转换单元12、合成单元13、显示停止单元15以及显示单元17。实现构成图像处理装置1的这些元件的方法并不限于软件，也可以将其一部分或者全部的元件使用组合逻辑电路、模拟电路等而成的硬件来实现。

本车辆除了图像处理装置1以外，还具备前相机19、后相机21、显示器23以及车载网络25。如图3所示，前相机19搭载于本车辆27的前部。前相机19对从本车辆27来看处于前方的风景进行拍摄，并制作图像。另外，后相机21搭载于本车辆27的后部。后相机21对从本车辆27来看处于后方的风景进行拍摄，并制作图像。

在从上方观察本车辆27时，前相机19的光轴29以及后相机21的光轴31与本车辆27的前后轴平行。另外，光轴29以及光轴31具有俯角。在以本车辆27为基准时，光轴29以及光轴31一直是固定的。因此，若本车辆27未倾斜且道路平坦，则由前相机19拍摄的图像所包含的范围33以及由后相机21拍摄的图像所包含的范围35相对于本车辆27一直处于固定的位置。范围33、35中包含路面。

将范围33中接近本车辆27的部分设为第一相对位置37，将与第一相对位置37相比远离本车辆27的部分设为第二相对位置39。在本车辆27的行进方法是前方的情况下，第二相对位置39位于比第一相对位置37靠行进方向侧。第一相对位置37以及第二相对位置39分别具有一定的大小。

将范围35中接近本车辆27的部分设为第一相对位置41，将与第一相对位置41相比远离本车辆27的部分设为第二相对位置43。在本车辆27的行进方法是后方的情况下，第二相对位置43位于比第一相对位置41靠行进方向侧。第一相对位置41以及第二相对位置43分别具有一定的大小。

如图3所示，显示器23设置于本车辆27的车厢内。本车辆27的驾驶员能够视觉确认显示器23。显示器23被图像处理装置1控制而显示图像。

车载网络25与图像处理装置1连接。图像处理装置1能够从车载网络25获取表示本车辆的驾驶状况的车辆信号。具体而言，车辆信号是表示本车辆的车速的信号。作为车载网络25，例如可举出can(注册商标)。

2.图像处理装置1所执行的图像处理

基于图4～图7对图像处理装置1以一定的周期i反复执行的图像处理进行说明。周期i的单位是时间。以下，有将执行一次图4所示的处理称为1个循环的情况。

此外，在这里以本车辆后退的情况为例进行说明。本车辆前进的情况下的处理除了使用由前相机19获取的图像来代替由后相机21获取的图像的点以外也是相同的。

在图4的步骤1中，图像获取单元7使用前相机19以及后相机21获取图像。

在步骤2中，车辆信号处理单元9从车载网络25获取车辆信号。

在步骤3中，车辆信号处理单元9将在上述步骤2中获取的车辆信号与获取该车辆信号的时刻建立关联地存储至存储器5。

在步骤4中，转换单元12将在上述步骤1中获取的图像转换为鸟瞰图图像。作为转换为鸟瞰图图像的方法，能够使用公知的方法。作为转换为鸟瞰图图像的方法的例子，例如能够使用日本特开平10-211849号公报所记载的方法等。

在步骤5中，转换单元12将在上述步骤4中经转换的鸟瞰图图像存储至存储器5。

在步骤6中，如图5所示，图像获取单元7获取是在上述步骤4中制作的鸟瞰图图像40的一部分的、表示处于第一相对位置41的区域的图像(以下，作为第一图像45)。第一图像45是表示在后相机21进行了拍摄的时间点，处于第一相对位置41的区域的图像。此外，图5中的d表示本车辆27的行进方向。图5中的行进方向d是本车辆27后退的方向。图5中的f表示本车辆27的前端，r表示本车辆27的后端。

在步骤7中，合成单元13通过以下的方法制作图6所示的第二合成图像47。

如图5所示，将是在上述步骤4中制作的鸟瞰图图像40的一部分的、表示处于第二相对位置43的区域的图像作为第二图像49。第二图像49是表示在后相机21进行了拍摄的时间点，处于第二相对位置43的区域的图像。以下，将第二图像49中在本次的周期中制作的图像记作49(i)，将在前j次的周期中制作的图像记作49(i-j)。j是1以上的自然数。

合成单元13计算第二图像49(i-j)所表示的区域的位置。第二图像49(i-j)所表示的区域的位置是以本车辆27为基准的相对位置。第二图像49(i-j)所表示的区域的位置是从第二图像49(i)所表示的区域的位置向与方向d相反的方向移动δxj后的位置。第二图像49(i)所表示的区域的位置等于当前时刻的第二相对位置43。

δxj是指本车辆27从制作出第二图像49(i-j)的时间点到当前时刻沿方向d行进的距离。合成单元13能够使用在上述步骤3中获取并在上述步骤4中存储的车辆信号来计算δxj。

接下来，合成单元13选择第二图像49(i-j)中所表示的区域与第一图像45重叠的第二图像49(i-j)。在图6所示的例子中，第二图像49(i-1)～49(i-5)所表示的区域与第一图像45重叠。

接下来，合成单元13将如上述那样选择出的第二图像49(i-j)全部组合而制作第二合成图像47。此外，第二合成图像47中包含的第二图像49(i-j)是比在本次的周期中获取的第一图像45获取得早的图像。

在步骤8中，判断单元11对在本次的周期中获取的第一图像45的亮度和在上述步骤7中制作的第二合成图像47的亮度进行对比。

在步骤9中，判断单元11判断第一图像45的亮度与第二合成图像47的亮度的差值是否比预先设定的阈值大。在差值比阈值大的情况下进入步骤10，在差值为阈值以下的情况下进入步骤16。

在步骤10中，判断单元11对第一图像45和第二合成图像47分别进行亮度的检查。

在步骤11中，判断单元11基于上述步骤10中的亮度的检查结果，对第一图像45和第二合成图像47分别判断是否显现出阴影或者照明光所特有的特征。

阴影所特有的特征是指有阴影的区域的亮度为预先设定的阈值以下和/或规定的颜色成分的强度为预先设定的阈值以上的特征。照明光所特有的特征是指有照明光的区域的亮度为预先设定的阈值以上的特征。

在第一图像45中显现出阴影或者照明光所特有的特征且在第二合成图像47中未显现出阴影或者照明光所特有的特征的情况下，进入步骤12，除此以外的情况下进入步骤17。

在步骤12中，判断单元11将计数值增加一个。此外，计数值是在本步骤12中增加一个且在后述的步骤16中复位为0的值。

在步骤13中，判断单元11判断计数值是否超过预先设定的阈值。在计数值超过阈值的情况下进入步骤14，在计数值为阈值以下的情况下进入步骤17。

在步骤14中，显示停止单元15选择背景图像作为显示于显示器23的图像，而不选择后述的第一合成图像。背景图像是预先存储于存储器5的图像。

在步骤15中，显示单元17将背景图像显示于显示器23。显示背景图像的范围与在后述的步骤18中显示第一合成图像的范围相同。

在上述步骤9中判定为否定的情况下进入步骤16。在步骤16中，判断单元11将计数值复位为0。

在步骤17中，合成单元13制作第一合成图像。第一合成图像的制作方法基本上与第二合成图像47的制作方法相同。但是，在制作第一合成图像时，使用在过去的周期中获取的第一图像45(i-j)来制作，而不使用第二图像49(i-j)。第一图像45(i-j)是在前j次的周期中制作的第一图像。

第一合成图像的具体的制作方法如下。合成单元13计算第一图像45(i-j)所表示的区域的位置。第一图像45(i-j)所表示的区域的位置是以本车辆27为基准的相对位置。第一图像45(i-j)所表示的区域的位置是从第一相对位置41向与方向d相反的方向移动δxj之后的位置。

接下来，合成单元13选择第一图像45(i-j)中与本车辆27所占据的区域重叠的第一图像45(i-j)。在图7所示的例子中，第一图像45(i-1)～45(i-6)与本车辆27所占据的区域重叠。

接下来，合成单元13对如上述那样选择的第一图像45(i-j)全部进行组合，制作第一合成图像51。

在步骤18中，显示单元17将在上述步骤17中制作的第一合成图像51显示于显示器23。显示第一合成图像51的范围是本车辆27所占据的范围。

此外，在图7所示的例子中，在第一合成图像51的下侧，显示第一图像45(i)。第一图像45(i)是在本次的周期中制作的第一图像45。另外，在图7所示的例子中，在第一合成图像51的上侧，显示将在本次的周期中使用前相机19获取的图像转换为鸟瞰图图像所得的图像53。另外，在图7所示的例子中，通过计算机图形显示本车辆27。

3.图像处理装置1起到的效果

(1a)如图5所示，有在表示处于第一相对位置41的区域的第一图像45内存在阴影区域55的情况。该阴影可以是本车辆27的阴影，也可以是其它物标的阴影。阴影区域55对应于亮度比其周围低的特定区域。

即使在第一图像45内存在阴影区域55的情况下，在表示处于第二相对位置43的区域的第二图像49内，也难以存在阴影区域55。另外，在合成第二图像49而制作的第二合成图像47内，也难以存在阴影区域55。

图像处理装置1能够通过对第一图像45的亮度和第二合成图像47的亮度进行对比，容易判断在第一图像45内是否存在阴影区域55。

另外，图像处理装置1能够通过相同的对比，容易判断在第一图像45内是否存在照明光所照射的区域。照明光所照射的区域对应于亮度比其周围高的特定区域。作为照明光，例如，可举出其它车辆的前照灯的光。

(1b)图像处理装置1能够将第一合成图像51制作并显示于显示器23。但是，在构成第一合成图像51的第一图像45中存在阴影区域或者照明光所照射的区域的情况下，停止第一合成图像51的显示。由此，能够抑制显示包含阴影区域或者照明光所照射的区域的第一合成图像51。

＜第二实施方式＞

1.与第一实施方式的不同点

由于第二实施方式的基本结构与第一实施方式相同，所以对于共同的结构省略说明，以不同点为中心进行说明。此外，与第一实施方式相同的附图标记表示相同的结构，参照之前的说明。

如图8所示，本车辆还具备右相机57以及左相机59。右相机57对本车辆的右侧的风景进行拍摄，并制作图像。左相机59对本车辆的左侧的风景进行拍摄，并制作图像。

图像处理装置1作为通过cpu3执行程序来实现的功能性结构，如图9所示，具备图像获取单元7、车辆信号处理单元9、判断单元11、转换单元12、合成单元13、识别单元56以及识别停止单元58。

2.图像处理装置1所执行的处理

基于图10～图12对图像处理装置1所执行的处理进行说明。此外，在这里以本车辆前进的情况为例进行说明。

图10中的步骤21～25的处理基本上与第一实施方式中的步骤1～5的处理相同。

但是，在步骤21中，从前相机19、后相机21、右相机57以及左相机59分别获取图像。

另外，在步骤24中，将从前相机19、后相机21、右相机57以及左相机59获取的图像分别转换为鸟瞰图图像。在图11中，示有对从前相机19获取的图像进行转换所得的鸟瞰图图像61、对从后相机21获取的图像进行转换所得的鸟瞰图图像40、对从右相机57获取的图像进行转换所得的鸟瞰图图像63、以及对从左相机59获取的图像进行转换所得的鸟瞰图图像65。

在步骤26中，图像获取单元7获取在上述步骤24中制作的鸟瞰图图像63、65。鸟瞰图图像63、65对应于第一图像。另外，鸟瞰图图像63相对于本车辆27的相对位置64和鸟瞰图图像65相对于本车辆27的相对位置66对应于第一相对位置。

在步骤27中，合成单元13利用以下的方法制作图12所示的第二合成图像69。

如图11所示，将是鸟瞰图图像61的一部分的、表示处于第二相对位置39的区域的图像作为第二图像71。以下，将第二图像71中在本次的周期中制作的图像记作71(i)，将在前j次的周期中制作的图像记作71(i-j)。j是1以上的自然数。

合成单元13计算第二图像71(i-j)所表示的区域的位置。第二图像71(i-j)所表示的区域的位置是以本车辆27为基准的相对位置。第二图像71(i-j)所表示的区域的位置是从第二图像71(i)所表示的区域的位置向与方向d相反的方向移动δxj之后的位置。第二图像71(i)所表示的区域的位置等于当前时刻的第二相对位置39。

δxj是指本车辆27从制作出第二图像71(i-j)的时间点到当前时刻沿方向d行进的距离。合成单元13能够使用在上述步骤23中获取并在上述步骤24中存储的车辆信号来计算δxj。

接下来，合成单元13选择第二图像71(i-j)中所表示的区域与鸟瞰图图像63、65重叠的第二图像71(i-j)。在图12所示的例子中，第二图像71(i-5)～71(i-10)所表示的区域与鸟瞰图图像63、65重叠。接下来，合成单元13对如上述那样选择出的第二图像71(i-j)的全部进行组合而制作第二合成图像69。

在步骤28中，判断单元11对在上述步骤26中获取的鸟瞰图图像63、65的亮度和在上述步骤27中制作的第二合成图像69的亮度进行对比。

另外，在步骤29中，判断单元11判断鸟瞰图图像63、65的亮度与第二合成图像69的亮度的差值是否比预先设定的阈值大。在差值比阈值大的情况下进入步骤30，在差值为阈值以下的情况下进入步骤34。

在步骤30中，判断单元11对鸟瞰图图像63、65和第二合成图像69分别进行亮度的检查。

在步骤31中，判断单元11基于上述步骤30中的亮度的检查结果，对鸟瞰图图像63、65和第二合成图像69分别判断是否显现出阴影所特有的特征。在鸟瞰图图像63、65中显现出阴影所特有的特征且在第二合成图像69中未显现出阴影所特有的特征的情况下，进入步骤32，在除此以外的情况下进入步骤34。

在步骤32中，识别停止单元58停止车道标志的识别。车道标志是指划分行驶车道的标志。作为车道标志，例如，可举出白线等。

在步骤33中，识别停止单元58在显示器23上进行错误显示。该错误显示表示无法识别车道标志。

在上述步骤29或者上述步骤31中判断为否定的情况下进入步骤34。在步骤34中，识别单元56通过公知的方法，进行识别车道标志的处理。该处理的概要如下。在图11中，示有车道标志72的例子。

在鸟瞰图图像63、65中，检测特征点。特征点是指亮度变化比预先设定的阈值大的点。接下来，计算通过特征点的近似曲线。接下来，将近似曲线中，车道标志相似度为规定的阈值以上的部分识别为车道标志。

在步骤35中，识别单元56将上述步骤34中的识别结果输出至其它装置。其它装置能够将车道标志的识别结果用于驾驶辅助处理。作为驾驶辅助处理，例如，可举出车道保持辅助等。

3.图像处理装置1起到的效果

根据上文中详细描述的第二实施方式，除了前述的第一实施方式的效果(1a)以外，还得到以下的效果。

(2a)如图11所示，图像处理装置1在鸟瞰图图像63、65中存在阴影区域55的情况下，停止车道标志72的识别。由此，能够抑制由于阴影区域55而错误识别车道标志72。

＜第三实施方式＞

1.与第二实施方式的不同点

由于第三实施方式的基本结构与第二实施方式相同，所以对于共同的结构省略说明，以不同点为中心进行说明。此外，与第二实施方式相同的附图标记表示相同的结构，参照之前的说明。

图像处理装置1作为通过cpu3执行程序来实现的功能性结构，如图13所示，具备图像获取单元7、车辆信号处理单元9、判断单元11、转换单元12、合成单元13、识别单元56以及条件变更单元73。

2.图像处理装置1所执行的处理

基于图14对图像处理装置1所执行的处理进行说明。图14中的步骤41～51的处理与第二实施方式中的步骤21～31的处理相同。

在步骤52中，条件变更单元73计算鸟瞰图图像63、65中的阴影区域的坐标。

在步骤53中，条件变更单元73变更在后述的步骤54检测特征点时的阈值。即，在鸟瞰图图像63、65中的阴影区域内，使检测特征点时的阈值比通常的值大。此外，在阴影区域外，检测特征点时的阈值的值是通常的值。检测特征点时的阈值对应于识别车道标志时的设定条件。

在步骤54中，识别单元56在鸟瞰图图像63、65中检测特征点。此时，特征点的检测所使用的阈值的值是在上述步骤53中变更后的值。

在步骤55中，识别单元56除去在上述步骤54中检测出的特征点中处于阴影区域的分界线上的特征点。

在步骤56中，识别单元56计算通过特征点的近似曲线。近似曲线的计算所使用的特征点是在上述步骤54中检测出且在上述步骤55中未被除去而剩下的特征点。

在步骤57中，识别单元56将近似曲线中车道标志相似度为规定的阈值以上的部分识别为车道标志。

在步骤58中，识别单元56将上述步骤57或者后述的步骤59中的识别结果输出至其它装置。

在上述步骤49中或者上述步骤51中判断为否定的情况下进入步骤59。在步骤59中，识别单元56通过通常的设定进行车道标志的识别。通常的设定是指在鸟瞰图图像63、65的整体中，将特征点的检测所使用的阈值的值设为通常的值的设定。另外，通常的设定意味着未进行除去处于阴影区域的分界线上的特征点的处理的设定。

3.图像处理装置1起到的效果

根据上文中详细描述的第三实施方式，除了前述的第一实施方式的效果(1a)以外，还得到以下的效果。

(3a)图像处理装置1在鸟瞰图图像63、65中存在阴影区域55的情况下，将识别车道标志时的设定条件设为与不存在阴影区域55的情况不同。由此，能够抑制由于阴影区域而错误识别车道标志。

(3b)图像处理装置1在上述步骤53中，使在阴影区域55内检测特征点时的阈值比通常的值大。另外，在上述步骤55中，除去检测出的特征点中处于阴影区域55的分界线上的特征点。由此，能够进一步抑制由于阴影区域55而错误识别车道标志。

＜其它实施方式＞

以上，对用于实施本公开的方式进行了说明，但本公开并不限于上述的实施方式，能够进行各种变形来实施。

(1)在第一实施方式中的上述步骤8中，也可以对第一图像45的亮度和第二图像49(i-j)的亮度进行对比。另外，在上述步骤9中，也可以判断第一图像45的亮度与第二图像49(i-j)的亮度的差值是否比预先设定的阈值大。

另外，在第二实施方式中的上述步骤28、第三实施方式中的上述步骤48中，也可以对鸟瞰图图像63、65的亮度和第二图像71(i-j)的亮度进行对比。另外，在第二实施方式中的上述步骤29、第三实施方式中的上述步骤49中，也可以判断鸟瞰图图像63、65的亮度与第二图像71(i-j)的亮度的差值是否比预先设定的阈值大。

(2)在第一实施方式中的上述步骤8中进行对比的图像也可以是转换为鸟瞰图图像之前的表示第一相对位置41的图像和转换为鸟瞰图图像之前的表示第二相对位置43的图像。

在第二实施方式中的上述步骤28、第三实施方式中的上述步骤48中进行对比的图像也可以是转换为鸟瞰图图像之前的从右相机57以及左相机59获取的图像和转换为鸟瞰图图像之前的表示第二相对位置39的图像。

(3)在第一实施方式的上述步骤8中，也可以对第一图像45中的规定的颜色成分ci的强度和第二合成图像47中的相同的颜色成分ci的强度进行对比。

然后，在上述步骤9中，判断单元11也可以判断第一图像45与第二合成图像47的颜色成分ci的强度的差值是否比预先设定的阈值大。在颜色成分ci的强度的差值比阈值大的情况下进入步骤10，在颜色成分ci的强度的差值为阈值以下的情况下进入步骤16。

另外，在第二实施方式中的上述步骤28及步骤29、第三实施方式中的上述步骤48及步骤49中，也可以如上述那样，对规定的颜色成分ci的强度进行对比，基于该规定的颜色成分ci的强度的差值来进行判断。

作为颜色成分ci，例如，可举出蓝色成分等。

(4)在第一实施方式的上述步骤8中，也可以对第一图像45和第二合成图像47，分别进行亮度的对比和规定的颜色成分ci的强度的对比。

然后，在上述步骤9中，也可以基于第一图像45和第二合成图像47的亮度的差值以及颜色成分ci的强度的差值来进行判断。例如，可以在亮度的差值以及颜色成分的强度的差值均比阈值大的情况下进入步骤10，在除此以外的情况下进入步骤16。

或者，可以在亮度的差值以及颜色成分的强度的差值中的一方比阈值大的情况下进入步骤10，在除此以外的情况下进入步骤16。

另外，在第二实施方式中的上述步骤28及步骤29、第三实施方式中的上述步骤48及步骤49中，也可以如上述那样，进行亮度的对比以及规定的颜色成分ci的强度的对比双方，基于它们的对比结果来进行判断。

(5)也可以通过多个构成要素来实现上述实施方式中的一个构成要素所具有的多个功能，或通过多个构成要素来实现一个构成要素所具有的一个功能。另外，也可以通过一个构成要素来实现多个构成要素所具有的多个功能，或通过一个构成要素来实现由多个构成要素实现的一个功能。另外，也可以省略上述实施方式的结构的一部分。另外，也可以将上述实施方式的结构的至少一部分附加于其它上述实施方式的结构或者替换为其它上述实施方式的结构。此外，仅通过权利要求书所记载的语句确定的技术构思所包含的所有方式均为本公开的实施方式。

(6)除了上述的图像处理装置1以外，也能够以将该图像处理装置1作为构成要素的系统、用于使计算机作为该图像处理装置1发挥作用的程序、记录有该程序的半导体存储器等非易失性实体记录介质、图像处理方法、合成图像制作方法、车道标志识别方法等各种方式来实现本公开。