车载相机校正装置、图像生成装置、车载相机校正方法、图像生成方法与流程

本申请是基于2014年10月9日申请的日本专利申请2014－208448号的，并在此通过参照引用该公开。

本公开涉及被应用于搭载了多个车载相机的车辆，用于使用车载相机所拍摄的拍摄图像来监视车辆的周边的状况的图像的技术，或者校正车载相机的技术。

背景技术：

为了使车辆安全地行驶，重要的是掌握车辆的周边存在的各种对象物(障碍物、行人等)的位置。因此，在现在的车辆中，通过使用多个车载相机来拍摄周边的图像，从而由车辆检测对象物的位置，或使得驾驶员能够容易地掌握车辆的周边存在的对象物的位置。

例如提出一种通过将车载相机所拍摄的拍摄图像俯瞰变换为宛如从俯视车辆的方向拍摄那样的图像(俯瞰图像)并显示，由此驾驶员能够容易地掌握车辆和对象物的位置关系的技术。

在这个技术中，前提是车载相机相对于车辆以正确的安装角度被安装在正确的安装位置上。然而，在安装车载相机时一定会产生安装误差。因此，为了排除安装误差的影响，在车辆出厂时，对全部车载相机检测安装位置以及安装角度。而且，以各个车载相机按其安装位置以及安装角度被安装在车辆上为前提，通过使针对拍摄图像的处理内容最优化来排除安装误差的影响。

另外，检测车载相机的安装位置以及安装角度(或它们的一方)，或者检测从正确的安装位置以及安装角度的偏差量来使针对拍摄图像的处理内容最优化有时被称为车载相机的校正(或校准)。

此处，车载相机的安装位置或安装角度有时因车辆的行驶中的振动、车载相机干扰到某一物等任何的理由而出厂时的状态发生变化。这种情况下，必须将车辆带入维修工厂来校正车载相机是不便的。因此，提出一种事先使邻接的车载相机彼此的拍摄区域的一部分重复，在某个车载相机的安装位置或安装角度从出厂时的状态发生变化的情况下，基于通过邻接的车载相机的重复区域所得到的拍摄图像来校正安装位置或安装角度变化的车载相机的技术(专利文献1)。

专利文献1:日本特开2014－101075号公报

然而，根据本申请发明人的研究，在所提出的技术中，若反复车载相机的校正(校准)，则校正的精度逐渐降低，有时不易精度良好地掌握处于车辆周边的对象物的位置。认为这是因为如下那样的理由。作为一个例子，使用通过对多个车载相机所拍摄的拍摄图像进行俯瞰变换来显示车辆的周边的状况的情况的例子来进行说明。

假设多个车载相机中的一个因相对于车辆的安装位置或者安装角度产生偏差而需要校正。以下，为了与其它的车载相机区别而将要校正的车载相机称为“对象相机”。此时，如果邻接的车载相机的安装位置以及安装角度没有从出厂时改变，则使用邻接的车载相机所拍摄的俯瞰图像为基准，并使重复区域中的俯瞰图像重叠，由此能够正确地校正对象相机。

然而，对象相机需要校正对于邻接的车载相机的安装位置以及安装角度，也有可能从出厂时的状态产生误差。而且，该情况下，由于使用产生误差的车载相机为基准来校正对象相机，所以用作基准的车载相机的误差传播到对象相机。当然在校正的过程中也有可能产生误差。

而且，之后，若其它的车载相机需要校正，则与该对象相机邻接的车载相机以前被校正过，此时也有可能传播误差。该情况下，该误差也传播到新校正的对象相机。当然用作基准的车载相机以前被校正后，也有可能因行驶中的振动等而产生误差，该情况下，误差也传播到对象相机。

这样，若反复多个车载相机的校正，则误差慢慢地积累，校正的精度逐渐降低。结果认为不易精度良好地掌握车辆周边的对象物的位置。

技术实现要素：

本公开的目的之一在于提供即使反复进行车载相机的校正(校准)也能够不会使精度降低地进行校正的技术。

根据本公开的一个观点，提供被应用于搭载多个车载相机并且该多个车载相机以相互邻接的该车载相机彼此拍摄区域的一部分重复的方式安装的车辆，在上述多个车载相机的任意一个中相对于上述车辆的安装位置或者安装角度产生偏差的情况下，对产生该偏差的上述车载相机的安装位置或者安装角度进行校正的车载相机校正装置。车载相机校正装置具备：变化量检测部，针对上述车载相机的各个，对该车载相机相对于上述车辆的安装角度或者安装位置的至少一方的从初始状态的变化量进行检测；对象相机选择部，选择上述变化量大于规定阈值的上述车载相机作为需要上述校正的对象相机；基准相机选择部，在从上述多个车载相机中选择了上述对象相机的情况下，选择该多个车载相机中上述变化量最少的上述车载相机作为基准相机；中间相机选择部，在上述对象相机与上述基准相机之间存在其它的上述车载相机的情况下，选择该车载相机作为中间相机；第一校正部，在未选择上述中间相机的情况下，基于上述基准相机和上述对象相机重复地拍摄的区域中的拍摄图像来校正该对象相机；以及第二校正部，在选择了上述中间相机的情况下，基于上述基准相机和该中间相机重复地拍摄的区域中的上述拍摄图像来校正该中间相机后，基于该被校正的中间相机和上述对象相机重复地拍摄的区域中的上述拍摄图像来校正该对象相机。

根据本公开的其它观点，提供被应用于搭载多个车载相机并且该多个车载相机以相互邻接的该车载相机彼此拍摄区域的一部分重复的方式安装的车辆，基于通过上述多个车载相机所得到的拍摄图像来生成用于监视上述车辆的周边的状况的监视图像的图像生成装置。图像生成装置具备：拍摄图像获取部，从上述多个车载相机获取上述拍摄图像；变化量检测部，针对上述车载相机的各个，对该车载相机相对于上述车辆的安装角度或者安装位置的至少一方的从初始状态的变化量进行检测；对象相机选择部，选择上述变化量大于规定阈值的上述车载相机作为需要进行有关上述安装角度或者上述安装位置的校正的对象相机；基准相机选择部，在从上述多个车载相机中选择了上述对象相机的情况下，选择该多个车载相机中上述变化量最少的上述车载相机作为基准相机；中间相机选择部，在上述对象相机与上述基准相机之间存在其它的上述车载相机的情况下，选择该车载相机作为中间相机；第一校正部，在未选择上述中间相机的情况下，基于上述基准相机和上述对象相机重复地拍摄的区域中的上述拍摄图像来校正该对象相机；第二校正部，在选择了上述中间相机的情况下，基于上述基准相机和该中间相机重复地拍摄的区域中的上述拍摄图像来校正该中间相机后，基于该被校正的中间相机和上述对象相机重复地拍摄的区域中的上述拍摄图像来校正该对象相机；以及图像生成部，通过对从上述多个车载相机得到的上述拍摄图像基于该车载相机的上述校正结果进行视线变换来生成上述监视图像。

根据本公开的其它观点，提供被应用于搭载多个车载相机并且该多个车载相机以相互邻接的该车载相机彼此拍摄区域的一部分重复的方式安装的车辆，在上述多个车载相机的任意一个中在相对于上述车辆的安装位置或者安装角度产生偏差的情况下，对产生该偏差的上述车载相机的安装位置或者安装角度进行校正的车载相机校正方法。车载相机校正方法具备：变化量检测步骤，针对上述车载相机的各个，对该车载相机相对于上述车辆的安装角度或者安装位置的至少一方的从初始状态的变化量进行检测；对象相机选择步骤，选择上述变化量大于规定阈值的上述车载相机作为需要上述校正的对象相机；基准相机选择步骤，在从上述多个车载相机中选择了上述对象相机的情况下，选择该多个车载相机中上述变化量最少的上述车载相机作为基准相机；中间相机选择步骤，在上述对象相机与上述基准相机之间存在其它的上述车载相机的情况下，选择该车载相机作为中间相机；第一校正步骤，在未选择上述中间相机的情况下，基于上述基准相机和上述对象相机重复地拍摄的区域中的拍摄图像来校正该对象相机；以及第二校正步骤，在选择了上述中间相机的情况下，基于上述基准相机和该中间相机重复地拍摄的区域中的上述拍摄图像来校正该中间相机后，基于该被校正的中间相机和上述对象相机重复地拍摄的区域中的上述拍摄图像来校正该对象相机。

根据本公开的其它观点，提供被应用于搭载多个车载相机并且该多个车载相机以相互邻接的该车载相机彼此拍摄区域的一部分重复的方式安装的车辆，基于通过上述多个车载相机而得到的拍摄图像来生成用于监视上述车辆的周边的状况的监视图像的图像生成方法。图像生成方法具备：拍摄图像获取步骤，从上述多个车载相机获取上述拍摄图像；变化量检测步骤，针对上述车载相机的各个，对该车载相机相对于上述车辆的安装角度或者安装位置的至少一方的从初始状态的变化量进行检测；对象相机选择步骤，选择上述变化量大于规定阈值的上述车载相机作为需要进行上述安装角度或者上述安装位置的校正的对象相机；基准相机选择步骤，在从上述多个车载相机中选择了上述对象相机的情况下，选择该多个车载相机中上述变化量最少的上述车载相机作为基准相机；中间相机选择步骤，在上述对象相机与上述基准相机之间存在其它的上述车载相机的情况下，选择该车载相机作为中间相机；第一校正步骤，在未选择上述中间相机的情况下，基于上述基准相机和上述对象相机重复地拍摄的区域中的上述拍摄图像来校正该对象相机；第二校正步骤，在选择了上述中间相机的情况下，基于上述基准相机和该中间相机重复地拍摄的区域中的上述拍摄图像来校正该中间相机后，基于该被校正的中间相机和上述对象相机重复地拍摄的区域中的上述拍摄图像来校正该对象相机；以及图像生成步骤，通过对从上述多个车载相机得到的上述拍摄图像基于该车载相机的上述校正结果进行视线变换来生成上述监视图像。

根据上述的车载相机校正装置、图像生成装置、车载相机校正方法以及图像生成方法，在选择了中间相机的情况下，不光使用基准相机来校正对象相机，中间相机也能够使用基准相机来校正。而且，在下次需要校正时，即使前次校正时的基准相机、对象相机、中间相机的至少一个，如果安装位置以及安装角度没有变化，则选择该车载相机作为基准相机，能够以与前次的校正时相同的精度进行校正。结果即使反复校正也能够避免校正精度降低。

附图说明

关于本公开的上述以及其它目的、特征及优点，参照附图并通过下述的详细的说明会变得更加明确。在附图中：

图1是表示搭载了本实施例的图像生成装置以及车载相机校正装置的车辆的说明图。

图2是概念性地示出搭载在车辆上的多个车载相机的拍摄区域的说明图。

图3是表示图像生成装置以及车载相机校正装置200的大致的内部结构的说明图。

图4是图像生成装置生成用于监视车辆的周边的图像的图像生成处理的前半部分的流程图。

图5是图像生成处理的后半部分的流程图。

图6是有关为了判断车载相机的安装位置以及安装角度是否从初始状态发生变化而检测的变化量的说明图。

图7a是例示选择了对象相机以及基准相机的方式的说明图。

图7b是例示选择了对象相机以及基准相机的方式的说明图。

图8a是例示选择了对象相机以及基准相机的其它方式的说明图。

图8b是例示选择了对象相机以及基准相机的其它的方式的说明图。

图9是基准相机和对象相机邻接的情况下使用基准相机为基准来校正对象相机的第一校正处理的流程图。

图10a是表示从基准相机的拍摄图像中截取与对象相机的重复区域的图像的样子的说明图。

图10b是表示截取重复区域的图像来检测特征点的样子的说明图。

图11a是例示在重复区域的图像中检测出特征点的样子的说明图。

图11b是例示在重复区域的图像中检测出特征点的样子的说明图。

图12是表示从对象相机的拍摄图像中截取重复区域的图像来检测特征点的样子的说明图。

图13是基准相机和对象相机不邻接的情况下使用基准相机为基准来校正对象相机的第二校正处理的前半部分的流程图。

图14是第二校正处理的中间部分的流程图。

图15是第二校正处理的后半部分的流程图。

图16是示意性地示出基准相机和对象相机不邻接的情况下，使用基准相机为基准来校正对象相机的说明图。

图17a是示意性地示出基准相机和对象相机不邻接的情况下，使用基准相机为基准来校正对象相机的其它的方式的说明图。

图17b示意性地示出基准相机和对象相机不邻接的情况下，使用基准相机为基准来校正对象相机的其它的方式的说明图。

图18是表示变形例的图像生成装置的大致的内部结构的说明图。

图19是概念性地示出变形例的图像生成装置以及车载相机校正装置车载相机校正样子概念性地示说明图。

图20是概念性地示出变形例的图像生成装置以及车载相机校正装置200校正车载相机的其它的方式的说明图。

图21是概念性地示出在中间相机的选择方法有多个的情况下，变形例的图像生成装置校正车载相机的样子的说明图。

图22是概念性地示出中间相机的选择方法有多个的情况下，变形例的图像生成装置校正车载相机的其它的方式的说明图。

具体实施方式

以下，对实施例进行说明。

a.装置结构：

图1示出搭载了本实施例的图像生成装置100(以及车载相机校正装置200)的车辆1。如图示，在车辆1上搭载多个(在图示的例子中为4个)车载相机10f、10b、10l、10r、图像生成装置100(以及车载相机校正装置200)、和显示画面20。

图像生成装置100(以及车载相机校正装置200)是以cpu为中心，存储器、计时器、输入输出周边装置等经由总线相互可通信数据地连接的微型计算机。图像生成装置100从多个车载相机10f、10b、10l、10r接受拍摄图像，实施后述的规定的处理而生成监视图像后，输出至液晶显示装置等的显示画面20。

图2概念性地示出车载相机10f、10b、10l、10r的搭载位置和拍摄区域。车载相机10f被搭载在车辆1的前方的保险杠上部，对车辆1的前方的拍摄区域d(f)进行拍摄。另外，车载相机10b被搭载在车辆1的后方的保险杠上部，对车辆1的后方的拍摄区域d(b)进行拍摄。而且，车载相机10l被搭载在车辆1的左侧车门上后视镜12l的下面，对车辆1的左侧方的拍摄区域d(l)进行拍摄，车载相机10r被搭载在车辆1的右侧车门上后视镜12r的下面，对车辆1的右侧方的拍摄区域d(r)进行拍摄。

另外，在车载相机10f、10b、10l、10r中搭载鱼眼镜头等广角镜头，能够拍摄较宽的角度范围。因此，如图2所示，车载相机10f的拍摄区域d(f)和车载相机10r的拍摄区域d(r)在区域d(fr)一部分重复，车载相机10f的拍摄区域d(f)和车载相机10l的拍摄区域d(l)在区域d(fl)一部分重复。同样地，车载相机10b的拍摄区域d(b)和车载相机10r的拍摄区域d(r)在区域d(br)一部分重复，车载相机10b的拍摄区域d(b)和车载相机10l的拍摄区域d(l)在区域d(bl)一部分重复。因此，如果将车载相机10f、10b、10l、10r的拍摄图像连在一起，则能够获得向车辆1的整个周方向的拍摄图像。

而且，本实施例的图像生成装置100对这些拍摄图像实施视线变换来生成视线变换图像。而且从视线变换图像生成用于监视车辆1的周围的监视图像并输出给显示画面20。此处“视线变换”是指将车载相机所拍摄的拍摄图像变换为从与实际的拍摄方向不同的方向拍摄那样的图像的处理。另外，有时将视线变换为宛如从沿正下方(或斜下方)俯视车辆1的方向拍摄那样的图像的处理称为“俯瞰变换”。另外，“视线变换图像”是指对拍摄图像进行视线变换所得到的图像，“俯瞰图像”是指对拍摄图像进行俯瞰变换所得到的图像。

此外，以下，为了便于说明，作为通过对拍摄图像进行俯瞰变换而变换为俯瞰图像进行说明。因此，在以下的说明中记载为“俯瞰变换”的地方通过换用为“视线变换”而能够一般化。

在图2中，利用虚线的矩形示出显示画面20上所显示的俯瞰图像的显示范围。这样，如果对车载相机所拍摄的拍摄图像进行俯瞰变换并显示，则驾驶员能够容易地掌握周围的状况。

可是，驾驶员为了正确地掌握车辆1的周围的状况，需要正确地进行俯瞰变换，以使显示画面20上所显示的俯瞰图像成为反映了实际的状况的图像。而且为此，前提是各个车载相机10f、10b、10l、10r相对于车辆1的安装位置以及安装角度没有从在俯瞰变换时假定的安装位置以及安装角度发生变化。

当然，车载相机10f、10b、10l、10r的安装位置或安装角度有可能在车辆1出厂后因某些理由而产生偏差。因此，也提出一种在车载相机10f、10b、10l、10r的安装位置或安装角度产生偏差的情况下，对车载相机10f、10b、10l、10r进行校正(校准)的技术。此处“车载相机的校正”是指检测车载相机相对于车辆1的安装位置或安装角度，或检测从正确的安装位置或安装角度的偏差量，并基于该结果能够适当地对拍摄图像进行俯瞰变换。

然而，若反复车载相机的校正，则无法正确地进行俯瞰变换，结果驾驶员不易正确地掌握车辆1的周围的状况。因此，本实施例的图像生成装置100(以及车载相机校正装置200)为了即使反复进行车载相机的校正也能够正确地进行俯瞰变换而具备以下那样的特别的结构。

图3示出本实施例的图像生成装置100(以及车载相机校正装置200)的大致的内部结构。如图示，图像生成装置100具备拍摄图像获取部101、俯瞰图像生成部102、图像合成部103、图像输出部104、变化量检测部105、对象相机选择部106、基准相机选择部107、中间相机选择部108、第一校正部109、第二校正部110、警报输出部111。

另外，这11个“部”着眼于图像生成装置100将用于监视车辆1的周边的图像输出给显示画面20的功能，便于对图像生成装置100的内部结构进行分类，并不是表示图像生成装置100物理地区分这些“部”。因此，这些“部”也能够实现为由cpu执行的计算机程序，也能够实现为lsi、包括存储器的电子电路，还能够组合它们来实现。计算机程序可以通过存储在非暂时的存储介质中来提供，也可以经由电气通信线路来提供。

另外，图像生成装置100中的变化量检测部105、对象相机选择部106、基准相机选择部107、中间相机选择部108、第一校正部109、第二校正部110、警报输出部111的部分对应于“车载相机校正装置200”。

如图3所示，拍摄图像获取部101与车载相机10f、10b、10l、10r连接，从各个车载相机10f、10b、10l、10r获取拍摄图像。

俯瞰图像生成部102从拍摄图像获取部101接受车载相机10f、10b、10l、10r的拍摄图像，对各个拍摄图像进行俯瞰变换来生成俯瞰图像。图像合成部103使用由俯瞰图像生成部102生成的各个俯瞰图像来合成显示于显示画面20上的监视图像。而且，图像输出部104将图像合成部103合成的监视图像输出至显示画面20。

另外，拍摄图像获取部101将车载相机10f、10b、10l、10r的拍摄图像也输出至变化量检测部105。变化量检测部105若从拍摄图像获取部101接受车载相机10f、10b、10l、10r的拍摄图像，则通过后述的方法来检测各个车载相机10f、10b、10l、10r相对于车辆1的安装位置以及安装角度的变化量。

接着，对象相机选择部106选择车载相机10f、10b、10l、10r中变化量超过规定阈值的车载相机作为需要校正的“对象相机”。

另外，在选择出对象相机的情况下，基准相机选择部107选择车载相机10f、10b、10l、10r中变化量最小的车载相机作为用作校正的基准的“基准相机”。

还在对象相机和基准相机不是相互邻接的车载相机的情况下，选择对象相机与基准相机之间所存在的车载相机作为“中间相机”。例如在图2所示的例子中，在对象相机为车载相机10b，基准相机为车载相机10f的情况下，选择车载相机10l或车载相机10r中的任意一个作为中间相机。

而且，在对象相机和基准相机相互邻接的情况下，由于不选择中间相机，所以第一校正部109使用基准相机的拍摄图像来校正对象相机。

第一校正部109从对象相机选择部106获取确定对象相机的信息，并从基准相机选择部107获取确定基准相机的信息。而且，基准相机以及对象相机的拍摄图像从拍摄图像获取部101获取。

另外，第一校正部109将通过校正对象相机而得到的信息输出给俯瞰图像生成部102。

与此相对，在对象相机和基准相机不相互邻接的情况下，选择中间相机。因此，第二校正部110使用基准相机的拍摄图像来校正中间相机，之后，使用中间相机的拍摄图像来校正对象相机。

确定对象相机以及基准相机的信息从对象相机选择部106以及基准相机选择部107获取。另外，确定中间相机的信息从中间相机选择部108获取。而且，基准相机、中间相机、以及对象相机的拍摄图像从拍摄图像获取部101获取。

另外，第二校正部110将通过校正中间相机而得到的信息、和通过校正对象相机而得到的信息输出给俯瞰图像生成部102。

此外，认为在被选择为基准相机的车载相机的变化量较大的情况下，即使利用第一校正部109或第二校正部110校正其它的车载相机，也不会获得足够的校正精度。因此，警报输出部111将被选择为基准相机的车载相机的变化量与规定的允许值进行比较，在基准相机的变化量大于允许值的情况下，将该情况的警报经由图像输出部104输出至显示画面20。

俯瞰图像生成部102若这样从第一校正部109或第二校正部110接受与车载相机的校正结果有关的信息，则将该信息反映至以后的俯瞰变换。例如在从第一校正部109接受到对象相机的校正结果的情况下，使该信息在之后对对象相机的拍摄图像进行俯瞰变换时被反映。另外，在从第二校正部110接受到对象相机以及中间相机的校正结果的情况下，使这些信息在之后对对象相机以及中间相机的拍摄图像进行俯瞰变换时被反映。

如果这样操作，则即使反复车载相机10f、10b、10l、10r的校正，也不会使精度降低而能够进行校正。以下，对图像生成装置100生成用于监视车辆1的周边的图像(此处为显示画面20上所显示的图像)的图像生成处理进行说明，在该说明中，对即使反复车载相机10f、10b、10l、10r的校正，精度也不会降低的理由进行说明。

b.图像生成处理：

在图4以及图5中示出本实施例的图像生成装置100生成显示于显示画面20上的图像的图像生成处理的流程图。

如图示，在图像生成处理中，首先，最初从车载相机10f、10b、10l、10r的各个获取拍摄图像(s100)。

接着，针对车载相机10f、10b、10l、10r的各个，对相对于车辆1的安装位置以及安装角度从出厂时的初始状态变化的程度，即表示偏差的大小的指标(变化量)进行检测(s101)。有关车载相机10f、10b、10l、10r的各个的变化量，能够通过各种方法来检测，但在本实施例中，简便地使用如下那样的方法来检测。

图6示出本实施例的图像生成装置100(以及车载相机校正装置200)对有关车载相机10f、10b、10l、10r的变化量进行检测的样子。如前述，由于在车载相机10f、10b、10l、10r中搭载广角镜头，所以如图6中作为初始状态所例示那样，在获得的拍摄图像中拍入了车辆1的一部分。当然如果车载相机10f、10b、10l、10r相对于车辆1的安装位置或安装角度的至少一方发生变化，则拍入到拍摄图像中的车辆1的位置也变化。图6中，因安装位置或安装角度发生变化而拍入到拍摄图像中的车辆1的位置发生变化的样子作为偏差产生而被例示。

因此，事先存储在相当于车辆1出厂时的初始状态的拍摄图像(图6中例示)中拍入的车辆1的轮廓线的位置。拍摄图像中的车辆1的轮廓线的位置针对于车载相机10f、10b、10l、10r的各个事先存储。而且，之后，若获取拍摄图像，则检测拍入到该拍摄图像的车辆1的轮廓线的位置，并与作为初始状态而被存储的位置相比较。

图6示出对作为初始状态被存储的轮廓线的位置(图中用虚线显示)、和之后检测出的车辆1的轮廓线的位置(图中用实线显示)进行比较的样子。在图6中，由表示初始状态的轮廓线的虚线、和表示之后检测出的轮廓线的实线围起的部分(图中标注虚线的部分)的偏差面积s对应于因相对于车辆1的安装位置以及安装角度产生的偏差的大小。

可是，若拍入到拍摄图像的车辆1的轮廓线变长，则偏差面积s有成为较大的值的趋势。因此，事先存储初始状态下的轮廓线的线长l，通过将偏差面积s除以轮廓线的线长l来计算变化量c(参照图6的式子)。在车载相机10f、10b、10l、10r的各个的拍摄图像中，拍入的轮廓线的长度不同，但如果事先计算变化量c，则拍入到拍摄图像的车辆1的轮廓线的长度不会受到影响，而能够比较偏差的大小。

另外，此处，作为利用拍入到拍摄图像的车辆1的轮廓线来检测有关车载相机10f、10b、10l、10r的各个的变化量c进行了说明。可是，检测变化量c的方法并不限于这个方法。也可以例如在车载相机10f、10b、10l、10r的各个安装精度高的位置传感器等，通过更直接的方法来检测变化量c。

如以上那样，若检测有关车载相机10f、10b、10l、10r的各个的变化量c(图4的s101)，则判断是否存在变化量c超过规定阈值的车载相机(s102)。

结果在判断为不存在变化量c超过规定阈值的车载相机的情况下(s102：否)，认为车载相机10f、10b、10l、10r的哪个都不需要校正。因此，对通过各个车载相机10f、10b、10l、10r所得到的拍摄图像进行俯瞰变换来合成得到的俯瞰图像，从而生成显示于显示画面20上的图像(监视图像)(s111)。

之后，在将合成的监视图像输出至显示画面20后(s112)，判断是否结束图像的生成(s113)。结果在判断为未结束的情况下(s113：否)，返回到处理的前端，再次获取拍摄图像(s100)。而且，对每个车载相机10f、10b、10l、10r检测变化量c(s101)，并判断是否存在变化量c超过规定阈值的车载相机(s102)。

在车载相机10f、10b、10l、10r的任意一个的变化量c都不超过规定阈值的期间，直至判断为结束处理为止(s113：是)，反复上述的一系列的处理。

与此相对，在车载相机10f、10b、10l、10r的任意一个的变化量c超过规定阈值的情况下(s102：是)，认为需要车载相机的校正。

因此，选择变化量c超过规定阈值的车载相机作为需要校正的“对象相机”(s103)。而且，选择车载相机10f、10b、10l、10r中变化量c最小的车载相机作为校正时用作基准的“基准相机”(s104)。

另外，在2个以上的车载相机中，变化量c同时超过阈值的状况在现实中难以想象到，但在产生这样的状况的情况下，选择这些车载相机中变化量c大的一方作为对象相机。而且，在通过后述的方法校正对象相机后，未选择为对象相机的一个车载相机的变化量c依然超过阈值的情况下，重新选择该车载相机作为对象相机即可。

接着，判断选择为基准相机的车载相机的变化量是否是规定的允许量以下(s105)。认为结果基准相机的变化量超过允许量的情况下(s105：否)，即使将基准相机用作基准来校正对象相机，也不会获得足够的校正精度。因此，该情况下，通过在显示画面20上显示该情况的警报来通知驾驶员(s106)。或者，也可以输出不会获得足够的校正精度的情况的声音。如果这样输出警报，则能够促使驾驶员将车辆1搬入维修工厂等来正确地校正车载相机。

与此相对，在基准相机的变化量未超过允许量的情况下(s105：是)，不输出警报。

之后，判断被选择为对象相机的车载相机、和被选择为基准相机的车载相机是否是邻接的车载相机(s107)。例如，如图7a所例示，在车载相机10b被选择为对象相机、车载相机10r被选择为基准相机的情况下，判断为对象相机和基准相机邻接。

另外，图中包围车载相机10b的虚线的矩形表示车载相机10b被选择为对象相机。另外，图中包围车载相机10r的虚线的圆形表示车载相机10r被选择为基准相机。

与此相对，如图7b所例示，在车载相机10b被选择为对象相机，车载相机10f被选择为基准相机的情况下，判断为对象相机和基准相机不邻接。

如以上那样，判断对象相机和基准相机是否邻接(图4的s107)，在判断为邻接的情况下(s107：是)，开始第一校正处理(s108)。第一校正处理的详细后述，但第一校正处理是在上述的图像生成处理中起动，并与图像生成处理并行地校正对象相机的处理。

与此相对，在判断为对象相机和基准相机不邻接的情况下(s107：否)，选择对象相机与基准相机之间存在的车载相机作为中间相机(s109)。例如，在图7b所示的例子中，选择车载相机10l或车载相机10r的任意一方作为中间相机。

另外，在本实施例中，在车辆1上搭载4个车载相机10f、10b、10l、10r，因此在对象相机和基准相机不邻接的情况下，对象相机与基准相机之间存在的车载相机(中间相机)必定为一个。然而，被选择为中间相机的车载相机未必是一个。

例如如图8a所例示，假设在车辆1上搭载6个车载相机，选择车载相机10b作为对象相机，选择车载相机10f作为基准相机。此时，搭载在车辆1的右侧方的车载相机10rf以及车载相机10rb这两个车载相机或搭载在车辆1的左侧方的车载相机10lf以及车载相机10lb这两个车载相机被选择为中间相机。

或者，如图8b所例示，假设选择车载相机10b作为对象相机，选择车载相机10rf作为基准相机。该情况下，也能够选择一个车载相机(车载相机10rb)作为中间相机，也能够选择车载相机10f、车载相机10lf、以及车载相机10lb这三个车载相机作为中间相机。

若从迅速地校正对象相机的观点来看，优选以选择的车载相机的数量变少的方式选择中间相机。另一方面，若从即使反复校正也不会使精度降低的观点来看，优选以选择的车载相机的数量变多的方式选择中间相机。对该理由，后面详细地进行说明。

若这样选择中间相机，则开始第二校正处理(s110)。详细后述，但第二校正处理也是在上述的图像生成处理中起动，并与图像生成处理并行地校正对象相机的处理。

c.第一校正处理：

图9示出第一校正处理的流程图。该处理如上述那样，在图4的图像生成处理中被选择的对象相机和基准相机是邻接的车载相机的情况下开始，并由图像生成装置100(以及车载相机校正装置200)执行的处理。

若开始第一校正处理(s200)，则首先最初从拍摄图像获取部101获取被选择为基准相机的车载相机的拍摄图像、和被选择为对象相机的车载相机的拍摄图像(s201)。

另外，以下，按照图7a所示的例子，作为基准相机为车载相机10r、对象相机为车载相机10b进行说明。

接着，从基准相机的拍摄图像中截取拍摄区域与对象相机重复的区域的图像，并从该图像中检测特征点(s202)。

此处，由于基准相机为车载相机10r、对象相机为车载相机10b，所以如图10a所示，从车载相机10r的拍摄图像截取车载相机10r的拍摄区域d(r)和车载相机10b的拍摄区域d(b)重复的区域d(br)的图像。而且，如图10b所示，从截取出的图像中检测特征点f。

另外，作为特征点f，只要是例如如路面上所描绘的白线的交点等那样能够在拍摄图像中确定位置的点，则能够检测各种点。

另外，在如本实施例那样对拍摄图像进行俯瞰变换来显示俯瞰图像的情况下，并不是重复的区域d(br)的图像全体，而是如图10a和图10b中虚线所示，也可以截取被显示为俯瞰图像的范围的图像，从该图像中检测特征点f。

之后，计算检测出的特征点的信赖度评价值(s203)。此处，特征点的信赖度评价值是指评价在使用检测出的特征点来校正的情况下，能够以何种程度的可靠性进行校正的指标。

例如如图11a所例示，认为检测出的特征点f的个数较少的情况下难以进行可靠性高的校正。

另外，即使检测出大量的特征点f，但在它们失衡地分布的情况下，认为难以进行可靠性高的校正。特征点f的分布的失衡如图11b所例示，能够使用特征点f的分布宽度w来评价。或者，也能够使用特征点f的坐标值的方差来评价。

而且，即使在大量的特征点f分布在较宽的范围的状态下被检测的情况下，如果各个特征点f的位置精度较低，则认为难以进行可靠性高的校正。例如，拍摄图像的焦点模糊的情况下，即使能够检测特征点f，但仍无法以足够的位置精度进行检测。或者，在拍摄图像过暗(或者过亮)等对比度不足够的情况下，也无法以足够的位置精度检测特征点f。而且，认为如果不能以足够的位置精度检测特征点f，则难以进行可靠性高的校正。

在本实施例中，使用检测出特征点f的位置处的图像的亮度梯度来评价检测出的特征点f的位置精度。这是因为认为如果在检测出特征点f的位置上图像的焦点不模糊、且获得足够的对比度，则在该特征点f的位置上，图像的亮度较大地变化(亮度梯度较大)。

基于以上，在图9的s203中使用下式来计算特征点的信赖度评价值。

信赖度评价值＝α·(特征点的个数)+β·(特征点的分布)+γ·(各特征点中的亮度梯度的平均值)

此处，α、β、γ是针对于特征点的个数、特征点的分布、各特征点中的亮度梯度的平均值的权重系数。如果事先将各个权重系数的比率设定为适当的比率，则能够计算适当地反映了特征点的个数、特征点的分布、各特征点中的亮度梯度的平均值的影响的信赖度评价值。另外，根据该计算式，特征点的个数越多，特征点的分布越广，各特征点中的亮度梯度的平均值越大，信赖度评价值越大。

若如以上那样操作来计算特征点的信赖度评价值(图9的s203)，则判断得到的信赖度评价值是否是规定的基准值以上(s204)。

结果认为在信赖度评价值小于基准值的情况下(s204：否)，即使使用检测出的特征点来校正也无法进行可靠性高的校正。因此，返回到处理的前端，获取基准相机以及对象相机的拍摄图像后(s201)，从拍摄图像中的重复区域的图像检测特征点(s202)。而且，计算检测出的特征点的信赖度评价值后(s203)，判断得到的信赖度评价值是否超过基准值(s204)。

若反复这样的步骤的过程中，不久判断为信赖度评价值为基准值以上(s204：是)。而且由于认为该情况下，检测出能够以足够的可靠性进行校正那样的特征点，所以如以下那样开始对象相机的校正。

首先，从对象相机(此处为车载相机10b)的拍摄图像中截取与基准相机(此处为车载相机10r)重复地拍摄的区域的图像来检测图像中的特征点(s205)。

图12示出从车载相机10b的拍摄图像中，截取车载相机10b(对象相机)的拍摄区域d(b)和车载相机10r(基准相机)的拍摄区域d(r)重复的区域d(br)的图像来检测特征点g的样子。另外，该情况下，也不是重复的区域d(br)的图像全体，而如图12中虚线所示，可以截取被显示为俯瞰图像的范围的图像并从该图像中检测特征点g。

而且，以从对象相机的拍摄图像检测出的特征点g(参照图12)与从基准相机的拍摄图像检测出的特征点f(参照图10b)重叠的方式对对象相机相对于车辆1的安装位置以及安装角度进行校正(s206)。校正基于如下那样的原理来进行。

例如若比较图10b所示的特征点f、和图12所示的特征点g，则两者相对于车辆1的位置不同。认为这是因为作为对象相机的车载相机10b相对于车辆1的安装位置或安装角度的至少一方产生偏差，所以无法正确地对拍摄图像进行俯瞰变换而产生的现象。

因此，一边在当前假定的安装位置以及安装角度的周边对对象相机的安装位置以及安装角度进行各种变更一边进行俯瞰变换，并将得到的特征点g的位置与从基准相机得到的特征点f的位置相比较。结果若得到特征点g的位置相对于特征点f的位置接近到误差的程度的俯瞰图像，则将在进行此时的俯瞰变换时假定的安装位置以及安装角度认为是产生偏差后的对象相机的正确的安装位置以及安装角度即可。据此，如果以从对象相机的拍摄图像检测出的特征点g与从基准相机的拍摄图像检测出的特征点f重叠的方式求出被俯瞰变换的安装位置以及安装角度，则能够校正对象相机。

若这样校正对象相机(s206)，则更新作为该对象相机初始状态而被存储的轮廓线的位置后(s207)，结束图9的第一校正处理。即，在结束第一校正处理前，从校正所使用的对象相机的拍摄图像中检测车辆1的轮廓线的位置来更新对象相机(此处为车载相机10b)的初始状态的轮廓线的位置。

而且，之后，在前述的图像生成处理(参照图4以及图5)中对对象相机(此处为车载相机10b)的拍摄图像进行俯瞰变换时(图5的s111)，设为对象相机的安装位置以及安装角度为被校正的安装位置以及安装角度而进行俯瞰变换。

以上，对在校正的对象的对象相机和校正时用作基准的基准相机邻接的情况下，校正对象相机的处理(第一校正处理)进行了说明。与此相对，在对象相机和基准相机不邻接的情况下，如下那样校正对象相机。

d.第二校正处理：

图13～图15示出第二校正处理的流程图。该处理如上述那样，是在图4以及图5的图像生成处理中所设定的对象相机和基准相机是不邻接的车载相机的情况下开始，并由图像生成装置100(以及车载相机校正装置200)执行的处理。

此处，在进入到第二校正处理的详细的说明前，为了便于理解，事先说明与前述的第一校正处理的差异的概要。在前述的第一校正处理中，由于基准相机和对象相机邻接，所以基准相机的拍摄区域的一部分与对象相机的拍摄区域的一部分重复。因此，能够使用基准相机的拍摄图像来校正对象相机。

与此相对，在第二校正处理中，由于基准相机和对象相机不邻接，所以无法使用基准相机的拍摄图像来直接地校正对象相机。因此，首先最初，使用基准相机的拍摄图像来校正与基准相机邻接的中间相机。而且，在该中间相机与对象相机邻接的情况下，使用校正过的中间相机的拍摄图像校正对象相机。

另外，在与基准相机邻接的中间相机不与对象相机邻接的情况下，使用基准相机的拍摄图像来校正与基准相机邻接的中间相机，并使用校正过的中间相机的拍摄图像来校正与该中间相机邻接的中间相机。这样，通过从与基准相机邻接的中间相机逐个地校正中间相机，最终能够校正与对象相机邻接的中间相机。而且，若校正与对象相机邻接的中间相机，则使用校正过的中间相机的拍摄图像来校正对象相机。

以下，对于这样的第二校正处理，以与第一校正处理的不同点为中心简单地进行说明。

如图13所示，若开始第二校正处理(s300)，则首先最初，从拍摄图像获取部101获取基准相机的拍摄图像、和与基准相机邻接的中间相机的拍摄图像(s301)。另外，以下，按照图7b的例子，设为被选择为基准相机的车载相机为车载相机10f、被选择为对象相机的车载相机为车载相机10b进行说明。

接着，从基准相机的拍摄图像中截取拍摄区域与邻接的中间相机重复的区域的图像，从该图像中检测特征点(s302)。在基准相机为车载相机10f、邻接的中间相机为车载相机10r的情况下，从车载相机10f的拍摄图像中截取区域d(fr)的图像(参照图2)来检测特征点f。

之后，计算检测出的特征点的信赖度评价值(s303)。对于计算特征点的信赖度评价值、以及信赖度评价值的方法，由于与前述的第一校正处理中所说明的内容相同，所以此处省略说明。

而且，判断得到的信赖度评价值是否是规定的基准值以上(s304)。

结果在信赖度评价值小于基准值的情况下(s304：否)，返回到处理的前端，再一次获取基准相机以及与基准相机邻接的中间相机的拍摄图像(s301)，反复上述的一系列的处理(s302～s304)。

若反复这样的步骤的过程中，不久判断为信赖度评价值为基准值以上(s304：是)，则从与基准相机邻接的中间相机(此处为车载相机10r)的拍摄图像中截取与基准相机(此处为车载相机10f)重复地拍摄的区域的图像来检测图像中的特征点(s305)。

而且，通过求出从中间相机的拍摄图像检测出的特征点与从基准相机的拍摄图像检测出的特征点重叠那样的安装位置以及安装角度，从而校正中间相机(s306)。

此处，中间相机的安装位置以及安装角度所产生的偏差的大小只不过是还不需要校正的程度的大小。然而，由于基准相机是搭载在车辆1上的多个车载相机中偏差最小的车载相机，所以可以说与该基准相机相比，中间相机偏差大。因此，如上述，通过使用基准相机的拍摄图像来校正邻接的中间相机，能够使该中间相机的偏差的大小减少到与基准相机的偏差的大小相同的程度。

若这样对与基准相机邻接的中间相机进行校正(s306)，则更新作为该中间相机初始状态而被存储的轮廓线的位置后(s307)，判断是否存在与该中间相机邻接的下一个中间相机(s308)。此处，如图7b例示，由于基准相机为车载相机10f、中间相机为车载相机10r、对象相机为车载相机10b，所以判断为不存在下一个中间相机(s308：否)。

与此相对，如图8a例示，在基准相机与对象相机之间存在多个中间相机的情况下，判断为存在下一个中间相机(s308：是)。而且该情况下，从拍摄图像获取部101重新获取校正过的中间相机的拍摄图像、和与该中间相机邻接的下一个中间相机的拍摄图像(图14的s309)。之后，针对这些拍摄图像，与上述的一系列的处理(s302～s307)同样地校正下一个中间相机。

以下，若参照图14简单地进行说明，则从校正过的中间相机的拍摄图像中截取与邻接的中间相机的重复区域的图像，从该图像中检测特征点(s310)。而且，计算检测出的特征点的信赖度评价值(s311)，并判断得到的信赖度评价值是否是规定的基准值以上(s312)。

结果在信赖度评价值小于基准值的情况下(s312：否)，返回到处理的前端，获取新的拍摄图像(s309)。与此相对，在信赖度评价值为基准值以上的情况下(s312：是)，从与校正完毕的中间相机邻接的中间相机的拍摄图像中截取与校正完毕的中间相机的重复区域的图像来检测图像中的特征点(s313)。

而且，以从中间相机的拍摄图像检测出的特征点与从校正完毕的中间相机的拍摄图像检测出的特征点重叠的方式校正中间相机(s314)，并更新作为该中间相机初始状态而被存储的轮廓线的位置(s315)。

之后，判断是否存在与该中间相机邻接的下一个中间相机(s316)。结果在存在下一个中间相机的情况下(s316：是)，返回到s309，反复之后的上述的一系列的处理(s309～s316)。

与此相对，在不存在下一个中间相机的情况下(s316：否)，在校正过的中间相机和与该中间相机邻接的对象相机之间进行与上述的处理同样的处理来校正对象相机。

即，从拍摄图像获取部101获取校正过的中间相机的拍摄图像、和与该中间相机邻接的对象相机的拍摄图像(图15的s317)。而且，从校正过的中间相机的拍摄图像中截取与对象相机的重复区域的图像来检测特征点(s318)，计算特征点的信赖度评价值(s319)，并判断信赖度评价值是否是规定的基准值以上(s320)。

在信赖度评价值小于基准值的情况下(s320：否)，返回到处理的前端，获取新的拍摄图像(s317)。与此相对，在信赖度评价值为基准值以上的情况下(s320：是)，从对象相机的拍摄图像中截取与校正完毕的中间相机的重复区域的图像来检测特征点(s321)。而且，以从对象相机的拍摄图像检测出的特征点与从校正完毕的中间相机的拍摄图像检测出的特征点重叠的方式校正对象相机(s322)。之后，更新作为对象相机初始状态而被存储的轮廓线的位置(s323)，结束图13～图15的第二校正处理。

而且，之后，在前述的图像生成处理(参照图4以及图5)中对象相机以及中间相机的拍摄图像进行俯瞰变换时(图5的s111)，按照被校正的安装位置以及安装角度进行俯瞰变换。

图16概念性地示出通过上述的第二校正处理校正对象相机的样子。在图示的例子中，通过基准相机(车载相机10f)校正中间相机(车载相机10r)，并利用校正过的中间相机(车载相机10r)校正对象相机(车载相机10b)。

因此，对于对象相机(车载相机10b)来说，由于能够将偏差最小的基准相机(车载相机10f)用作基准来校正，所以与将邻接的中间相机(车载相机10r)用作基准来校正的情况相比能够精度更良好地进行校正。

另外，在对象相机(车载相机10b)的校正之前，中间相机(车载相机10r)也使用基准相机(车载相机10f)而被校正。因此，对于4个车载相机中的3个车载相机，能够将安装位置以及安装角度的偏差的大小保持为与基准相机相同的程度。

当然，对于剩余的一个车载相机(车载相机10l)，无法成为与基准相机相同的程度。然而，在该车载相机的偏差变大而需要校正时，如果剩余的3个车载相机10f、10r、10b的至少一个维持刚校正之后的状态，则可以将该车载相机使用为基准相机来进行校正。因此，即使反复校正，也能够精度良好地进行校正。

另外，如使用图8b前述那样，在选择中间相机时，存在能够进行中间相机的数量变少那样的选择的方法、和中间相机的数量变多那样的选择的方法的情况。图17a和图17b概念性地示出针对各个情况，校正对象相机的样子。

如图17a例示，在以中间相机的数量变少的方式选择的情况下，由于校正的中间相机的数量变少，所以能够迅速地校正对象相机。

与此相对，如图17b例示，在以中间相机的数量变多的方式选择的情况下，对于多个中间相机，能够将车载相机的偏差的大小保持为与基准相机相同的程度。因此，即使在发生接着需要校正的情况下，也能够选择偏差未变大的车载相机作为基准相机的可能性进一步变高。结果即使反复校正也能够避免精度降低的情况。

e.变形例：

在上述的实施例中，作为基准相机和对象相机邻接的情况下，使用基准相机来校正对象相机进行了说明。该情况下，产生未被校正的车载相机。另外，作为基准相机和对象相机不邻接的情况下，使用基准相机来校正中间相机，并使用校正过的中间相机来校正对象相机进行了说明。该情况下也产生未被校正的车载相机。

对此，也可以使用基准相机来校正剩余的全部的车载相机。

图18示出变形例的图像生成装置100以及变形例的车载相机校正装置200的大致的内部结构。图18所示的变形例的图像生成装置100(以及车载相机校正装置200)相对于使用图3所前述的本实施例的图像生成装置100(以及车载相机校正装置200)，在具备第三校正部112来代替警报输出部111的这一点不同。另外，变形例的图像生成装置100也可以具备警报输出部111。

第三校正部112从对象相机选择部106获取被选择为对象相机的车载相机的信息，从基准相机选择部107获取被选择为基准相机的车载相机的信息，从中间相机选择部108获取被选择为中间相机的车载相机的信息。而且，对于多个车载相机10f、10b、10l、10r中未被选择为基准相机、对象相机、中间相机的任何一个的车载相机，将基准相机或对象相机用作基准来更新。

例如如图19例示，假设对象相机(图中由虚线的矩形包围来显示)为车载相机10b，基准相机(图中由虚线的圆形包围来显示)为车载相机10r。该情况下，第一校正部109如图19的左部所示，使用基准相机(车载相机10r)来校正对象相机(车载相机10b)。

之后，第三校正部112如图19的右部所示，使用基准相机(车载相机10r)来校正车载相机10f，并使用更新后的车载相机10f来校正车载相机10l。

或者，第三校正部112也可以如图20例示那样进行校正。即，首先最初，第一校正部109使用基准相机(车载相机10r)来校正对象相机(车载相机10b)(参照图20的左部)。之后，也可以由第三校正部112使用校正过的对象相机来校正车载相机10l，并利用校正过的车载相机10l校正车载相机10f(参照图20的右部)。

另外，如使用图17a和图17b前述那样，存在能够进行中间相机的数量变少那样的选择的方法、和中间相机的数变多那样的选择的方法的情况。在变形例中，这样的情况下，如下那样操作来校正车载相机。

例如如图21所示，假设在车辆1上搭载6个车载相机10f、10b、10rf、10rb、10lf、10lb，其中的车载相机10b为对象相机、车载相机10rf为基准相机。该情况下，在变形例中，以中间相机的数量变少的方式选择车载相机10rb作为中间相机。

接下来，第二校正部110如图21的左部所示，使用基准相机(车载相机10rf)来校正中间相机(车载相机10rb)后，使用校正过的中间相机来校正对象相机(车载相机10b)。

之后，第三校正部112如图21的右部所示，使用基准相机(车载相机10rf)来校正剩下的车载相机10f，接下来校正车载相机10lf，最后校正车载相机10lb。

或者，如图22的左部例示，第二校正部110使用基准相机(车载相机10rf)来校正中间相机(车载相机10rb)，接下来校正对象相机(车载相机10b)。之后，第三校正部112如图22的右部例示，可以使用校正完毕的对象相机(车载相机10b)来校正车载相机10lb，接下来校正车载相机10lf，最后校正车载相机10f。

在以上那样的变形例中，在基准相机和对象相机邻接的情况下，通过使用基准相机来校正对象相机，能够迅速地校正对象相机。另外，在基准相机和对象相机不邻接的情况下，选择中间相机。此时，在能够进行中间相机的数量变少那样的选择的方法、和中间相机的数量变多那样的选择的方法的情况下，以中间相机的数量变少的方式选择。而且，使用基准相机来校正中间相机后，使用校正过的中间相机来校正对象相机。因此，即使在经由中间相机校正对象相机的情况下，也能够迅速地校正对象相机。

而且，校正对象相机后，未被校正的剩余的车载相机也能够校正为与基准相机相同的程度。因此，认为在接下来需要校正时，多个车载相机的至少一个被保持为刚校正之后的没有偏差的状态，所以即使在反复校正的情况下，也能够避免校正的精度降低。

本公开依据实施例进行了描述，但是应理解本公开并不限定于该实施例、结构。本公开也包含各种变形例、等同范围内的变形。除此以外，各种各样的组合、形态、还有在它们中仅包含一要素、其以上或其以下的其它组合或形态也包含在本申请的范畴及思想范围内。