专利名称：车载图像处理装置以及车辆用图像处理方法
技术领域：
本发明涉及一种车载图像处理装置以及车辆用图像处理方法，从拍摄车辆周围得到的多个图像进行视点变换，将俯瞰图像呈现给驾驶员等。
背景技术：
以往，作为用于将安装在车辆上的照相机拍摄的图像数据变更为俯瞰图像数据、将该俯瞰图像显示在车辆内的监视器上的技术，已知有记载于日本特开2004-64441等的车载图像处理装置。
该车载图像处理装置，检测出路面与安装在车体上的照相机的角度作为全局坐标系中的俯仰(pitch)角[度]，根据该俯仰角，制作用于将由照相机拍摄的照相机图像数据变换为俯瞰图像数据的地址变换表。在该车载图像处理装置中，在装置内部算出俯仰角，制作地址变换表并进行存储，从而可根据需要将照相机图像数据变换为俯瞰图像数据显示在监视器上。
但是，在上述的车载图像处理装置中，为了利用将车辆的各周围作为摄像方向的多个照相机来显示车辆周围的俯瞰图像，需要利用地址变换表对多个照相机各自的各像素数据进行替换来制作俯瞰图像。并且，为了制作将多个照相机图像组合并使图像间的拼接处一致、且没有失真的完整的俯瞰图像，需要使各照相机在车体上的实际安装位置、安装方向、镜头参数(lens file)无误差一致，但是这些误差在照相机安装作业中发生于每个车辆。
这些误差，能够通过使用上述文献的车载图像处理装置来修正俯瞰图像的偏离、失真，但是为了检测各照相机的安装误差，根据该误差在装置内部重新计算地址变换表，车载图像处理装置的处理负荷变高，因此需要使用处理能力高的运算装置。
于是，本发明的目的在于提供一种能够通过简单的处理由多个图像制作俯瞰图像的车载图像处理装置以及车辆用图像处理方法。
发明内容
本发明是一种车载图像处理装置，与拍摄车辆周围而生成照相机图像数据的多个照相机组件连接，对各该照相机图像数据进行视点变换，使车辆周围的俯瞰图像显示在显示装置上，其特征在于，具备多个输入装置，具备保存由各上述照相机组件拍摄的照相机图像数据的输入缓冲器；输出装置，具备保存由从各上述输入缓冲器取出的照相机图像数据构成的俯瞰图像的输出缓冲器，将该俯瞰图像输出到上述显示装置中；存储装置，存储重新构成后地址变换表，该重新构成后地址变换表是根据修正上述照相机组件对上述车辆的安装误差的参数、对记述了上述车辆周围的多个照相机图像数据和俯瞰图像的对应关系的重新构成前的地址变换表进行重新构成而得到的；以及图像处理装置，根据存储在上述存储装置中的重新构成后地址变换表，从上述输入缓冲器取出照相机图像数据，根据存储在上述存储装置中的重新构成后地址变换表，将该照相机图像数据保存到上述输出缓冲器中，制作上述俯瞰图像。
本发明是一种车辆用图像处理方法，与拍摄车辆周围而生成照相机图像数据的多个照相机组件连接，对各该照相机图像数据进行视点变换，使车辆周围的俯瞰图像显示在显示装置上，其特征在于，包括如下步骤存储重新构成后的地址变换表的步骤，该重新构成后的地址变换表是根据对上述照相机组件对上述车辆的安装误差进行修正的参数、对假设没有上述照相机组件对上述车辆的安装误差而使俯瞰图像保存到输出缓冲器中的重新构成前的地址变换表进行重新构成得到的，其中，该地址变换表用于从输入缓冲器取出用于制作上述俯瞰图像的照相机图像数据，使该取出的照相机图像数据保存到上述输出缓冲器中，使上述俯瞰图像保存到上述输出缓冲器中；保存照相机图像数据的步骤，将由各照相机组件拍摄的照相机图像数据，保存到与该照相机组件对应的上述输入缓冲器中；制作俯瞰图像的步骤，根据存储在上述存储装置中的重新构成后的地址变换表，从上述输入缓冲器取出照相机图像数据，根据存储在上述存储装置中的重新构成后的地址变换表，将该照相机图像数据保存到上述输出缓冲器中，制作上述俯瞰图像。
根据本发明，由于使用根据对照相机组件相对车辆的安装误差进行修正的参数表、对记述车辆周围的多个照相机图像数据和俯瞰图像的对应关系的重新构成前的地址变换表进行重新构成得到的重新构成后地址变换表，因此，能够通过简单的处理由多个图像制作俯瞰图像。
图1是表示应用了本发明的车载图像处理装置的结构的框图。
图2是表示用于重新构成地址变换表的结构的框图。
图3是用于说明分别对摄像方向不同的照相机图像数据进行视点变换处理来制作俯瞰图像的处理的图。
图4是用于说明分别对摄像方向不同的照相机图像数据进行视点变换处理来制作俯瞰图像的处理中，有照相机组件的安装误差时的问题的图。
图5是用于说明使用了没有照相机组件的安装误差时的地址变换表的俯瞰图像制作处理的图。
图6(a)、(b)是用于说明有照相机组件的安装误差时重新构成地址变换表来进行俯瞰图像制作处理的图。
图7是表示地址变换表的重新构成处理的处理顺序的流程图。
图8(a)、(b)是用于说明有偏航(yaw)角的误差时所显示的俯瞰图像的图，是用于说明实施方式的效果的图。
符号说明1车载图像处理装置；2A、2B、2C、2D照相机组件；3监视器；11内部总线；12A、12B、12C、12D输入缓冲器；13CPU；14图像变换部；15表存储部；16输出缓冲器；30俯瞰图像；41误差检测部；42参数算出部；43表重新构成部。
具体实施例方式
下面，参照
本发明的实施方式。
本发明应用于例如如图1所示构成的车载图像处理装置1。该车载图像处理装置1如下通过与各照相机组件2A、2B、2C、2D对应的输入缓冲器12A、12B、12C、12D，输入由照相机组件2A、2B、2C、2D拍摄的车辆周围的照相机图像数据，通过CPU 13以及图像变换部14，利用存储在表存储部15中的地址变换表来进行视点变换处理，制作车辆周围的俯瞰图像，使俯瞰图像数据存储到输出缓冲器16中并输出到监视器3。该车载图像处理装置1，例如通过如图2所示的功能部41～43，重新构成默认的地址变换表，从而抑制照相机组件2A、2B、2C、2D的安装误差，使没有俯瞰图像的失真、构成俯瞰图像的各图像间的偏离的俯瞰图像显示在监视器3上。
具体地说，如图3所示，为了制作车辆周围的俯瞰图像30，通过照相机组件2A拍摄前方照相机图像31A，通过照相机组件2B拍摄后方照相机图像31B，通过照相机组件2C拍摄左侧方照相机图像31C，通过照相机组件2D拍摄右侧方照相机图像31D。在此，照相机图像31A包含车体33和绘于路面的白线L1、L3、L5，照相机图像31B包含车体33和白线L2、L3、L5，照相机图像31C包含车体33和白线L3、L4，照相机图像31D包含车体33和白线L5、L6。此外，出现在各照相机图像中的白线是为了说明发生在俯瞰图像30的失真、图像间的偏离，而绘于路面由照相机组件2A、2B、2C、2D拍摄的。
并且，车载图像处理装置1，制作如下没有偏离、失真的俯瞰图像30由将各照相机图像31A、31B、31C、31D变换成分别从上方视点得到的前方图像32A、后方图像32B、左侧方图像32C、右侧方图像32D构成，并将本车辆对象33’配置在中心，横跨在构成俯瞰图像30的图像间。
另一方面，在照相机组件2A、2B、2C、2D的安装位置有误差时，如图4所示，成为视点变换后的前方图像32A的白线L1与本车辆对象33’没有保持平衡性的结果、白线L3失真、或横跨在构成俯瞰图像30的图像32A、32B、32C间产生白线L1、L2、L3的偏离。与此相对，在以下说明的车载图像处理装置1中，进行用于校正由于该照相机组件2A、2B、2C、2D的安装误差引起的俯瞰图像30的偏离、失真的处理，即使在照相机组件2A、2B、2C、2D中有安装误差的情况下，也能制作抑制了俯瞰图像30的偏离、失真的俯瞰图像30。
这样，以下说明用于由各照相机图像31A、31B、31C、31D来制作抑制了失真、偏离的俯瞰图像30的结构以及动作。
车载图像处理装置1的结构以及动作包含该车载图像处理装置1的车辆周围显示系统，如图1所示，在车载图像处理装置1上连接并构成有4台照相机组件2A、2B、2C、2D(以下，总称的情况下，仅称为“照相机组件2”。)以及监视器3。该车载图像处理装置1，将由各照相机组件2A、2B、2C、2D拍摄的照相机图像数据作为输入，将该各自的照相机图像数据组合，制作从车辆上方观察时的俯瞰图像30。在本例中，如上所述设置有将车体的前方、后方、右侧方、左侧方作为各自的摄像方向的4台照相机组件2A、2B、2C、2D，对制作将本车辆的上方作为视点的俯瞰图像30的情况进行说明。
照相机组件2A、2B、2C、2D分别设置在车体的不同的部分上，各自为固定的不同的摄像方向。照相机组件2由摄像用镜头21以及CCD(电荷耦合元件)22构成。该照相机组件2例如由NTSC(National Television System Committee国家电视制式委员会)照相机构成，分别根据NTSC方式将图像数据输出到车载图像处理装置1中。
车载图像处理装置1，在内部总线11上连接并构成有连接在各照相机组件2A、2B、2C、2D上的输入缓冲器12A、12B、12C、12D(以下，总称的情况下仅称为“输入缓冲器12”。)、CPU(Central Processing Unit中央处理器)13、图像变换部14、表存储部15、以及与监视器3连接的输出缓冲器16。
输入缓冲器12对应于照相机组件2的个数而设置，输入缓冲器12A与照相机组件2A连接，输入缓冲器12B与照相机组件2B连接，输入缓冲器12C与照相机组件2C连接，输入缓冲器12D与照相机组件2D连接。输入缓冲器12暂时保存NTSC方式的照相机图像数据，根据CPU 13的控制，根据图像变换部14的图像变换定时(timing)读出照相机图像数据。
表存储部15存储呈现给驾驶员的每个图像布局的地址变换表15a、15b、15c、…。在此，在本例中，对组合4张照相机图像数据来制作一张俯瞰图像30的情况进行说明，因此，在表存储部15中，至少对每个输入缓冲器12、换句话说对每个照相机组件2，存储由保存在输入缓冲器12A、12B、12C、12D中的各照相机图像数据制作俯瞰图像30的图像布局的地址变换表。
存储在该表存储部15中的地址变换表是记述了如下内容的表，即用来与另一个地址变换表区别的照相机号码、具有在纵方向或者横方向上分辨率比监视器3的分辨率大的地址空间的照相机图像数据的存储器地址(输入地址信息)、以及与监视器3的分辨率对应的显示用俯瞰图像数据的输出缓冲器16的存储器地址(输出地址信息)。即，地址变换表记述输出缓冲器16的存储器地址、即监视器3的显示坐标和输入缓冲器12的坐标(输入地址)的对应关系。根据照相机组件2A、2B、2C、2D的规格、安装位置以及摄像方向的朝向(光轴)等，预先作成这样的地址变换表。另外，该地址变换表，对每个照相机组件2(任意的照相机号码)记述输入缓冲器12的输入地址与输出缓冲器16的输出地址的对应关系，准备有与照相机组件2的台数相同个数的该地址变换表。
图像变换部14根据CPU 13的控制，从表存储部15读出每个照相机组件2的地址变换表，参照该地址变换表，将从地址变换表指定的输入地址中读出的照相机图像数据存储到地址变换表指定的输出地址中。在此，地址变换表根据图像布局记述输出缓冲器16的存储器地址，因此，通过图像变换部14替换到输出缓冲器16中的俯瞰图像数据被图像变换为与使用的地址变换表相同的图像布局。此外，图像变换部14既可以由LSI(Large Scale IntegratedCircuit大规模集成电路)、FPGA(Field Programmable GateArray现场可编程门阵列)、DSP(Digital Signal Processor数字信号处理器)等构成，也可以由CPU 13进行处理。
地址变换表在车载图像处理装置1的制造时等被重新构成，使得对应于照相机组件2各自的安装误差(照相机坐标系的俯仰角、偏航角、滚转(roll)角)，显示修正了该安装误差的俯瞰图像30，这一点将在后面叙述。即，重新构成了地址变换表，使得通过由图像变换部14进行的视点变换处理来读出输入缓冲器12的照相机图像数据，抑制构成保存在输出缓冲器16中的俯瞰图像数据的失真、俯瞰图像30的图像间的偏离。
输出缓冲器16保存由通过图像变换部14进行了视点变换的4张图像数据构成的俯瞰图像数据，根据CPU 13的控制，将该俯瞰图像数据输出到监视器3中。
CPU 13识别驾驶员操作未图示的操作输入部而决定的图像布局指示、图像切换指示，决定在图像变换部14中用于图像变换处理的地址变换表。另外，CPU 13通过控制图像变换部14的来自输入缓冲器12的图像的变换定时以及输出缓冲器16的向监视器3的数据输出定时，使俯瞰图像30连续地保存在输出缓冲器16中，并且连续地切换显示在监视器3上的俯瞰图像30。
另外，CPU 13如图2所示，具备误差检测部41，进行本车辆出厂时进行的误差检测；参数算出部42，算出对默认的地址变换表进行修正的参数；表重新构成部43，对存储在表存储部15中的地址变换表进行重新构成。此外，在本例中，虽然在车载图像处理装置1内具备如误差检测部41、参数算出部42以及表重新构成部43那样的用于重新构成存储在表存储部15中的地址变换表的功能部，但是也可以使在外部重新构成的地址变换表存储在表存储部15中。
误差检测部41例如在车辆出厂检查时等检测照相机组件2A、2B、2C、2D在照相机坐标系中的安装误差。在该检查时，误差检测部41分别取得本车辆停在描绘了规定白线的路面上的规定位置处、从该停车位置拍摄了白线时的照相机组件2A、2B、2C、2D的照相机图像数据。并且，误差检测部41比较取得的各照相机图像数据、和没有照相机组件2A、2B、2C、2D的安装误差时应该拍摄的模板图像。
并且，向照相机图像数据的图像内纵方向延长的白线、与向模板图像的纵方向延长的白线在图像内横方向上偏离的情况下，照相机组件2A、2B、2C、2D的安装位置在横方向上偏离，将该偏离量作为偏航角的误差[度]算出。另外，向照相机图像数据的图像内横方向延长的白线、与向成为模板的图像内横方向延长的白线在图像内纵方向上偏离的情况下，照相机组件2A、2B、2C、2D的安装位置在纵方向上偏离，将该偏离量作为俯仰角的误差[度]算出。并且，照相机图像数据与模板图像在旋转方向上偏离的情况下，将该偏离量作为滚转角的误差[度]算出。由此，作为照相机组件2A、2B、2C、2D的安装误差，可检测出照相机坐标系(全局坐标系)的偏航角的误差[度]、俯仰角的误差[度]、滚转角的误差[度]。
参数算出部42从误差检测部41检测出的偏航角的误差、俯仰角的误差、滚转角的误差，算出与存储在表存储部15中的没有照相机组件2A、2B、2C、2D的安装误差的状态下的默认的地址变换表对应的校正量(参数)。
此时，参数算出部42，求出左右方向偏移量dx[像素]，偏航角的误差越大、以像素单位在左右方向上对地址变换表的照相机图像数据的地址变换对象区域的移动越大。另外，参数算出部42，求出上下方向偏移量dy[像素]，俯仰角的误差越大、以像素单位在上下方向上对地址变换表的照相机图像数据的地址变换对象区域的移动越大。这样的偏移量dx、dy[像素]，成为用于修正照相机组件2A、2B、2C、2D的各安装误差的参数。
并且，对参数算出部42从滚转角的误差[度]求出使照相机图像数据的地址变换对象区域旋转的量的处理进行说明。在此，说明在照相机图像数据的图形坐标系(图像坐标系)中，以任意的坐标(ox，oy)为中心发生了r[度]的滚转角的误差的情况。在此，可通过将坐标(ox，oy)设定在输入缓冲器12A、12B、12C、12D的中心坐标上，最低限度地抑制由旋转产生的像素的缺损。
首先，在校正滚转角的误差前并在由于滚转角的误差在照相机图像上出现旋转前的坐标(sx1，sy1)，可利用根据滚转角的误差校正后的旋转后的坐标(x1，y1)，由以下的式1、式2求出。
sx1＝(x1-ox)×cos(-r)+(y1-oy)×sin(-r)+ox (式1)sy1＝(y1-oy)×cos(-r)-(x1-ox)×sin(-r)+oy (式2)对于在x方向与旋转后坐标(x1，y1)邻接的旋转后坐标(x1+1，y)，也可应用上述的式1、2，因此，在x方向与旋转前的坐标(sx1，sy1)邻接的旋转前坐标(sx2，sy2)表现为sx2＝(x1+1-ox)×cos(-r)+(y1-oy)×sin(-r)+ox (式3)sy2＝(y1-oy)×cos(-r)+(x1+1-ox)×sin(-r)+oy (式4)。
在此，设为dxx＝sx2-sx1、dyx＝sy2-sy1时，dxx、dyx分别利用上述式1、2和式3、4成为dxx＝sx2-sx1＝cos(-r) (式5)dyx＝sy2-sy1＝-sin(-r)(式6)。于是，在x方向上连续的坐标(x1+n，y1)的旋转后的坐标利用sx1、sy1、dxx、dyx表现时，成为sx＝sx1+dxx×n (式7)sy＝sy1+dyx×n (式8)。因此，可知坐标(x1+n，y1)的旋转后的坐标可通过分别将dxy、dyy加在sx1、sy1上计算得到。在此，由于式7、8如式5、6那样包含三角函数，因此成为包含小数值的旋转量[度]。
接着，旋转后的坐标(x1，y1)的、在y方向上邻接的坐标(x1，y1+1)的情况下也与上述同样，表现为
sx3＝(x1-ox)×cos(-r)+(y1+1-oy)×sin(-r)+ox(式9)sy3＝(y1+1-oy)×cos(-r)-(x1-ox)×sin(-r)+oy(式10)。在此，设为dxy＝sx3-sx1、dyy＝sy3-sy1时，dxy、dyy分别利用上述式9、式10成为dxx＝sx3-sx1＝sin(-r)dyx＝sy3-sy1＝cos(-r)在y方向上连续的坐标(x1，y1+n)的旋转后的坐标，可通过分别将dxy、dyy加在sx1、sy1上计算。另外，这样求出的旋转后的坐标成为包含小数值的旋转量[度]。
由此，对于保存在输入缓冲器12A、12B、12C、12D中的作为照相机图像数据坐标系的图形坐标系的左上坐标，通过仅计算一次上述的旋转后坐标，对剩余的照相机图像数据的像素进行加法计算而使其旋转。
在此，上述运算中的cos(-r)以及sin(-r)的值为共用的，因此，只求一次这两个值，利用该求出的结果求出旋转量[度]。并且，旋转后的坐标中，如果存储一对旋转前坐标和旋转后坐标的对应关系，则不需要三角函数的运算，就可求出作为用于修正滚转角误差的参数的旋转量[度]。
表重新构成部43使用用于修正由参数算出部42求出的偏航角的误差的左右方向偏移量dx、用于修正俯仰角的误差的上下方向偏移量dy、用于修正滚转角的误差的旋转量[度]，对存储在表存储部15中的默认的地址变换表进行重新构成，制作新的地址变换表。该表重新构成部43，首先将地址变换对象区域只移动左右方向偏移量dx，并且将地址变换对象区域只移动上下方向偏移量dy。之后，表重新构成部43，使只移动了左右方向偏移量dx以及上下方向偏移量dy的地址变换对象区域旋转相当于旋转量的像素数。
即，表重新构成部43在左右方向以及上下方向上移动地址变换对象区域后，使该移动后的地址变换对象区域旋转。这样，先在左右方向以及上下方向上移动地址变换对象区域、之后旋转是因为对于作为地址变换对象区域的输入缓冲器12A、12B、12C、12D的读出地址是实数值的情况时，旋转量[度]包含小数值，因此，相对于该旋转量[度]在旋转后的地址变换对象区域中产生舍入误差。因此，表重新构成部43先进行不产生舍入误差的左右以及上下的偏移，之后进行旋转，从而将舍入误差的影响抑制到最低限度。相反，在使地址变换对象区域旋转后、向上下以及左右偏移了地址变换对象区域的情况下，偏移量[像素]被分解成在前面的旋转量中包含的cos成分和sin成分，因此由参数算出部42求出的偏移量[像素]和实际的偏移量[像素]成为不同的值。
此外，在本实施方式中，为了抑制滚转角的误差，运算地址变换对象区域的旋转量，进行地址变换表的重新构成，不言而喻，即使不进行该滚转角误差的抑制，只向地址变换对象区域的上下以及左右偏移也能够修正偏航角误差以及俯仰角误差。这样，只使用了上下方向偏移量dy以及左右方向偏移量dx的地址变换表的重新构成，在将输出地址设为Addr、将输入缓冲器12的纵方向像素数设为Xi、将假定没有照相机组件2的安装误差的初始状态时的横方向的输入地址设为defAddr的情况下，可由Addr＝(defAddr+dx)+Xi·dy的简单的加减运算表现。
并且，表重新构成部43通过移动地址变换对象区域，重新构成对输入缓冲器12A、12B、12C、12D中、作为地址变换对象区域取出的输入缓冲器地址进行变更后的地址变换表，保存到表存储部15中。
这样，如图5所示，对没有照相机组件2A、2B、2C、2D的安装误差的状态下的默认的地址变换表进行重新构成地址变换表的处理。该地址变换表，例如与任意的照相机组件2对应的输入缓冲器12的输入地址中的地址变换对象区域，成为存储器实际环境中的输入地址“1”～“16”的4图像块×4图像块。另外，该默认的地址变换表，表示了从输入地址“1”～“16”中的输入地址“6”、“7”、“10”、“11”取出照相机图像数据，将从输入地址“6”取出的照相机图像数据保存到输出缓冲器16的输出地址“1”中，将从输入地址“7”取出的照相机图像数据保存到输出缓冲器16的输出地址“2”中，将从输入地址“10”取出的照相机图像数据保存到输出缓冲器16的输出地址“3”中，将从输入地址“11”取出的照相机图像数据保存到输出缓冲器16的输出地址“4”中。
由此，可将由照相机组件2拍摄的车辆周围的规定场所的照相机图像数据保存到输出缓冲器16中而显示在监视器3上。
另一方面，有照相机组件2A、2B、2C、2D的安装误差的情况下，照相机图像数据在拍摄的范围内发生误差，因此，如图6的(a)所示，输入缓冲器12中应该保存在图5的输入地址“6”、“7”、“10”、“11”中的照相机图像数据，成为偏离到输入地址“1”、“2”、“5”、“6”而保存的状态。并且，与上述同样取出输入地址“6”、“7”、“10”、“11”的照相机图像数据并保存到输出地址“1”～“4”中时，将显示与本来应该在监视器3上显示的车辆周围的规定场所不同的场所的影像。
与此相对，如上所述将上下方向偏移量dy设为-1[1个地址部分]、左右方向偏移量dx决定为-1[1个地址部分]、进行移动地址变换对象区域的地址变换表的重新构成时，如图6的(b)所示，可变更为取出输入地址“1”、“2”、“5”、“6”。
如上所述在多台照相机组件2被连接在车载图像处理装置1上的情况下，通过重复执行与照相机组件2的台数相等的次数来将如图7所示的步骤S1～步骤S3的处理，来进行这样的地址变换表的重新构成处理。
即，在步骤S1中，首先对于任意的照相机组件2，先通过误差检测部41求出偏航角的误差[度]、俯仰角的误差[度]、滚转角的误差[度]，通过参数算出部42从各误差[度]求出上下方向偏移量dy[像素]、左右方向偏移量dx[像素]。
在接着的步骤S2中，对默认的用于制作俯瞰图像的地址变换表中、保存由任意的照相机组件2拍摄的照相机图像数据的输入地址进行上下方向偏移量dy以及左右方向偏移量dx的加减运算，之后，使地址变换表的输入地址全体(地址变换对象区域的全体)旋转基于滚转角的误差[度]的旋转量。
在接着的步骤S3中，将在步骤S2中重新构成的地址变换表保存到表存储部15中。在此，在表存储部15中，既可以使重新构成后的地址变换表存储在与默认的地址变换表分开的存储器区域中，也可以将重新构成后的地址变换表覆盖到默认的地址变换表上。
由此，从照相机组件2各自的安装误差[度]求出各地址变换表的校正量[像素]以及旋转量，可仅通过简单的图形坐标系中的像素单位的加减以及旋转运算，对全局坐标系(照相机坐标系)的误差进行校正。
此外，参照图7说明的地址变换表的重新构成处理，说明了通过将步骤S1～步骤S3重复与照相机组件2的台数相等的次数，对每个照相机组件2的默认的地址变换表进行重新构成的情况，但是并不限定于此，也可以将步骤S1的处理重复与照相机组件2的台数相等的次数而求出每个照相机组件2的上下方向偏移量dy、左右方向偏移量dx以及旋转量[度]，并在步骤S2以及步骤S3中分别对所有的地址变换表进行重新构成并存储到表存储部15中。
实施方式的效果如以上详细所述，根据应用了本发明的车载图像处理装置1，即使在参照存储到表存储部15中的地址变换表，取出存储在输入缓冲器12中的照相机图像数据中由地址变换表指定的输入地址的照相机图像数据，保存在由地址变换表指定的输出地址中的情况下，也能够抑制由照相机组件2的安装误差引起的构成俯瞰图像30的图像间的偏离、失真，显示在监视器3上。
即，根据该车载图像处理装置1，如图8所示，即使在将本车辆的左侧方作为摄像方向的照相机组件2的安装位置或者方向有误差，在作为所希望的俯瞰图像要显示如图8的(a)所示的图像的情况下，也能够抑制如图8的(b)所示在白线L3、L4上产生失真、或在与邻接的前方图像以及后方图像的拼接处中发生白线L3的偏离。具体地说，在照相机组件2的安装误差是偏航角为3°[度]的误差的情况下，不再能保持白线L3的平行度(图8的(b))，但是仅通过在左右方向上偏移地址变换表的输入地址，就可得到比起图8的(b)的有失真以及偏离的俯瞰图像30、更近似图8的(a)的俯瞰图像30的俯瞰图像。具体地说，即使在本车辆的侧面照相机中偏航角的误差有3度、在图像上有23个像素、实际上有约30cm的偏离的情况下，也能够换算为VGA的监视器3(Y轴)，将23/480[像素]的偏离抑制为1/480。
另外，根据车载图像处理装置1，将用于在照相机组件2对车辆没有安装误差的状态下制作俯瞰图像30的地址变换表，按照对照相机组件2对车辆的安装误差进行修正的参数，重新构成地址变换表，根据重新构成的地址表，将照相机图像数据保存到输出缓冲器中，因此，仅通过移动地址变换表的输入地址，就能够在实际制作俯瞰图像30时不进行很多处理，而通过简单的处理从多个照相机图像数据制作俯瞰图像30。另外，根据车辆固有的照相机组件2的安装误差重新构成地址变换表，因此，存储该地址变换表的表存储部15的存储器容量不会变得很大。
具体地说，在表存储部15中，对每个照相机组件存储地址变换表，该地址变换表记述了照相机号码、输入地址、以及输出地址的对应关系，通过图像变换部14，根据由地址变换表指定的照相机号码以及输入地址从输入缓冲器12取出照相机图像数据，仅通过将该照相机图像数据保存到由地址变换表指定的输出地址中的处理，就可显示与照相机组件2的安装误差无关而抑制了失真、偏离的俯瞰图像30，其中，上述照相机号码指定与照相机组件2对应的输入缓冲器12，上述输入地址指定取出用于制作俯瞰图像30的照相机图像数据的输入地址，上述输出地址保存从该输入地址取出的照相机图像数据。
另外，在该车载图像处理装置1中，可通过具备图2的误差检测部41、参数算出部42以及表重新构成部43，重新构成用于修正因照相机坐标系的误差而引起的图像坐标系的误差的地址变换表。即，可通过仅在图像坐标系的横方向上偏移输入地址，显示抑制了照相机坐标系的偏航角误差的俯瞰图像30，该偏航角误差是作为修正照相机组件2对车辆的安装误差的参数。另外，可通过仅在图像坐标系的纵方向上偏移输入地址，显示抑制了照相机坐标系的俯仰角误差的俯瞰图像30，该俯仰角误差是作为修正照相机组件2对车辆的安装误差的参数。并且，可通过仅在图像坐标系的旋转方向上移动输入地址，显示抑制了照相机坐标系的滚转角误差的俯瞰图像30，该滚转角误差是作为修正照相机组件2对车辆的安装误差的参数。
并且，根据该车载图像处理装置1，可通过同时进行偏航角的误差抑制和俯仰角误差的抑制，进一步抑制俯瞰图像30的偏离、失真。
并且，另外根据该车载图像处理装置1，在显示不仅抑制了偏航角的误差、俯仰角的误差，还抑制了滚转角的误差的俯瞰图像30的情况下，重新构成地址变换表，使得先进行偏航角的误差抑制或者俯仰角的误差抑制，之后，通过重新构成地址变换表，进行滚转角的误差的抑制，从而即使在根据滚转角的误差[度]的旋转量[度]的运算结果中包含小数值的情况下，也可最大限度地抑制由于该小数值而出现的舍入误差的影响。
此外，上述实施方式是本发明的一个例子。因此，不言而喻，本发明并不限定于上述实施方式，即使是该实施方式以外的实施方式，只要在没有脱离与本发明有关的技术思想的范围内，可根据设计等进行各种变更。
即，除此之外也可以在表存储部15中存储例如在监视器3上用于以一个画面显示右侧方图像和左侧方图像的地址变换表、用于以一个画面显示右后侧方图像、左后侧方图像和下方图像的地址变换表等。在这样的通过地址变换表使多个照相机图像数据成为连续的一张图像时，也如上所述，通过校正基于照相机组件2的安装误差的俯仰角、偏航角、滚转角，重新构成地址变换表，从而在显示用的图像中控制图像间的偏离、失真。
权利要求
1.一种车载图像处理装置，与拍摄车辆周围而生成照相机图像数据的多个照相机组件连接，对各该照相机图像数据进行视点变换，使车辆周围的俯瞰图像显示在显示装置上，其特征在于，具备多个输入装置，具备保存由各上述照相机组件拍摄的照相机图像数据的输入缓冲器；输出装置，具备保存由从各上述输入缓冲器取出的照相机图像数据构成的俯瞰图像的输出缓冲器，将该俯瞰图像输出到上述显示装置中；存储装置，存储重新构成后地址变换表，该重新构成后地址变换表是根据修正上述照相机组件对上述车辆的安装误差的参数、对记述了上述车辆周围的多个照相机图像数据和俯瞰图像的对应关系的重新构成前的地址变换表进行重新构成而得到的；以及图像处理装置，根据存储在上述存储装置中的重新构成后地址变换表，从上述输入缓冲器取出照相机图像数据，根据存储在上述存储装置中的重新构成后地址变换表，将该照相机图像数据保存到上述输出缓冲器中，制作上述俯瞰图像。
2.根据权利要求1所述的车载图像处理装置，其特征在于，在上述存储装置中，对每个上述照相机组件，存储重新构成后地址变换表，该重新构成后地址变换表记述了照相机号码、上述输入缓冲器的输入地址信息、以及输出地址信息的对应关系，其中，照相机号码指定与上述照相机组件对应的输入缓冲器，上述输入缓冲器的输入地址信息指定取出用于制作上述俯瞰图像的照相机图像数据的输入地址，输出地址信息指定保存从该输入地址取出的照相机图像数据的上述输出缓冲器的输出地址，上述图像处理装置，根据由存储在上述存储装置中的重新构成后地址变换表指定的照相机号码以及输入地址信息，从输入缓冲器取出照相机图像数据，根据由存储在上述存储装置中的重新构成后地址变换表指定的输出地址信息在上述输出缓冲器的输出地址中保存该照相机图像数据。
3.根据权利要求2所述的车载图像处理装置，其特征在于，具备表重新构成装置，该表重新构成装置将重新构成前的地址变换表的输入地址信息变更为根据修正各照相机组件对上述车辆的安装误差的参数而移动上述输入地址后的输入地址信息，重新构成各照相机组件的重新构成前的地址变换表，该重新构成前的地址变换表记述了在没有各照相机组件对上述车辆的安装误差的状态下、使俯瞰图像保存到上述输出缓冲器中的照相机号码和输入地址信息、与输出地址信息的对应关系。
4.根据权利要求3所述的车载图像处理装置，其特征在于，上述表重新构成装置，使输入地址在图像坐标系的横方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的偏航角误差进行校正。
5.根据权利要求3所述的车载图像处理装置，其特征在于，上述表重新构成装置，使输入地址在图像坐标系的纵方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的俯仰角误差进行校正。
6.根据权利要求3所述的车载图像处理装置，其特征在于，上述表重新构成装置，使输入地址在图像坐标系的旋转方向上移动而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的滚转角误差进行校正。
7.根据权利要求3所述的车载图像处理装置，其特征在于，上述表重新构成装置，使输入地址在图像坐标系的横方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的偏航角误差进行校正，并且，使输入地址在图像坐标系的纵方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的俯仰角误差进行校正。
8.根据权利要求3所述的车载图像处理装置，其特征在于，上述表重新构成装置，在使输入地址在图像坐标系的横方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的偏航角误差进行校正的处理，或者使输入地址在图像坐标系的纵方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的俯仰角误差进行校正的处理后，使输入地址在图像坐标系的旋转方向上移动而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的滚转角误差进行校正。
9.一种车辆用图像处理方法，与拍摄车辆周围而生成照相机图像数据的多个照相机组件连接，对各该照相机图像数据进行视点变换，使车辆周围的俯瞰图像显示在显示装置上，其特征在于，包括如下步骤存储重新构成后的地址变换表的步骤，该重新构成后的地址变换表是根据对上述照相机组件对上述车辆的安装误差进行修正的参数、对假设没有上述照相机组件对上述车辆的安装误差而使俯瞰图像保存到输出缓冲器中的重新构成前的地址变换表进行重新构成得到的，其中，该地址变换表用于从输入缓冲器取出用于制作上述俯瞰图像的照相机图像数据，使该取出的照相机图像数据保存到上述输出缓冲器中，使上述俯瞰图像保存到上述输出缓冲器中；保存照相机图像数据的步骤，将由各照相机组件拍摄的照相机图像数据，保存到与该照相机组件对应的上述输入缓冲器中；制作俯瞰图像的步骤，根据存储在上述存储装置中的重新构成后的地址变换表，从上述输入缓冲器取出照相机图像数据，根据存储在上述存储装置中的重新构成后的地址变换表，将该照相机图像数据保存到上述输出缓冲器中，制作上述俯瞰图像。
10.根据权利要求9所述的车辆用图像处理方法，其特征在于，上述存储重新构成后的地址变换表的步骤，对每个上述照相机组件，在上述存储装置中存储重新构成后的地址变换表，该重新构成后的地址变换表记述了照相机号码、上述输入缓冲器的输入地址信息、以及输出地址信息的对应关系，其中，照相机号码指定与上述照相机组件对应的输入缓冲器，上述输入缓冲器的输入地址信息指定取出用于制作上述俯瞰图像的照相机图像数据的输入地址，输出地址信息指定保存从该输入地址取出的照相机图像数据的上述输出缓冲器的输出地址，上述制作俯瞰图像的步骤，根据由存储在上述存储装置中的重新构成后的地址变换表指定的照相机号码以及输入地址信息，从输入缓冲器取出照相机图像数据，根据由存储在上述存储装置中的重新构成后的地址变换表指定的输出地址信息在上述输出缓冲器的输出地址中保存该照相机图像数据。
11.根据权利要求10所述的车辆用图像处理方法，其特征在于，上述存储重新构成后的地址变换表的步骤具有对重新构成前的地址变换表进行重新构成的步骤，该对重新构成前的地址变换表进行重新构成的步骤将重新构成前的地址变换表的输入地址信息变更为根据修正各照相机组件对上述车辆的安装误差的参数而移动上述输入地址后的输入地址信息，对各照相机组件的重新构成前的地址变换表进行重新构成，该重新构成前的地址变换表记述了在没有各照相机组件对上述车辆的安装误差的状态下、使俯瞰图像保存到上述输出缓冲器中的照相机号码和输入地址信息、与输出地址信息的对应关系。
12.根据权利要求11所述的车辆用图像处理方法，其特征在于，上述对重新构成前的地址变换表进行重新构成的步骤，使输入地址在图像坐标系的横方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的偏航角误差进行校正。
13.根据权利要求11所述的车辆用图像处理方法，其特征在于，上述对重新构成前的地址变换表进行重新构成的步骤，使输入地址在图像坐标系的纵方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的俯仰角误差进行校正。
14.根据权利要求11所述的车辆用图像处理方法，其特征在于，上述对重新构成前的地址变换表进行重新构成的步骤，使输入地址在图像坐标系的旋转方向上移动而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的滚转角误差进行校正。
15.根据权利要求11所述的车辆用图像处理方法，其特征在于，上述对重新构成前的地址变换表进行重新构成的步骤，使输入地址在图像坐标系的横方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的偏航角误差进行校正，并且，使输入地址在图像坐标系的纵方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的俯仰角误差进行校正。
16.根据权利要求11所述的车辆用图像处理方法，其特征在于，上述对重新构成前的地址变换表进行重新构成的步骤，在使输入地址在图像坐标系的横方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的偏航角误差进行校正的处理，或者使输入地址在图像坐标系的纵方向上偏移而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的俯仰角误差进行校正的处理后，使输入地址在图像坐标系的旋转方向上移动而对作为修正上述照相机组件对上述车辆的安装误差的参数的照相机坐标系的滚转角误差进行校正。
全文摘要
本发明提供一种车载图像处理装置以及车辆用图像处理方法。通过简单的处理由多个图像制作俯瞰图像。具备保存由各照相机组件拍摄的照相机图像数据的输入缓冲器、保存俯瞰图像的输出缓冲器，从输入缓冲器取出用于制作俯瞰图像的照相机图像数据，使该照相机图像数据保存到输出缓冲器中，事先将使俯瞰图像保存到输出缓冲器中的地址变换表存储到表存储部中。地址变换表是根据用于修正照相机组件对车辆的安装误差的参数而对在没有照相机组件对车辆的安装误差的状态下使俯瞰图像保存到输出缓冲器中的地址变换表进行重新构成后的地址变换表，按照该地址变换表，由图像变换部使照相机图像数据保存到输出缓冲器中。
文档编号H04N7/18GK1829318SQ200610057900
公开日2006年9月6日 申请日期2006年3月3日 优先权日2005年3月3日
发明者铃木政康, 大泉谦, 赤塚健 申请人:日产自动车株式会社