图像处理装置及存储介质的制作方法
【专利说明】图像处理装置及存储介质
[0001]相关申请的交叉引用
[0002]本申请基于2012年8月30日申请的日本国申请号2012 — 190056号，此处引用其记载内容。
技术领域
[0003]本申请涉及进行有关在车辆中使用的照相机的设置的校准的图像处理装置和包含用来进行校准的命令的存储介质。
【背景技术】
[0004]以往，作为进行有关搭载在车上的照相机的设置的校准的技术，已知有以下的技术。即，已知有从由照相机拍摄的两个图像帧中提取表示相同的地点的特征点、计算照相机的姿态以使该特征点表示的地点的世界坐标系上的移动量相对于根据本车的车速计算出的本车的移动量的误差为最小的技术(例如专利文献I)。
[0005]但是，上述技术在两个方面存在问题。第一个是上述技术没有考虑到车辆的偏转(偏摆、偏航)方向的移动，所以测量者必须正确地使车辆直线前进，有给测量者强加负担的问题。第二个是作为执行校准的场所，必须是能够取得充分的直线距离的场所、所以存在对于能够执行校准的场所有限制的问题。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:特开2011 — 217233号公报
【发明内容】
[0009]本申请是鉴于上述问题点而做出的，其目的是提供一种即使不使车辆直线前进也能够计算出照相机的姿态参数的值的图像处理装置和存储介质。
[0010]本申请的第一方式的图像处理装置包括拍摄图像输入部、校正对象确定部、车辆信息输入部、计算部和存储控制部。上述拍摄图像输入部输入由搭载在车辆上的照相机拍摄的多个图像。上述校正对象确定部在由上述拍摄图像输入部输入的、在车辆行驶的至少两地点拍摄的第I拍摄图像和第2拍摄图像中，确定共通地包含的相同的校正对象。上述车辆信息输入部输入能够确定上述车辆的行驶距离及朝向变化的信息。上述计算部将包含上述校正对象的第I拍摄图像和第2拍摄图像分别变换为第I俯瞰(鸟瞰)图像和第2俯瞰(鸟瞰)图像，使变换后的各俯瞰图像反映根据上述车辆信息输入部输入的信息所确定的上述第I拍摄图像和上述第2拍摄图像各自的拍摄位置及拍摄方向而配置到共通的坐标系上，以使在上述第I俯瞰图像和上述第2俯瞰图像中上述校正对象的位置差及旋转差变小的方式计算上述照相机的至少I个姿态参数的值。上述存储控制部使存储部存储由上述计算部计算出的上述姿态参数的值。
[0011]根据上述装置，即使在车辆的移动中包含旋转，也计算出反映车辆的移动中包含旋转的照相机的姿态参数的值。即，在测量时既可以使车辆转弯也可以使其直线前进，因此能够容易地进行测量。
[0012]本申请的第二方式的计算机可读取的非暂时性(non-transitory)且有形的存储介质，包含由计算机实施的命令，所述命令用来:输入由搭载在车辆上的照相机拍摄的多个图像；在车辆行驶的至少两地点拍摄的第I拍摄图像和第2拍摄图像中，确定共通地包含的相同的校正对象；输入能够确定上述车辆的行驶距离及朝向变化的信息；将包含上述校正对象的上述第I拍摄图像和上述第2拍摄图像分别变换为第I俯瞰图像和第2俯瞰图像；使各俯瞰图像反映根据能够确定上述车辆的行驶距离及朝向变化的信息所确定的上述第I拍摄图像和上述第2拍摄图像各自的拍摄位置及拍摄方向而配置到共通的坐标系上；以使在上述第I俯瞰图像和上述第2俯瞰图像中上述校正对象的位置差及旋转差变小的方式计算上述照相机的至少I个姿态参数的值；将上述计算出的上述姿态参数的值存储。
[0013]根据上述存储介质，即使在车辆的移动中包含旋转，也计算出反映车辆的移动中包含旋转的照相机的姿态参数的值。即，在测量时既可以使车辆转弯也可以使其直线前进，因此能够容易地进行测量。
[0014]本申请的第三方式的图像处理装置包括拍摄图像输入部、校正对象确定部、车辆信息输入部、位置关系取得部、计算部和存储控制部。拍摄图像输入部将由搭载在车辆上的照相机拍摄的第I拍摄图像、和在第I拍摄图像被拍摄且车辆行驶后所拍摄的第2拍摄图像输入至图像处理装置。校正对象确定部确定由拍摄图像输入部输入的第I拍摄图像中所包含的第I校正对象、和包含在第2拍摄图像中、与第I校正对象相同形状的第2校正对象。车辆信息输入部输入能够确定将第I拍摄图像拍摄的地点和将第2拍摄图像拍摄的地点间的车辆的行驶距离及朝向变化的信息。位置关系取得部取得第I校正对象和第2校正对象的相对的位置关系。计算部将第I拍摄图像和第2拍摄图像分别变换为第I俯瞰图像和第2俯瞰图像，使变换后的各俯瞰图像反映根据车辆信息输入部输入的信息所确定的第I拍摄图像和第2拍摄图像各自的拍摄位置及拍摄方向而配置到共通的坐标系上。然后，计算部基于位置关系取得部取得的第I校正对象和第2校正对象的相对的位置关系，以使在共通的坐标系中第I校正对象与第2校正对象重合、第I校正对象与第2校正对象的位置差及旋转差变小的方式计算照相机的至少I个姿态参数的值。存储控制部使存储部存储由计算部计算出的姿态参数的值。
[0015]根据上述装置，即使在车辆的移动中包含旋转，也计算反映车辆的移动中包含旋转的照相机的姿态参数的值。即，在测量时既可以使车辆转弯也可以使其直线前进，因此能够容易地进行测量。
【附图说明】
[0016]关于本申请的上述目的及其他目的、特征及优点一边参照附图一边通过下述详细的记述会变得更明确。其附图如下。
[0017]图1是表示实施方式的图像处理系统的概略结构的框图。
[0018]图2中㈧是表示照相机对车辆的安装位置的说明图，图2中(B)是用来说明照相机的安装位置的坐标及照相机的光轴的方向的说明图。
[0019]图3是用来说明姿态参数决定处理的流程图。
[0020]图4中(A)是拍摄的既定校正对象的俯瞰图像，图4中(B)是理想的既定校正对象。
[0021]图5中㈧是第一时点的疑似校正对象的俯瞰图像，图5中(B)是第二时点的疑似校正对象的俯瞰图像，图5中(C)是将第一时点的疑似校正对象的俯瞰图像和第二时点的疑似校正对象的俯瞰图像配置到世界坐标系上的图像。
【具体实施方式】
[0022]以下，使用【附图说明】适用了本申请的实施方式。
[0023][结构的说明]
[0024]如图1所示，本实施方式的图像处理系统(IMAG PROC SYS) 5具备车载照相机(VHCAMERA、VH照相机)11、图像处理装置(IMAG PROC) 21和显示装置(DISPLAY、显示器)31。
[0025]车载照相机11具有搭载于车辆的电荷结合元件(CXD)及互补性金属氧化膜半导体(CMOS)等的摄像元件，拍摄车辆周边，将该拍摄图像以规定频度(例如I秒60帧)向图像处理装置21输出。在本实施方式中，如图2中(A)所示，设置在车辆7的后端的上部，设置为，能够拍摄车辆的后方周边。虽然后面进行了叙述，但也可以是追加或替换地设置拍摄车辆的前方周边的照相机或拍摄侧方周边的照相机。
[0026]这里，使用图2中(A)对在本实施方式中使用的世界坐标系进行说明。本实施方式的世界坐标系的原点以在以下说明的姿态参数决定处理的S150中选择的两个拍摄图像中的在较早的时间所拍摄的拍摄图像的拍摄时点的车载照相机11的位置为基准。即，将从该拍摄时点的车载照相机11的未图示的摄像元件的中央位置R(照相机视点R)向地表面引下的垂线与地表面的交点作为原点Q，将车辆后方设定为I方向，将车辆上方设定为z方向，在从车辆中央观察车辆后方的情况下将右方向设定为X方向。
[0027]接着，使用图2中(B)对车载照相机11的姿态参数进行说明。设定以上述照相机视点R为原点R的照相机坐标系(xl，yl，zl)，关于该照相机坐标系，设绕世界坐标的X轴的旋转角为Ax，设绕世界坐标的y轴的旋转角为Ay (未图示)，设绕世界坐标的z轴的旋转角为Az (未图示)。另外，Ax对应于俯仰角(pitch angle)，Ay对应于横滚角(roll angle)，Az对应于偏转角(yaw angle)。
[0028]S卩，车载照相机11的姿态参数以世界坐标系为基准，包括照相机坐标系的原点R的坐标(在测量开始时点是(0，0，H))、俯仰角Ax、横滚角Ay和偏转角Az。将以世界坐标系为基准的照相机坐标系的原点R的X方向的位置或I方向的位置的至少某一个也称作照相机11的水平方向的安装位置。将以世界坐标系为基准的照相机坐标系的原点R的z方向位置也称作铅直方向的安装位置。此外，姿态参数的俯仰角Ax也称作安装俯仰角，横滚角Ay