心、失真函数的设计值等(将它们称为内部参数)之类的摄像机参数的、摄像机图像的校准所需要的预先的信息(摄像机参数初始值)。
[0037]另外，输入装置106基于使用者等的操作而接收摄像机的校准所需要的信息等的输入信息，并将该输入信息发送至运算装置103。
[0038]运算装置103与摄像机接口 102、图像存储装置(RAM)104、参数存储装置(R0M)105、输入装置106、显示装置107等联合，实施上述那样的包含摄像机图像校准时的运算的各种运算。具体而言，运算装置103将摄像机接口 102发送来的图像信号储存至图像存储装置104，或者，读出储存于参数存储装置105的摄像机参数初始值和储存于图像存储装置104的图像，对该图像进行视点变换、合成(合成图像生成装置109)，实施使视点变换、合成后的图像显示于显示装置107的处理等。另外，实施计算摄像机的设置位置和设置姿态的校准运算(摄像机校准装置108)，或者实施将输入装置106中的从使用者等接收到的输入信息活用于校准运算的处理等，使得视点变换、合成而生成的俯瞰图像成为从正上方俯视车辆1的图像。另外，以后叙述该摄像机图像的校准运算处理。
[0039]显示装置107基于从运算装置103发送的指示，显示从各摄像机111?114得到的图像。例如，显示装置107根据从运算装置103发送的指示，仅将朝向后方的摄像机112的图像不变换地显示并向使用者等提示，或显示对从摄像机111?114得到的图像进行视点变换、合成而生成的俯瞰图像。
[0040]<摄像机校准装置的实施方式>
[0041]接着，参照图3、4详细叙述图1所示的运算装置103的摄像机校准装置108(本发明的摄像机校准装置的实施方式)形成的摄像机图像的校准运算处理，即摄像机校准装置108形成的各摄像机111?114的摄像机参数的运算处理。
[0042]如图3所示，在摄像机校准装置108进行的摄像机图像的校准运算处理中使用的校准目标R配置车辆1，在该车辆1的周围且至少相邻的摄像机的公共摄像区域RK1?RK4配置作为校准用标识的校准图案P1?P16。该校准图案P1?P16由例如具有平面的圆板状或正方形状等多边形状等的板构成，且具有在被各摄像机111?114拍摄时在图像上能够视认的程度的大小。此外，如果在校准图案P1?P16由圆形的板构成的情况下，其中心部具有成为唯一限定各校准图案的标记的部位，如果在校准图案P1?P16由正方形状的板构成的情况下，其板的角部等具有成为唯一限定各校准图案的标记的部位，则其形状可以适当选择。另外，各公共摄像区域内的校准图案可以是相同形状，也可以是不同形状。
[0043]图3所示的方式中，在摄像机111和摄像机114的公共摄像区域RK1设置有4个校准图案P1?P4，在摄像机111和摄像机113的公共摄像区域RK2设置有4个校准图案P5?P8，在摄像机113和摄像机112的公共摄像区域RK3设置有4个校准图案P9?P12，在摄像机112和摄像机114的公共摄像区域RK4设置有4个校准图案P13?P16。此外，这些校准图案在各公共摄像区域内可设置于任意位置，但优选各校准图案的间隔较大。另外，配置于各公共摄像区域内的校准图案的数量可以根据例如校准精度等适当变更。
[0044]另外，校准图案的数量越多越能提高校准精度，但这些图案是在摄像机图像的校准时使用的辅助的校准用标识。摄像机图像的校准中，原理上，即使不存在校准图案等的点，但只要在成为背景的平面上描绘纹理图案，就可以进行。
[0045]但是，为了唯一限定摄像机的高度，需要本实施方式所示的16个校准图案中的至少两个(例如，图3中，P1和P5)，该两个校准图案的间隔由操作员等测定，经由输入装置106预先输入至摄像机参数计算部145。
[0046]具体而言，由操作员等输入的两个校准图案的间隔用于决定1个像素所对应的距离。在多个摄像机间实施校准，在与1个像素对应的距离未知的状态下生成俯瞰视点图像后，利用由操作员等输入的两个校准图案的间隔，计算1个像素的尺寸与多少距离或比例(scale)相当，生成最终的俯瞰图像。
[0047]此外，在校准图案为1个的情况下，虽然可实施直到生成俯瞰视点的图像的校准，但不能决定影像的1个像素的尺寸实际上相当于多少距离(相当于几mm)，因此不允许这种場合。
[0048]另外，上述校准图案只要是由4台摄像机的任一摄像机拍摄的范围，就可以设置于任意的位置。但是，优选该校准图案设置于公共摄像区域。这是因为，在本实施方式中，通过拍摄有各公共摄像区域的两个图像的对位来实施校准，如果将校准图案设置于公共摄像区域，则可以设为实施两个图像的对位时的标记。即，图像对位的标记越多，图像的对位变得越容易，因此，优选校准图案较多地设置在公共摄像区域中。
[0049]但是，即使没有这种标记，如果在公共摄像区域的图像中包含纹理图案，则可以利用例如该纹理图案的亮度等信息，实施图像的对位，因此，校准图案不必一定位于公共摄像区域中。因此，如果在由4台摄像机的任意摄像机拍摄的范围内设置两个校准图案，则也可以是在4个公共摄像区域中均不设置校准图案的情况。
[0050]此外，即使是不存在为了进行校准而配置的校准用标识的情况，在具有可用于校准的点(即，特征点)的物体(特征物体)存在于公共摄像区域的情况下，可以使用这样的物体的特征点进行校准。这样的物体不仅可以是立体物，而且也可以是花纹或纹理等平面的物体，例如也可以是沙地或沥青等。在使用存在于公共摄像区域的物体的特征点进行校准的情况下，需要判断该物体是否包含于成为对象的公共摄像区域。作为判断物体是否包含于公共摄像区域的方法，例如可以利用公共摄像区域内的亮度值的标准偏差，例如，如果计算出的标准偏差的值为预定的阈值以上，则可以判断为存在可以成为可用于校准的特征点的物体，如果低于阈值，则可以判断为不存在物体。在判断为不存在物体的情况下，需要校准图案，因此，将应设置校准图案的情况经由显示装置107通知给作业者。
[0051]使用了上述的校准目标R的摄像机校准装置108进行的摄像机图像的校准运算处理，利用关于地面(平面)的投影矩阵来实施。在此，在与某个公共摄像区域对应的两个摄像机的图像中分别映照有地面(平面)，这些图像相同。拍摄对象为平面，因此，通过使用了投影矩阵的几何变换，可以变换成相同的图像(将从一个摄像机的视点观察的图像变换成从另一视点观察的图像)。在此，投影矩阵是指，表示在与某个公共摄像区域对应的两个摄像机图像中映照的平面的投影关系的矩阵，该投影矩阵包含两个摄像机间的相对的外部参数和图像中的平面的法线向量。通过对该投影矩阵使用奇异值分解，可以提取两个摄像机间的外部参数和平面的法线向量。此外，对投影矩阵的奇异值分解为公知的技术，因此，省略其详细的说明。而且，如果知道各摄像机的平面的法线向量，则可以将各摄像机的图像视点变换成从正上方俯视车辆1的俯瞰图像，如果知道摄像机间的外部参数，则可以将与公共摄像区域对应的两个摄像机的俯瞰图像无偏差地合成并生成合成图像。
[0052]另外，在摄像机图像的校准运算处理中利用的投影矩阵基于例如迭代法计算。该迭代法是反复实施更新投影矩阵的顺序以求得当前的误差并减少误差的方法，例如可举出:最快下降法;或高斯-牛顿法、列文伯格-马夸尔特法等基于微分的方法;或不使用粒子滤波或遗传算法等微分的方法等。这种迭代法中，例如最快下降法，是将对误差函数进行微分，求取误差函数的减少方向，在该减少方向上微小地更新参数的流程被反复实施，直到误差的减少停止的方法。
[0053]另一方面，摄像机校准装置108为了推测用于生成没有偏差的俯瞰影像的摄像机参数，如图4所示，包括校准部144和摄像机参数计算部145，校准部144具有图像变换部141、误差评价部142和投影矩阵更新部143。
[0054]校准部144计算与各个公共摄像区域对应的摄像机间的投影矩阵，对与4个公共摄像区域RK1?RK4各自对应的两个图像，分别实施图像变换部141进行的图像变换处理、误差评价部142进行的误差评价处理、投影矩阵更新部143进行的更新处理。即，校准部144对与公共摄像区域RK1对应的摄像机111和摄像机114的两个图像、与公共摄像区域RK2对应的摄像机111和摄像机113的两个图像、与公共摄像区域RK3对应的摄像机112和摄像机113的两个图像、与公共摄像区域RK4对应的摄像机112和摄像机114的两个图像，分别实施图像变换部141进行的图像变换处理、误差评价部142进行的误差评价处理、投影矩阵更新部143进行的更新处理。
[0055]更具体而言，校准部144的图像变换部141从图像存储部104接收摄像机111?114的图像，主要使用投影矩阵更新部143中得到的投影矩阵进行与各个公共摄像区域对应的两个图像的视点变换，并将该视点变换后的变换图像发送至误差评价部142。该视点变换中使用的投影矩阵是在对例如与公共摄像区域RK1对应的两个摄像机111、114的图像实施处理的情况下，用于进行使包含由摄像机114拍摄的校准图案P1?P4的地面(平面)的图像与包含被摄像机111拍摄的校准图案P1?P4的地面的图像一致的变换的矩阵。此外，实际上在两个图像间必然含有误差，因此，即使使用上述投影矩阵，也不会成为完全一致的图像，但映照于摄像机114的图像成为接近映照于摄像机111的图像的图像。
[0056]此外，图像变换部141进行的最初的校准时的图像变换处理中，由于不能够从投影矩阵更新部143得到投影矩阵，因此，基于预先存储于参数存储部105的关于各摄像机111?114的姿态的设计值(初始参数)，计算用于进行使与各个公共摄像区域对应的两个摄像机拍摄的地面(平面)的图像一致的变换的投影矩阵(初始投影矩阵)，实施图像变换。接着，在第二次以后的校准时的