本公开涉及一种用于进行照相机的校正的照相机校正装置和照相机校正方法。
背景技术：
已知如下一种技术：利用安装于车辆的照相机来拍摄车辆的周围，使用拍摄得到的图像来进行驾驶辅助。在这样的技术中，由于照相机的安装位置的误差和照相机本身的制造误差等，在拍摄得到的图像中产生与设计值的偏差。因此，需要在工厂等预先校正照相机的安装位置的误差等。在校正时，利用照相机拍摄校正用标记，从拍摄得到的校正用标记的图像提取特征点，基于提取出的特征点的坐标来调整用于校正照相机的照相机参数(例如参照专利文献1)。校正用标记的图像在拍摄得到的图像中的占有比例越大，而且特征点越均匀且高密度地分布，则越能够提高校正精度。
专利文献1：日本特开2011-155687号公报
技术实现要素：
本公开的某方式的照相机校正装置具备特征点提取部、面积计算部以及调整部。特征点提取部从利用照相机拍摄得到的校正用标记的图像提取多个特征点。面积计算部计算利用由特征点提取部提取出的特征点规定的图形的面积。调整部基于由特征点提取部提取出的特征点的坐标和由面积计算部计算出的图形的面积，来调整用于校正照相机的照相机参数。
本公开的其它方式是照相机校正方法。该方法包括：从利用照相机拍摄得到的校正用标记的图像提取多个特征点；计算利用所提取出的特征点规定的图形的面积；以及基于提取出的特征点的坐标和计算出的图形的面积，来调整用于校正照相机的照相机参数。
发明的效果
根据本公开，能够提高照相机的校正精度。
附图说明
图1a是表示一个实施方式所涉及的校正时的车辆与校正用标记的位置关系的图。
图1b是表示图1a的校正用标记的一例的平面图。
图2是表示图1a的照相机校正装置的概要结构的框图。
图3a是表示照相机的安装位置没有误差的理想情况下的校正用标记的图像的图。
图3b是表示照相机的安装位置存在横摆角的误差的情况下的校正用标记的图像的图。
图4a是将图3a和图3b的特征点重叠地示出的图。
图4b是将图3a和图3b的特征点与图形重叠地示出的图。
图5是表示图1a的照相机校正装置的处理的流程图。
具体实施方式
在说明本公开的实施方式之前，简单地说明以往的照相机校正装置中的问题点。在照相机的校正中，从设置空间的制约性出发，期望使用小型的校正用标记。校正用标记越小，则能够提取的特征点的数量越少，并且特征点越密集在拍摄得到的图像的局部。在该情况下，由照相机的安装位置的误差所引起的特征点的运动难以受到透镜变形的影响，接近平行移动，因此校正精度降低。
本公开是鉴于这样的状况而完成的，本公开提供一种能够提高照相机的校正精度的技术。
图1a是表示一个实施方式所涉及的校正时的车辆c1与校正用标记m1、m2的位置关系的图，图1b是表示图1a的校正用标记m1、m2的一例的平面图。在图1a中，从上方俯瞰在车辆c1的生产工厂等被实施照相机10的校正时的车辆c1的周围。车辆c1具备照相机10和照相机校正装置20。照相机10安装于车辆c1的后部的后尾门等，拍摄车辆c1的后方。照相机10既可以安装于车辆的中心轴附近，也可以偏离车辆的中心轴地安装。照相机校正装置20调整用于校正照相机10的照相机参数。
校正用标记m1、m2以与地面大致垂直的方式配置在车辆c1的后方的处于照相机10的拍摄范围内的预先决定的位置。校正用标记m1、m2大致对称地配置在车辆的中心轴的两侧。
如图1b所示，各校正用标记m1、m2具有以矩阵状排列16个正方形而成的棋盘格图案。照相机10拍摄该棋盘格图案。
图2是表示图1a的照相机校正装置20的概要结构的框图。照相机校正装置20具备图像存储部22、特征点提取部24、面积计算部26以及调整部28。
图像存储部22存储利用照相机10拍摄得到的校正用标记m1、m2的图像。
特征点提取部24从图像存储部22中存储的校正用标记m1、m2的图像提取多个特征点。对于提取特征点的方法没有特别限定，特征点提取部24也可以使用图案匹配(patternmatching)技术来提取特征点。在使用图案匹配技术的情况下，特征点提取部24使各特征点用的模板在图像上扫描，从与该模板之间的一致度高的图像上的图案提取特征点。
面积计算部26计算利用由特征点提取部24提取出的特征点规定的图形的面积。各图形是将三个以上的特征点作为顶点的多边形。
调整部28基于由特征点提取部24提取出的特征点的坐标和由面积计算部26计算出的图形的面积来调整照相机参数。
后面叙述面积计算部26和调整部28的详细功能。
关于照相机校正装置20的结构，在硬件方面，能够利用任意的计算机的cpu、存储器、其它的lsi来实现，在软件方面，能够通过加载至存储器中的程序等来实现，但在此描绘了通过硬件和软件的协作来实现的功能模块。因此，本领域技术人员应理解，能够仅利用硬件、或通过硬件和软件的组合以各种形式来实现这些功能模块。
参照图3a、图3b和图4a、图4b对照相机参数的调整进行说明。
图3a是表示照相机10的安装位置没有误差的理想情况下的校正用标记m1、m2的图像i1的图，图3b是表示照相机10的安装位置存在横摆角的误差的情况下的校正用标记m1、m2的图像i2的图。图像i1、i2是利用照相机10拍摄得到的。下面，对在图3b的情况下调整照相机参数的一例进行说明。
图4a是将图3a和图3b的特征点p1c～p10c、p1～p10重叠地示出的图，图4b是将图3a和图3b的特征点p1c～p10c、p1～p10与图形f1c～f8c、f1～f8重叠地示出的图。为了使说明明确，在图4a、图4b中，去除了校正用标记m1、m2。
如图3a、图3b所示，图像i1中存在10个特征点p1c～p10c。图像i2中存在10个特征点p1～p10。特征点p1、p1c位于校正用标记m1的中央。特征点p2、p2c位于校正用标记m1的左上的四个正方形的中央，特征点p3、p3c位于校正用标记m1的右上的四个正方形的中央。特征点p4、p4c位于校正用标记m1的左下的四个正方形的中央，特征点p5、p5c位于校正用标记m1的右下的四个正方形的中央。特征点p6～p10、p6c～p10c与校正用标记m2的关系也是同样的，因此省略说明。
图形f1是将特征点p1～p3作为顶点的三角形。图形f2是将特征点p1、p4、p5作为顶点的三角形。图形f3是将特征点p1、p2、p4作为顶点的三角形。图形f4是将特征点p1、p3、p5作为顶点的三角形。
图形f5是将特征点p6～p8作为顶点的三角形。图形f6是将特征点p6、p9、p10作为顶点的三角形。图形f7是将特征点p6、p7、p9作为顶点的三角形。图形f8是将特征点p6、p8、p10作为顶点的三角形。
图形f1c～f8c与特征点p1c～p10c的关系也是同样的，因此省略说明。
这样，图2的面积计算部26计算校正用标记m1的图像中大致在第一方向(上下方向)y上排列的一组图形f1、f2的面积以及大致在第二方向(左右方向)x上排列的一组图形f3、f4的面积。另外，面积计算部26计算校正用标记m2的图像中大致在第一方向y上排列的一组图形f5、f6的面积以及大致在第二方向x上排列的一组图形f7、f8的面积。第二方向x与第一方向y交叉。
在此，校正用标记m1、m2设置于如上所述那样预先决定的位置，因此，校正用标记m1、m2上的各特征点在以车辆c1为基准的基准坐标系(世界坐标系)中的坐标是已知的。通过利用公知的方法来运算已知的特征点在基准坐标系中的坐标和照相机参数，能够计算图像上的特征点的坐标。在此，设使用初始值的照相机参数计算出的图像上的特征点的坐标与图3a的理想情况下的特征点p1c～p10c的坐标相等。
如果照相机参数是最佳值，则计算出的特征点p1c～p10c的各坐标与从拍摄得到的图像提取出的对应的特征点p1～p10的坐标相等。照相机参数越是与最佳值不同，则特征点p1c～p10c与对应的特征点p1～p10的坐标的差越大。因此，图2的调整部28以使评价值变小的方式反复调整照相机参数，使照相机参数接近最佳值。评价值是第一评价值与第二评价值之和。
第一评价值是图4a所示的距离l1～l10的总和。距离l[i](i是1～10的整数)是计算出的特征点p[i]c的坐标与从拍摄得到的图像提取出的特征点p[i]的坐标的距离。此外，在图4a中，省略了距离l1和l6的图示。
第二评价值是面积差s1～s8的总和。面积差s[j](j是1～8的整数)是基于计算出的特征点p1c～p10c计算出的图形f[j]c的面积与基于从图像提取出的特征点p1～p10计算出的图形f[j]的面积之差。
作为以使评价值变小的方式调整照相机参数的方法，能够使用最速下降法等公知的方法。例如，在评价值大致恒定的情况下，或者评价值小于规定的阈值的情况下，图2的调整部28判定为评价值收敛，结束照相机参数的调整。
例如，相比于图4a的计算出的特征点p2c与提取出的特征点p2的距离l2，图4b的图形f3c的面积与图形f3的面积的面积差s3在数值上大。因而，与仅使用特征点的情况相比，能够较大地捕捉迭代运算中的变化，能够提高校正的精度。
另外，相比于图形f3c的面积与图形f3的面积的面积差s3，图形f1c的面积与图形f1的面积的面积差s1小。相比于图形f4c的面积与图形f4的面积的面积差s4，图形f2c的面积与图形f2的面积的面积差s2小。即，由于照相机10的安装位置的横摆角的误差，图形f1～f8的面积分别以不同的趋势发生变化。因此，通过以使面积差s1～s8的总和变小的方式调整照相机参数，能够更加高精度地校正照相机10的安装位置的横摆角的误差。
同样地，在照相机10的安装位置存在俯仰角和侧倾角的误差的情况下，图形f1～f8的面积也分别以不同的趋势发生变化，因此能够更加高精度地进行校正。
图5是表示图1a的照相机校正装置20的处理的流程图。首先，特征点提取部24从利用照相机10拍摄得到的校正用标记m1、m2的图像提取多个特征点p1～p10(s1)。接着，面积计算部26计算利用所提取出的特征点p1～p10规定的图形f1～f8的面积(s2)。接着，调整部28基于提取出的特征点p1～p10的坐标和计算出的图形f1～f8的面积来调整照相机参数(s3)。接着，调整部28判断评价值是否收敛(s4)，在未收敛的情况下(s4为“否”)，返回至s3的处理。在评价值收敛的情况下(s4为“是”)，调整部28结束处理。
调整后的照相机参数存储于车辆c1内的未图示的存储部。然后，车辆c1内的未图示的图像处理装置使用所存储的照相机参数来修正由照相机10拍摄得到的图像，生成对由照相机10的安装位置的误差等引起的变形进行了修正的图像。修正后的图像被用于驾驶员确认车辆c1的后方等。
这样，根据本实施方式，与仅使用特征点的坐标的情况相比，用于照相机参数的调整的特征量增加。并且，根据照相机10的安装位置的误差，面积发生与特征点不同的变化。另外，由照相机10的安装位置的误差引起的面积的变化量比由照相机10的安装位置的误差引起的特征点的坐标的变化量大。因而，与仅使用特征点的情况相比，能够提高校正的精度。
因此，与仅使用特征点的情况相比，不使校正精度降低而能够使用更小型的校正用标记。
另外，由于照相机10的俯仰角、横摆角、侧倾角中的至少任一个的偏差，在第一方向y上排列的一组图形f1、f2的面积与在第二方向x上排列的一组图形f3、f4的面积分别以不同的趋势发生变化。同样地，一组图形f5、f6的面积与一组图形f7、f8的面积也分别以不同的趋势发生变化。因此，能够更加高精度地校正照相机10的安装位置的俯仰角、横摆角以及侧倾角的误差的影响。
以上，基于实施方式对本公开进行了说明。该实施方式是例示，本领域技术人员应理解，这些实施方式的各构成要素或者各处理工序的组合能够存在各种变形例，另外，那样的变形例也在本公开的范围内。
例如，也可以使用一个校正用标记。在该情况下，虽然与上述的实施方式相比校正精度降低，但是能够减少校正用标记的设置空间。
另外，也可以使用三个以上的校正用标记。在该情况下，虽然与上述的实施方式相比校正精度提高，但是校正用标记的设置空间增加。
另外，只要能够在一个校正用标记中提取用于规定至少一个图形的三个以上的特征点，则对校正用标记的具体式样没有特别限定。在基于一个图形的面积来调整照相机参数的情况下，虽然与上述的实施方式相比校正精度降低，但是也存在能够进一步缩短照相机参数的调整时间的情况。
另外，图形也可以是三角形以外的多边形，也可以是分别不同的形状。
并且，第一评价值是基于图4a所示的距离l1～l10的值即可，也可以是距离l1～l10的平均值。第二评价值是基于面积差s1～s8的值即可，也可以是面积差s1～s8的平均值。
并且，安装照相机10的位置也可以是车辆c1的前部或者侧部等。另外，也可以利用照相机校正装置20来校正安装于车辆c1以外的装置的照相机10。
本公开的一个方式如下。
[项目1]
一种照相机校正装置，具备：特征点提取部，其从利用照相机拍摄得到的校正用标记的图像提取多个特征点；面积计算部，其计算利用由上述特征点提取部提取出的上述特征点规定的图形的面积；以及调整部，其基于由上述特征点提取部提取出的上述特征点的坐标和由上述面积计算部计算出的上述图形的面积，来调整用于校正上述照相机的照相机参数。
根据该方式，根据照相机的安装位置的误差，面积发生与特征点不同的变化，并且，由照相机的安装位置的误差引起的面积的变化量比由照相机的安装位置的误差引起的特征点的坐标的变化量大，因此能够提高校正的精度。
[项目2]
根据项目1所述的照相机校正装置，上述面积计算部计算在第一方向上排列的一组图形的面积以及在与上述第一方向交叉的第二方向上排列的一组上述图形的面积。
在该情况下，由于照相机的俯仰角、横摆角、侧倾角中的至少任一个的偏差，在第一方向上排列的一组图形的面积与在第二方向上排列的一组图形的面积分别以不同的趋势发生变化，因此能够更加高精度地校正照相机的安装位置的误差的影响。
[项目3]
一种照相机校正方法，包括：从利用照相机拍摄得到的校正用标记的图像提取多个特征点；计算利用所提取出的上述特征点规定的图形的面积；基于提取出的上述特征点的坐标和计算出的上述图形的面积，来调整用于校正上述照相机的照相机参数。
根据该方式，根据照相机的安装位置的误差，面积发生与特征点不同的变化，并且，由照相机的安装位置的误差引起的面积的变化量比由照相机的安装位置的误差引起的特征点的坐标的变化量大，因此能够提高校正的精度。
产业上的可利用性
根据本公开所涉及的照相机校正装置和照相机校正方法，能够提高照相机的校正精度，因此能够应用于搭载于汽车等移动体的照相机的校正。
附图标记说明
10：照相机；20：照相机校正装置；24：特征点提取部；26：面积计算部；28：调整部。